Kolme esimerkkiä ei- manuaalisuuden tutkimuksesta Anna Puupponen SVKS110 21. huh>kuuta 2016 Puupponen, A.; Wainio, T.; Burger, B. & Jantunen, T. (2015) SYVYYSSUUNTAISET PÄÄNLIIKKEET MOCAP- AINEISTON PERUSTEELLA Messing with the head Tutkimus syvyyssuuntaisten päänliikkeiden muodoista ja funk>oista Tutkimuskysymykset: Minkälaisia liikkeitä? Minkälaisia tehtäviä liikkeillä? Muototyypit: foneesnen kuvaus ja analyysi Funk>otyypit: päänliiketyyppien tehtävien selviuäminen Aineisto Kaksi dialogia: yhtäjaksoisia, vapaamuotoisia keskusteluja liikekaappaustallenteita: 120Hz Mo>on Capture oikeanpuoleisen ohimon kohdalla olevien markkereiden miuaamat paikka>edot (amplitudi) Välineet analyysissä: ELAN, Matlab, Excel 1
26.4.2016 Aineistoa ELANissa Päänliiketyypit Nyökkäys (nod) Nyökytys (nodding) Työntö (head thrust) Veto (head pull) Tutkimuksen eteneminen Yleisimpien päänliiketyyppien poiminta kirjallisuudesta Päänliikkeiden iden>fioin> aineistosta ELAN- ohjelmassa: annotoin> & yksilöin> (työntö- 3, nyökkäys- 8 jne.) Päänliikkeiden muotoja koskeva analyysi (mocap- data, matlab- ohjelma ja Excel) Funk>oanalyysi (ELAN, haastauelut & keskustelut, Excel) Säännönmukaisuuksien selviuäminen Tuloksia - muodot Nyökkäys Työntö Veto Nyökytys 2
Tuloksia funk>ot Emfaasi Prosodinen korostus viiuomille, kontras>ivinen, disjunk>ivinen tai addi>ivinen korostus (myös moninkertaisessa rinnastuksessa: erouelee listan osia) Rajanmerkintä merkitsee tai korostaa rajaa syntak>sten ja/tai prosodisten jaksojen välillä Alanmerkintä: merkitsee syntak>sta ja/tai prosodista jaksoa Affirmaa>o: toteaminen, myöntö, vakuuuaminen (posi>ivisuus proposi>on totuusarvoon nähden) hyväksyntä, palaute (posi>ivinen reak>o toisen viiuojan proposi>oon) läsnäolo diskurssissa Kysyminen: vaihtoehtokysymykset, hakukysymykset Kopioin>: viiuojan pää kopioi käsien liikeuä viiuojan pää kopioi käsien liikeuä OsoiUaminen: päällä osoiuaminen Tuloksia muodot & funk>ot Yleisimmät funk?ot: Työntö kysyminen emfaasi (korostaminen, disjunk>ivinen ja addi>ivinen korostaminen) Nyökkäys affirmaa>o (toteaminen, myöntö, palaute) huom. lauseenloppuisuus (37 % lauseiden tai yksink. lauseiden rajoilla) Nyökytys affirmaa>o (vakuuuaminen, palaute) Veto emfaasi (kontras>ivinen korostaminen ja/tai ekskluusio) MUTTA Päällekkäisyys, limiuäisyys, hämärärajaisuus Prosodiset ja kieliopilliset tehtävät eivät ole eroteltavissa Vuorovaikutukselliset ja kieliopilliset tehtävät eivät ole eroteltavissa Esim. nyökkäys rajanmerkintä ja affirmaa>o Esim. veto kontras>ivinen korostus, semansnen ekskluusio, myös rajanmerkintä? Muotojen päällekkäisyys Pään ja käsien itsenäisten liikkeiden päällekkäisyys Päänliike korostaa toista päänliikeuä esim. työntö tehostaa myönteistä nyökytystä Päänliike yhdessä muun ei- manuaalisen toiminnan kanssa esim. kasvoilla tuotetut elemen>t 3
Päänliike: eleuä ja kieltä Muotojen epäkonven>onaalisuus Muotojen ja funk>oiden välisten suhteiden hämärärajaisuus Lingvis>nen vs. affek>ivinen ei- manuaalisuus mm. Wilbur 2000: tarkkarajaisuus ja systemaassuus erouelee ei toteudu aineiston perusteella päänliikkeiden suhteen MUTTA: Tyypillisyyksiä esiintyy ja liiketyyppien erouelulle löytyy mo>vaa>o niiden foneessten piirteiden sekä keskeisten funk>oiden perusteella Puupponen, A.; Jantunen, T. & Mesch, J. (2016) PÄÄN NYÖKKÄYKSET SYNTAKTISILLA RAJOILLA Aihe Nyökkäysten jako analyysissä The goal of the research is to find out whether head nods appear in similar or different ways in FinSL and SSL texts. Our research ques>ons are as follows: (i) How are nods distributed with respect to syntac?c units in FinSL and SSL? And (ii), How are on- boundary head nods exactly posi?oned in rela>on to the syntac>c boundaries with which they occur, and how frequent are the nods occurring in these posi>ons? The answers to these ques>ons will lead us to a discussion of whether head nods can be treated as prosodic boundary markers in FinSL and SSL. Rajoilla Ei rajoilla Puupponen et al. (2016) 4
Jakauma Jakauma: syntak>silla rajoilla FinSL ALL NODS SSL ALL NODS n=212 X 4 % n=107 other 20 % Sentencenternal listing 3 % Sentence-final 46 % other 24 % Sentence-final 35 % boundary 14 % Sentence whole 1 % Inter-sentential 5 % Sentence-initial 11 % boundary 17 % Inter-sentential 2 % listing 5 % Sentenceinitial 10 % Sentence border 3 % Pohdintaa Suomalaisten tarinoissa enemmän nyökkäyksiä kuin ruotsalaisten, mu#a: ruotsalaisten tarinat lyhyempiä paljon yksilöllistä variaa>ota (ikä, tausta) Vaikka kokonaismäärissä ero, jakauma samankaltainen syntak>silla rajoilla: FinSL 80 %, SSL 73 % - > syntaksin ja prosodian välinen yhteys! lauseenloppuisuus huom. myös lauseiden alussa (vrt. Wilbur 2000) Lauseenloppuisuus yleisempää suomalaisilla, mu#a: käännösstrategiat konstruoitu toiminta, pantomiimisuus (ks. esim. Ferrara & Johnston 2014) - > vaikuuaako tarinoiden tapahtumien näyuäminen prosodiaan? Kaikkia aineiston nyökkäyksiä ei voida nähdä (pelkästään) prosodisina rajanmerkitsiminä ei punktuaalisia myös muita funk>oita: affirmaa>o, emfaasi ei pakollisia Kyseessä viitotut tarinat, miten keskusteluissa? Puupponen, A. (manuscript) PÄÄN JA YLÄVARTALON LIIKKEIDEN VÄLINEN YHTEYS VIITOTUISSA TARINOISSA 5
Tausta: pää ja ylävartalo yhdessä Body leans [marking contras>ve stress] may take the form of a slight or exaggerated backward and forward movement of the body, shoulders or head, rela>ve to the posi>on held in the rest of the uuerance. Tausta: pää ja ylävartalo erikseen The non- manual markers include number of independent channels: head posi>on, body posi>on, eyebrow and forehead posi>on, eye gaze, nose posi>on, and mouth, tongue and cheek. Wilbur & Patschke (1998: 279) Ks. myös van der Kooij et al. (2006) Wilbur (2000: 223) Tausta: pää vs. ylävartalo - - we found that in many cases both the head and upper body can be employed in the expression of contras>ve focus. There appeared to be quite some phone?c varia?on in whether only the head or both the upper body and head would move. - - We have not auempted to quan>fy the amount of movement of the head versus that of the body, respec>vely, and leave this for future phone>c studies to inves>gate in detail. Crasborn et al. (2013) Tausta: teemaan johdatellut tutkimus The status of the head and the upper body as independent ar?culators as well as connec>ons between the func>ons produced by the ac>ons of these ar>culators are important issues for forming a theory of non- manuality in FinSL. Puupponen et al. (2015) 6
26.4.2016 Tutkimuskysymykset Liikkuuko pää enimmäkseen: ylävartalon kanssa yhdessä samansuuntaises>? ilman ylävartalon liikeuä? yhdessä ylävartalon kanssa, muua erisuuntaises>? ToimiUavatko samanaikaises> esiintyvät päänliikkeet: yhteistä tehtävää? omia tehtäviään? - > Ovatko pää ja keho yksi vai kaksi ar>kulaauoria suomalaisessa viiuomakielessä? Perus(raaka- )annotaa>ot Aineisto ProGram- projek>n moniuloueinen aineisto 12 tarinaa, 12 viiuojaa 3 kamerakulmaa per viiuoja Raaka- annotoitua: 12 annotaa>oriviä päänliikkeille 8 annotaa>oriviä ylävartalon liikkeille ELAN- todellisuus 7
Kaaokseen sukeltaminen Ak>ivisuus annotaa>osolujen määrä Ajoitus samanaikaiset liikkeet Suunta liikkeiden suunnat liikeyhdistelmissä Tehtävä liikkeiden tehtävät liikeyhdistelmissä Ak>ivisuus 12 tarinaa Solujen kokonaismäärät aineistosta Taulukoin> Exceliin Jakaumat Suuntakohtainen vertailu Variaa>o Ajoitus & suuntaisuus 6 tarinaa Uudet annotaa>orivit suun>en mukaan esim. pää oikealle tai keho eteen AutomaaSset annotaa>ot samansuuntaisille päällekkäisyyksille esim. pää oikealle keho oikealle Oma annotaa>orivi erisuuntaisille päällekkäisyyksille esim. pää oikealle keho oikealle + pää nyökkäys Annotaa>orivien sisällöt Exceliin liikeyhdistelmien luokiuelu väritagein: yksinkertaiset, semi- kompleksiset, kompleksiset Funk>ot 4 tarinaa Uusi annotaa>orivi Funk>osolu jokaiselle liikeyhdistelmälle sama tehtävä vai eri tehtävät mi(t)kä tehtävä(t) 8
Tulokset: Ak>ivisuus I Tulokset: Ak>ivisuus II Ei eroavaisuuua liikemäärissä suunnan perusteella: Head movements Headshake Head_other 4 % 2 % Nod Nodding 13 % 4 % Turn Left 10 % Thrust Turn Right 10 % 13 % Torso movements Shouldersshrug 1 % Body_other 7 % Shoulders- -up Lean 6 % Forward 24 % Turn Left 6 % Turn Right 5 % Tilting 6 % Tilt Left 6 % Tilt Right 6 % Pull 7 % Chin-up 8 % Chin-down 11 % Lean Left 14 % Lean Right 15 % Lean Backward 20 % Variaa>o: Tulokset: Ak>ivisuus III Tulokset: Ajoitus & suuntaisuus I Yksinkertaiset Pää liikkuu kehon mukana samansuuntaises> 400 350 300 250 200 150 100 50 0 Pää S1 S2 S3 S4 S5 S6 S7 S8 S9 S10 S11 S12 100 90 80 70 60 50 40 30 20 10 0 Ylävartalo S1 S2 S3 S4 S5 S6 S7 S8 S9 S10 S11 S12 Semi- kompleksiset Pää liikkuu kehon mukana + 1 erisuuntainen päänliike Kompleksiset Pää liikkuu kehon mukana + useita erisuuntaisia pään liikkeitä 9
Tulokset: Ajoitus & suuntaisuus II Tulokset: Tehtävät Yleensä (90,7 %, n=127) yhteinen tehtävä Yleisin tehtävä: konstruoitu toiminta keholla ja päällä näytetään mitä referen>t tekevät, tai miten ovat (vrt. kertominen seliuämällä) 40 35 30 Erifunk>oisuus kasvaa, kun kompleksisuus kasvaa: 25 20 15 Complex Semi-complex Simple 10 5 0 Right Left Forward Backward Pohdintaa Suunnat ja tehtävät samanlaisia, muua myös erilaisia 2 eri ar>kulaauoria Ylävartaloa ei aina tarvita pää riiuää? vrt. Wilbur & Patschke (1998), Crasborn & van der Kooij (2013) Jos ylävartalo liikkuu, pää liikkuu usein mukana vai toisin päin? onko merkitystä? vrt. esim. Brentari (1998): liikkeen kompleksisuus Kehonliikkeetkin tärkeitä konstruoitu toiminta, teks>en sidostaminen - > nämäkin päällekkäisiä funk>oita! Miten keskusteluissa, luennoissa, uu>sissa, seisoma- asennossa? Lähteet Brentari (1998). A prosodic model of sign language phonology. Cambridge, MA: The MIT Press. Crasborn, O. & van der Kooij, E. (2013). The phonology of focus in Sign Language of the Netherlands. Journal of Linguis=cs 49(3), pp. 515 565. L. Ferrara and T. Johnston, Elabora>ng Who's What: A Study of Constructed Ac>on and Clause Structure in Auslan (Australian Sign Language). Australian Journal of Linguis=cs vol. 34, no. 2, pp. 193 215, 2014. Kooij van der, E.; Crasborn, O. & Emmerik, W. (2006). Explaining prosodic body leans in Sign Language of the Netherlands: pragma>cs required. Journal of Pragma=cs 38, pp. 1598 1614. Puupponen, A; Wainio, T.; Burger, B. & Jantunen, T. (2015). Head movements in Finnish Sign Language on the basis of Mo>on Capture data: A study of the form and func>on of nods, nodding, head thrusts, and head pulls. Sign Language & Linguis=cs, vol. 18, no. 1, pp. 41 89. Puupponen, A.; Jantunen, T. & Mesch, J. (2016). The alignment of head nods with syntac>c units in Finnish Sign Language and Swedish Sign Language. To appear in the Proceedings of the Speech Prosody 2016, to be organized in Boston (USA), 31 May- 3 June, 2016. Puupponen, A. (manuscript). The rela>onship between the movements and posi>ons of the head and the torso in Finnish Sign Language. Manuscript submiued April 2016. Wilbur, Ronnie B. & Cynthia Patschke. 1998. Body leans and the marking of contrast in American Sign Language. Journal of Pragma=cs 30. 275 303. R. Wilbur, (2000). Phonological and prosodic layering of non- manuals in American Sign Language. In K. Emmorey, H. Lane (eds.) The Signs of Language Revisited. Mahwah, NJ: Lawrence Erlbaum, pp. 215 244, 2000. 10