Foneettinen näkökulma konstruoituun toimintaan. SVKS1010 Viittomakielten fonetiikan ja fonologian tutkimus (5 op)

Transkriptio

1 Foneettinen näkökulma konstruoituun toimintaan SVKS1010 Viittomakielten fonetiikan ja fonologian tutkimus (5 op) Tommi Jantunen, Jyväskylän yliopisto,

2 Luennon teemat Kieli hybridisysteeminä Konstruoitu toiminta ja sen asteet Käyttöpohjaista taustatietoa konstruoidusta toiminnasta Liikekaappaus- ja silmänliikeseuranta-aineisto Silmänliikkeet ja katse konstruoidussa toiminnassa Pään ja ylävartalon liikkuminen konstruoidussa toiminnassa Artikulaattoreiden toiminnan ajoittuminen konstruoidussa toiminnassa Foneettisen näkökulman anti hybridisysteemiajattelulle

3 Kieli hybridisysteeminä Miten epäkonventionaalisuus ja hämärärajaisuus ovat osa viittomakieliä?

4 Käytön epäkonventionaalisuus, kategorioiden hämärärajaisuus, ja kieli hybridisysteeminä Perinteinen näkökulma kieleen on korostanut kielen käytön konven3onaalisuu4a ja kategorioiden diskree8syy4ä. Käy4öpohjainen tutkimus on kuitenkin osoi4anut, e4ä kielen käy4ö voi olla myös epäkonven3onaalista ja kategoriat hämärärajaisia. Viime aikoina kieli on käsi4eelliste4y myös konven3onaalisten ja diskree8en ominaisuuksien sekä epäkonven3onaalisten ja hämärärajaisten ominaisuuksien jatkumolle sijoi4uvaksi seka- eli hybridisysteemiksi. DINGEMANSE, M. & Akita, K. (2016). An inverse rela3on between expressiveness and gramma3cal integra3on: On the morphosyntac3c typology of ideophones, with special reference to Japanese. J. Linguis*cs (2016), DINGEMANSE, M. (2018). Redrawing the margins of language: Lessons from research on ideophones. Glossa: A journal of general linguis*cs, 3, ENFIELD, N. (2009). The anatomy of meaning: Speech, gesture, and composite u?erances. Cambridge: Cambridge University Press. FLOYD, S. (2016). Modally hybrid grammar? Celes3al poin3ng for 3me-of-day reference in Nheengatú. Language, 92, JANTUNEN, T. (2017). Constructed ac3on, the clause and the nature of syntax in Finnish Sign Language. Open Linguis*cs, 3, JOHNSTON, T. & Ferrara, L. (2012). Lexicaliza3on in signed languages: When is an idiom not an idiom? Teoksessa G. Rundblad, A. Tytus, O. Knapton & C. Tang (toim.), Selected Papers from UK-CLA Mee*ngs, Vol 1, (s ). Saatavissa h4p://uk- cla.org.uk/proceedings. KENDON, A. (2004). Gesture: Visible ac*on as u?erance. Cambridge: Cambridge University Press.

5 Konventionaalisuuden käsite Yksilöllisistä toimintamalleista ja käsityksistä muodostuneet sosiaaliset konventiot Yksilötasolla vahvistunut ja käsitteellistynyt toiminta Kehollinen toiminta (havainnot ja motorinen interaktio) ympäristön kanssa

6 Hämärärajaisuuden käsite field casino rugby football chess dice backgammon roulette park rugby chess dice dice chess football dice chess backgammon chess chess chess

7 Epäkonventionaalisuus ja hämärärajaisuus leksikossa JANTUNEN, T. (käsikirjoitus). Viittomakielet hybridisysteemeinä: hämärärajaisuus ja epäkonventionaalisuus osana viittomakielten rakennetta. Julkaistavaksi tarjottu käsikirjoitus, tammikuu JOHNSTON, T. & Ferrara, L. (2012). Lexicalization in signed languages: When is an idiom not an idiom? Teoksessa G. Rundblad, A. Tytus, O. Knapton & C. Tang (toim.), Selected Papers from UK-CLA Meetings, Vol 1, (s ). Saatavissa cla.org.uk/proceedings.

8 Epäkonventionaalisuus ja hämärärajaisuus syntaksissa JANTUNEN, T. (2017). Constructed action, the clause and the nature of syntax in Finnish Sign Language. Open Linguistics, 3, JANTUNEN, T. (käsikirjoitus). Viittomakielet hybridisysteemeinä: hämärärajaisuus ja epäkonventionaalisuus osana viittomakielten rakennetta. Julkaistavaksi tarjottu käsikirjoitus, tammikuu 2018.

9 Konstruoitu toiminta ja sen asteet Mitä on konstruoitu toiminta ja millaisia asteita siinä on?

10 Määritelmä ja termin tausta Konstruoidulla toiminnalla (engl. constructed ac,on) tarkoitetaan 'elepohjaista [so. kielen epäkonven7onaalisille ja hämärärajaisille ominaisuuksille perustuvaa] näy<elemistä, jota vii<ojat käy<ävät diskurssissa näy<ääkseen puheenaiheena olevan referen7n toimintaa, tunteita, ajatuksia ja sanomisia' (Cormier ym. 2015). Ilmiö on vii<omakielten tutkimuksen historiassa tunne<u myös monilla muilla nimillä, joista kiista<a yleisin on ollut roolinvaihto (engl. role shi0); termiä roolinvaihto käytetään yhä etenkin formaaliin viitekehykseen sidotussa tutkimuksessa, jossa se tarkoi<aa 'kieliopillista mekanismia, jolla vii<ojat siirtyvät puheena olevan hahmon rooliin ja väli<ävät informaa7ota tämän hahmon näkökulmasta' (esim. Lillo-Mar7n 2012). Konstruoitu toiminta -termi perustuu idealle, e<ä näyte<y toiminta ei ole suoraa kopiota minkään hahmon toiminnasta, vaan vii<ojan konstruoima (eri asteinen) aproksimaa7o tästä toiminnasta (Metzger 1995). Konstruoidusta toiminnasta on toisinaan erote<u konstruoitu dialogi (engl. constructed dialogue) eli 'sanomisen näy<äminen', mu<a Cormierin ym. (2015) mukaan tällaiselle ero<elulle ei ole tarve<a. CORMIER, K., Smith, S. & Sevcikova Sehyr, Z. (2015). Rethinking constructed action. Sign Language & Linguistics 18, LILLO-MARTIN, D. (2012). Utterance reports and constructed action. Teoksessa R. Pfau, M. Steinbach & B. Woll (toim.), Sign language: An international handbook, s Berlin: De Gruyter Mouton. METZGER, M. (1995). Constructed dialogue and constructed action in American Sign Language. Teoksessa C. Lucas (toim.), Sociolinguistics in deaf communities, s Washington, DC: Gallaudet University Press.

11 Konstruoidun toiminnan asteet Kearsy Cormier ym. (2015), Rethinking constructed ac=on (Sign Language & Linguis,cs 18, s ). Konstruoitu toiminta on asteicaista, ja se voidaan jakaa ar=kulatorises= kolmeen alatyyppiin: vahvaan, osicaiseen ja heikkoon konstruoituun toimintaan. Vahva konstruoitu toiminta: viicoja on täysin "hahmossa", ja hahmon toimintaa koodataan samanaikaises= useammalla ar=kulaacorilla; käsillä ei tuoteta lainkaan kerrontaa edentäviä leksikaalisempia viicomia, ellei tarkoitus ole esicää hahmon suoraa puheca viicoen. Osi1ainen konstruoitu toiminta: viicoja on enemmän "hahmossa" kuin poissa "hahmosta, ja hahmon toimintaa koodaavien ar=kulaacoreiden määrä on vähäisempi kuin vahvassa asteessa, muca suurempi kuin heikossa asteessa; käsillä voidaan tuocaa kerrontaa edentäviä leksikaalisempia viicomia. Heikko konstruoitu toiminta: viicoja on vain vähän "hahmossa", ja hahmoa koodataan tavallises= vain yhdellä tai kahdella ar=kulaacorilla; heikko konstruoitu toiminta kytkeytyy hyvin hienovaraises= muuhun kerrontaa edentävään ainekseen.

12 Vahva, osittainen ja heikko konstruoitu toiminta lumiukko kavahtaa lumiukko KATSOO HERÄTÄ ( silmät ) Jyväskylän yliopisto, vii?omakielenkeskus: ProGram-aineisto, lumiukko- ja sammakkotarinat (2016) [videokorpus]. FIN-CLARIN [viita?u ]. Saatavissa Kielipankin kau?a: h?p://urn.fi/urn:nbn:fi:lb

13 Käyttöpohjaista taustatietoa konstruoidusta toiminnasta Miten konstruoitu toiminta on osa kielen käyttöä erityisesti diskurssin ja kieliopin tasoilla?

14 Konstruoitu toiminta diskurssin näkökulmasta Konstruoitu toiminta on op-onaalinen diskurssinrakentamisstrategia, ja vii6ojat käy6ävät sitä hyvin eri tavoin. Auslanista ja suomalaisesta vii6omakielestä tehtyjen, kuvaileviin narra-iveihin pohjaavien korpustutkimusten perusteella konstruoidun toiminnan esiintymiskeskiarvo kerronnassa on vajaat 40-prosen?a (Ferrara & Johnston 2014; Jantunen 2017), mu6a vii6ojakohtaises- konstruoidun toiminnan käy6ö vaihtelee prosen-n välillä. Uusimman suomalaisesta vii6omakielestä tehdyn tutkimuksen (Jantunen käsikirjoitus; ks. seuraava dia) myötä on pysty6y arvioimaan myös konstruoidun toiminnan alatyyppien esiintyvyy6ä kuvailevissa narra-iveissa: kuuden vii6ojan tuo6aman, yhteensä kolmenkymmenen lyhyen tarinan aineistossa vahvan konstruoidun toiminnan keskiarvoinen osuus oli 41%, osi6aisen 37% ja heikon 22%; vii6ojakohtainen variaa-o oli suurta. FERRARA, L. & Johnston, T. (2014). Elaborating who's what: A study of constructed action and clause structure in Auslan (Australian Sign Language). Australian Journal of Linguistics 34, JANTUNEN, T. (2017). Constructed action, the clause and the nature of syntax in Finnish Sign Language. Open Linguistics, 3, JANTUNEN, T. (käsikirjoitus). Viittomakielet hybridisysteemeinä: hämärärajaisuus ja epäkonventionaalisuus osana viittomakielten rakennetta. Julkaistavaksi tarjottu käsikirjoitus, tammikuu 2018.

15 Konstruoitu toiminta diskurssin näkökulmasta Pino6u pylväskaavio esi6ää vahvan, osi6aisen ja heikon konstruoidun toiminnan sekä ilman konstruoitua toimintaa tuotetun kerronnan vii6ojakohtaiset keskiarvot kuvailevissa suomalaisen vii6omakielen narraciveissa. Aineisto on kerä6y liikekaappauslaboratoriossa kuudelta vii6ojalta, joista jokainen tuoi viisi tarinaa. Tarinat perustuvat lyhyisiin teksc6ömiin sarjakuvastrippeihin: vii6ojat valitsivat kymmenen stripin joukosta viisi itselleen mieluisinta ja vii6oivat ne seisaaltaan edessään seisovalle keskustelukumppanille. Keskiarvot on laske6u annotoincsolujen keston perusteella. Tarinoiden yhteiskesto on noin 20 minuuia. JANTUNEN, T. (käsikirjoitus). Vii6omakielet hybridisysteemeinä: hämärärajaisuus ja epäkonvenconaalisuus osana vii6omakielten rakenne6a. Julkaistavaksi tarjo6u käsikirjoitus, tammikuu 2018.

16 Konstruoitu toiminta diskurssin näkökulmasta Diskurssin rakenne Konstruoitua toimintaa käytetään keskimääräises0 eri tavoin eri kohdissa kerrontaa. Tarinat pyritään aloi8amaan ilman konstruoitua toimintaa, ja tarinoiden ensimmäiset konstruoidun toiminnan jaksot eivät tyypillises0 edusta vahvaa aste8a: tarinan alussa pyritään vakiinnu8amaan tarinassa mukana olevien hahmojen iden0tee0t ja vii8aussuhteet leksikaalisia vii8omia ja vakiintuneen syntaksin keinoja käy8äen. Tarinan edetessä hahmoihin voidaan viitata helpommin ja jopa pelkästään vahvalla konstruoidulla toiminnalla, jonka käy8ö näin myös luo tarinaan omanlaistaan koheesiota. Diskurssin laji Diskurssin laji vaiku8aa suures0 konstruoidun toiminnan ja sen asteiden esiintymiseen. Kun diskurssin laji vaihtuu kuvailevasta narra0ivista vapaammaksi keskusteluksi, laskee konstruoidun toiminnan osuus vii8omisessa huoma8avas0. Diskurssin lajin muu8uminen muu8aa usein myös syitä, joiden vuoksi konstruoitua toimintaa käytetään: esim. vapaammassa keskustelussa konstruoidulla toiminnalla ilmaistaan enemmän puheenaiheena olevien hahmojen sanomisia ja ajatuksia kuin toimintaa sinänsä, joka on keskiössä kuvailevissa narra0iveissa. CORMIER, K., Smith, S. & Zwets, M. (2013). Framing constructed action in British Sign Language narratives. Journal of Pragmatics 55, HODGE, G. & Ferrara, L. (2013). Showing the story: Enactment as performance in Auslan narratives. Teoksessa L. Gawne & J. Vaughan (toim.), Selected Papers from the 44th Conference of the Australian Linguistic Society, s JANTUNEN, T. (2017). Constructed action, the clause and the nature of syntax in Finnish Sign Language. Open Linguistics, 3,

17 Konstruoitu toiminta diskurssin näkökulmasta Referoinnin (so. hahmon sanomisen ja ajattelun näyttämisen) osuus kuvailevassa narratiivissa (6 viittojaa, 33 tarinaa) kahdella tavalla arvioituna. Overlap Frekvenssi frequencies Overlap Kesto durations 33% 20% 67% 80% Quotative Referoiva (N=70) Non-quotative Ei-referoiva (N=143) Quotative Referoiva Non-quotative Ei-referoiva

18 Konstruoitu toiminta ja kieliopilliset yksiköt Viittomataso Vii#omiston näkökulmasta on osoite#u, e#ä konstruoitu toiminta suosii vahvimmissa asteissaan osi#ain leksikaalisten ja ei-leksikaalisten vii#omien käy#öä. Verbaalikategoriaan kuuluvien osoi#avien vii#omien osalta on lisäksi näyte#y toteen, e#ä niiden osoituspoten=aalia pyritään hyödyntämään maksimaalises= juuri konstruoidun toiminnan yhteydessä. Lausetaso Konstruoitu toiminta mo=voi osaltaan ydinargumen?en poisjä#öä lauserakenteesta ja tarjoaa samalla lauseenulkoisen keinon tulkita =lanteen osallistuja- ja referenssisuhteita. Konstruoidun toiminnan vahvojen asteiden käy#ö suosii lineaarisia lauseiden yhdistämisperiaa#eita; erityises= kuvailevista verbaalivii#omista muodostuvat lauseet voivat ketjuuntua pitkiksikin lausejonoiksi. De BEUZEVILLE, L., Johnston, T. & Schembri, A. (2009). The use of space with indicating verbs in Australian Sign Language: A corpus-based investigation. Sign Language & Linguistics 12, JANTUNEN, T. (2017). Constructed action, the clause and the nature of syntax in Finnish Sign Language. Open Linguistics 3, JANTUNEN, T. (2018). Elliptical phenomena in Finnish Sign Language. Ilmestyy teoksessa J. van Craenenbroeck & T. Temmerman (toim.), The Oxford Handbook of Ellipsis. Oxford: Oxford University Press.

19 Konstruoitu toiminta ja kieliopilliset yksiköt Kasvot ja muu kehon toiminta lukuun obamaba käsiä: poikaa ja koiraa osoibava (Aargumen-n normaaliskoodaama) tekijä-eto. Katseen suunta ja verbin suuntaamistapa: sammakkoon viibaava (Pargumen-n normaaliskoodaama) -eto. Konteks-: viiboja kertoo pojasta ja koirasta, jotka tuijobavat la9alla lasipurkissa olevaa sammakkoa. Lausetaso: transi-ivilause, jossa ei ole A- ja P- ydinargumen9a (so. lause koostuu pelkästä verbistä). JANTUNEN, T. (2017). Constructed ac-on, the clause and the nature of syntax in Finnish Sign Language. Open Linguis+cs 3,

20 Konstruoitu toiminta ja kieliopilliset yksiköt Lumiukko tareuu poikaa kädestä, he ponkaisevat ilmaan, lentävät taivaalla, katselevat alas korkeuksista, ja laskeutuvat lopulta kogin tussahtaen. Jyväskylän yliopisto, viittomakielenkeskus: ProGram-aineisto, lumiukko- ja sammakkotarinat (2013) [videokorpus].

21 Liikekaappaus- ja silmänliikeseuranta-aineisto Miten korpusaineistoon on yhdiste1y teknologialla tuote1ua dataa?

22 Yhteenveto käytetystä tallennusteknologiasta Liikekaappaus (MoCap) Op#nen Qualisys Oqus liikekaappausjärjestelmä 8 infrapunakameraa, tallennusnopeus 120 Hz Seurannassa 25 heijastavaa kehoon kiinnite?yä markkeria Ks. h,p:// Silmänliikeseuranta (ET) Liikuteltava Ergoneers Dikablis silmänliikeseurantajärjestelmä 2 videokameraa, tallennusnopeus 50 fps (non-standard H.264, mp4) Vasemman silmän toiminnan ja katseen suunnan tallennus Ks. h,p:// Videokuvaus Yksi Qualisys-järjestelmän kanssa synkronoitu Full HD -videokamera Tallennusnopeus 30 fps (Mo#on JPEG Open DML, avi)

23 Kokonaisaineisto 1. Vii&ojat Yhteensä 6 äidink. vii/ojaa (3 miestä, 3 naista) Ikähaarukka n vuo/a Liikekaap. ja silmänliik. lai/eisto 2. Sisältö Ferdinand-sarjakuvien kerronta (16 stripin seb) n. 5 sarjakuvaa per vii/oja "Viito seisoen mahdollisimman eläväsf parille." 3. Sta2s2ikkaa Yht. 33 tallenne/ua sarjakuvastakerrontaflanne/a Videoiden yhteiskesto 22 min. ja 47 sek. Liikekaap. datan kokonaismäärä n. miljardi merkkiä Silmänliikedatan kokonaismäärä yli 6 milj. merkkiä 4. Synkronointi (ks. erillinen dia) Viitepisteenä nyökkäys jokaisen tarinan alussa Kaiken aineist. videopohjainen ELAN-synkronointi 2 viittojan liikekaap. ja silmädatan Matlab-synkr. 5. Videopohjainen annotointi (ks. erilliset diat) Kaikki annotointi toteutettu ELANissa Perusannotointi viittoma- ja käännöstasoilla Konstruoidun toiminnan monitasoinen annotointi Otoskohtainen tekninen annotointi 6. Tärkeimmät otokset Silmänliik. ja konstr. toim. (S-KT 5 viitt.; 25 tar.) Pää, keho ja konstr. toim. (PK-KT 5 viitt.; 15 tar.) Artik. ajoitus ja kon. toim. (AA-KT 2 viitt.; 40 jaks.)

24 Videoaineiston, liikekaappausdatan ja silmänliikedatan synkronoin5 Full HD -video, 30 fps MoCap-data, 120 Hz n. 550 riviä MoCap-dataa 00.00, ,00 nyökkäys 00.38, ,00 ET-data, 50 Hz n. 180 riviä ET-dataa ET-videot, 25/50 fps BURGER, B., Puupponen, A. & Jantunen, T. (korjadavana). Synchronizing eye tracking and oplcal molon capture: How to bring them together. Julkaistavaksi tarjodu käsikirjoitus, lokakuu JANTUNEN, T. & Puupponen, A. (2017). Videoaineiston ja midausdatan yhdistäminen: tapaus viidomakieli. Esitelmä XLIV kielileteen päivillä Jyväskylässä toukokuuta 2017.

25 Konstruoidun toiminnan annotoin-rivit ELANissa Rivi Käännös Glossi Cormier ym. (2015): CA-type Role1 Role2 CA-summary CA-eyegaze CA-head CA-face CA-torso CA-dom-arm/hand CA-ndom-arm/hand CA-legs Quotation Story Kuvaus (ja annotointisolun arvot) Lausetasoinen käännös. Glossi, joka identifioi viittoman. Konstruoidun toiminnan tyyppi; perustuu riveillä CA-summary ja Role oleviin annotaatioihin (overt 'vahva', reduced 'osittainen', subtle 'heikko'). Ensisijainen rooli, jonka viittoja ottaa käyttäessään konstruoitua toimintaa (narrator 'kertoja', "character 'hahmo'). Toissijainen rooli, jonka viittoja ottaa käyttäessään konstruoitua toimintaa (none 'ei mikään', narrator 'kertoja', "character 'hahmo'). Diskurssin jakso, jolloin konstruoitua toimintaa käytetään yhtäjaksoisesti saman hahmon esittämiseen (enacting 'näyttelevä'). Katseen kohdistuminen pois keskustelukumppanista ja toimiminen esitettävän hahmon katseena (enacting 'näyttelevä ). Viittojan pää esittää hahmon pään liikettä tai asentoa (enacting 'näyttelevä'). Viittojan kasvojen ilme esittää hahmon kasvoilla olevaa ilmettä (enacting 'näyttelevä'). Viittojan ylävartalo esittää hahmon ylävartalon liikettä tai asentoa (enacting 'näyttelevä ). Viittojan dominoiva käsi esittää hahmon vastaavaa kättä (enacting 'näyttelevä, instrument 'väline'). Viittojan ei-dominoiva käsi esittää hahmon vastaavaa kättä (enacting 'näyttelevä, instrument 'väline'). Viittojan jalat esittävät hahmon jalkoja (enacting 'näyttelevä ). Huom! Tämä rivi ei ole mukana Cormierin ym. (2015) annotointiohjeissa. Diskurssin jakso, jonka aikana viittoja referoi muiden sanomisia tai ajatuksia (q). Tarinan kesto (story 'tarina') CORMIER, K., Smith, S. & Sevcikova Sehyr, Z. (2015). Rethinking constructed acwon. Sign Language & LinguisCcs 18,

26 Konstruoidun toiminnan annotoinnin periaa/eita Ensisijainen tai toissijainen rooli täytyy määri0ää aina, jos vähintään yksi ar5kulaa0ori on kooda0u ak5iviseksi konstruoidun toiminnan tuotossa; ja päinvastoin. Roolin ensisijaisuuden tai toissijaisuuden määri0ämisessä on apuna se, miten monta ar5kulaa0oria konstruoidun toiminnan tuo0amisessa on ak5ivisena. Konstruoidun toiminnan tyypit määri0yvät ensisijaisen ja toissijaisen roolin perusteella oheisen taulukon mukaises5. Konstruoitu toiminta voi olla diskurssissa kestoltaan minkä tahansa jakson mi0aista. Tyyppi Ensisij. rooli Toissij. rooli Kuvaus none narrator none Viittojan kerrontaa ilman konstruoitua toimintaa. Äidinkielisen viittojan intuitio: ei "hahmossa". overt character none Selkeää konstruoidun toiminnan käyttöä (useita artikulaattoreita), mahdollisesti samanaikaista hahmon sanomisen tai ajattelun esittämistä (siteeraamista). Äidinkielisen viittojan intuitio: täysin "hahmossa". reduced character narrator Osittaista konstruoidun toiminnan käyttöä (artikulaattoreiden määrä vahvan ja heikon välissä), mahdollisesti samanaikaista hahmon sanomisen tai ajattelun esittämistä. Äidinkielisen viittojan intuitio: enimmäkseen hahmossa". subtle narrator character Joitakin konstruoidun toiminnan piirteitä (vain yksi tai muutamia artikulaattoreita), mahdollisesti samanaikaista hahmon sanomisen tai ajattelun esittämistä. Äidinkielisen viittojan intuitio: enimmäkseen poissa "hahmosta", mutta myös vähän "hahmossa". CORMIER, K., Smith, S. & Sevcikova Sehyr, Z. (2015). Rethinking constructed ac5on. Sign Language & Linguis5cs 18,

27 Annotaa&ot, videot ja visualisoitu numerodata ELANissa

28 Animaa&oksi muute.ua liikekaappausdataa h"ps://twi"er.com/tommijantunen/status/

29 Silmänliikkeet ja katse konstruoidussa toiminnassa Miten silmä ja katse toimivat osana konstruoitua toimintaa ja sen tyyppejä? Jantunen, T., Burger, B. & Puupponen, A. (tulossa). Constructed accon types and eye behavior in Finnish Sign Language. Esitelmä tapahtumassa 8th Conference of the Interna.onal Society for Gesture Studies (ISGS 8), joka järjestetään heinäkuuta 2018 Kapkaupungissa, Etelä-Afrikassa.

30 Silmänliikkeet ja katse vii/omakielissä Fone%ikka 3 silmänräpäytystyyppiä: ennakoima2omat refleksiset räpäytykset, tahdo2omat jaksolliset räpäytykset ja inten8onaaliset räpäytykset. Katseella on pääsääntöises8 kesto; kestotonta katse2a käytetään ymmärryksen tarkistamiseen. Vii2ojat pyrkivät katsomaan vastaano2ajan kasvoja, yleensä niiden yläosaa. Kielioppi Räpäytykset ja katseen suunnan muutokset pyrkivät esiintymään kons8tuenarajoilla. Kuvailevissa vii2omissa pyritään katsomaan käsiä ja osoi2avissa vii2omissa katse pyrkii käväisemään kohteessa tai sitä symboloivassa paikassa juuri ennen manuaalisen osoituksen toteutumista. Katse voi korvata manuaalisen osoituksen (vrt. esim. kuiskaaminen ). Diskurssi Katseella säädellään vuoron o2amista ja säily2ämistä, ja katseella tarkastetaan myös vies8n perillemenoa. Katse on tärkeä keino, jolla erotetaan toisistaan kertojan ja hahmon näkökulmat. BAHAN, B. & Supalla, S. (1995). Line segmenta8on and narra8ve structure: A study of eyegaze behavior in American Sign Language. Teoksessa K. Emmorey & J. Reilly (toim.), Language, getsure, and space, Hillsdale, New Jersey & Hove, UK: Lawrence Erlbaum Associates, Publishers. CORMIER, K., Smith, S. & Sevcikova Sehyr, Z. (2015). Rethinking constructed ac8on. Sign Language & Linguis2cs 18:2, EMMOREY, K., Thompson, R. & Colvin, R. (2009). Eye gaze during comprehension of American Sign Language by na8ve and beginning signers. Journal of Deaf Studies and Deaf Educa2on 14(2), FERRERA, L. & Johnston, T. (2014). Elabora8ng Who's What: A Study of Constructed Ac8on and Clause Structure in Auslan (Australian Sign Language), Australian Journal of Linguis2cs 34:2, ENGBERG-Pedersen, E. (2015). Perspec8ve in signed discourse: the privileged status of the signer's locus and gaze. Open Linguis2cs 1, HANSEN, M. & Hessmann, J. (2007). Matching proposi8onal content and formal markers: Sentence boundaries in a DGS text. Sign Language & Linguis8cs 10(2), HERRMANN, A. & Steinbach, M. (2012). Quota8on in sign languages: A visible context shio. Teoksessa I. van Alphen & I. Buchstaller (toim.), Quota2ves: Cross-linguis2c and cross-disciplinary perspec2ves, Amsterdam: John Benjamins. MARTINEZ, L.B. (1995). Turn-taking and eye gaze in sign conversa8ons between deaf Filipinos. Teoksessa C. Lucas (toim.), Dociolinguis8cs in deaf communi8es, Washington D.C.: Gallaudet University Press. METZGER, M. (1998). Eye gaze and pronominal reference in American Sign Language. Teoksessa C. Lucas (toim.), Pinky extension and eye gaze: Language use in deaf communi2es, Washington, DC: Gallaudet University Press. THOMPSON, R., Emmorey, K. & Kluender, R. (2006). The rela8onship berween eye gaze and verb agreement in American sign Language: An eye-tracking study. Natural Language and Linguis8c Theory 24(2), THOMPSON, R., Emmorey, K. & Kluender, R. (2009). Learning to look: The acquisi8on of eye-gaze agreement during the produc8on of ASL verbs. Bilingualism: Cogni8on and Language 12(4), WILBUR, R.B. (2000). Phonological and prosodic layering of nonmanuals in American Sign Language. Teoksessa K. Emmorey & H. Lane (toim.), The signs of language revisited: An anthology to honor Ursula Bellugi and Edward Klima, Mahwah, New Jersey & London, UK: Lawrence Erlbaum Associates, Publishers.

31 Mitä on sano*u katseesta osana konstruoitua toimintaa? Katseen kohdistumista pois vastaano1ajasta on pide1y ken4es tärkeimpänä ei-manuaalisena vihjeenä konstruoidun toiminnan alkamisesta: esimerkiksi Herrmannin ja Steinbachin (2012) saksalaisen vii1omakielen aineistossa 86% konstruoidun toiminnan esiintymistä alkoi katseen poiskohdistumisella. Kaikkein vahvimmissa konstruoidun toiminnan muodoissa katse edustaa hahmon katse1a, ei kertojana toimivan vii1ojan omaa katse1a. Kun osoi1avia vii1omia käytetään yhdessä (vahvan) konstruoidun toiminnan kanssa, niihin lii1yvä katse suuntautuu (vii1omien itsensä lailla) kuvi1eelliseen paikkaan tai vastaano1ajaan. BAHAN, B. & Supalla, S. (1995). Line segmentation and narrative structure: A study of eyegaze behavior in American Sign Language. Teoksessa K. Emmorey & J. Reilly (toim.), Language, getsure, and space, Hillsdale, New Jersey & Hove, UK: Lawrence Erlbaum Associates, Publishers. CORMIER, K., Smith, S. & Sevcikova Sehyr, Z. (2015). Rethinking constructed action. Sign Language & Linguistics 18:2, De BEUZEVILLE, L., Johnston, T. & Schembri, A. (2009). The use of space with indicating verbs in Australian Sign Language: A corpus-based investigation. Sign Language & Linguistics 12:1, ENGBERG-Pedersen, E. (2015). Perspective in signed discourse: the privileged status of the signer's locus and gaze. Open Linguistics 1, Ferrara, L. & Johnston, T. (2014). Elaborating Who's What: A Study of Constructed Action and Clause Structure in Auslan (Australian Sign Language), Australian Journal of Linguistics 34:2, HERRMANN, A. & Steinbach, M. (2012). Quotation in sign languages: A visible context shift. Teoksessa I. van Alphen & I. Buchstaller (toim.), Quotatives: Cross-linguistic and cross-disciplinary perspectives, Amsterdam: John Benjamins. METZGER, M. (1998). Eye gaze and pronominal reference in American Sign Language. Teoksessa C. Lucas (toim.), Pinky extension and eye gaze: Language use in deaf communities, Washington, DC: Gallaudet University Press.

32 Otos S-KT 1. Vii&ojat Yhteensä 5 äidink. vii/ojaa (3 miestä, 2 naista) Ikähaarukka n vuo/a Silmänliikelai/eisto 2. Sisältö Ferdinand-sarjakuvien kerronta (16 stripin sed) 5 sarjakuvaa per vii/oja "Viito seisoen mahdollisimman eläväsg parille." 3. Sta2s2ikkaa Yht. 25 sarjakuvastakerrontaglanne/a Tarinoiden yhteiskesto 13 min. ja 32 sek. Silmänliikedatan kokonaismäärä n. 5 milj. merkkiä 4. Silmädatan ja videoiden synkronoin2 Viitepisteenä nyökkäys jokaisen tarinan alussa Videopohjainen synkronoing ELANissa Laskennallinen tarkkuus ruutua 5. Jatkokäsi&ely ELANissa PerusannotoinG vii/oma- ja käännöstasoilla Konstruoidun toiminnan monitasoinen annotoing Kuvaajiksi visualisoitu silmänliikedata Räpäytykset, sakkadit ja katseen suunta (x, y) 6. Analyysi ELANissa Tarinoiden ensimm. KT sekä tarinoiden kaikki KT Konstruoidun toiminnan alut (solu +/ -2 ruutua)

33 Konstruoidun toiminnan tyyppien jakauma otoksessa Tarinoiden ensimmäinen konstruoidun toiminnan jakso (N=25) Tarinoiden kaikki konstruoidun toiminnan jaksot (N=274) 60% 56% 60% 50% 40% 50% 40% 42,50% 42% 30% 20% 20% 24% 30% 20% 15,50% 10% 10% 0% 0% Overt Vahva CA Reduced Osi>ainen CA Subtle HeikkoCA Overt Vahva CA Reduced Osi>ainen CA Subtle HeikkoCA

34 Silmän toiminta tarinoiden ensimmäisen KT-jakson alussa (N=25) Vahva Osittainen Heikko Katse on annotoitu arvolla enac%ng 100% 93% 33% Katseen suunta muuttuu solun rajalla 100% 71% 33% Räpäytys tai silmien sulkeutuminen juuri ennen solua 100% 57% 17% Nopea silmänliike eli sakkadi juuri ennen solua 0% 29% 50% Sakkadi juuri ennen solunalkuista räpäytystä 40% 21% 0% Räpäytys juuri ennen solunalkuista sakkadia N/A 7% 0% Prominentti vertikaalinen katseen suunnan muutos 40% 50% 33% Prominentti horisontaal. katseen suunnan muutos 20% 21% 17%

35 Silmän toiminta tarinoiden kaikkien KT-jaksojen alussa (N=274) Katseen annotoin* arvolla enac%ng 100% vahvasta konstruoidusta toiminnasta on annotoitu arvolla enac%ng. 94% osi4aisesta konstruoidusta toiminnasta on annotoitu arvolla enac%ng. 50% heikosta konstruoidusta toiminnasta on annotoitu arvolla enac%ng. Tulokset ovat iden8sia tarinoiden ensimmäisten KT-jaksojen analyysin pohjalta saatujen tulosten kanssa. Räp. tai silmien sulkeut. juuri ennen solua 61% vahvasta konstruoidusta toiminnasta alkoi räpäytyksellä tai silmien sulkeutumisella. 50% osi4aisesta konstruoidusta toiminnasta alkoi räpäytyksellä tai silmien sulkeutumisella. 30% heikosta konstr. toiminnasta alkoi räpäytyksellä tai silmien sulkeutumisella. Tulokset ovat saman suuntaisia tarinoiden ensimmäisten KT-jaksojen analyysin pohjalta saatujen tulosten kanssa.

36 Tulosten yhteenveto Konstruoidun toiminnan tyyppejä luonneh4i otoksessa erilainen katseen ja silmien toiminta, jota voidaan käy8ää apuna tyyppien tarkemmassa määri8elyssä: Vahva konstruoitu toiminta: Katse edustaa aina hahmon katse8a (so. katse on annotoitu arvolla enac%ng). Vahvaa konstruoitua toimintaa edeltää lähes pakollises4 jonkinlainen katkos katseessa (räpäytys, silmien sulkeutuminen, sakkadi tai muu katseen suunnan muutos), joka implikoi, e8ä vahvaa konstruoitua toimintaa edeltää kons4tuen>raja. Osi0ainen konstruoitu toiminta: Katse edustaa suurimmassa osassa tapauksia hahmon katse8a (so. katse on annotoitu suurimmassa osassa tapauksia arvolla enac%ng). Osi8aista konstruoitua toimintaa edeltää usein jonkinlainen katkos katseessa (räpäytys, silmien sulkeutuminen tai sakkadi), joka implikoi, e8ä osi8aista konstruoitua toimintaa edeltää usein kons4tuen>raja. Heikko konstruoitu toiminta : Katse edustaa sa8umanvaraises4 hahmon katse8a (so. katse on annotoitu puolessa tapauksia arvolla enac%ng). Heikkoa konstruoitua toimintaa ei tyypillises4 edellä katkosta katseessa, ja jos edeltää, se ei tyypillises4 ole räpäytys. Katseen ja silmien toiminta ei ole luote8ava vihje heikon konstruoidun toiminnan alkamisesta.

37 Pään ja ylävartalon liikkuminen konstruoidussa toiminnassa Miten pään ja ylävartalon liikkuminen riippuu konstruoidusta toiminnasta ja sen tyypeistä? Jantunen, T., Burger, B. & Puupponen, A. (arvioitavana). The kinemabcs of constructed acbon in sign language narrabon: A mobon capture study. Esitelmäehdotus tapahtumaan 51st Annual Mee-ng of the Societas Linguis-ca Europaea (SLE 2018), joka järjestetään 29. elokuuta 1. syyskuuta 2018 Tallinnassa, Virossa.

38 Pään ja ylävartalon liikkuminen vii2omakielissä ja osana konstruoitua toimintaa Pää ja ylävartalo kykenevät sekä itsenäiseen e1ä yhteiseen toimintaan. Pää liikkuu ylävartaloa enemmän, ja päällä tuotetaan myös enemmän dis:nk:ivisiä liiketyyppejä kuin ylävartalolla. Liikkeen kompleksisuus korreloi posi:ivises: funk:on kompleksisuuden kanssa. Koko kehon liikkuminen implikoi konstruoitua toimintaa, ja tällöin päällä ja ylävartalolla on sama esi1ävä funk:o. Joidenkin päänliiketyyppien kuten nyökkäysten esiintyvyys korreloi posi:ivises: peruskerronnan kanssa; nyökkäykset rytmi1yvät etenkin kons:tuenarajojen kanssa. Pään ja ylävartalon liikkeet ovat aina jollain tasolla kohesiivisia, mu1a konstruoidun toiminnan yhteydessä ne sitovat yhteen diskurssitason jaksoja kun taas peruskerronnassa ne sitovat yhteen lausetasoisia jaksoja. Pään ja ylävartalon liikkeissä on paljon yksilökohtaista variaa:ota; pään ja ylävartalon liikkuminen konstruoidussa toiminnassa ei ole ennalta määrä1yä vaan riippuu :lanteesta ja esite1ävän hahmon toiminnasta. CORMIER, K., Smith, S. & Sevcikova Sehyr, Z. (2015). Rethinking constructed action. Sign Language & Linguistics 18:2, JANTUNEN, T. (2017). Constructed action, the clause and the nature of syntax in Finnish Sign Language. Open Linguistics, 3, PUUPPONEN, A. (2018). The Relationship between Movements and Positions of the Head and the Torso in Finnish Sign Language. Sign Language Studies 18(2), PUUPPONEN, A. & Jantunen, T. (2017). Head movements, body movements and constructed action in FinSL narratives. Esitelmä konferenssissa Language as a form of action, joka järjestettiin Roomassa kesäkuuta 2017.

39 Otos PK-KT 1. Vii&ojat Yhteensä 5 äidink. vii/ojaa (3 miestä, 2 naista) Ikähaarukka n vuo/a Liikekaappauslai/eisto 2. Sisältö Ferdinand-sarjakuvien kerronta (16 stripin sed) 3 sarjakuvaa per vii/oja "Viito seisoen mahdollisimman eläväsg parille." 3. Sta2s2ikkaa Yht. 15 sarjakuvastakerrontaglanne/a Videoiden yhteiskesto n. 10 min. ja 45 sek. Liikedatan kokonaismäärä n. 500 milj. merkkiä 4. Liikedatan käsi&ely ELANissa Video- ja nyökkäyspohjainen synkronoing videoruudun tarkkuudella; annotoing Liikedataan liitetyn ruutunumerogedon ekstrakgo soluihin kohdistetuiksi annotaagoiksi. Lopullisen otoksen rajaus (yht. 137 kestoltaan yhteismitallista erityyppistä KT- ja ei-kt -solua) 5. Analyysi Matlabissa ja SPSSsässä Lopullisen otoksen liikedatan muunnos Muu/ujina pään ja ylävartalon liike- ja kiertoalue sekä nopeuden ja kiihtyvyyden määrä; esiintymien ja tyyppien keskiarvot Kruskal Wallis -tesg ja monivertailut

40 Ruutunumero)edon ekstrak)o ELANissa

41 Liikekaappausdatan muunnos Matlabissa Markkeridata Niveldata Neljä erillistä markkeria pään yläosassa (1 4) Pään yläosan markkereista johdecu nivel (10). Useita erillisiä markkereita eri kohdissa ylävartaloa (6 13). Kaksi erillistä markkeria kum- massakin ranteessa (16 19) Ylävartalon markkereista johde- tut nivelet (1, 8, 9, 11 ja 15). Ranteen markkereista johdetut nivelet (13 ja 17) BURGER, B. & Toiviainen, P. (2013). MoCap Toolbox: A Matlab toolbox for computayonal analysis of movement data. Teoksessa R. Bresin (toim.), Proceedings of the 10th Sound and Music Compu9ng Conference, ). Stockholm, Sweden.

42 Riippuvat muu*ujat Pään liikkuminen Pään horisontaalinen liikealue (engl. bounding rectangle) Pään kiertoliikkeen alue (engl. rota/on range) Pään liikkeen vauh1 (engl. velocity magnitude) Pään liikkeen kiihtyvyys (engl. accelera/on magn.) Ylävartalon liikkuminen Vartalon ylä-, keski- ja alaosan horisontaalinen liikealue Vartalon yläosan kiertoliikkeen alue Vartalon ylä- ja keskiosan liikkeen vauh1 Vartalon ylä- ja keskiosan kiihtyvyys Riippuvia muuyujia tarkastellaan suhteessa riippumayomiin muuyujiin, jotka ovat: peruskerronta (so. ei konstruoitua toimintaa; lopullisen otoksen N=56), heikko konstruoitu toiminta (N=19), osi6ainen konstruoitu toiminta (N=34) ja vahva konstruoitu toiminta (N=28). BURGER, B., Saarikallio, S., Luck, G., Thompson, M.R. & Toiviainen, P. (2013). Rela/onships between perceived emo/ons in music and music-induced movement. Music Percep/on 30(5), BURGER, B. & Toiviainen, P. (2013). MoCap Toolbox: A Matlab toolbox for computatonal analysis of movement data. Teoksessa R. Bresin (toim.), Proceedings of the 10th Sound and Music Compu/ng Conference, ). Stockholm, Sweden.

43 Tulokset * Populaa=ot, joissa on merkitseviä eroja: Pään horisont. liikealue (m 2 ) Vartalon yläosan horisont. liikealue (m 2 ) Vartalon keskiosan horisont. liikealue (m 2 ) Vartalon alaosan horisont. liikealue (m 2 ) Pään kierron alue (index) Vartalon yläosan kierron alue (index) Pään liikkeen vauhti (mms) Vartalon yläosan liikkeen vauhti (mms) Vartalon keskiosan liikkeen vauhti (mms) Pään liikkeen kiihtyvyys (mms 2 ) Vartalon yläosan liikkeen kiihtyvyys (mms 2 ) Vartalon keskiosan liikkeen kiihtyvyys (mms 2 ) Peruskerr. 0,0014 0,0007 0,0003 0,0003 1,177 0, ,0 93,2 49,5 1085,8 986,3 447,7 Heikko 0,0011 0,0006 0,0001 0,0001 0,772 0, ,2 88,1 43,3 1174,0 886,6 439,7 Osittainen 0,0048 0,0023 0,0005 0,0004 0,932 0, ,8 133,6 66,4 1782,1 1160,1 497,0 Vahva 0,0040 0,0027 0,0011 0,0010 1,088 0, ,7 165,3 90,0 1877,5 1561,8 745,5 MuuFujaparit, joiden väliset erot ovat merkitseviä: Per. Os. Per. Vahv. Per. Heik. Per. Os. Per. Os. Per. Vahv. Heik. Vahv. Heik. Vahv. Per. Vahv. Per. Vahv. Heik. Vahv. * Tulokset on ilmoitettu päätaulukossa keskiarvoina. Tilastollinen merkitsevyys on arvioitu Kruskal Wallis-testillä käyttäen merkitsevyystasoa.05.

44 Tulosten yhteenveto Pään ja ylävartalon liikkumisessa on merkitseviä eroja ensisijaisesti perinteisen kerronnan ja konstruoidun toiminnan vahvimpien asteiden välillä sekä heikon ja vahvan konstruoidun toiminnan välillä; poikkeuksena pään kääntöliike, jossa merkitsevä ero peruskerronnan ja heikon konstruoidun toiminnan välillä. Tulokset tukevat ja tarkentavat aikaisempia tuloksia, ja niiden perusteella voidaan tehdä kolme yleistystä, jotka vahvistavat käsitystä konstruoidusta toiminnasta jatkumoluonteisena ilmiönä: Yleistys 1: Mitä vahvempaa konstruoitu toiminta on, sitä laajemmalla horisontaalisella alueella pää ja ylävartalo pyrkivät liikkumaan. Yleistys 2: Mitä vahvempaa konstruoitu toiminta on, sitä vauhdikkaampaa ja kiihtyilevämpää pään ja ylävartalon liikkuminen on. Yleistys 3: Pään kääntely heikossa konstruoidussa toiminnassa on minimaalista; pää kääntyilee eniten peruskerronnassa.

45 Ar#kulaa(oreiden toiminnan ajoi(uminen konstruoidussa toiminnassa Miten kädellä, päällä, ylävartalolla ja silmillä tuotetut liikkeet ajoi6uvat konstruoidun toiminnan eri tyypeissä ja perinteisessä kerronnassa? Jantunen, T., Burger, B. & Puupponen, A. (työnalla). What comes first in CA? A mohon capture and eye tracking study on the temporal ordering of arhculatory movement beginnings in transihons from narrahon to constructed achon [työnimi].

46 Taustaksi eri ar,kulaa.oreilla tuote.ujen liikkeiden keskinäinen ajoi.uminen ja konstruoitu toiminta Tavoi&eena on tutkia, miten dominoivalla kädellä, päällä, ylävartalolla ja silmillä tuote&ujen liikkeiden (iskuvaiheiden) alut järjestyvät ajallises: sellaisissa kerronnan kohdissa, joissa vii&ojat vaihtavat kerrontastrategiaansa peruskerronnasta jonkinlaiseen konstruoitua toimintaa sisältävään kerrontaan. Aikaisempaa tutkimusta aiheesta ei ole, mu&a konstruoitua toimintaa koskeva yleinen :eto antaa aiheen ole&aa, e&ä eri ar:kulaa&oreiden ajalliseen järjestymiseen lii&yvä yhteispeli olisi suhteellisen mielivaltaista, koska konstruoidun toiminnan laatu riippuu viime kädessä siitä, mitä vii&oja kullakin konstruoidun toiminnan jaksolla haluaa näy&ää ja näytellä. Toisaalta ontologinen vakaumuksemme ja käy&öpohjaisen viitekehyksen perusoletuksemme antavat aiheen uskoa, e&ä kielellinenkin signaali jäsentyy ar:kulatorisella tasolla jonkinlaisten motoristen perusprinsiippien mukaises:. BYBEE, J.L. & Beckner, C. (2010). Usage-based theory. Teoksessa B. Heine & H. Narrog (toim.), The Oxford Handbook of Linguis5c Analysis, Oxford: Oxford University Press. CORMIER, K., Smith, S. & Sevcikova Sehyr, Z. (2015). Rethinking constructed ac:on. Sign Language & Linguis5cs 18, FERRARA, L. & Johnston, T. (2014). Elabora:ng who's what: A study of constructed ac:on and clause structure in Auslan (Australian Sign Language). Australian Journal of Linguis5cs 34,

47 Otos AA-KT 1. Vii&ojat Yhteensä 2 äidinkielistä vii/ojaa (2 miestä) Ikähaarukka n vuo/a Liikekaappaus- ja silmänliikeseurantalai/eisto 2. Sisältö Ferdinand-sarjakuvien kerronta (16 stripin sec) 3 4 sarjakuvaa per vii/oja "Viito seisoen mahdollisimman eläväsf parille." 3. Sta2s2ikkaa Yhteensä 7 sarjakuvastakerrontaflanne/a Videoiden yhteiskesto n. 5 min. Liikedataa n. 200 milj. & silmädataa n. 1 milj. merk. 4. Datan käsittely ELANissa Video- ja nyökkäyspohjainen synkronointi videoruudun tarkkuudella; annotointi Siirtymäjaksojen annotointi (+/-50 liikekaap. ruutua) ja ruutunumerotiedon ekstraktio Lopullisen otoksen rajaus (yht. 4x10 yhteismitallista KT- ja ei-kt -jaksoa) 5. Käsittely ja analyysi Matlabissa ja Excelissä Liikedatan autom. synkronointi ja muunnos; vauhti Paikallisten minimien ja maksimien identifiointi lopullisesta otoksesta; graaf. kuvaajien analyysi 2 artikulaattorin keskinäisen järj. vertailu; välitön ympäristö; frekvenssiperustainen pisteytys

48 Synkronoin( ja graafisten kuvaajien analyysi r*i Gaze x-axis Gaze y-axis $1,ìt. *> o g f":- h ø" nl G t l.la**<-<,i,,'ïnl"íaç 4 Gaze y-axis 7 od a{uç 7A ,?/ 1 I b,s-? HeadFL marker speed Chest marker speed o HeadFL marker speed nå \^9 q4 'e f r Chest marker speed fl FingerR marker speed þ ü t { FingerR marker speed Ò I å 5 ô 1*r \ a, À t' r((òu r6ruì ç l.e.l t.c. I ' I PrTCÀ t ( rale- ;r'4 s{rnþ<. L,e1i^ n*- 4v-4/on,/ r4-/*. êe7-*.7,/o*/ 2 8Z*'i4- - C/,-c l, //.*."l"fy;-- BURGER, B., Puupponen, A. & Jantunen, T. (viimeistelyssä). Synchronizing eye tracking and opfcal mofon capture: How to bring them together. Julkaistavaksi tarjolu käsikirjoitus, Journal of Eye Movement Research.

49 Tes$t 1. Kahden ar+kulaa/orin keskinäisen järjestyksen vertailu Selvitetään jokaisen ar+kulaa/orin osalta milloin sillä tuote/u liike alkaa ennen ja jälkeen jokaisella muulla ar+kulaa/orilla tuote/ua liike/ä [parivertailu]. 2. Väli/ömän ympäristön tarkastelu Selvitetään kaikilla ar+kulaa/oreilla tuote/ujen liikkeiden alkujen osalta millä ar+kulaa/oreilla tuote/ujen liikkeiden alut väli/ömäs+ edeltävät ja seuraavat niitä [peruskonkordanssi]. 3. Pisteytys frekvenssien perusteella Pisteytetään ar+kulaa/orit sen mukaan miten usein niillä tuote/u liike alkaa ensimmäisenä, toisena, kolmantena jne. ["maailmankuppi"].

50 Tulokset 1 Kahden ar2kulaa3orin keskinäisen järjestyksen vertailu a = pää, konstruoituun toimintaan (tai yleisemmin viito4uun jaksoon) lii4yvän pään liikkeen aloitus b = silmien sulkeutuminen, hetki, jolloin silmät alkavat sulkeutua konstruoidun toiminnan (tai yleisemmin viitotun jakson) läheisyydessä c = katse, katseen suunnanmuutoshetki, jolloin katse alkaa edustaa näyteltävän hahmon katse4a d = ylävartalo, konstruoituun toimintaan (tai yleisemmin viito4uun jaksoon) lii4yvän ylävartalon liikkeen aloitus e = dominoiva käsi, konstruoituun toimintaan (tai yleisemmin viito4uun jaksoon) lii4yvän dominoivan käden liikkeen iskuvaiheen aloitus a>b a>c a>d a>e b>a b>c b>d b>e c>a c>b c>d c>e d>a d>b d>c d>e e>a e>b e>c e>d Kaikki KT 42 % 67 % 83 % 78 % 58 % 92 % 68 % 88 % 33 % 8 % 50 % 59 % 17 % 26 % 44 % 70 % 22 % 12 % 41 % 30 % Vahva KT 50 % 78 % 90 % 90 % 50 % 100 % 88 % 100 % 22 % 0 % 44 % 56 % 10 % 0 % 44 % 80 % 10 % 0 % 44 % 20 % Ositt. KT 38 % 67 % 70 % 67 % 63 % 80 % 50 % 71 % 33 % 20 % 50 % 60 % 30 % 50 % 50 % 67 % 33 % 29 % 40 % 33 % Heikko KT * 33 % 33 % 89 % 75 % 67 % 67 % 67 % 67 % 67 % 11 % 33 % 33 % 63 % 25 % 33 % 38 % Ei KT:a * 67 % 86 % 67 % 33 % 67 % 14 % 75 % 33 % 33 % 25 % * = Otoskoko on enemmän kuin 3.

51 Tulokset 2 Väli/ömään ympäristöön perustuva A d B a 6 e 3 a D e 7 d 9 c A d 4 a B d 3 d C e 3 a 3 c A b 3 d B e 2 a C d 3 c D e 3 b E c 2 b A d B c 2 b C a 2 e D a E d 2 b A c 2 e C a 1 a D c 3 d E b 2 b A e B e 2 a 1 b d e 2 b E a 2 e A d 2 d B a 1 e C d 1 a D b 2 a 2 d 2 d 1 d 1 b D c 1 d E c A e C e 1 c 1 a E c 1 d A c 1 d C a 1 d D e 1 c E d A c 1 e C a D c 1 c A e D b E c 1 e 1 a 1 Syöte 1: kaikken frekventeimmät konkordanssit siitä seuraa A tai B Jos A siitä seuraa D Jos B siitä seuraa A Jos D siitä seuraa E Jos E siitä Syöte 2: C:n konkordanssit Jos C siitä ei seuraa B Tuloste: pää / silmien sulkeutuminen > katse (ylävartalo > käsi)'

52 Tulokset 3 Pisteytys frekvenssien perusteella Kaikki KT pää > ylävartalo > silmän sulk. > käsi > katse Vahva KT pää > silmän sulk. > ylävartalo > katse > käsi Osi-. KT pää > ylävartalo > silmän sulk. > käsi > katse Heikko KT pää > ylävartalo > käsi > silmän sulk. > katse Ei KT:a pää > käsi > ylävartalo > silmän sulk. > katse

53 Tulosten yhteenveto Tulosten perusteella näy/ää siltä, e/ä vii/ojien siirtyessä peruskerronnasta konstruoituun toimintaan pään liike alkaa ensin, ja sitä seuraavat ylävartalon liike ja dominoivan käden iskuvaiheen alku; jos siirtymä konstruoituun toimintaan sisältää silmien sulkeutumisliikkeen, niin tämä liike alkaa vasta jossain vaiheessa pään liikkeen alkamisen jälkeen. Lisäksi näy/ää siltä, e/ä ar;kulatoristen liikkeiden alkujen järjestyminen riippuu konstruoidun toiminnan tyypistä: mitä heikompaa konstruoitu toiminta on, sitä aikaisemmin käden liikkeen iskuvaihe alkaa, ja sitä myöhäisemmäksi kaikenlainen silmän toiminta siirtyy. Ar;kulatoristen liikkeiden ajallinen järjestyminen ei ole mielivaltaista, vaan kielii jatkumosta peruskerronnan ja konstruoidun toiminnan eri asteiden välillä.

54 Epilogi: Fonee,sen näkökulman an4 hybridisysteemiaja<elulle Miten epäkonven,onaalisuus ja hämärärajaisuus ilmenevät fonee6ses,?

55 Epäkonven)onaalisuus ja hämärärajaisuus fone)ikassa * Diskreetti/konventionaalinen Silmän toiminta Räpäytykset kons,tuen.rajoilla Pään liikkuminen Liikkuminen pienehköllä alalla ja suhteessa tasaisen hidasta; runsaahkos, kääntelyä Ylävartalon liikkuminen Vähäistä; liikkuminen pienehköllä alalla ja suhteessa tasaisen hidasta Liikkeiden ajoitus Päävetoista; käden rooli korostuu, ja silmän rooli on suhteessa vähäinen Silmän toiminta Hahmon katse Pään liikkuminen Liikkuminen laajahkolla alalla ja suhteessa äkkinäistä ja nopeaa Ylävartalon liikkuminen Runsaahkoa; liikkuminen laajahkolla alalla ja suhteessa äkkinäistä ja nopeaa Liikkeiden ajoitus Päävetoista; silmän rooli korostuu, ja käden rooli on suhteessa vähäinen Hämärärajainen/epäkonven:onaalinen * Työversio, muutokset mahdollisia.

56 Kurssin ko*hakemisto: h1p://users.jyu.fi/~tojantun/opetus/svks1010_kl18/