Kurkotellen kohti kielioppia

Transkriptio

1 XLIII Kieli?eteen päivät, hotelli- ravintola LasareC, Oulu, 25. toukokuuta 2016 Kurkotellen kohti kielioppia Miten syntaksia on venyte-y suomalaisen vii-omakielen tutkimuksessa? Tommi Jantunen Jyväskylän yliopisto, kielten laitos, vii-omakielenkeskus

2 Ihmisiä & instituutioita JY (ProGram) Ou? Pippuri Tuija Wainio Saija Kuronen JY Ritva Takkinen Anna Puupponen Danny De Weerdt Sanna Nordlund Juhana Salonen Elina Tapio AnC Kronqvist Jarkko Keränen Henna Syrjälä Aalto (CoBaSiL) Jorma Laaksonen Ville Viitaniemi, MaC Karppa, Marcos Luzardo Tukholman yliopisto Johanna Mesch Musiikin JY Birgi-a Burger Kuurojen LiiBo ry Leena Savolainen & Co. Helsingin yliopisto (NoCats) Kaius Sinnemäki

3 Rahoitusta & projekteja Suomen Akatemia 3Bats Vii-oma, tavu ja lause (JY, ) CoBaSiL Vii-omakielisten videoiden analyysi (Aalto, ) ProGram Vii-omakielen kielioppi ja prosodia (JY, ) NoCats Substan?ivikategorioiden typologiaa (HY, ) Jyväskylän yliopisto CFINSL Suomen vii-omakielten korpusprojek? MoCap- musiikin laitos Väitöskirjaprojekteja & apurahoja Puupponen (EAS), De Weerdt, Nordlund (Kone)

4 Kielenkäyttäjät

5 Viittomakielen tutkimus Suomessa Fone?ikka Teknologia Mul?modaalisuus Historia Syntaksi Ope-aminen & oppiminen Nimistö Omaksuminen (fonologia) Sanakirjatyö Fonologia & morfologia

6 Viittomakielen syntaksin tutkimus Fone?ikka Teknologia Mul?modaalisuus Historia Syntaksi Ope-aminen & oppiminen Nimistö Omaksuminen (fonologia) Sanakirjatyö Fonologia & morfologia

7 Viittomakielen syntaksin tutkimus FunkKonalismi (Eurooppa & Australia) Videokorpukset Hämärärajaiset kategoriat Eleen ja kielen tarkastelu yhdessä Fone?ikka Teknologia Mul?modaalisuus Syntaksi Ope-aminen & oppiminen Formalismi (Yhdysvallat) Elisitaa?omenetelmät Universaalit kategoriat Eleen ja kielen?ukka ero-elu Nimistö Omaksuminen (fonologia) Historia Fonologia & morfologia Sanakirjatyö

8 Viittomakielen SuomalainenS syntaksin tutkimus FunkKonalismi (Eurooppa & Australia) Videokorpukset Hämärärajaiset kategoriat Eleen ja kielen tarkastelu yhdessä Fone?ikka Teknologia Mul?modaalisuus Formalismi (Yhdysvallat) Elisitaa?omenetelmät Universaalit kategoriat Eleen ja kielen?ukka ero-elu FunkKonalismi Elisitaa?o & videokorpukset Koh? hämärärajaisia kategorioita Eleen ja kielen tarkastelu yhdessä Nimistö Omaksuminen (fonologia) Historia Syntaksi Ope-aminen & oppiminen Fonologia & morfologia Sanakirjatyö

9 Transitiivinen tilanne SyntakKnen taso: NAINEN A- argumenc MIES P- argumenc!lanteen ak!ivisempi osallistuja!lanteen passiivisempi osallistuja SemanMnen taso: tekijä kohde

10 Transitiivilauseiden järjestyksiä Laboratoriolauseet AVP NAINEN VIDEOIDA MIES 'Nainen videoi miestä' AVP APV OPETTAJA POIKA+B- OS SELITTÄÄ 'Ope-aja seli-ää pojalle' AVP APV?PAV KIRJA OS- 1 ETSIÄ 'Minä etsin kirjaa' Teks?lauseet JANTUNEN, T. (2008). Fixed and free: order of the verbal predicate and its core arguments in declara?ve transi?ve clauses in Finnish Sign Language. SKY Journal of Linguis!cs 21,

11 AV- studio JY:ssa PUUPPONEN, A.; Jantunen, T.; Takkinen, R.; Wainio, T. & Pippuri, O. (2014). Taking non- manuality into account in collec?ng and analyzing Finnish Sign Language video data. In Proceedings of the 6th Workshop on the Representa!on and Processing of Sign Languages: Beyond the Manual Channel, pp Paris: ELRA. SALONEN, J., Takkinen, R., Puupponen, A., Nieminen, H. & Pippuri, O. (2016). Crea?ng Corpora of Finland s Sign Languages. To appear in Proceedings of the 7th Workshop on the Representa!on and Processing of Sign Languages: Corpus Mining. Paris: ELRA.

12 Monikuvakulmainen videoaineisto (25 t) JANTUNEN, T.; Pippuri, O.; Wainio, T. & Puupponen, A. (2016). Annotated video corpus of FinSL with Kinect and computer- vision data. To appear in Proceedings of the 7th Workshop on the Representa!on and Processing of Sign Languages: Corpus Mining. Paris: ELRA. SALONEN, J., Takkinen, R., Puupponen, A., Nieminen, H. & Pippuri, O. (2016). Crea?ng Corpora of Finland s Sign Languages. To appear in Proceedings of the 7th Workshop on the Representa!on and Processing of Sign Languages: Corpus Mining. Paris: ELRA.

13 Syntaktisesti annotoitu korpus (45 min) JANTUNEN, T.; Pippuri, O.; Wainio, T. & Puupponen, A. (2016). Annotated video corpus of FinSL with Kinect and computer- vision data. To appear in Proceedings of the 7th Workshop on the Representa!on and Processing of Sign Languages: Corpus Mining. Paris: ELRA. KERÄNEN, J., Syrjälä, H., Salonen, J. & Takkinen, R. (2016). The Usability of the Annota?on. To appear in Proceedings of the 7th Workshop on the Representa!on and Processing of Sign Languages: Corpus Mining. Paris: ELRA.

14 Korpusnäkökulma (A V P) Jantunen, T. (in prepara?on). Pa-erns of clause- based and gesture- based syntax in FinSL (provisional?tle).

15 Korpusnäkökulma (A V) JANTUNEN, T. (in prepara?on). Pa-erns of clause- based and gesture- based syntax in FinSL (provisional?tle).

16 Korpusnäkökulma (V P) JANTUNEN, T. (in prepara?on). Pa-erns of clause- based and gesture- based syntax in FinSL (provisional?tle).

17 WALS DRYER, Ma-hew S. & Haspelmath, Mar?n (2013) (toim.). The World Atlas of Language Structures Online. Leipzig: Max Planck Ins?tute for Evolu?onary Anthropology. (Verkkojulkaisu, h-p://wals.info, lue-u )

18 Ellipsi lausetasolla JANTUNEN, T. (2013). Ellipsis in Finnish Sign Language. Nordic Journal of Linguis!cs 36(3), JANTUNEN, T. (submi-ed). Ellip?cal phenomena in Finnish Sign Language. In J. van Craenenbroeck & T. Temmerman (Eds.), The Oxford Handbook of Ellipsis, in prepara?on for publica?on with Oxford University Press. December JANTUNEN, T. (in prepara?on). Pa-erns of clause- based and gesture- based syntax in FinSL (provisional?tle).

19 Ellipsi transitiivirakenteissa Poisjätön tyyppi N % A- argumen?n poisjä-ö P- argumen?n poisjä-ö Joko A- tai P- argumen?n poisjä-ö Sekä A- e-ä P- argumen?n poisjä-ö Taulukko 1. YdinargumenCen poisjä-ö suomalaisen vii-oma- kielen transi?ivirakenteissa (N=381). JANTUNEN, T. (submi-ed). Ellip?cal phenomena in Finnish Sign Language. In J. van Craenenbroeck & T. Temmerman (Eds.), The Oxford Handbook of Ellipsis, in prepara?on for publica?on with Oxford University Press. December JANTUNEN, T. (in prepara?on). Pa-erns of clause- based and gesture- based syntax in FinSL (provisional?tle). WULF, Alyssa; Dudis, Paul; Bailey, Robert & Lucas, Ceil (2002). Variable subject presence in ASL narra?ves. Sign Language Studies 3(1),

20 Ellipsi & diskurssi- orientaatio Video rivi 1: SELLAINEN / rivi 2: MINÄ LENTÄÄ- SINNE Ø PYSYÄ- SIELLÄ / rivi 3: Ø TAVATA SIELLÄ / rivi 4: DALLAS d- a- l- l- a(- s) LENTOKENTTÄ SIELLÄ / rivi 5: Ø TAVATA Eli minä lensin sinne ja jäin sinne. Tapasin siellä Siellä Dallasin lentokentällä Tapasin siellä (tämän kansainvälisistä asioista vastaavan henkilön.) JANTUNEN, T. (2013). Ellipsis in Finnish Sign Language. Nordic Journal of Linguis!cs 36(3), JANTUNEN, T. (submi-ed). Ellip?cal phenomena in Finnish Sign Language. In J. van Craenenbroeck & T. Temmerman (Eds.), The Oxford Handbook of Ellipsis, in prepara?on for publica?on with Oxford University Press. December McSHANE, Marjorie J. (2005). Theory of Ellipsis. Oxford: OUP.

21 Lauseita vai eleitä? Video Hän saa idean, kävelee uunin luo ja kerää mukaansa kasan hiiliä. Hän lai-aa ne lumiukolle silmiksi ja suuksi. Hän katsoo tekele-ään ja on oikein tyytyväinen. Jyväskylän yliopisto, vii-omakielenkeskus: ProGram- aineisto, lumiukko- ja sammakkotarinat (2016) [videokorpus].

22 Ele JA kieli Kokonaisuus määrää merkityksen Yksi muoto, eri merkityksiä Ei kombinatorista Osat määräävät merkityksen Yksi muoto, yksi merkitys Kombinatorista EMMOREY, K. (1999). Do signers gesture? In Lynn S. Messing & Ruth Campbell (eds.), Gesture, Speech, and Sign, New York: Oxford University Press. McNEILL, D. (1992). Hand and mind: What gestures reveal about thought. Chicago and London: The University of Chicago Press.

23 Ele OSANA kieltä Ikonisuus (Epä)konven?onaalisuus Hämärärajaisuus + OKRENT, A. (2002). A modality- free no?on of gesture and how it can help us with the morpheme vs. gesture ques?on in sign language linguis?cs (or at least give us some criteria to work with). In Richard P. Meier, Kearsy Cormier & David Quinto- Pozos (eds.), Modality and structure in signed and spoken languages, Cambridge: Cambridge University Press.

24 Tyypin 3 verbaalit Tyypin 3 verbaalit koodaavat toimintoihin ja?loihin lii-yviä merkityksiä, ja lisäksi ne kuvaavat merkityksiensä?e-yjä ulo-uvuuksia (Liddell 2003: 261). Käden paikka, orientaa?o ja liike ovat visuaaliseen mielikuvaan yhteydessä olevia analogisia ja hämärärajaisia ominaisuuksia. Syntak?ses? tyypin 3 verbaalit ovat itsenäisiä lauseita. EMMOREY, K. & Hertzig, M. (2003). Categorial Versus Gradient Proper?es of Classifier Construc?ons in ASL. In Karen Emmorey (ed.), Perspec!ves on Classifier Construc!ons in Sign Languages, Mahwah, New Jersey; London: Lawrence Erlbaum Associates. JANTUNEN, T. (2013). Ellipsis in Finnish Sign Language. Nordic Journal of Linguis!cs 36(3), LIDDELL, S. K. (2003). Grammar, Gesture, and Meaning in American Sign Language. Cambridge: Cambridge University Press.

25 Konstruoitu toiminta ja dialogi Konstruoitu toiminta ja dialogi ovat elepohjaista näybelemistä, jota käytetään kaikentyyppisten vii-omien kanssa komposiiclauseiden luomiseen, esimerkiksi: POIKA KATSOA Ø Ø konstruoitu toiminta:( antaa olla ) Poika katseli haukkuvaa koiraa ja aja-eli, e-ä äh, antaa olla. FERRARA, L. & Johnston, T. (2014). Elabora?ng Who's What: A Study of Constructed Ac?on and Clause Structure in Auslan (Australian Sign Language). Australian Journal of Linguis!cs 34:2, JANTUNEN, T. (submi-ed). Ellip?cal phenomena in Finnish Sign Language. In J. van Craenenbroeck & T. Temmerman (Eds.), The Oxford Handbook of Ellipsis, in prepara?on for publica?on with Oxford University Press. December LIDDELL, Sco- K. (2003). Grammar, gesture, and meaning in ASL. Cambridge: CUP. LUKASCZYK, Ulrika (2008). SANOTTUA, AJATELTUA JA TEHTYÄ. Referoin? kolmessa suomalaisella vii-omakielellä tuotetussa fik?ivisessä kertomuksessa. MA thesis in Pedagogics, Ins?tute of Teacher Educa?on, University of Jyväskylä.

26 Tyypin 3 verbaalit narratiiviaineistossa JANTUNEN, T.; Pippuri, O.; Wainio, T. & Puupponen, A. (2016). Annotated video corpus of FinSL with Kinect and computer- vision data. To appear in Proceedings of the 7th Workshop on the Representa!on and Processing of Sign Languages: Corpus Mining. Paris: ELRA. Jyväskylän yliopisto, vii-omakielenkeskus: ProGram- aineisto, lumiukko- ja sammakkotarinat (2016) [videokorpus].

27 Konstruoitu toiminta narratiiviaineistossa A B C D E Konstruoidun toiminnan osuus 16% 28% 30% 41% 53% Rakenteeltaan vajaiden verbaalikeskiöisten lauseiden osuus 57% 50% 57% 59% 29% Tyypin 3 verbaaleiden ympärille muodostuvien lauseiden osuus 17% 21% 26% 13% 45% Lauserinnastukseen tai - ketjutukseen osallistuvien predikaamen osuus 30% 39% 34% 44% 71% KomplemenMlauseiden ja upotebujen lauseiden määrä Taulukko 2. Konstruoidun toiminnan vaikutus lauserakenteeseen viiden vii-ojan (A E) tuo-amissa sammakkotarinoissa (engl. Frog, where are you?). FERRARA, L. & Johnston, T. (2014). Elabora?ng Who's What: A Study of Constructed Ac?on and Clause Structure in Auslan (Australian Sign Language). Australian Journal of Linguis!cs 34:2, JANTUNEN, T.; Pippuri, O.; Wainio, T. & Puupponen, A. (2016). Annotated video corpus of FinSL with Kinect and computer- vision data. To appear in Proceedings of the 7th Workshop on the Representa!on and Processing of Sign Languages: Corpus Mining. Paris: ELRA. JANTUNEN, T. (in prepara?on). Pa-erns of clause- based and gesture- based syntax in FinSL (provisional?tle). Jyväskylän yliopisto, vii-omakielenkeskus: ProGram- aineisto, lumiukko- ja sammakkotarinat (2016) [videokorpus].

28 Konstruoitu toiminta narratiiviaineistossa A B C D E Konstruoidun toiminnan osuus 16% 28% 30% 41% 53% Rakenteeltaan vajaiden verbaalikeskiöisten lauseiden osuus 57% 50% 57% 59% 29% Tyypin 3 verbaaleiden ympärille muodostuvien lauseiden osuus 17% 21% 26% 13% 45% Lauserinnastukseen tai - ketjutukseen osallistuvien predikaamen osuus 30% 39% 34% 44% 71% KomplemenMlauseiden ja upotebujen lauseiden määrä Taulukko 2. Konstruoidun toiminnan vaikutus lauserakenteeseen viiden vii-ojan (A E) tuo-amissa sammakkotarinoissa (engl. Frog, where are you?). FERRARA, L. & Johnston, T. (2014). Elabora?ng Who's What: A Study of Constructed Ac?on and Clause Structure in Auslan (Australian Sign Language). Australian Journal of Linguis!cs 34:2, JANTUNEN, T.; Pippuri, O.; Wainio, T. & Puupponen, A. (2016). Annotated video corpus of FinSL with Kinect and computer- vision data. To appear in Proceedings of the 7th Workshop on the Representa!on and Processing of Sign Languages: Corpus Mining. Paris: ELRA. JANTUNEN, T. (in prepara?on). Pa-erns of clause- based and gesture- based syntax in FinSL (provisional?tle). Jyväskylän yliopisto, vii-omakielenkeskus: ProGram- aineisto, lumiukko- ja sammakkotarinat (2016) [videokorpus].

29 Hierarkinen lauserakenne vs. elepohjainen lauseiden ketjutus Video Niin, tämä... Sä?edät tän... Mä?edän e-ä, mä oon nähny tän aikaisemmin muutaman kerran... Siis e-ä oon nähny tän piirrosohjelman televisiossa tai jossain. Tuli mieleen, e-ä se lii-yy tähän kirjaan todennäköises?. Lumiukko tar-uu poikaa kädestä ja he molemmat kohoavat ilmaan ja lentävät taivaalla ja entäessään he pitävät toisiaan kädestä ja katsovat alas ja he saapuvat ko?in. Jyväskylän yliopisto, vii-omakielenkeskus: ProGram- aineisto, lumiukko- ja sammakkotarinat (2016) [videokorpus].

30 Kehollisuus ASL has been called a manual visual language because (presumably) it is produced by the hands and perceived by the eyes. However, one of the early findings of this work was that there are many cases where facial expression, head posi?on and movement, and body posi?on and movement are significant in forming signals which carry linguis?cs informa?on necessary for an understanding of the structure of ASL u-erances. (Liddell 1980: 10.) LIDDELL, Sco- K. (1980). American Sign Language syntax. Approaches to Semio?cs 52. The Hague: Mouton Publishers

31 Liikekaappaus (mocap) Musiikin laitos (Moni?eteisen musiikintutkimuksen huippuyksikkö), Jyväskylän yliopisto Qualisys MoKon Tracking - järjestelmä, jossa 8 ProReflex MCU120 kameraa (120 Hz)......synkronoitavissa digitaalivideokameroiden kanssa Datan analyysi Matlabissa ja ELANissa. JANTUNEN, T.; Burger, B.; De Weerdt, D.; Seilola, I. & Wainio, T. (2012). Experiences collec?ng mo?on capture data on con?nuous signing. In Proceedings of the 5th Workshop on the Representa!on and Processing of Sign Languages: Interac!ons Between Corpus and Lexicon, organized as a part of LREC 2012 in Istanbul, Turkey, 27 May, 2012.

32 MoCap- aineistoa Video JANTUNEN, Tommi; Burger, Birgi-a; De Weerdt, Danny; Seilola, Irja & Wainio, Tuija (2012). Experiences collec?ng mo?on capture data on con?nuous signing. In Proceedings of the 5th Workshop on the Representa!on and Processing of Sign Languages: Interac!ons Between Corpus and Lexicon, organized as a part of LREC 2012 in Istanbul, Turkey, 27 May, 2012.

33 Tietokonenäkö SLMotion Video KARPPA, M.; Jantunen, T.; Koskela, M.; Laaksonen, J. & Viitaniemi, V. (2011). Method for visualisa?on and analysis of hand and head movements in sign language video. In Proceedings of the 2nd Gesture and Speech in Interac!on conference (GESPIN 2011). Bielefeld, Germany. KARPPA, M.; Viitaniemi, V.; Luzardo, M.; Laaksonen, J. & Jantunen, T. (2014). SLMo?on - An extensible sign language oriented video analysis tool. In Proceedings of the Ninth Interna!onal Conference on Language Resources and Evalua!on (LREC'14), pp Paris: ELRA.

34 SLMotion päänliikeseuranta KARPPA, M.; Viitaniemi, V.; Luzardo, M.; Laaksonen, J. & Jantunen, T. (2014). SLMo?on - An extensible sign language oriented video analysis tool. In Proceedings of the Ninth Interna!onal Conference on Language Resources and Evalua!on (LREC'14), pp Paris: ELRA. LUZARDO, M; Karppa, M.; Laaksonen, J.; Jantunen, T. (2013). Head pose es?ma?on for sign language video. In J.- K. Kamarainen & M. Koskela (Eds.), Image Analysis. 18th Scandinavian Conference, SCIA 2013, Espoo, Finland, June 17-20, Proceedings, pp Lecture Notes in Computer Science, Vol Springer. LUZARDO, M.; Viitaniemi, V.; Karppa, M.; Laaksonen, J. & Jantunen, T. (2014). Es?ma?ng head pose and state of facial elements for sign language video. In Proceedings of the 6th Workshop on the Representa!on and Processing of Sign Languages: Beyond the Manual Channel, pp Paris: ELRA.

35 SLMotion- data ELANissa Video JANTUNEN, T.; Pippuri, O.; Wainio, T. & Puupponen, A. (2016). Annotated video corpus of FinSL with Kinect and computer- vision data. To appear in Proceedings of the 7th Workshop on the Representa!on and Processing of Sign Languages: Corpus Mining. Paris: ELRA. Jyväskylän yliopisto, vii-omakielenkeskus: ProGram- aineisto, lumiukko- ja sammakkotarinat (2016) [videokorpus].

36 Pään kallistusliike lauseiden sidostajana JANTUNEN, T. (2015). Rinnastuksen prosodiaa suomalaisessa vii-omakielessä. Teoksessa M. Leh?nen & U. K. Laine (toim.), XXIX Fone!ikan päivät, Espoo , Julkaisut Papers, Aalto- yliopiston julkaisusarja Tiede+teknologia 7/2015. Helsinki: Aalto- yliopisto. JANTUNEN, T. & De Weerdt, D. (2016). The coordina?on of clauses in Finnish Sign Language. 12th Conference on Theore?cal Issues in Sign Language Research (TISLR 12), Melbourne, Australia, 4 January, JANTUNEN, T. (2016). Clausal coordina?on in Finnish Sign Language. Studies in Language 40(1): JANTUNEN, T.; Mesch, J.; Puupponen, A. & Laaksonen, J. (forthcoming in May 2016). On the rhythm of head movements in Finnish and Swedish Sign Language sentences. To appear in Proceedings of the Speech Prosody 2016, to be organized in Boston (USA), 31 May- 3 June, PUUPPONEN, A. (2012). Horisontaaliset ja ver?kaaliset päänliikkeet suomalaisessa vii-omakielessä, Pro gradu - tutkielma, Jyväskylän yliopisto. PUUPPONEN, A.; Wainio, T.; Burger, B. & Jantunen, T. (2015). Head movements in Finnish Sign Language on the basis of Mo?on Capture data: A study of the form and func?on of nods, nodding, head thrusts, and head pulls. Sign Language & Linguis?cs 18(1), SANDLER, W., I. Meir, S. Dachkovsky, C. Padden & M. Aronoff (2011). The emergence of complexity in prosody and syntax, Lingua 121(13),

37 Pään liikkeet ja lauseiden rytmi Suomalaisen ja ruotsalaisen vii-omakielen lauseiden vertailu. 8+8 syntak?ses? ja semancses? yhteismitallista väitelause-a lumiukkotarinasta (engl. Snowman). SLMo?on analyysi pään liikkeestä kääntö- (yaw), nyökkäys- (pitch) ja kallistusulo-uvuudessa (roll). Pään liikkeen samankaltaisuus kallistusulo-uvuudessa: molemmissa kielissä pään kallistusliike on laajempi lauseen alussa kuin lopussa. JANTUNEN, T., Mesch, J. & Puupponen, A. (2016). Aspects of the rhythm in FinSL and SSL. 12th Conference on Theore?cal Issues in Sign Language Research (TISLR 12), Melbourne, Australia, 6 January, JANTUNEN, T.; Mesch, J.; Puupponen, A. & Laaksonen, J. (forthcoming in May 2016). On the rhythm of head movements in Finnish and Swedish Sign Language sentences. To appear in Proceedings of the Speech Prosody 2016, to be organized in Boston (USA), 31 May- 3 June, 2016.

38 Pään nyökkäysliike & syntaktiset rajat JANTUNEN, T., Mesch, J. & Puupponen, A. (2016). Aspects of the rhythm in FinSL and SSL. 12th Conference on Theore?cal Issues in Sign Language Research (TISLR 12), Melbourne, Australia, 6 January, PUUPPONEN, A.; Jantunen, T. & Mesch, J. (forthcoming in May 2016). The alignment of head nods with syntac?c units in Finnish Sign Language and Swedish Sign Language. To appear in Proceedings of the Speech Prosody 2016, to be organized in Boston (USA), 31 May- 3 June, WILBUR, R. (2000). Phonological and prosodic layering of nonmanuals in ASL. In Emmorey, K. & Lane, H. (Eds.), The signs of language revisited. An anthology to honor Ursula Bellugi and Edward Klima, Mahwah, New Jersey: LEA.

39 Neljän päänliikkeen muoto syvyysulottuvuudessa PUUPPONEN, A.; Wainio, T.; Burger, B. & Jantunen, T. (2015). Head movements in Finnish Sign Language on the basis of Mo?on Capture data: a study of the form and func?on of nods, nodding, head thrusts, and head pulls. Sign Language & Linguis!cs 18(1),

40 Päänliikkeiden muotojen ja funktioiden verkosto PUUPPONEN, A. (2015). FinSL head movements at the interface between gesture and language... or..? Poster presented at the Nonmanuals at the Gesture Sign Interface (NaGSI) - seminar, Georg- August- Universität GöCngen, 9 10 October PUUPPONEN, A.; Wainio, T.; Burger, B. & Jantunen, T. (2015). Head movements in Finnish Sign Language on the basis of Mo?on Capture data: a study of the form and func?on of nods, nodding, head thrusts, and head pulls. Sign Language & Linguis!cs 18(1),

41 Kehon liikkeet ja konstruoitu toiminta A B C D E Konstruoidun toiminnan osuus 16% 28% 30% 41% 53% Erilaisten pään liikkeiden kokonaismäärä Nyökkäysten määrä Erilaisten kehon liikkeiden kokonaismäärä Taulukko 3. Konstruoidun toiminnan vaikutus pään ja kehon liikkumiseen viiden vii-ojan (A E) tuo-amissa sammakkotarinoissa (engl. Frog, where are you?). FERRARA, L. & Johnston, T. (2014). Elabora?ng Who's What: A Study of Constructed Ac?on and Clause Structure in Auslan (Australian Sign Language). Australian Journal of Linguis!cs 34:2, JANTUNEN, T.; Pippuri, O.; Wainio, T. & Puupponen, A. (2016). Annotated video corpus of FinSL with Kinect and computer- vision data. To appear in Proceedings of the 7th Workshop on the Representa!on and Processing of Sign Languages: Corpus Mining. Paris: ELRA. JANTUNEN, T. (in prepara?on). Pa-erns of clause- based and gesture- based syntax in FinSL (provisional?tle). Jyväskylän yliopisto, vii-omakielenkeskus: ProGram- aineisto, lumiukko- ja sammakkotarinat (2016) [videokorpus]. PUUPPONEN, A.; Jantunen, T. & Mesch, J. (forthcoming in May 2016). The alignment of head nods with syntac?c units in Finnish Sign Language and Swedish Sign Language. To appear in the Proceedings of the Speech Prosody 2016, to be organized in Boston (USA), 31 May- 3 June, PUUPPONEN, A. (submi-ed). The rela?onship between the movements and posi?ons of the head and the torso in Finnish Sign Language. April 2016.

42 Kehon liikkeet ja konstruoitu toiminta A B C D E Konstruoidun toiminnan osuus 16% 28% 30% 41% 53% Erilaisten pään liikkeiden kokonaismäärä Nyökkäysten määrä Erilaisten kehon liikkeiden kokonaismäärä Taulukko 3. Konstruoidun toiminnan vaikutus pään ja kehon liikkumiseen viiden vii-ojan (A E) tuo-amissa sammakkotarinoissa (engl. Frog, where are you?). FERRARA, L. & Johnston, T. (2014). Elabora?ng Who's What: A Study of Constructed Ac?on and Clause Structure in Auslan (Australian Sign Language). Australian Journal of Linguis!cs 34:2, JANTUNEN, T.; Pippuri, O.; Wainio, T. & Puupponen, A. (2016). Annotated video corpus of FinSL with Kinect and computer- vision data. To appear in Proceedings of the 7th Workshop on the Representa!on and Processing of Sign Languages: Corpus Mining. Paris: ELRA. JANTUNEN, T. (in prepara?on). Pa-erns of clause- based and gesture- based syntax in FinSL (provisional?tle). Jyväskylän yliopisto, vii-omakielenkeskus: ProGram- aineisto, lumiukko- ja sammakkotarinat (2016) [videokorpus]. PUUPPONEN, A.; Jantunen, T. & Mesch, J. (forthcoming in May 2016). The alignment of head nods with syntac?c units in Finnish Sign Language and Swedish Sign Language. To appear in the Proceedings of the Speech Prosody 2016, to be organized in Boston (USA), 31 May- 3 June, PUUPPONEN, A. (submi-ed). The rela?onship between the movements and posi?ons of the head and the torso in Finnish Sign Language. April 2016.

43 Ele OSANA kieltä Ikonisuus (Epä)konven?onaalisuus Hämärärajaisuus + OKRENT, A. (2002). A modality- free no?on of gesture and how it can help us with the morpheme vs. gesture ques?on in sign language linguis?cs (or at least give us some criteria to work with). In Richard P. Meier, Kearsy Cormier & David Quinto- Pozos (eds.), Modality and structure in signed and spoken languages, Cambridge: Cambridge University Press.

44 Syntaksin venytystä Elepohjainen syntaksi Lausepohjainen syntaksi Rinnasteisia ja ketjute-uja rakenteita Tyypin 3 verbaalipredikaa?t Merkityksen rakentaminen pohjaa semancseen assosiaa?oon Kehollisuus on korostunu-a; suuremmat ar?kulaa-orit Hierarkisia rakenteita Ellipsillä näkyvä rooli Merkitysten rakentamisessa keskeistä leksikaalinen sisältö, morfologia ja vii-omajärjestys Kehollisuus on hilli-yä; pienemmät ar?kulaa-orit JANTUNEN, T. (in prepara?on). Pa-erns of clause- based and gesture- based syntax in FinSL (provisional?tle).

45 Ele, keho ja puhutun kielen syntaksi ENFIELD, Nick (2009). The anatomy of meaning: Speech, gesture, and composite ueerances. Cambridge: Cambridge University Press. JANTUNEN, T. (in prepara?on). Pa-erns of clause- based and gesture- based syntax in FinSL (provisional?tle). JANTUNEN, T. (submi-ed). Ellip?cal phenomena in Finnish Sign Language. In J. van Craenenbroeck & T. Temmerman (Eds.), The Oxford Handbook of Ellipsis, in prepara?on for publica?on with Oxford University Press. December LADEWIG, Silva (2014). Crea?ng mul?modal u-erances: The linear integra?on of gestures into speech. In Müller, Cienki, Fricke, Ladewig, McNeill, and Bressem (eds.), Body Language Communica!on. Berlin: de Gruyter,

46 Videoaineistot ja niiden käsittelymenetelmät

47 Kielipankki Jyväskylän yliopisto, vii-omakielenkeskus: ProGram- aineisto, lumiukko- ja sammakkotarinat (2016) [videokorpus]. FIN- CLARIN [viita-u ]. Saatavissa Kielipankin kau-a: h-p://urn.fi/urn:nbn:fi:lb

48 Kiitos! Henkilökohtainen h-p://users.jyu.fi/~tojantun ProGram- projek?n h-p://users.jyu.fi/~tojantun/program Vii-omakielenkeskuksen h-p://vii-omakielenkeskus.jyu.fi ProGram- aineisto, lumiukko- ja h-p://lat.csc.fi