Peruskysymyksiä Fonee+sia tapaustutkimuksia (suomalaisesta) vii8omakielestä SVKS110 (syksy 2013) Tommi Jantunen 1. Miten pääsemme käsiksi vii8omakieliseen signaaliin, eli millaisille menetelmille fonee+sen tutkimuksen tulisi perustua? 2. Ovatko nykykäsityksemme fonologisista yksiköistä ja kategorioista fonee+sesj valideja eli palaute8avissa fonee+siin faktoihin? Ma 25.11. klo 12.15 n. 13.15 Tapaus 1 PÄÄN LIIKKEIDEN FONETIIKKAA Puupponen, A.; Jantunen, T.; Wainio, T. & Burger, B. (2013). Messing with the head: on the form and funcjon of head movements in Finnish Sign Language. Poster presented at the 11th Theore)cal Issues in Sign Language Research conference, University College London, July 10 13, 2013. 1
Tapauksen sisältö Tapaus 2 FONEETTINEN TAVU 1. Fonologinen tavu (kertausta) 2. Valtavirtanäkemys fonologisen tavun fonee+sesta perustasta, eli sonorisuuden yhteys havainnon salienssiin ja havainnon salienssin yhteys kiihtyvyysmaksiimeihin (kertausta) 3. Fonee+nen tavu ja sen idenjfioinj liikekaappausaineistosta 4. Kiihtyvyyshuippujen sijoi8uminen suhteessa kontekstuaalisiin tavuihin 5. Johtopäätökset viitotun tavun empiirisestä perustasta Tavu = sekvenjaalinen liike Yksitavuinen Kaksitavuinen Kolmitavuinen Why sequential movement = syllable? 1. Sonority argument SequenJal movements are, or include, perceptually the most salient moments in the sign stream 2. Minimal Word argument No sign is well- formed unless it has a sequenjal movement (cf. spoken words) 3. Babbling argument Deaf children start to produce series of sequenjal movements at the same Jme as hearing children start to produce syllabic babbling (at around the age of 10 months) 2
Perceptual salience Spoken language phonejc correlate: loudness Signed language phonejc correlate: visibility Sonority What enhances visibility? MoJon is more salient than stasis: mojon enhances the possibility of perceiving the object, and mojon contributes posijvely also to the idenjficajon of the object. Are some parts of mojon more perceivable than others? Motion perception - the basics Motion perception is the process of inferring the speed and direction of elements in a scene based, e.g., on visual input A fundamental phase in the motion perception process is the perception of the motion of an object on the basis of its luminance difference (cf. brightness) from the background Periods of acceleration - defined as the change in velocity (speed) over time - of the moving object make it (its luminance difference) to stand out more from the background The resulting effect is the division of the motion into shorter sequences, or pulses In other words Acceleration (& velocity) peaks indicate the most salient moments. This has been confirmed, for example, by Luck and Sloboda who in their 2008 kinematic perception study on conducting gestures established a direct link between high acceleration value and visual beat perception (velocity was found to be a factor in the perception process as well). Changes in velocity (i.e. issues relating to acceleration) have been argued to contribute to perceptivity also in SL related mocap studies (e.g. Wilcox 1992). 3
In what follows... QuesJon: What is the number and distribujon of accelerajon peaks in contextual syllables? PresumpJon: Because signed syllables are defined to be units formed around sonority peaks (like spoken syllables), the number of accelerajon peaks in each syllable should be one, and peaks should not be found outside syllables (i.e. in transijons). Sign idenjficajon criteria (Jantunen 2012) A sign begins on the video frame that immediately precedes the frame in which the dominant hand first shows movement away from the inijal locajon of the sign; if the sign includes only a movement executed from the wrist or finger joints, the beginning of a sign corresponds to the frame that immediately precedes the frame in which the inijal handshape or orientajon of the dominant hand first starts to change. A sign ends at the frame immediately following the frame in which the global movement of the dominant hand has reached its end or in which the dominant hand sjll holds a posture or a hand configurajon of the sign. siirtymä vii8oma siirtymä Syllable- counjng criteria (Brentari 1998) Signaali S V S The number of sequenjal phonological dynamic units in a string equals the number of syllables in that string. When several shorter dynamic units co- occur with a single dynamic element of longer durajon, the longer unit is the one to which the syllable refers. When two or more dynamic units are contemporaneous, they count as one syllable. If a structure is a well- formed syllable as an independent word, it must be counted as a syllable word- internally. 4
Types of arjculatory events within syllables (Wilbur & Allen 1991) a single change of locajon or handshape or orientajon; combinajons of change of locajon and change of handshape, or change of locajon and change of orientajon; uncountable tremors or finger flu8ers; circling movement of the hand; arc- shaped movement of the hand. Signaali siirtymä U tavu 1 siirtymä s tavu 2 siirtymä U vii8oma T1 S T2 MoCap data INDEX- 1 REMEMBER BEFORE ONE WINTER TIME SNOW FALL- DOWN- HEAVILY PILE- UP- ON- THE- GROUND... Qualisys Motion Tracking system with 8 ProReflex cameras (120 Hz) Altogether 20 markers (see picture) Total data: ca. 1 minute of continuous FinSL signing Research data derived from the dominant hand index finger marker (number 20) The data was processed with MatLab software using MoCap Toolbox (Ver. 1.2.1) 5
30.10.2013 SegmenJng syllables Acceleration - right hand index finger marker (20) Acceleration - right hand index finger marker (20) Zero peak syllables 6
30.10.2013 One peak syllables Two peak syllables The three peak syllable The three peak syllable 7
Summary of results (Jantunen 2012) AcceleraJon is involved in the producjon of signed language syllables. There even seems to be a tendency in syllables to include a decelerajon peak, and in many cases also a literal accelerajon peak. However, it is possible for the syllables to include accelerajon peaks from zero to three Furthermore, accelerajon peaks also associate with non- syllabic transijons. Conclusions (Jantunen 2012) A single accelerajon peak cannot be considered an unambiguous physical candidate for signed language sonority and, therefore, the signed syllable seems to lack empirical grounding. Is the sequenjal movement really a syllable? The results do not exclude the possibility that the signed syllable is a unit categorically different from what the current phonejc approach has assumed. A plausible alternajve would be that the syllable is not an empirical unit at all but rather a theorejcally grounded abstract enjty, used to express theory- dependent generalisajons. A pracjcal consequence is that the signed syllable is not a suitable tool for a descripjvely oriented linguist. Tapauksen sisältö Tapaus 3 VIITTOMAT JA SIIRTYMÄT 1. Miksi vii8omien ja siirtymien fonee+nen (kinemaa+nen) tarkastelu on tärkeää? 2. Vii8omien ja siirtymien idenjfioinj liikekaappausaineistosta 3. Määrälliset tulokset 4. Laadulliset tulokset 5. Tulosten yhteenveto ja (metateoree+set) johtopäätökset 8
Lähtökohta Esimerkki: P1- P3 Modernia viizomakielten tutkimusta ohjaa joukko esiteoree\sia oletuksia P1: Vii8omavirta koostuu vii8oma- ja siirtymäjaksoista P2: Vain vii8omajaksot ovat lingvisjsesj kiinnostavia P3: Vii8oma- ja siirtymäjaksot ovat laadullisesj erilaisia JANTUNEN, T. (2013). Signs and transijons: Do they differ phonejcally and does it ma8er? Sign Language Studies 13:2, 211-237. P3: Vii8omien ja siirtymien laadullinen ero Psykologinen perustelu Vain vii8omien tuo8o on intenjonaalista toimintaa Fysiologisia ja fysikaalisia (so. fonee\sia) perusteluja Siirtymät ovat kestoltaan lyhyempiä kuin vii8omat Siirtymiin ei liity lihasjännitystä Siirtymissä useampi kehon osa liikkuu kerralla Fonee+sen tutkimuksen merkitys (1) Viittomien ja siirtymien foneettisesta erosta esitettyjen väitteiden taustalla ei ole metodisesti kestävää täsmätutkimusta P3:n validiteetin kannalta viittomien ja siirtymien foneettista eroa koskeva tutkimus on kuitenkin tarpeellista Foneettinen viittomien ja siirtymien eroa koskeva tutkimus on välillisesti tärkeää myös P1:n ja P2:n validiteetin kannalta PERLMUTTER, D. (1990). On the Segmental RepresentaJon of TransiJonal and BidirecJonal Movements in ASL Phonology. In Theore)cal Issues in Sign Language Research. Volume 1: Linguis)cs, eds. S. Fischer, and P. Siple, 67-80. Chicago: The University of Chicago Press. - WILBUR, R. (1990). An Experimental InvesJgaJon of Stressed Sign ProducJon. Interna)onal Journal of Sign Language 1:41-59. - JANTUNEN, T., Koskela, M. Laaksonen, J. & Rainò, P. (2010). Towards the Automated VisualizaJon and Analysis of Signed Language MoJon: Method and LinguisJc Issues. Speech Prosody 2010 100006:1-4. - JOHNSON, R. & S. Liddell (2011). A Segmental Framework for RepresenJng Signs PhoneJcally. Sign Language Studies 11:408-463. JANTUNEN, T. (tulossa). Signs and transijons: Do they differ phonejcally and does it ma8er? Sign Language Studies 13:2 (Winter 2013). 9
Fonee+sen tutkimuksen merkitys (2) Viittomien ja siirtymien fonetiikan tarkastelu on tärkeää myös automaattiseen viittomantunnistukseen tähtäävien sovellusten kehittämiselle Esimerkiksi videopohjainen viittomajaksojen tunnistus tarvitsee määrällistä tietoa viittoma- ja siirtymäjaksojen fonetiikasta CoBaSiL-projekti, http://research.ics.tkk.fi/cbir/ cobasil/ Liikkeen mi8aus kolmiulo8eisessa Jlassa Perusvektorit Paikkavektori 'pisteen sijainj (x,y,z) ja suunta suhteessa origoon' Nopeusvektori 'pisteen sijainnin ja suunnan muutos suhteessa aikaan' Kiihtyvyysvektori ' nopeuden ja suunnan muutos suhteessa aikaan' Vektorien pituudet Siirtymä (m) VauhJ (m/s) Kiihtyvyyden määrä (m/s 2 ) DUARTE, K. & Gibet, S. (2010). Heterogeneous Data Sources for Signed Language Analysis and Synthesis: The SignCom Project. In Proceedings of the Seventh Conference on Interna)onal Language Resources and Evalua)on (LREC'10), eds. N. Calzolari, K. Choukri, B. Maegaard, J. Mariani, J. Odjik, S. Piperidis, M. Rosner, and D. Tapias, 461-468. Paris: ELRA. - JANTUNEN, T., Koskela, M. Laaksonen, J. & Raino, P. (2010). Towards the Automated VisualizaJon and Analysis of Signed Language MoJon: Method and LinguisJc Issues. Speech Prosody 2010 100006:1-4. - KARPPA, M., Jantunen, T., Koskela, M., Laaksonen, J. & Viitaniemi, V. (submi8ed). Method for visualizajon and analysis of hand and head movements in SL video. May 2011. - PIATER, J., Hoyoux, T. & Du, W. (2010). Video Analysis for ConJnuous Sign Language RecogniJon. In Proceedings of the 4th Workshop on the Representa)on and Processing of Sign Languages: Corpora and Sign Language Technologies, eds. P. Dreuw, E. Euhimiou, T. Hanke, T. Johnston, G. Marvnez Ruiz, and A. Schembri, 192-195. Paris: ELRA. Tutkimuskysymys Eroavatko jatkuvasta viizomavirrasta idenjfioidut vii8oma- ja siirtymäjaksot toisistaan vauhdissa (nopeusvektorin pituus) ja kiihtyvyyden määrässä (kiihtyvyysvektorin pituus), kun mi8auspisteenä on vii8ojan dominoivan käden salientein kohta, etusormen pää? OJALA, S. (2010). Rytmin ja koarjkulaajon vaikutus vii8omiin ja puheeseen. In Näkökulmia viinomaan ja viinomistoon, ed. T. Jantunen, 29-41. Jyväskylä: University of Jyväskylä. - JANTUNEN, T. (tulossa). Signs and transijons: Do they differ phonejcally and does it ma8er? Sign Language Studies 13:2 (Winter 2013). Aineisto Äidinkielisen vii8ojan tuo8ama monologi kesto n. 52 sekunja 117 vii8omaa 116 (+2) siirtymää Qualisys Mo)on Tracking - järjestelmä 8 IR kameraa 20 markkeria 120 Hz (120 fps) Videokuvaus 2 x HD kamera (50 fps) 1 x DV kamera (25 fps) Aineiston käsi8elyssä käytetyt ohjelmat Matlab / MoCap Toolbox ver. 1.2.1* ) ELAN ver. 3.9.1 MS Excel for Mac 2008 * ) TOIVIAINEN. P. & Burger, B. (2010). MoCap Toolbox Manual. Version 10.9.2010. University of Jyväskyla, Finland. 10
Vii8omien ja siirtymien idenjfioinj Vaihe 1 Vii8omien alustava idenjfioinj (DV) videon pohjalta ELANissa (h8p://www.lat- mpi.eu/tools/elan/; Max Planck InsJtute of PsycholinguisJcs, Nijmegen, Alankomaat) Vaihe 2 Vii8omien rajojen täsmentäminen (so. vii8omien uudelleenidenjfioinj) ELANissa MoCap paikkadatan pohjalta Vaihe 3 Siirtymäjaksojen idenjfioinj ELANin Create Annota)ons from Gaps - funkjolla CRASBORN, O. & Sloetjes, H. (2008). Enhanced ELAN funcjonality for sign language corpora. In Proceedings of 3rd Workshop on the Representa)on and Processing of Sign Languages at 6th Language Resources and Evalua)on Conference (LREC 2008), Marrakech, Morocco, May- June 2008. Taustaksi: prototyyppinen lineaarinen vii8oma Fonologia Dynaamisen liikesegmenjn ympärille rakentuva segmen+jono (HMH) Yksi tavu (sekvenjaalinen liike) FoneJikka Kahden postuurisegmenjn väliin jäävä käden siirtymä (PTP) KorpuslingvisJikka Seman+sesJ mielekäs vii8omavirran jakso, jonka aikana käsi siirtyy vii8oman alkupaikasta vii8oman loppupaikkaan; alku- ja loppupaikkaa määri8ävät käden liikkeen suunnan muutoskohdat LIDDELL, S. & Johnson, R. (1989). American Sign Language: The Phonological Base. Sign Language Studies 64:195-277. - BRENTARI, D. (1998). A Prosodic Model of Sign Language Phonology. Cambridge, MA: MIT Press. - JOHNSON, R. & Liddell, S. (2011). A Segmental Framework for RepresenJng Signs PhoneJcally. Sign Language Studies 11:408-463. - CRASBORN, O. & Zwitserlood, I. (2008). Annota)on of the Video Data in the "Corpus NGT". Dept. of LinguisJcs, and Centre for Language Studies, Radboud University Nijmegen, The Netherlands. Online publ. h8p://hdl.handle.net/1839/00-0000- 0000-000A- 3F63-4. - JOHNSTON, T. (2009). Guidelines for Annota)on of the Video data in the Auslan Corpus. Dept. of LinguisJcs, Macquarie University, Sydney, Australia. Online publ. h8p://media.auslan.org.au/media/upload/a8achments/annotajon_guidelines_auslan _CorpusT5.pdf. Vii8omien idenjfioinj: vaihe 1 Esimerkki: vaiheet 2 ja 3 Vii8oma alkaa videoruudusta, joka väli8ömäsj edeltää ruutua, jossa vii8ojan dominoiva käsi ensimmäisen kerran alkaa liikkua poispäin vii8oman alkupaikasta. Jos vii8omassa on ainoastaan ranteen tai sormien nivelistä tuote8ava liike, niin vii8oma alkaa ruudusta, joka väli8ömäsj edeltää ruutua, jossa dominoivan käden käsiosan orientaajo tai käsimuoto muu8uu ensimmäisen kerran. Vii8oma loppuu ruutuun, joka väli8ömäsj seuraa ruutua, jossa dominoivan käden tuo8ama laajempi liike on suorite8u loppuun tai jossa dominoivalla kädellä yhä on vii8omalle tyypillinen postuuri tai käsimuoto. CRASBORN, O. & Zwitserlood, I. (2008). Annota)on of the Video Data in the "Corpus NGT". Dept. of LinguisJcs, and Centre for Language Studies, Radboud University Nijmegen, The Netherlands. Online publ. h8p://hdl.handle.net/1839/00-0000- 0000-000A- 3F63-4. - JOHNSTON, T. (2009). Guidelines for Annota)on of the Video data in the Auslan Corpus. Dept. of LinguisJcs, Macquarie University, Sydney, Australia. Online publ. h8p://media.auslan.org.au/media/upload/a8achments/ AnnotaJon_Guidelines_Auslan _CorpusT5.pdf - JANTUNEN, T. (tulossa). Signs and transijons: Do they differ phonejcally and does it ma8er? Sign Language Studies 13:2 (Winter 2013). 11
Analyysi Määrälliset tulokset: vauhj (ELANissa vii8oma- ja siirtymäjaksoille laske8ujen keskiarvojen perusteella) Määrällinen analyysi MoCap- dataan pohjaava vauhdin ja kiihtyvyyden määrän keskiarvojen laskenta jokaiselle vii8oma- ja siirtymäjaksolle ELANin Extract Track Data - toiminnolla Tulosten määrällinen analyysi MS Excelissä Laadullinen analyysi VauhJa ja kiihtyvyyden määrää esi8ävien kuvaajien silmämääräinen tarkastelu ELANissa Kiinnostavina pide8yjen löydösten lähempi tarkastelu Matlabissa luotujen graafien pohjalta Tilastollisesti merkitsevä ero (Sig.=0.024; Student's two-tailed, two-sample, unequal variance t-test) Määrälliset tulokset: kiihtyvyyden määrä (ELANissa vii8oma- ja siirtymäjaksoille laske8ujen keskiarvojen perusteella) Laadulliset tulokset (1) Tilastollisesti erittäin merkitsevä ero (Sig.=0.0011; Student's two-tailed, two-sample, unequal variance t-test) 12
Laadulliset tulokset (2) Laadulliset tulokset (3) Tulosten yhteenveto Pohdinta (1) Määrälliset tulokset Viittomien vauhti on hitaampaa ja vaihtelee vähemmän kuin siirtymien vauhti Kiihtyvyyden määrä ja sen vaihtelu on suurempaa viittomissa kuin siirtymissä Laadulliset tulokset Tasaisia ja nollatasoisia vauhti- ja kiihtyvyysarvojaksoja esiintyi ainoastaan (ikonisissa, kuvailevissa) viittomissa, ei siirtymissä Korkeita kiihtyvyysarvoja esiintyi tiheätaajuuksisesti ainoastaan viittomissa, ei siirtymissä Vain siirtymissä esiintyi jaksoja, joiden aikana käden vauhti nopeutui ja hidastui ilman merkittävää muutosta kiihtyvyyden määrässä Artikulaation kannalta viittomien suhteellisesti hitaampi nopeus ja suuremmin varioiva kiihtyvyys implikoivat, että viittomien tuotto on kontrolloidumpaa toimintaa kuin siirtymien tuotto Havaittavuuden näkökulmasta viittomien suhteellisesti hitaamman nopeuden ja suuremmin varioivan kiihtyvyyden voidaan ajatella edesauttavan vastaanottajan mahdollisuuksia havaita viittomia ja niiden sisäisiä nopeasti tuotettavia lingvistisesti merkityksellisiä yksityiskohtia On kuitenkin pidettävä mielessä, että tietyissä konteksteissa viittomien liikeominaisuudet voivat muistuttaa siirtymien liikeominaisuuksia, ja päinvastoin. 13
Pohdinta (2) Kokonaisuutena tulokset tukevat aikaisemmissa tutkimuksissa esitettyjä psykologisia ja foneettisia arvioita viittomien ja siirtymien eroista Tulkinta, jonka mukaan viittomien artikulaatio on kontrolloidunpaa kuin siirtymien artikulaatio (viittomien hitaampi vauhti ja suurempi kiihtyvyyden määrä suhteessa siirtymiin) käy yhteen viittomien intentionaalisuutta korostavan psykologisen tulkinnan kanssa Havainto, että vain siirtymissä esiintyi jaksoja, joiden aikana käden vauhti nopeutui ja hidastui ilman merkittävää muutosta kiihtyvyyden määrässä implikoi (Newtonin fysiikan perusteella), että siirtymien tuottoon ei ainakaan näissä tapauksissa käytetä merkittävästi lihasvoimaa Pohdinta (3) Tulos tukee empiirisesti P3:a, jonka mukaan viittomat ja siirtymät ovat laadullisesti erilaisia yksiköitä Koska P3:a käytetään perusteluna P1:lle (viittomavirta koostuu viittoma- ja siirtymäjaksoista) ja P2:lle (vain viittomajaksot ovat lingvistisesti kiinnostavia), tulos tarjoaa empiiristä tukea myös näille oletuksille Tuki P1:lle ja P2:lle on kuitenkin vain välillistä (P1:n ja P2:n validiteetti näyttäisi olevan kyseenalaistettavissa muun siirtymiä koskevan tutkimuksen perusteella) JANTUNEN, T. (2013). Signs and transijons: Do they differ phonejcally and does it ma8er? Sign Language Studies 13:2, 211-237. Lopuksi Viittomat ja siirtymät ovat liikeominaisuuksiltaa erilaisia, kun niitä tarkastellaan normatiivisina luokkakäsitteinä Tutkimuksen perusteella tietyt viittomakielten tutkimusta ohjaavat metateoreettiset oletukset vaikuttavat oikeutetuilta (mutta lisätutkimusta etenkin siirtymistä tarvitaan) Tutkimuksen tuloksia voidaan hyödyntää myös automaattiseen viittomantunnistukseen tähtäävien sovelmien kehitystyössä Lisäkirjallisuu8a tapauksiin (1) Blevins, Juliette 1995 The syllable in phonological theory. In: John A. Goldsmith (ed.), The Handbook of Phonological Theory, 206 244. Oxford: Blackwell. Brentari, Diane 1998 A Prosodic Model of Sign Language Phonology. Cambridge, MA: The MIT Press. Bruce, Vicki and Patrick Green 1990 Visual Perception: Physiology, Psychology and Ecology. 2nd edition. London/Hillsdale, NJ: Lawrence Erlbaum Associates. Corina, David 1990 Reassessing the role of sonority in syllable structure: Evidence from a visual-gestural language. In: Michael Ziolkowski, Manuela Noske and Karen Deaton (eds.), CLS 26. [Papers from the 26th regional meeting of the Chicago Linguistic Society] Volume 2, The Parasession on the Syllable in Phonetics and Phonology, 33 43. Chicago Linguistic Society, University of Chicago, Chicago, Ill. Corina, David and Wendy Sandler 1993 On the nature of phonological structure in sign language. Phonology 10: 165 201. Jantunen, Tommi 2009 Tavu ja lause: tutkimuksia kahden sekventiaalisen perusyksikön olemuksesta suomalaisessa viittomakielessä [Syllable and sentence: Studies on the nature of two sequential basic units in FinSL]. Jyväskylä Studies in Humanities 117. Jyväskylä: University of Jyväskylä. Jantunen, Tommi and Ritva Takkinen 2010 Syllable structure in sign language phonology. In: Diane Brentari (ed.), Sign Languages, 312 331. Cambridge: Cambridge University Press. Jantunen, Tommi 2012 Acceleration peaks and sonority in FinSL syllables. In: S. Parker (ed.), The Sonority Controversy, 347-381. Berlin: Mouton De Gruyter. Luck, Geof and John Sloboda2008 Exploring the spatio-temporal properties of simple conducting gestures using a synchronization task. Music Perception 25: 225 239. Ohala, John 1990 Alternatives to the sonority hierarchy for explaining segmental sequential constraints. In: Michael Ziolkowski, Manuela Noske and Karen Deaton (eds.), CLS 26. [Papers from the 26th regional meeting of the Chicago Linguistic Society] Volume 2, The Parasession on the Syllable in Phonetics and Phonology, 319 338. Chicago Linguistic Society, University of Chicago, Chicago, Ill. 14
Lisäkirjallisuu8a tapauksiin (2) Lisäkirjallisuu8a tapauksiin (3) Ojala, Stina 2010 Rytmin ja koartikulaation vaikutus viittomiin ja puheeseen [The effect of rhythm and coarticulation on signing and speech; with English abstract]. In: Tommi Jantunen (ed.), Näkökulmia viittomaan ja viittomistoon [Perspectives on sign and lexicon], 29 41. (Theory and practice in applied linguistics 5). Jyväskylä: University of Jyväskylä. Ojala, Stina, Tapio Salakoski and Olli Aaltonen 2009 Viittomien koartikulaatiosta [On coarticulation in sign language]. In: Michael O Dell and Tommi Nieminen (eds.), Fonetiikan päivät 2008, 139 146. (Tampere Studies in Language, Translation and Culture, Series B3). Tampere: Tampere University Press. Ojala, Stina and Tapio Salakoski 2009 Coarticulation in sign and speech. Proceedings of Nodalida 2009 in Odense, Denmark, May 14, 2009. Parker, Stephen 2002 Quantifying the sonority hierarchy. PhD dissertation. University of Massachusetts Amherst. Parker, Steve 2008 Sound level protrusions as physical correlates of sonority. Journal of Phonetics 36: 55 90. Perlmutter, David 1990 On the segmental representation of transitional and bidirectional movements in ASL phonology. In: Susan Fischer and Patricia Siple (eds.), Theoretical Issues in Sign Language Research. Vol. 1: Linguistics, 67 80. Chicago: The University of Chicago Press. Perlmutter, David 1992 Sonority and syllable structure in American Sign Language. Linguistic Inquiry 23: 407 442. Petitto, Laura and Paula Marentette 1991 Babbling in the manual mode: Evidence for the ontogeny of language. Science 251: 1493 1496. Sandler, Wendy 1993 A sonority cycle in American Sign Language. Phonology 10: 243 279. Schleihauf, Robert 2004 Biomechanics of Human Movement. Bloomington, IN: AuthorHouse. Selkirk, Elisabeth 1984 On the major class features and syllable theory. In: Mark Aronoff and Richard T. Oehrle (eds.), Language Sound Structure, 107 136. Cambridge, MA: MIT Press. Shaw, Robert and James Cutting 1980 Clues from an ecological theory of event perception. In: Ursula Bellugi and Michael Studdert-Kennedy (eds.), Signed and Spoken Languages: Biological Constraints on Linguistic Form, 57 84. Weinheim: Verlag Chemie. Toiviainen, Petri and Birgitta Burger 2010 MoCap Toolbox Manual. Version 10.9.2010. University of Jyväskyla, Finland. Tyrone, Martha, Hosung Nam, Elliot Saltzman, Gaurav Mathur and Louis Goldstein 2010 Prosody and movement in American Sign Language: A task-dynamics approach. Speech Prosody 2010 100957: 1 4. Van der Hulst, Harry 1993 Units in the analysis of signs. Phonology 10: 109 241. Wilbur, Ronnie 1990b Why syllables? What the notion means for ASL research. In: Susan Fischer and Patricia Siple (eds.), Theoretical Issues in Sign Language Research. Vol. 1: Linguistics, 81 108. Chicago: The University of Chicago Press. Wilbur, Ronnie and George Allen 1991 Perceptual evidence against internal syllable structure in American Sign Language syllables. Language and Speech 34: 27 46. Wilbur, Ronnie and Susan Nolen 1986 The duration of syllables in American Sign Language. Language and Speech 29: 263 280. Wilbur, Ronnie and Lesa Petersen 1997 Backwards signing and ASL syllable structure. Language and Speech 40: 63 90. Wilcox, Sherman 1992 The Phonetics of Fingerspelling. Amsterdam: John Benjamins. Wolfe, Jeremy, Keith Kluender and Dennis Levi (eds.) 2008 Sensation & Perception. Second edition. Sunherland, MA: Sinauer Associates. 15