Multimodaalinen näkökulma englanninkielisen n sormittamiseen viittomakielisessä keskustelussa Tutkimuksen aihe ja tutkimuskysymykset Englannin kieli suomalaisten viittomakielisten arjessa multimodaalinen näkökulma vuorovaikutukseen Tutkimuskysymykset Missä ja milloin viittomakieliset kohtaavat englannin kieltä? Millaista englantia viittomakieliset kohtaavat? Miten viittomakieliset toimivat monimuotoisissa ja monikanavaisissa ympäristöissä? Mitä resursseja viittomakieliset käyttävät kieleen liittyvissä ongelmanratkaisutilanteissa? XXXVI Kielitieteen päivät 14. 16.5. 2009 Jyväskylä Elina McCambridge Tutkimus on osa laajempaa MAILL -tutkimusprojektia. MAILL -ryhmää yhdistää kiinnostus tutkia, kuinka ihmiset toimivat arjessa, tehokkaasti erilaisissa verkostoissa. MAILL Multimodal Action and Interaction in Networked Learning and Work Nopeasti viitekehyksestä: Mediated Discourse Analysis - MDA Fokuksessa sosiaalinen toiminta, joka on aina välittynyttä. MDA:n käytännön toteutus on nimeltään neksulyysi (nexus analysis) Neksulyysi Kolme vaihetta: 1. Kiinnittyminen [Engaging the nexus of practice] 2. Navigointi i [Navigating the nexus of practice] 3. Muuttaminen [Changing the nexus of practice.] neksus = toisiinsa kytkeytyvien käytänteiden emergentti systeemi (Lemke 2005) etnografinen tutkimus 1
Metodit huomio sosiaalisessa toiminnassa laaja, multimodaalinen aineisto moninaiset menetelmät mm. etnografia, diskurssintutkimus, interaktioanalyysi, multimodal discourse analysis, sosiaalisemiotiikka Multimodaalinen diskurssianalyysi (Norris 2004) Communicative modes (moodit) 1) puhuttu kieli 2) eleet 3) proksemiikka (tilankäyttö, proxemics) 4) asento 5) ilme 6) pään liike 7) katse 8) musiikki (kehollinen tai ei-kehollinen) 9) teksti (kehollinen tai ei-kehollinen) 10) sommittelu (layout) Viittomakielisessä vuorovaikutustilanteessa? Sormiaakkoset ja sormittaminen Johnson 1994, Partie & Johnson (in press) Viitottu, manuaalinen representaatio kirjoitetulle kielelle [joka on tapa esittää puhuttua kieltä visuaalisesti, kirjoitettuna tekstinä. Kyseessä siis kolmannen asteen systeemi.] (Wilcox 1992) Sormiaakkoset ovat viittomia aivan kuten viittomakielen muutkin viittomat viittoman muoto ja merkitys (Johnson & Liddell, Johnson 1994, Patrie & Johnson (in press) - liike - käsimuoto -paikka -orientaatio SVK viittoma L latinalaisten aakkosten yksi merkki /äl/ suomen kielen Sormituksessa tuotetaan kirjain kerrallaan, ei muotona, jonka voi nähdä kerralla. Sormitus on dynaaminen, ei staattinen tapahtuma. kolmentyyppistä sormittamista: - tarkka sormitus (careful fingerspelling) - nopea sormitus (rapid fingerspelling) - leksikalisoitunut sormitus (lexicalised fingerspelling) Partie & Johnson korostaa sormituksen tilanteisuutta: tavoitetta, muotoa ja merkitystä, jota sormittamisella välitetään. huomioi myös huulion käytön Johnson 1994, Partie & Johnson (in press) Englanninkielisen n sormittaminen FinSL konstekstissa kirjain kirjaimelta sormitus huomio siinä, mitkä latinalaiset aakkoset tulevat peräkkäin tarkka sormitus tuotetaan kirjain kerrallaan, viittomat lähes yhteismitallisia ajallisesti nopea sormitus verrattuna edelliseen: viittomia puuttuu ja sekoittuu, liikkeen ja käsimuotojen sarja, viittomien kestossa suuria eroja, muoto vaihtelee [ lӕŋgwidʒ] puhuttu language kirjoitettu [laŋguage] sormitettu huulio leksikalisoitunut sormitus 2
Huulio Osallistujat viittomakielinen huulio: osa SVK:n viittoman morfeemia huulio: suomenkielestä lähtöisin olevia lainoja Spoken Finnish interwoven in the FinSL. (Rainò 2001) Se on lentäjä. The Aviator englanniksi flaiiieee- Deltebre; What is the latest film made by Leonardo di Caprio? T-H-E A-V-I-A-T-O-R Tietokoneluokka kuurojen koulussa? Luokkaa ei ole suunniteltu sopivaksi viitotulle vuorovaikutukselle. syynä visuo-spatiaalinen kanava ja osittain kulttuuri (esim. McIlvenny 1995) Miten viittomakieliset asettuvat tilaan: orienting to visual participation structures and allowing for optimal management of eye gaze. (e.g. Ramsey & Padden 1998) Jos mä vaan saan selevää Mari tietää. Jos sää JP kirijotat sen. Huomiot Sormitus: K, C, G ja näiden viittomien kuljettaminen tilassa eri toimijoiden näkökenttään (itselle?, Tapiolle, Sarille, Lauralle). Yhtäaikainen sormittaminen: Tiia kopioi Sarin sormittamisen, peilaaminen, yhdessä tehty tavaaminen. Johtopäätökset: multimodaalinen tarjonta ja viestien päällekkäisyys Viestejä eri kanavissa, tarjolla toimijoille Toimijat valikoivat semioottisten järjestelmien väliltä sormitus: G U I T A R huulio: - u: i: t* a: - 3
Johtopäätökset: Osallistumiskehikot (Goodw JP skannaa sekä auditorista että visuaalista kanavaa - viittomakielisten ja huonokuuloisten käytänteet. Orientoituminen yhteiseen tehtävään vahvasti kehollista tässä tilassa. Useiden osallistumiskehikkojen luominen, ylläpito eri välinein, runsaasti päällekkäisyyttä. Johtopäätökset: Sormituksen mukautuminen Sormitettu ei ole yksi viittoma, vaan jokainen (sormiaakkos-)viittoma on erikseen viitottu, niissä vahva liike vastaanottajaan päin. Paikka ja orientaatio: -viittomat sijoitettu paikkaan, josta vastaanottaja voi ne havannoida - sormiaakkosviittomaa kuljetetaan tilassa The Aviator: Ei lainkaan huuliota Guitar: sormitus: G U I T A R huulio: - u: i: t* a: - Ultimatum Jason sormitus Kahvipöytäkeskustelu kahden viittomakielisen henkilön kesken. Keskustelu käydään Bourne Ultimatum elokuvan katsomisen jälkeen. Keskustelu kokonaisuudessaan n. 45 minuuttia. Sormitus huulio 1 J A S/O N? 2 J A/S/O N /jason/ 3 I/J (liike ) E N /jason/ 4 I E N /jason/ 5 I E? 6 J E/A N? 7 I E? 8 I ( E ) N /jason/ Ultimatum - observations Sormituksen muuttuminen vs. huulio - 1. kerta: tarkka sormitus - 7 sen jälkeen: nopea sormitus, kaikki erilaisia, nopealle sormitukselle tyypillisiä muutoksia Yhden keskustelun aikana tapahtuva sormituksen evoluutio tarkasta tilapäisviittomaan, joka muodoltaan leksikalisoitunut sormitus toisin sanoen Kulttuuriset välineet (mm. kieli) on muokattu/muokkautunut tilan ja teknologian aiheuttamiin rajoituksiin ja niiden tarjoamiin mahdollisuuksiin. Käytetyt moodit valittu ja muokattu tehtävän mukaan, jotta saavutettaisiin paras ja tehokkain mahdollinen suoritus. (sormitus /+- huulio?) Jotkin toiminnoista tavanomaisia, jotkut innovatiivisia tilanteessa syntyneitä? Muita ajatuksia hybridit, rajamailla, the third place (mm. Kramsch), translanguaging jne. Success is using one s full semiotic potential --- the ability to mix or to switch between language (Van Lier 2000:25). sormituksen tarkastelu niin, että tilanteiden monikielisyys ja multimodaalisuus SEKÄ sormiaakkosten asema SVK:ssä otettaisiin huomioon. 4
Lähteet Goodwin, C. 2000. Action and embodiment within situated human interaction. Journal of Pragmatics 32, 1489 1522. Goodwin, C. 2000. Practices of Seeing: Visual Analysis: An Ethnomethodological Approach. In Van Leeuwen, T. & Jewitt, C. (eds), Handbook of Visual Analysis. London: Sage, pp. 157-182. Goodwin, C. 2007. Participation, stance and affect in the organization of activities. Discourse & Society 18 (1), 53 73. Hammersley, M & Atkinson, P. 1995. Ethnography. New York: Routledge. Patrie, C.J. & Johnson, R. E. (in press). Fingerspelled Word Recognition Through Rapid Serial Visual Presentation. San Diego: DawnSign Press. Keating, E., & G. Mirus. 2003. Examining Interactions across Language Modalities: Deaf Children and Hearing Peers at School. In Anthropology & Education Quaterly 34(2): 115-135. Keating, E. 2005. Homo prostheticus: problematizing the notions of activity and computer-mediated interaction. In Discourse Studies. Vol 7 (4-5): 527-545. Keating, E. & Mirus, G. 2003. American Sign Language in virtual space: Interaction between deaf users of computer-mediated video communication and the impact of technology on language practices. In Language in Society 32, 693-714. Kress, G. & Van Leeuwen T. 2001. Multimodality. London: Arnold. Kress, G. & Van Leeuwen, T. 2001. Multimodal l Discourse. London: Arnold. McIlvenny, P. 1995. Seeing Conversations: Analysing Sign Language Talk. In G. Psathas et al. (ed.) Studies in Ethnomethodology and Conversation analysis. London: University Prsess of America, Inc.129 149. Mulrooney, K.J. Variation in ASL Fingerspelling. In C. Lucas (ed.) 2002. Turn-Taking, Fingerspelling, and Contact in Signed Languages. Washington, D.C.: Gallaudet University Press. 3 23. Norris, S. 2004. Analyzing Multimodal Interaction: A Methodological Framework. London: Routledge. Norris, S. & Jones, R. H. 2005. Discourse in Action: Introducing Mediated Discourse Analysis.London: Routledge. Padden, C.A. & Gunsaulus, D.C. 2003. How the Alphabet Came to Be Used in a Sign Language. Sign Language Studies, vol 4, nro 1, 10 33 Scollon, R. 2001. Mediated Discourse. The Nexus of Practice. London: Routledge. Rainò, P. (2001). Mouthings and mouth gestures in Finnish sign language (FinSL). In Boyes-Braem, P. & Sutton-Spence, R. (eds.) The hands are the head of the mouth. 41 49. Hamburg: Signum-Verleg. Ramsey, C. & C. Padden.1998. Natives and Newcomers: Gaining Access to Literacy in a Classroom for Deaf Children. Anthropology & Education Quaterly 29 (1): 5 24. Scollon, R. & Scollon, S.W. 2004. Nexus Analysis: Discourse and the Emerging Internet. London: Routledge. Valli, C. 2001. Linguistics of American Sign Language: An Introduction. Washington DC: Gallaudet University press. Van Lier, L. 2002. An ecological-semiotic perspective on languages and linguistics. In Kramsch, C. (ed.). Language Acquisition and language socialization. Ecological perspectives. 99-120. Continuum: London.) Wilcox, S. 1992. The Phonetics of Fingerspelling. Amsterdam: John Benjamins publishing company. 5