Tekstitys silmänliiketutkimuksen valossa Olli Philippe Lautenbacher Helsingin yliopisto, Nykykielten laitos Kääntäminen ja tulkkaus, ranska
1. Silmänliiketutkimus Tärkeimmät mittauskohteet 2. Multimodaalisen tekstin vastaanotto Teksti, kuva ja niiden yhdistelmä 3. AV-tekstitys ja silmänliikkeet tutkimuksessa Dynaaminen lukuprosessi Katsojakohtaiset tekijät Tekstikohtaiset tekijät Prosessoinnin mittaaminen
1. Silmänliiketutkimus Tallentaa katsojan silmänliikkeet Mahdollistaa katseen seurannan ja tarkastelun eri mittareilla: Katseen kohdistusalueet Katselujärjestys Silmänliikkeen nopeus Fiksaation kesto Kohteeseen palaamisen lukumäärä Silmänliikkeet scan paths Fiksaatioiden järjestys ja kesto gaze plots Alueiden tarkastelu heat maps (dynamic) areas of interest
Silmänliikkeen toisto (Scan path)
Kohdistusjärjestys ja kesto (Gaze plots)
Alueiden tarkastelu (Heat maps)
2. Multimodaalisen tekstin vastaanotto Tekstityksen tutkimisen kannalta olennaista: Multimodaalisuus: teksti, kuva, ääni Erilaisten lukemisen muotojen yhteispeli Tekstin lukemisen tendenssit Kuvan lukemisen tendenssit Tekstin ja kuvan kohtaaminen
2.1. Tekstin lukemisen tendenssit
2.1. Tekstin lukemisen tendenssit
2.1. Tekstin lukemisen tendenssit Nielsen: F-shaped patterns in WEB reading
2.1. Tekstin lukemisen tendenssit Lineaarisen lukemisen yleisiä piirteitä (prototyyppisessä tekstissä): Aloitus ylhäältä vasemmalta Fiksaatiot «painavampien» sanojen ensimmäiseen osaan Siirtymäetäisyydet vaihtelevat lukijakohtaisesti Mutta lineaarisuus joskus rikkonaista tekstistä riippuen
2.2. Kuvan lukemisen tendenssit Bottom-up reading Kuvalähtöinen tapahtuma Kuvan jokin elementti kiinnittää katsojan huomion (salienssi) Valoisuus, kontrasti, väri, ääriviivojen selkeys, tarkkuus Liikkeet M.C. Escher Cycle, 1938
2.2. Kuvan lukemisen tendenssit Bottom-up reading Kuvalähtöinen tapahtuma Kuvan jokin elementti kiinnittää katsojan huomion (salienssi) Valoisuus, kontrasti, väri, ääriviivojen selkeys, tarkkuus Liikkeet M.C. Escher Cycle, 1938
2.2. Kuvan lukemisen tendenssit Top-down reading Lukijalähtöinen tapahtuma Lukija tietoisesti etsii jotakin kuvasta Katsojan kuvan lukeminen ohjailtavissa Ilja Repin, 1884
2.2. Kuvan lukemisen tendenssit Top-down reading Lukijalähtöinen tapahtuma Lukija tietoisesti etsii jotakin kuvasta Katsojan kuvan lukeminen ohjailtavissa Yarbus, 1967
Kasvojen erityisasema Kasvot Suu Silmät Katseet 2.2. Kuvan lukemisen tendenssit
2.2. Kuvan lukemisen tendenssit Kasvojen erityisasema Kasvot Suu Silmät Katseet L. da Vinci Mona Lisa 1503-1506
2.2. Kuvan lukemisen tendenssit
2.2. Kuvan lukemisen tendenssit
Robert Doisneau, Un regard oblique, 1948
2.2. Kuvan lukemisen tendenssit «Le visage est signification» (Levinas, 2000) The eyes are selected by others in order to extract social information (Birmingham & al. 2008) Kuten teksti, toisen ihmisen kasvot ovat katsojalukijalle merkityksen potentiaalinen lähde Sama pätee toisen ihmisen katseeseen
2.3. Kuvan ja tekstin yhdistäminen
2.3. Kuvan ja tekstin yhdistäminen
2.3. Kuvan ja tekstin yhdistäminen
2.3. Kuvan ja tekstin yhdistäminen
2.4. Pieni metodologinen kysymys: lukuetäisyys?
3. AV-tekstitys ja silmänliikkeet tutkimuksessa 1970 > laajaa tutkimusta painetun tekstin lukemisesta AV-tekstitys haastavampi tutkimuskohde: Muutamaan sekuntiin rajattu staattisuus Liikkuvan kuvan ja tekstin samanaikaisuus Kognitiivisesti raskaampaa: kuva + teksti + ääni Monimutkaisempi lukutapahtuma!
3. AV-tekstitys ja silmänliikkeet tutkimuksessa Moni silmänliiketutkimus on keskittynyt tekstityksen katsomiseen enemmän kuin varsinaiseen lukemiseen Paljon tutkittavaa jäljellä!
3.1. Dynaaminen lukuprosessi AV-tekstityksen lukijalla on edessään muuttuva teksti liikkuvalla taustalla (Krueger & Stayn, 2014) Informaation lähde eri kanavissa Lukunopeuden määrää teksti, ei lukija Lukijalla ei ole mahdollisuutta palata tekstin aikaisempiin osiin (regressio)
3.1. Dynaaminen lukuprosessi Tekstityksen lukeminen vain osa tekstin kokonaishahmottamista Regression mahdollisuus rajattu yksittäiseen tekstityssegmenttiin Regression lähtökohta erilainen kuin staattisessa tekstissä Mahdollisen regression aiheuttaa kuvan muuttuminen tekstityksen jäädessä skarvin yli (Krejtz & al. 2013; De Linde & Kay 1999) Kyseessä ei siis ole perinteinen tarkistusregressio, vaan uuden kuvan aiheuttama uudelleen lukeminen
3.1. Dynaaminen lukuprosessi Kuulevalle katsojalle voi olla etua äänen ja tekstin suhteesta, vaikka puhuttu kieli olisikin vieras Kuurolle katsojalle työläämpää suhteuttaa teksti kuvasisältöön Kilpailevatko tiedonlähteet keskenään? (ks. Mayoral & al., 1988) Kognitiivisesti raskaampaa!
3.1. Dynaaminen lukuprosessi Tekstityksen läsnäolo muuttaa aina katsomisprosessia Kuten esimerkiksi liike, tekstityksen ilmestyminen kiinnittää katsojan huomion Kuten kasvot, teksti on informatiivista Huomio tekstitykseen lähes automaattisesti (d Ydewalle & de Bruycker 2007) Elokuvan katsomisesta tulee ensisijaisesti lukuprosessi (Jensema & al. 2000)
Reilun viiden minuutin katselun jälkeen (ei tekstitystä)
Reilun viiden minuutin katselun jälkeen (tekstityksellä)
Teksti kutsuu Otteita elokuvasta Helsinki, ikuisesti (Peter von Bagh) 00:16 03:25 11:20
3.2. Lukuprosessiin vaikuttavat katsojakohtaiset tekijät Tekstityksen prosessointi riippuu myös, siitä kuinka paljon katsoja sitä tarvitsee tiedonlähteenä Tarvetta lisätutkimukselle prosessoinnin asteista!
Pilottiesimerkki Koehenkilöt ja katsottu materiaali 21 suomenkielistä opiskelijaa Ranskan taito B.1.2 (1. vuoden opiskelijat) 3 seitsemän kohenkilön ryhmää: SubFIN SubFRA SubNO 5:30 minuuttia pitkä otos ranskankielisestä elokuvasta Vahva sisäinen koheesio Un long dimanche de fiançailles
Kyselylomake + silmänliikemittaus Kysymyksiä elokuvaotteen ymmärtämisestä Oikeat vastaukset (myös vaillinaiset) Väärät vastaukset (myös tyhjät) Silmänliikemittaus kustakin koehenkilöstä
8 7 6 5 Yleisesti ottaen 75 % oikeita vastauksia SubFIN-ryhmässä 60 % oikeita vastauksia SubFRA-ryhmässä 40 % oikeita vastauksia SubNO-ryhmässä 4 3 2 1 0 Q1 Q6 Q11 Q13 Q3 Q7 Q9 SubNO SubFRA SubFIN Mutta lähempi tarkastelu osoitti, että SubFIN ylsi selvästi parempiin tuloksiin vain joidenkin kysymysten kohdalla, kun taas toisten kysymysten kohdalla sekä SubFIN että SubFRA ylsivät samoihin lukemiin.
Parhaat tulokset SubFIN-ryhmällä : Q1 - Montako lasta kirjeen kirjoittajalla oli ennen naimisiin menoa? Entä hänen miehellään? Q6 - Mitä mies sanoo viinistä vaimolleen ruokapöydässä? Q11 - Miksi naisella oli punainen liina käsissään, kun hänen miehensä nuori ystävä saapui? Q13 - Mitä nuori mies ehdottaa naiselle heidän tekevän? Yhtä hyvät tulokset SubFIN ja SubFRA-ryhmillä : Q3 - Minkälainen fysiologinen ongelma hänen miehellään on? Q7 - Mainitse kaksi asiaa, jotka mies kertoo perheelleen sodasta. Q9 - Mitä mies pyytää vaimoaan tekemään? Mikä yhteinen nimittäjä?
Nro Kysymys Ryhmä Q6 Mitä mies sanoo viinistä vaimolleen ruokapöydässä? Oikea vastaus Osittainen vastaus Väärä vastaus Ei vastausta Sub NO - 1 2 4 Sub FRA 1-3 3 Sub FIN 4 2 1 - Oikea vastaus löytyy yhdestä ainoasta repliikistä (sekä sen tekstityksestä): Vain tämä pitää meidät vedossa. Osittainen vastaus SubNO-ryhmässä oli, että mies pyytää lisää viiniä (minkä hän tekee ilmeillään). SubFIN-ryhmässä osittaiset vastaukset perustuivat tekstitettyyn dialogiin.
Nro Kysymys Ryhmä Q3 Mikä fysiologinen ongelma miehellä oli? Oikea vastaus Osittainen vastaus Väärä vastaus Ei vastausta Sub NO 3 1 2 1 Sub FRA 5 1-1 Sub FIN 6 - - 1 Oikea vastaus löytyy myös ääniraidasta lauseen muodossa, mutta oleellista on se, että sama informaatio tulee moneen kertaan esille otteen aikana: 55:50 Miehelläni oli jo ennestään neljä lasta. Ei yhtään omaa. 55:57 Mieheni tunnusti lapset omikseen. Minullakin oli 3-vuotias tytär. 56:09 Niin hänestä tuli viiden lapsen isä, vaikkei itse voinut saada lapsia. 57:59 Kuten sanoin, hän ei voinut saada lasta. 58:24 Nämä viisi eivät ole minun, miksei sitten kuudes?
Nro Kysymys Ryhmä Q9 Mitä mies pyytää vaimoaan tekemään? Oikea vastaus Mies on pyytänyt vaimoaan saamaan kuudennen lapsen oman ystävänsä kanssa Missään vaiheessa asia ei tule eksplisiittisesti esiin, mutta ajatus on koko otteen kannalta olannainen ja siihen viitataan epäsuorasti moneen kertaan 57 50 (Mies): Kuudes lapsi on ainut keino päästä pois. 58 11 (Mies): Se ei ole pettämistä, jos minä pyydän. 58 20 (Mies): Sama se, vaikkei kuudeskaan ole minun. 59 58 (Miehen ystävä): Sanotaan, että teimme sen. Toisto perustuu katsojan päätelmiin Osittainen vastaus Väärä vastaus Ei vastausta Sub NO 2 1 3 1 Sub FRA 2 5 - - Sub FIN 3 4 - -
Nro Kysymys Ryhmä Q7 Mainitse kaksi asiaa, jotka mies kertoo perheelleen sodasta. Oikea vastaus Tarinat: Näin sotatovereita liekkien keskellä. Heidän panosvyönsä räjähtelivät kuin raketit Kerran piti käyttää kaverin ruumista kilpenä Näitä ei toisteta millään lailla kielellisesti, sen sijaan kuvan ja äänen kautta vahvastikin. Osittainen vastaus Väärä vastaus Ei vastausta Sub NO - 3 2 2 Sub FRA 5 1-1 Sub FIN 5 2 - -
3.2. Lukuprosessiin vaikuttavat katsojakohtaiset tekijät Miten katsojat yleensä lukevat tekstitystä? 1. Katse ensin keskelle ruutua 2. Tekstin ilmestyessä ruutuun katse sekunnin murto-osassa tekstin alkuun 3. Teksti luetaan 4. Palataan kuvan tapahtumiin (Jensema & al. 2000) Toisaalta usein myös edestakaista liikettä tekstitetyn elokuvan lukemisessa Mitä vähemmän sahaamista on, sen sujuvammasta lukemisesta on kyse (de Lynde & Kay 1999; d Ydewalle & de Bruycker 2007)
3.2. Lukuprosessiin vaikuttavat katsojakohtaiset tekijät Ero myös katsojakunnittain Kuulorajoitteiset: edestakaista liikettä paljon enemmän, kenties tarkoituksena myös lukea huulilta Kuurot: kuvan keskeltä tekstiin ja takaisin kuvan keskiöön (Szarkowska & al. 2011)
3.3. Lukuprosessiin vaikuttavat tekstikohtaiset tekijät Elokuvan editointi leikkauksen tempo Erikoistehosteet Konventioiden mukaan skarvi tekstityksen pysyessä ruudulla aiheuttaa uuden lukemisen Toinen hypoteesi on tämän aiheuttavan epävarmuutta, joka näkyy edestakaisen liikkeen lisääntymisenä Tarvetta lisätutkimukselle!
3.3. Lukuprosessiin vaikuttavat tekstikohtaiset tekijät Tekstityksen jako ja rivinvaihdot Konventio sanoo, että prosessoinnin teho laskee, kun rivitys ei toimi semanttisten kokonaisuuksien pohjalta Vaikutusta ymmärtämiseen ei ole kuitenkaan osoitettu. Erona ainoastaan katseen viipyminen tekstityksessä (keskimäärin 12 ms enemmän), kun rivien koheesio on huono Kognitiivisesti vain hieman raskaampaa (Perego & al. 2010)
3.3. Lukuprosessiin vaikuttavat tekstikohtaiset tekijät Kieliparin vaikutus Huomattavasti enemmän tutkimusta Esim. kuurojen, kuulorajoitteisten ja kuulevien lukupolkuja on verrattu eri kieliversioissa Lähinnä kuulevien kohdalla voidaan sanoa, että he lukevat vähemmän, kun elokuvan puhuttu kieli on heidän äidinkielensä ja tekstitys on kielensisäistä (Szarkowska & al. tulossa) Redundanssin rooli siis keskiössä? Vielä voisi tutkia, milloin ja missä määrin täysin redundanttia tekstitystä luetaan
3.3. Lukuprosessiin vaikuttavat tekstikohtaiset tekijät Sanasanainen vai muokattu tekstitys? Italialaisten englannin oppijoiden ryhmässä muokattu tekstitys aiheutti enemmän edestakaista silmänliikettä kuvan ja tekstin välillä (Ghia 2012)
3.4. Prosessoinnin mittaaminen Visuaalisen tarkkaavaisuuden sijainti 84 % tekstityksessä, 14 % kuvassa, 2 % ruudun ulkopuolella (Jensema & al. 2000) (mutta tutkimuksessa pieni otanta, lyhyitä otteita, ilman ääntä) 67 % tekstityksessä, 33 % kuvassa (Perego & al. 2010) (41 italialaista osanottajaa, jotka katsoivat unkarilaista elokuvaa tekstitettynä äidinkielellään) Nopeampi tekstitystempo lisää tekstiosassa viipymistä (Jensema & al. 2000)
3.4. Prosessoinnin mittaaminen Fiksaatioiden keskimääräinen kesto Pitkä fiksaatio kielii raskaammasta kognitiivisesta prosessista (Irwin 2004) Mutta fiksaatiot pitempiä kuvan katsomisessa kuin lukemisessa kyseessä eriluonteiset toiminnat!
3.4. Prosessoinnin mittaaminen Tekstityksen lukeminen vs. katsominen Ongelmana lukemisen tutkiminen Suurin osa tutkimuksista kertoo katsotuista alueista Käytössä yleisimmin: fiksaatioiden määrä, niiden kestot ja siirtymät tekstin ja kuvan välillä Poikkeuksina tähän jotkut tutkimukset, joissa analysoidaan fiksaatioiden järjestystä, sakkadien pituutta, kohdentumispisteiden suhteellista lukumäärää, regressioita, tekstitysosien lukematta jättämisiä
Lopuksi Paljon on vielä tutkittavaa, kun tutkimuskohteena on kompleksisen multimodaalisen tekstin prosessointi - monta riippumatonta muuttujaa!