Konekääntimien tuottaman tekstin oikeellisuuden arvioinnista: konekäännöksen editointitehtävä Maarit Koponen, Helsingin yliopisto Leena Salmi, Turun yliopisto KäTu2011-symposiumi Joensuu, 16.4.2011
Johdantoa: Editointitehtävät konekäännösten arvioinnissa konekääntimen käyttötilanteen simulointia lähtöteksti (tai referenssikäännös) käytettävissä tarkoituksena tarkastella, millaisia korjauksia koehenkilöt tekevät ja miten paljon usein yhdistetään tilastollisiin mittareihin lähtöteksti ei käytettävissä tarkoituksena tarkastella, miten hyvin koehenkilöt ymmärtävät tekstin ja pystyvät sitä muokkaamaan käytössä esim. ACL MetricsMATR -evaluointikampanjoissa (Callison-Burch 2010)
tekstit Koejärjestelyt T1: Home truths about telecom, lähde: The Economist Technology Quarterly, 2007 T2: A scientific detective story, lähde: Time, 17.7.2008 molemmat käännetty kahdella eri konekäännösohjelmalla Google Translator Sunda koehenkilöt TY Kieli- ja käännösteknologia -kurssin opiskelijoita Google T1: N=13 (englannin kääntäminen) Google T2: N=12 (espanjan kääntäminen) Sunda T1: N=12 (ranskan kääntäminen, italian kääntäminen) Sunda T2: N=10 (saksan kääntäminen)
Konekäännöksen editointi: tehtävänanto Korjaa seuraavilla sivuilla annetut virkkeet sujuvalle ja ymmärrettävälle suomen kielelle sen mukaisesti, mitä tulkitset tekstin tarkoittavan. Mikäli jotakin virkettä ei mielestäsi tarvitse korjata, merkitse "x" kohtaan "Ei korjattavaa". Mikäli et pysty ollenkaan tulkitsemaan virkkeen merkitystä, merkitse "x" kohtaan "Ei tulkittavissa". Tieteellinen salapoliisikertomus Ei korjattavaa X Ei tulkittavissa Kokoelmat Lontoon luonnonhistorian museon johtaja, Max Barclay on matkustanut maailmassa harvinaisten ja aikaisemmin löytymättömien hyönteisten etsinnässä. Ei korjattavaa Ei tulkittavissa Lontoon luonnonhistoriallisen museon johtaja Max Barclay on matkustanut ympäri maailmaa etsimässä harvinaisia ja ennennäkemättömiä hyöteisiä.
Arviointi koehenkilöiden korjaukset sekä konekäännökset virke kerrallaan merkityksen ja kieliasun osalta: Merkitys ok, kieli ok Merkitys ok, kieli ei Kieli ok, merkitys ei Merkitys ei, kieli ei MK ja LS tehneet tahoillaan; yhdenmukaisuuden vertailu vielä kesken
Arviot konekäännöksen laadusta Kuinka sujuvaa teksti mielestäsi oli? 5 virheetöntä 4 kohtalaisen sujuvaa 3 kömpelöä 2 luonnotonta 1 käsittämätöntä Kuinka ymmärrettävä tekstin sisältö mielestäsi oli? 5 koko merkitys oli selkeästi ymmärrettävissä ensimmäisellä lukukerralla 4 koko merkitys oli ymmärrettävissä pohdinnan jälkeen 3 suurin osa merkityksestä oli ymmärrettävissä pohdinnan jälkeen 2 alle puolet merkityksestä oli ymmärrettävissä pohdinnan jälkeen 1 merkitystä ei pysty selvittämään pohdinnan jälkeenkään Soveltuuko teksti mielestäsi seuraaviin käyttötarkoituksiin? julkaistavaksi sellaisenaan kyllä ei kääntäjän työn pohjaksi ilman lähtötekstiä kyllä ei kääntäjän työn pohjaksi yhdessä lähtötekstin kanssa kyllä ei tarjoamaan lukijalle yleiskuvan lähtötekstin sisällöstä kyllä ei ei sovellu mihinkään tarkoitukseen kyllä ei
Koehenkilöiden arviot: sujuvuus ja selkeys 5 4.5 4 Sujuvuus Selkeys 3.5 3 2.5 2 1.5 1 0.5 0 Google T1 Google T2 Sunda T1 Sunda T2
Koehenkilöiden arviot: käyttökelpoisuus julkaistavaksi ilman lähtötekstiä lähtötekstin kanssa yleiskuva sisällöstä ei mihinkään 100% 90% 80% 70% 60% 50% 40% 30% 20% 10% 0% Google T1 Google T2 Sunda T1 Sunda T2
Koehenkilöiden valinnat virkkeittäin 100% 90% 80% 70% 60% 50% 40% Ei valintoja Korjattu Ei tulkittavissa Ei korjattavaa 30% 20% 10% 0% Google T1 Google T2 Sunda T1 Sunda T2
Koehenkilöiden korjausten onnistuminen 100% Raaka konekäännös 100% Korjattu konekäännös 90% 90% 80% 80% 70% 60% 50% 40% 30% Merkitys ei, kieli ei Merkitys ei, kieli ok Merkitys ok, kieli ei Merkitys ok, kieli ok 70% 60% 50% 40% 30% 20% 20% 10% 10% 0% Google T1 Google T2 Sunda T1 Sunda T2 0% Google T1 Google T2 Sunda T1 Sunda T2
Lukija hahmottaa merkityksen väärin Mobile calls are for last-minute planning or to co-ordinate travel and meetings. Matkapuhelut ovat viime hetken suunnittelua tai koordinoimaan matkat ja kokoukset. (11 merkitykseltään oikein korjattua) Siirrettävät kutsut ovat viime hetken suunnittelua varten, tai koordinoida matkustamista ja kokouksia. (11 merkitykseltään väärin korjattua) => väärin kääntynyt yksittäinen sana (lauseen tekijä) muuttaa koko virkkeen ajatuksen Their argument was that they wanted to be reachable during the day, just as people who sit at desks are. Heidän väite oli, että he halusivat olla tavoitettavissa päivisin aivan kuin ihmiset, jotka istuvat pöydät ovat. (11 oikein korjattua) Niiden argumentti oli, että ne halusivat olla tavoitettavissa olevia päivisin, vain ihmisinä, jotka istuvat pöytien äärellä, on. (13 väärin korjattua)
Merkitys mahdollista hahmottaa oikein Last year at a food-processing factory near Geneva, the workers revolted when the director tried to ban mobile phones from the factory floor, and he was forced to relent. Viime vuonna elintarvikkeiden jalostuslaitos lähellä Geneven työntekijöitä kapinaan, kun ohjaaja yritti kieltää matkapuhelimiin tehtaan lattian, ja hän joutui periksi. (11 oikein korjattua) Viime vuonna food-processing?-tehtaassa Geneven lähellä työntekijät kapinoivat, kun johtaja yritti kieltää matkapuhelimia pääsemästä tehdassaliin, ja hän oli pakotettu antamaan periksi. (12 oikein korjattua) So I was surprised to be confronted by an unidentifiable species while having a sandwich in the museum s garden, Barclay says. Joten olin yllättynyt kohtaavat tunnistamaton laji samalla kun sandwich museon puutarhaan ", Barclay kertoo. (8 oikein korjattua) Joten minä hämmästyin kohdatessani tunnistamattomat lajit ollessa voileipä museon puutarhassa", Barclay sanoo. (8 oikein korjattua)
Korjaamisen sietämätön vaikeus Ms Broadbent 1/3 jättänyt korjaamatta, 2/3 korjannut yli puolet korjanneista jättänyt suomenkieliseen tekstiin Ms MUTTA kun korvanneet tekstissä olleen pronominin nimellä, se on suomalaisittain Broadbent (ilman Ms.) The rest, like Barclay s almond-shaped mystery bug, are perfectly happy to crawl along without any christening or approval from their gargantuan neighbors. Loput, kuten Barclay's manteli-muotoinen mysteeri vika, on täysin tyytyväinen indeksoida pitkin ilman kaste tai hyväksyntää niiden jättiläismäinen naapureita. (0 oikein korjattua) Loppu kuten Barclayn almond-shaped?-arvoitus vika, on täysin onnellinen madellakseen ilman kastetta tai hyväksymistä niiden jättiläsmäisiltä naapureilta. (3 oikein korjattua)
Kiitokset! Maarit Koponen maarit.koponen@helsinki.fi Leena Salmi leena.salmi@utu.fi