Konekäännöksen laadun arviointia käännöstieteen menetelmin. KäTu-symposiumi 2010 Maarit Koponen Helsingin yliopisto Nykykielten laitos

Transkriptio

1 Konekäännöksen laadun arviointia käännöstieteen menetelmin KäTu-symposiumi 2010 Maarit Koponen Helsingin yliopisto Nykykielten laitos

2 Semanttinen laatuarviointi The Commission hopes that the consultation will encourage a wide range of responses. Komissio toivoo saavansa paljon vastauksia kuulemisprosessissa. Euroopan komission käännös Komissio toivoo, että kuuleminen edistää monenlaisia vastauksia. Googlen konekäännös Komissio toivoo, että neuvottelu rohkaisee laajaa valikoimaa reaktioita. Sundan konekäännös

3 Arviointimenetelmät Manuaaliset menetelmät mikrotekstuaalinen virheanalyysi tekstin kokonaislaadun arviointi ongelmakohtia: aikaavievää subjektiivista Automaattiset menetelmät tilastolliset n-grammimittarit jäsennystä tms. hyödyntävät menetelmät ongelmakohtia: korrelaatio ihmisten arvioiden kanssa kyseenalainen

4 Esimerkkiaineisto Euroopan komission Vihreä kirja deskriptiivinen virkkeitä: 14, sanoja: 464 (33 sanaa/virke) National Geographic -lehden artikkeli narratiivinen virkkeitä: 17, sanoja: 448 (26 sanaa/virke) virustorjuntaohjelmiston asennusohje instruktiivinen virkkeitä: 38, sanoja: 411 (11 sanaa/virke)

5 Käännökset ihmiskäännös (julkaistu) tilastollinen konekäännös Google-käännin translate.google.com sääntöpohjainen konekäännös Sunda

6 Konekääntimet Tilastollinen: Google tilastolliset oppimismenetelmät korpukset miljardeja sanoja kohdekielen korpukset kohdistetut käännöskorpukset Sääntöpohjainen: Sunda lingvistiset säännöt leksikkosääntöä kontekstuaalista leksikaalista sääntöä kielioppisääntöä

7 Ydinlauseanalyysi Lähtöteksti You can install Norton AntiVirus from a CD or from a file that you download. You can install Norton AntiVirus from a CD. or You can install Norton AntiVirus from a file. You download the file. Ihmiskääntäjä Voit asentaa Norton AntiVirus -ohjelman CD-levyltä tai lataustiedostosta. Sinä voit asentaa Norton AntiVirus -ohjelman CD-levyltä. tai b Sinä voit asentaa Norton AntiVirus -ohjelman lataustiedostosta. Sunda Te voitte asentaa Norton AntiVirusin CD:sta tai tiedostosta, jonka te lataatte. Te voitte asentaa Norton AntiVirusin CD:sta. tai Te voitte asentaa Norton AntiVirusin tiedostosta. Te lataatte tiedoston. Google Voit asentaa Norton AntiVirus- CD-levyltä tai tiedoston lataamista. Sinä voit asentaa Norton AntiVirus-CDlevyltä. tai JOKU lataa tiedoston.

8 Käännösvirheet käännösvirheet ja kielivirheet kiinnostuksen kohteena ovat käännösvirheet käännösvirheen määritelmä semanttinen komponentti, joka ei ole lähtö- ja kohdetekstille yhteinen käsitteet - suhteet

9 Virhetyypit: käsitteet poisto, väärä merkitys, ei käännöstä, lisäys The locale places them at one of the most important geographical intersections of prehistory, and the date puts them squarely at the center of one of the most enduring mysteries in all of human evolution. Locale henkilöllä on yksi tärkeimmistä maantieteellinen leikkauspisteistä esihistoriaan, ja päivä tuo ne reilusti keskelle yksi pysyviä salaisuuksia kaikilla inhimillisen kehityksen. (Google)

10 Virhetyypit: suhteet poisto, suhde, määrite, pääsana, lisäys suhde pääsana määrite

11 Tulokset Käsitteet poisto merkitys ei käänn. lisäys 300 Suhteet poisto suhde määrite pääsana lisäys Sunda Google Human 0 Sunda Google Human

12 Poistoja ja lisäyksiä The locale places them at one of the most important geographical intersections of prehistory, and the date puts them squarely at the center of one of the most enduring mysteries in all of human evolution. Rikospaikan perusteella he elivät yhdessä esihistorian tärkeimmistä maantieteellisistä risteyskohdista ja ajallisesti keskellä yhtä ihmisen evoluution pitkällisimmistä mysteereistä. (ihmiskääntäjä) Locale henkilöllä on yksi tärkeimmistä maantieteellinen leikkauspisteistä esihistoriaan, ja päivä tuo ne reilusti keskelle yksi pysyviä salaisuuksia kaikilla inhimillisen kehityksen. (Google)

13 Muuttuneita suhteita In the Activation panel, wait for the progress bar to stop, and then click Next. Odota, että Aktivointi-paneelin tilailmaisin pysähtyy ja napsauta sitten Seuraava. (ihmiskääntäjä) Aktivointipaneelissa odottakaa tilanneilmaisimen pysähtyvän ja sitten napsahtavan seuraavaksi. (Sunda)

14 Kriittinen virhe? Argumentaatioanalyysi: virhe on kriittinen, jos se rikkoo tekstin argumentaatiorakenteen (väitteet ja perustelut) Malcolm Williams Translation Quality Assessment. Mutatis Mutandis. Vol. 2, No

15 Päätelmiä konekäännösvirheet käsitteiden väärä merkitys tai poisto johtaa suhteiden muuttumiseen tai katoamiseen eri konekäännösstrategiat sääntöpohjainen: väärä merkitys tilastollinen: suhteen poisjääminen kriittiset virhetyypit - suhteet? merkityksen häviäminen merkityksen muuttuminen

16 Tuleva tutkimus lisäkokeet suuremmilla aineistoilla testiaineisto: erityyppiset virkkeet, virheet semanttisten kriteerien kehittäminen luetunymmärryskoe arvioi virhesietoisuutta arvioi eri virhetyyppien kriittisyyttä arviointimenetelmän operationalisointi automaattinen jäsennys, WordNet vähentää ajan tarvetta, parantaa objektiivisuutta

17 Kieliteknologia ihmisten käännösten arvioinnissa konekäännettyjen aineistojen käyttö laadunarviointimenetelmien kehittäminen ja testaaminen koneellisten menetelmien käyttö laadunvalvonta opiskelijoiden arviointi