Konekäännöksen laadun arviointia käännöstieteen menetelmin KäTu-symposiumi 2010 Maarit Koponen Helsingin yliopisto Nykykielten laitos
Semanttinen laatuarviointi The Commission hopes that the consultation will encourage a wide range of responses. Komissio toivoo saavansa paljon vastauksia kuulemisprosessissa. Euroopan komission käännös Komissio toivoo, että kuuleminen edistää monenlaisia vastauksia. Googlen konekäännös Komissio toivoo, että neuvottelu rohkaisee laajaa valikoimaa reaktioita. Sundan konekäännös
Arviointimenetelmät Manuaaliset menetelmät mikrotekstuaalinen virheanalyysi tekstin kokonaislaadun arviointi ongelmakohtia: aikaavievää subjektiivista Automaattiset menetelmät tilastolliset n-grammimittarit jäsennystä tms. hyödyntävät menetelmät ongelmakohtia: korrelaatio ihmisten arvioiden kanssa kyseenalainen
Esimerkkiaineisto Euroopan komission Vihreä kirja deskriptiivinen virkkeitä: 14, sanoja: 464 (33 sanaa/virke) National Geographic -lehden artikkeli narratiivinen virkkeitä: 17, sanoja: 448 (26 sanaa/virke) virustorjuntaohjelmiston asennusohje instruktiivinen virkkeitä: 38, sanoja: 411 (11 sanaa/virke)
Käännökset ihmiskäännös (julkaistu) tilastollinen konekäännös Google-käännin translate.google.com sääntöpohjainen konekäännös Sunda http://www.sunda.fi/eng/online_demo.html
Konekääntimet Tilastollinen: Google tilastolliset oppimismenetelmät korpukset miljardeja sanoja kohdekielen korpukset kohdistetut käännöskorpukset Sääntöpohjainen: Sunda lingvistiset säännöt 150 000 leksikkosääntöä 60 000 kontekstuaalista leksikaalista sääntöä 2 000 kielioppisääntöä
Ydinlauseanalyysi Lähtöteksti You can install Norton AntiVirus from a CD or from a file that you download. You can install Norton AntiVirus from a CD. or You can install Norton AntiVirus from a file. You download the file. Ihmiskääntäjä Voit asentaa Norton AntiVirus -ohjelman CD-levyltä tai lataustiedostosta. Sinä voit asentaa Norton AntiVirus -ohjelman CD-levyltä. tai b Sinä voit asentaa Norton AntiVirus -ohjelman lataustiedostosta. Sunda Te voitte asentaa Norton AntiVirusin CD:sta tai tiedostosta, jonka te lataatte. Te voitte asentaa Norton AntiVirusin CD:sta. tai Te voitte asentaa Norton AntiVirusin tiedostosta. Te lataatte tiedoston. Google Voit asentaa Norton AntiVirus- CD-levyltä tai tiedoston lataamista. Sinä voit asentaa Norton AntiVirus-CDlevyltä. tai JOKU lataa tiedoston.
Käännösvirheet käännösvirheet ja kielivirheet kiinnostuksen kohteena ovat käännösvirheet käännösvirheen määritelmä semanttinen komponentti, joka ei ole lähtö- ja kohdetekstille yhteinen käsitteet - suhteet
Virhetyypit: käsitteet poisto, väärä merkitys, ei käännöstä, lisäys The locale places them at one of the most important geographical intersections of prehistory, and the date puts them squarely at the center of one of the most enduring mysteries in all of human evolution. Locale henkilöllä on yksi tärkeimmistä maantieteellinen leikkauspisteistä esihistoriaan, ja päivä tuo ne reilusti keskelle yksi pysyviä salaisuuksia kaikilla inhimillisen kehityksen. (Google)
Virhetyypit: suhteet poisto, suhde, määrite, pääsana, lisäys suhde pääsana määrite
Tulokset Käsitteet poisto merkitys ei käänn. lisäys 300 Suhteet poisto suhde määrite pääsana lisäys 120 250 100 200 80 150 60 100 40 20 50 0 Sunda Google Human 0 Sunda Google Human
Poistoja ja lisäyksiä The locale places them at one of the most important geographical intersections of prehistory, and the date puts them squarely at the center of one of the most enduring mysteries in all of human evolution. Rikospaikan perusteella he elivät yhdessä esihistorian tärkeimmistä maantieteellisistä risteyskohdista ja ajallisesti keskellä yhtä ihmisen evoluution pitkällisimmistä mysteereistä. (ihmiskääntäjä) Locale henkilöllä on yksi tärkeimmistä maantieteellinen leikkauspisteistä esihistoriaan, ja päivä tuo ne reilusti keskelle yksi pysyviä salaisuuksia kaikilla inhimillisen kehityksen. (Google)
Muuttuneita suhteita In the Activation panel, wait for the progress bar to stop, and then click Next. Odota, että Aktivointi-paneelin tilailmaisin pysähtyy ja napsauta sitten Seuraava. (ihmiskääntäjä) Aktivointipaneelissa odottakaa tilanneilmaisimen pysähtyvän ja sitten napsahtavan seuraavaksi. (Sunda)
Kriittinen virhe? Argumentaatioanalyysi: virhe on kriittinen, jos se rikkoo tekstin argumentaatiorakenteen (väitteet ja perustelut) Malcolm Williams 2009. Translation Quality Assessment. Mutatis Mutandis. Vol. 2, No 1 2009. 3-23
Päätelmiä konekäännösvirheet käsitteiden väärä merkitys tai poisto johtaa suhteiden muuttumiseen tai katoamiseen eri konekäännösstrategiat sääntöpohjainen: väärä merkitys tilastollinen: suhteen poisjääminen kriittiset virhetyypit - suhteet? merkityksen häviäminen merkityksen muuttuminen
Tuleva tutkimus lisäkokeet suuremmilla aineistoilla testiaineisto: erityyppiset virkkeet, virheet semanttisten kriteerien kehittäminen luetunymmärryskoe arvioi virhesietoisuutta arvioi eri virhetyyppien kriittisyyttä arviointimenetelmän operationalisointi automaattinen jäsennys, WordNet vähentää ajan tarvetta, parantaa objektiivisuutta
Kieliteknologia ihmisten käännösten arvioinnissa konekäännettyjen aineistojen käyttö laadunarviointimenetelmien kehittäminen ja testaaminen koneellisten menetelmien käyttö laadunvalvonta opiskelijoiden arviointi