Automttinen pueentunnitu Teemu Hirimki <teemu.irimki@ut.fi> Informtiotekniikn lbortorio 31.1.2006 1
Mit pueentunnitu on? Pueentunnitin on jrjetelm, jok pyrkii tulkitemn puett jollin tvll. Kyttökoteit: kyttöliittymn oju, nelu, kokouten utomttinen kirju, plveluutomtit, ku uurit pueineitoit Tunnitutetvn vikeu voi videll todell elpot tyin mdottomn riippuen eurvit tekijöit: Snton ljuu (muutmi noj... rjoittmton) Puujien mr (puujriippuv... rjoittmton) Tetv (irrllii noj... jtkuv puett) Änen ltu (iljinen uone... ruukbui) 2
Tutkimukentt Tunnitujrjetelmn eri oiin liittyy pljon tutkimut: Pueignli Kielimllit Eikittely Akutiet mllit Dekooderi Tunnitettu tekti Liki kytnnön ovelluki tetn trvit myö muit menetelmi: pueen erottelu muiikit j muit nit dilogin llint puujn tunnitut kumenetelmi pueenu 3
Pueentunnituken perite Tunnitujrjetelm vrten opetetn kki mlli: 1. Akutinen mlli, joll voidn lke mink tn foneemiekvenin opivuu nnettuun pueignliin. 2. Kielimlli, joll vidn lke mink tn foneemiekvenin jrkevyy. Ite tunnitu on perittee ykinkertit: etitn vin foneemiekveni, jolle mllit ntvt prn vteen. Demo ykittiten nojen tunnituket. 4
Huomioit demot Hyvin rjtull ntoll tunnitu on elppo etenkin jo nt ovt kutieti yvin erilii. Sntopojinen tunnitu on ongelmllit uomenkielien pueen tunnituke, jo nto ei ole trkkn rjttu. Tivutumuotojen j ydynojen vuoki noj on ykinkertieti liik. Tt li utikuun pueentunnituluennoll. 5
Pueignlin eikittely Kivetn ignlit eiin tunnitutetvn knnlt olennii piirteit. Alkuperinen ignli: 16 000 nytett ekunni Eikitelty ignli: 125 nytevektori ekunni (26 piirrett / vektori) Menetelmt ikojen to yviki vittuj j yvin kieliriippumttomi. 6
Pueignli 0.5 1 1.5 2 2.5 3 Spektri (0 8000 Hz) x 10 4 50 100 150 200 250 1 3 5 7 11 9 13 15 17 19 1 3 5 7 9 11 13 Mel pektri 50 100 150 200 250 Mel Frequency Ceptrl Coefficient (MFCC) 50 100 150 200 250 7
Akutien mllinnuken peruide Trvitn kymmeni ti jop toj tuntej puett, jot tiedetn mi kod luutn mikkin foneemi. Foneemimllin opetu: Kertn kikki nytteet, joiden kodll kyeinen foneemi luutn (pilvi piteit 26-ulotteie vruude) Mllinnetn pilvi muutmll Guin jkumll. Prnnuki: Jetn kukin foneemi muutmn tiln j mllinnetn tilt erikeen. Kullekin foneemille mont mlli: jok eur k:t, jok eur t:t j edelt i:t 8
Akutinen mllinnu e e e e e e e e e 125 piirrevektori/ 26 ulotteinen piirrevruu 16000 nytett/ 9
Hidden Mrkov Model (HMM) e e e e e e e e e e e e 10
Kielimllit Pueentunnituken yteyde kielimllill trkoitetn tieto, jonk tunnitin olett puutut kielet ennen puenytteen vitemit. Sovelluket riippuen e voi oll eimerkiki: Pelkk nto. Tilkone mdolliit luerkenteit. Tiltollinen N-grm -mlli. Kielimllin vull tunnitimen kuvruutt voidn rjoitt. Hyv kielimlli on vlttmtön etenkin jtkuvn pueen tunnituke. Kielimlleit enemmn utikuun luennoll 4.4. 11
Tunnitutuloki Viime vuoden tetituloki uomenkieliet pueentunnituket: Aineito Puujriippuv Snvire (%) Puekirj kyll 7 Rdiouutiet ei 22 TV-uutiet ei 35 Rdioluennot ei 35 TV-vittelyt ei 70 12
Tunnitutuloki milmlt Evlutioit jrjetetn vuoittin. Eimerkiki Cmbridgen yliopiton HTK-jrjetelmn tuloki viime vuoilt englnnin tunnituket: Tetiineito Snvire (%) Nopeu (xrt) Vuoi Uutiet (NIST) 11 10 2004 Uutiet (NIST) 15 1 2004 Puelut (NIST) 16 10 2004 Puelut (SWB) 24 > 100 2005 Puelut (SWB) 27 < 10 2005 13
Puekirjn tunnitut (puujriippuv) yt trke-it kuin tule-vien tvroiden lokero-t ovt lte-vien lji-teltu-jen jtteiden luuku-t met-lli-t muovi-t pperi-t orgn-iet jtteet ongelm-jtteet j it-tei muut jtteet pudote-tn kukin omn er-gon-omi-eti uole-llieti vlittu-un reik-n e voi oll joko ltti- t-i ein- ite jtteit kulje-ttvi putki- ei trvite oll kuin yki ljittelu-un ky-tetn lnnen-film-eit j venli-et ru-le-t-it tuttu e rullrevolveri-tekniikk- 14
Puekirjn tunnitut (puujriippumton) yt trke-it kuin tule-vien t-vro-iden lokero-t ovt lte-vien lji-teltu-jen jt-teiden luu-kut metlli-t muovi-t pperi or-g-n-iet jtteet ongelm-j-tteet j i-t-te-i muut jtteet pudo-tetn ku-kin om-n er-gon-omi-eti uole-llieti vlittu-un reik-n e voi oll jo-ko ltti- ki- ite jt-teit kulje-t-tvi putk-i ei trvite oll kuin yki lji-ttelu-un ky-tetn ln-nen-film-e-it j venl-iit ru-let-it tuttu- eu-lle ne pul-ver-i-tekniikk- 15
TV-kekutelun tunnitut ti kekutell j tiivityneit öyenit yden urin kdet eriliet enteet olivt nen toimi tervetulo kovti yvn j ivuteiden työrymn potimn yleirdion toimint j tuleviuutt mitk ovt trke tetv mit e työ mit tekee kotirintmn perutminen lti tietyti llituojelmt liikkeelle niin on yleen tlliet uuditminkkeet j e trkoitt pytyii tytt jo ik join on trpeen trktell nki trken litoken tetvi j toimenkuv j iien liittyvi toimintoj kun yleirdiot j nyt on e ik t on niin pljon toimintympritö muuttunut j tietyti e eikk ett kunt vrmti kot menemme nin televiiomkujen korottmieen pyyi ltökot ett ik join on myö rdonit j vlttmtöntkin trktell myö it ett kuink yleiö ei toimint roitetn j niin poipin in tllii kekeii tetvi j työrym perutmielle oli todell in idoti oiken ltökodn 16
Hku pueineitoit Tetvn ke kyttj kiinnotvi ptki uuret pueineitot. Eimerkiki TV-ytiöill on ioj pue- j videoineitoj. Menetelmt ietvt yvin vireit: kutuloket eivt kytnnö prne, vikk tunnituken nvire lkii 20 proentit. Demo pueut. 17
Tunnitutuloken jlkikittely Uein on yödyllit d tunnitimelt vitoetoii ypoteeej prn ypoteein liki. Vitoetoiet ypoteeit voidn eitt tiiviiti uunntull verkoll Verkon vull dn tieto tunnitutuloken luotettvuudet eri kodi. Verkkoon voidn ovelt premp kielimlli, jonk kyttö tunnituken ikn olii liin rkt. 1 l 2 ot okkeit l ot 4 5 3 Demo oiket nverkot. 18
Kurej T-61.3010 Digitlinen ignlinkittely j uodtu T-61.3020 Hmontunnituken peruteet T-61.5020 Luonnollien kielen tiltollinen kittely T-61.60x0 Informtiotekniikn erikoikuri I-IV (vituv iltö) T-61-6090 Kieliteknologin erikoikuri S-89.xxx Akutiikn j nenkittelytekniikn lbortorion kurej 19