Puheteknologia Informaa2oteknologian perusteet. Kalle Palomäki Signaalinkäsi8elyn ja akus2ikan laitos

Transkriptio

1 Puheteknologia Informaa2oteknologian perusteet Kalle Palomäki Signaalinkäsi8elyn ja akus2ikan laitos

2 Määritelmä: Puhekäy8ölii8ymä Kone8a ohjataan ja käytetään puhumalla Kone voi olla hardwarea, sobaa, jne.

3 Juurilta liikkelle: - Varhainen visio puhekäy8ölii8ymästä h8ps://

4 Oppimistavoi8eet Oppii tuntemaan puheteknologian osa- alueet ja tutustuu perusteisiin Puheen siirto ja koodaus Puheen tunnistus ja synteesi Tutustua ihmisen puheentuo8oon, joka on puheteknologian perustana Tällä kurssilla kevyt johdanto teemaan Tutustutaan ilmiöihin, mu8a ei mennä syvälle teoriaan

5 Puhekäy8ölii8ymiä Täysin automa2soitu versio automaarnen puheentunnis2n ymmärtää puhesynteesi vastaa Annetaan komentoja lai8eille puhuen Matkapuhelimet, navigaa8orit Hoitoteknologia esim. hammaslääkärin tuoli Automa2soidut puhelinkeskukset Suomessa mm. Taksipalvelu Puhelinvaihteet (Sonera esimerkkinä) Sanelusovellukset Esim. terveydenhuollon sanelut DokumenRen kirjoi8aminen sanelulla Tiedon haku puheella Käy8ölii8ymä voi olla puhepohjainen Myös puheaudio voi olla muune8u teks2ksi käy8äen automaarsta puheentunnis2nta

6 Muitä läheisia teknologioita Puhujan tunnistus Emoo2oiden tunnistus Ympäristöäänten tunnistus, musiikin sisältöpohjainen analyysi ja synteesi

7 Sisältö Ääni Puheentuo8o Puheenkoodaus Puhekäy8ölii8ymiä ja esimerkkejä Puheentunnistus Puhesynteesi Demoja

8 Orientaa2o Pariporina: Puheentunnistuksen haasteet Miksi automaarnen puheentunnistus on vaikeaa?

9 Puheentunnistus Ympäristö ja mikrofonit Melu: kahvilat, auto, liikenne Kaiunta: lähimikrofoni, pöytämikrofoni Puhelinpuhe Puhetyyli Puhuja

10 Puheentunnistus Ympäristö ja mikrofonit Puhetyyli Erotetut sanat vs. jatkuva puhe Rajoite8u vs. laaja sanasto Spontaani puhe Puhujan mallinnus

11 Puheentunnistus Ympäristö ja mikrofonit Puhetyyli Puhujan mallinnus Puhujariippuvat mallit Puhujariippuma8omat mallit Puhuja- adaptaa2o

12 Puheentunnis2n Puheentunnis2n muuntaa puhutun äänisignaalin teks2ksi Puhesignaali Piirre- irroitus Akus2nen malli Dekooderi Teksti Kieli- malli

13 Puhesignaali Piirre- irroitus Akus2nen malli Dekooderi Teksti Kieli- malli A a l t o ylio p i s to

14

15 Puhe signaali Piirre- irroitus Akus;nen malli Dekooderi Teksti Kieli- malli Akus2nen malli perustuu foneemeihin puhu8u vas2n kirjaimille Tilastollinen malli kuvaa keskimäärin eri foneemien akus2ikan Opetetaan kymmenistä - tuhansista tunneista puhu8ua kieltä eri puhujilta

16 Interna2onal Phone2c Alphabet

17 Puhe signaali Piirre- irroitus Akus;nen malli Dekooderi Teksti Kieli- malli c

18 A a l t o ylio p i s to

19 1 2 Tehtävä 1. Mikä vaihtoehdoista Esi8ää sanaparia sähkötekniikan korkeakoulu?? 3

20 S ä hkötek nii kan k o r kea k o u l u P e r u s 2e teiden kor kea k o u lu I n s i n ö öri 2e tei den kor kea k o u l u

21 Puheen tunnis2n luoki8elu Akus2nen malli luoki8elee puhedataa foneemeiksi 2lastollisten mallien avulla

22 Luoki2n

23 Luoki2n

24 Luoki2n

25 0 opetus _ k k k k k ae ae ae ae t t t t t _

26 0 opetus _ k k k k k ae ae ae ae t t t t t _

27 0 opetus _ k k k k k ae ae ae ae t t t t t _

28 0 Tunnistus _ k k k k k ae ae ae ae t t t t t _ Sum()=1

29 1dim. Gaussin sekoitemalli Havainnon todennäköisyys Havainto Picture by B.Pellom

30 Esimerkki: Puheen 2lastollinen malli Todennäköisyys

31 Tehtävä 2a. Puheen 2lastollinen malli Todennäköisyys

32 Tehtävä 2b. Puheen 2lastollinen malli Todennäköisyys

33 Tehtävä 2b. Puheen 2lastollinen malli Todennäköisyys

34 Tehtävä 2c. Puheen 2lastollinen malli Todennäköisyys

35 Tehtävä 2c. Puheen 2lastollinen malli Todennäköisyys

36 0 Tunnistus _ k k k k k ae ae ae ae t t t t t _ Sum()=1

37 Puhe signaali Piirre- irroitus Akus;nen malli Dekooderi Teksti Kieli- malli c

38 Puhe signaali Piirre- irroitus Akus2nen malli Dekooderi Teksti Kieli- malli Tilastollinen malli kielelle miten todennäköises2 2e8y sana esiintyy konteks2ssa suomen presidenr??? Opetetaan teks2aineistosta leh2ä, kirjoja, ym. tavallista teks2ä Laajuus luokkaa 10 miljoonaa sanaa

39 Tehtävä 3a. Mikä sana ennustaa todennäköisimmmin sanaa eat? A: I (eat) B: lunch (eat) C: to (eat)

40 Tehtävä 3a. Todennäköisyydet A: I (eat) : B: lunch (eat) : 0 C: to (eat) : 0.26

41 Tehtävä 3b. Mikä sana ennustaa todennäköisimmin sanaa lunch A: want (lunch) B: food (lunch) C: Chinese (lunch)

42 Tehtävä 3b. Todennäköisyydet. A: want (lunch) : B: food (lunch) : 0 C: Chinese (lunch) :

43 Data from Berkeley restaurant corpus (Jurafsky & Mar2n, 2000 Speech and language processing ). I want to eat Chinese food lunch I want to eat Chinese food lunch / 3437=.32 Uni- gram counts I 3437 want 1215 to 3256 eat 938 Chinese 213 food 1506 lunch / 3256 = / 1215 =.0049 Calculate missing bi- gram probabili2es I want to eat Chinese food lunch I want to eat Chinese food lunch

44 Puhesignaali Piirre- irroitus Akus2nen malli Dekooderi Teksti Kieli- malli Dekooderi yhdistää akus2sen ja kielimallin Valitsee eri tunnistushypoteeseista parhaan

45 Dekoodaushypoteeseja Speech recogni2on Picture by B.Pellom

46 Sisältö Ääni Puheentuo8o Puheenkoodaus Puhekäy8ölii8ymiä ja esimerkkejä Puheentunnistus Puhesynteesi Demoja

47 Puhesynteesi Muuntaa teks2n puheeksi Lisäykset lähde- suoda2n malliin Teks2n analyysi Teks2n ja puheen yhteyden 2lastollinen malli

48 Puhesynteesi Teks2- analyysi Tilastollinen malli Lähteen generoin2 Ääniväylä- suoda2n SynteeRnen puhe

49 Demo puheryhmän tutkimuksesta Uu2slähetys AutomaaRses2 teks2te8y Kuva indeksoitu automaarses2 h8ps:// v=wdfa1xadhge

50 Tiedonhaku Audio materiaali on muune8u teks2ksi puheen tunnis2men avulla Esimerkki Turunen & Kurimo tutkimuksesta

51

52 Demo ryhmän tutkimuksesta AutomaRnen tulkki joka kääntää käy8äjän puheen suomesta englanniksi EU- Emime- projek2 h8ps:// v=wqv7uyayaq0

53 Puhesynteesinäy8eitä : Glo8- HMM- synteesi (EU- projek2, SIMPLE4ALL, Paavo Alku, Mikko Kurimo, MarR Vainio) Mies (suomeksi): Nainen (suomeksi): Mies (Amerikan englan2):

54 Demo: äänen personoin2 Äänen personoin2 adaptoimalla, puhesynteesi 2etylle puhujalle

55 Lisää puheesta ja signaalinkäsi8elystä Sovelle8u digitaalinen signaalinkäsi8ely: h8ps:// h8ps:// Automa2c Speech Recogni2on (5 cr. maisteriopinnot): h8ps://mycourses.aalto.fi/course/view.php?id=5180

56 Harjoituksesta Vokaalinauhoi8eiden analysoin2 Audacity ohjelmalla (luento 1) Puheentunnis2men kokeilu (luento 2) Esitehtävä Tuotetaan Audacityllä spektrikuvat vokaalista Kokeillaan puheentunnis2nta ja etsitään virheet Laskari analysoidaan spektrit ja puheentunnistusvirheet

57 Kiitos mielenkiinnosta!