Puheteknologia Informaa2oteknologian perusteet. Kalle Palomäki Signaalinkäsi8elyn ja akus2ikan laitos

Samankaltaiset tiedostot
Ryhmätyö. Kalle Palomäki Signaalinkäsi5elyn ja akus8ikan laitos

Say it again, kid! - peli ja puheteknologia lasten vieraan kielen oppimisessa

Jukka Pätynen. Jukka, Jussi, Niklas, aiheassistenat 5: Tilaääni Prof. Ville Pulkki, Juhani Paasonen

Say it again, kid! - peli ja puheteknologia lasten vieraan kielen oppimisessa

Puheenkäsittelyn menetelmät

Puheentunnistus Mikko Kurimo

Puheentunnistus. Joel Pyykkö 1. 1 DL-AT Consulting

T Luonnollisten kielten tilastollinen käsittely Vastaukset 11, ke , 12:15 14:00 Puheentunnistus ja kielimallien evaluointi Versio 1.

Digitaalinen audio

TTS. Puhesynteesi (tekstistä puheeksi, engl. text-tospeech,

OT2 Puheteknologian opintokokonaisuuden suunnittelu Kalle Palomäki

ELEC-C5210 Satunnaisprosessit tietoliikenteessä

Sovelle&u digitaalinen signaalinkäsi&ely. Audio 1 Vesa Välimäki (& Kalle Palomäki)

Tähtitieteen käytännön menetelmiä Kevät 2009

Puheenkoodaus. Olivatpa kerran iloiset serkukset. PCM, DPCM ja ADPCM

JOHDATUS TEKOÄLYYN TEEMU ROOS

Helpon suomen alkeet. Miten puhua niin, että kielenoppijakin ymmärtää? Salla Kurhila & Taija Udd, Suomen kieli ja kulttuuri, Helsingin yliopisto

Tekoäly tänään , Vadim Kulikov (Helsingin Yliopisto)

Vfo254: Puhekorpusten käyttö

Vfo254: Puhekorpusten käyttö

KERHOPAKETIN OHJELMA JA TAVOITTEET ( ARABIAN KIELI )

Tarvitseeko informaatioteknologia matematiikkaa?

SGN-4200 Digitaalinen audio


YKSIKKÖ Pääte on aina -N. Se liittyy sanan taipuneeseen vartaloon. Kenen auto tuo on? - Aleksanterin - Liian. Minkä osia oksat ovat?

Kieli merkitys ja logiikka. 2: Helpot ja monimutkaiset. Luento 2. Monimutkaiset ongelmat. Monimutkaiset ongelmat

Savonlinnan ammatti- ja aikuisopiston vieraiden kielten opetusta verkossa ja integroituna ammattiaineisiin. Johanna Venäläinen

Seuraavassa taulukossa on annettu mittojen määritelmät ja sijoitettu luvut. = 40% = 67% 6 = 0.06% = 99.92% 6+2 = 0.

Kielellisten merkitysten tilastollinen ja psykologinen luonne: Kognitiivisia ja filosofisia näkökulmia. Timo Honkela.

Pianon äänten parametrinen synteesi

Puhenäytteiden mittailusta puhekorpuksen perkuuseen: kalastelua mato-ongella ja verkoilla. Mietta Lennes FIN-CLARIN / Helsingin yliopisto

AUTOMAATTINEN PUHEENTUNNISTUS

Pentti Haddington Oulun yliopisto englantilainen filologia. Anna Marin OAMK, liiketalouden yksikkö; Oulun yliopisto, UniOGS

Foneettiset symbolit

Puheentunnistus ja synteettinen puhe

Osataanko ja voidaanko tvt:tä hyödyntää vieraiden kielten opetuksessa? Valtakunnalliset virtuaaliopetuksen päivät 2009

A2-KIELEN VALINTA. Mahdollisuus monipuoliseen kielitaitoon Eveliina Bovellan 1

Sovelle-u digitaalinen signaalinkäsi-ely

3b. -a + -a tai -i + a tai -e + -a KALA KALAA KALAN KALAAN KALASSA KALOJA KALOJEN KALOISSA

Säännölliset kielet. Sisällys. Säännölliset kielet. Säännölliset operaattorit. Säännölliset kielet

Varhainen leikki ja sen arviointi

FONETIIKKA SUULLISEN KIELITAIDON ARVIOINNISSA

CLT131: Tekstityökalut 2011, viides luento

Kurssijärjestelyt. ME-C2300 Verkkojulkaisemisen perusteet (5 op) Mari Hirvi Informaatioverkostot / Mediatekniikan laitos

ABHELSINKI UNIVERSITY OF TECHNOLOGY

Sovelle-u digitaalinen signaalinkäsi-ely

Åbo Akademi klo Mietta Lennes Nykykielten laitos Helsingin yliopisto

Genetiivi vastaa kysymykseen kenen, minkä. Yksikössä genetiivin tunnus on -n (koulun, opettajan, kirjan). Nyt opiskelemme monikon genetiivin.

Alkukartoitus Opiskeluvalmiudet

Luento-osuusosuus. tilasto-ohjelmistoaohjelmistoa

Ilmoittaudu Weboodissa klo (sali L4) pidettävään 1. välikokeeseen!

T Luonnollisen kielen tilastollinen käsittely Vastaukset 5, ti , 8:30-10:00 N-grammikielimallit, Versio 1.1

» Fonetiikka tutkii puheen: Tuottamista -> ARTIKULATORINEN Akustista ilmenemismuotoa -> AKUSTINEN Havaitsemista -> AUDITIIVINEN

SGN-4200 Digitaalinen Audio Harjoitustyö-info

8. Kieliopit ja kielet

Viikko

MS-A0102 Differentiaali- ja integraalilaskenta 1

Teollisuusmatematiikka. Samuli Siltanen Matematiikan ja tilastotieteen laitos Helsingin yliopisto Tieteen päivät

pitkittäisaineistoissa

SGN-4010 PUHEENKÄSITTELYN MENETELMÄT Luento TTY/Signaalinkäsittelyn laitos Konsta Koppinen

Digitaalinen signaalinkäsittely Johdanto, näytteistys

Koska HAL ymmärtää mitä puhumme? Puheen automaattinen tunnistus ja ymmärtäminen

Sanaluokkajäsennystä rinnakkaisilla transduktoreilla

Miten opetan suomea? luento CIMO:ssa Comenius-apulaisopettajiksi lähteville Emmi Pollari

MetropAccess Työkaluja ja ymmärrystä: Kaupungin saavutettavuus ja liikkumisrakenteet muutoksessa

4. Lausekielinen ohjelmointi 4.1

Euroopan unionin neuvosto Bryssel, 25. heinäkuuta 2014 (OR. en)

IDEASTA TUOTTEEKSI: Suunnittelu, toteutus, testaus, tuotanto

Puheentunnistus radiologiassa

Kompleksiluvut signaalin taajuusjakauman arvioinnissa

Kojemeteorologia. Sami Haapanala syksy Fysiikan laitos, Ilmakehätieteiden osasto

When I flipped. eli käänteistä opetusta massaluennolla. Marko Keskinen Maanpuolustuskorkeakoulu

Onko empiirinen käänne vain empirian kääntötakki?

Kokemuksia ja havaintoja teekkareille suunnatusta matematiikan ja fysiikan preppauksesta

Nämä ovat siis minimivaatimukset, enemmänkin saa ja suositellaan

KOHTI TIETOISIA ROBOTTEJA

E. Oja ja H. Mannila Datasta Tietoon: Luku 2

Ilmasto-opas.fi Klimatguiden.fi Climateguide.fi

SGN-4010, Puheenkäsittelyn menetelmät Harjoitus 6, 18. ja

Mistä 'etojohtamisessa oikeas' on kyse? Tieken Bisnestreffit

Ahmed, välkkä ja kielimuuri. Kielen käyttö koulutuksessa

Puhe ja kieli, 28:2, (2008) 73

T Luonnollisen kielen tilastollinen käsittely Vastaukset 3, ti , 8:30-10:00 Kollokaatiot, Versio 1.1

Kepeli-ohjaajakoulutus, osa 1 Asiaa kielen oppimisesta Välitehtävä. Eva Rönkkö, Anita Ahlstrand ja Eveliina Korpela

Jatko-opintoja englannista kiinnostuneille

Tavoite Opiskelija osaa käyttää englannin kielen rakenteita, hallitsee kielen perusilmaukset ja ymmärtää opiskelijan arkielämään liittyvää kieltä

Hei kuka puhuu? lapsen kohtaaminen ja tukeminen

Kokemuksen kautta osalliseksi ja vaikuttajaksi

Asialista. hippu ja.bashrc. Asialista. Tutkimusongelma: tekstin morfologisen jäsennyksen selvittely

Neuroverkkojen soveltaminen vakuutusdatojen luokitteluun

MS-C2128 Ennustaminen ja Aikasarja-analyysi, 5 op Esittely

5 Akustiikan peruskäsitteitä

Edistyksen päivät, Helsinki. Voiko tutkija muuttaa maailmaa? Humanistista meta-analyysiä merkitysneuvottelevien koneiden avulla.

Keravan kaupungin lukiokoulutuksen kieliesite

CLT131: Tekstityökalut 2010, toinen luento

Tilastotieteen jatkokurssi syksy 2003 Välikoe

Luento: Puhe. Mitä puhe on? Anatomiaa ja fysiologiaa. Puhetapahtuma. Brocan ja Wernicken alueet. Anatomiaa ja fysiologiaa. Puheen tuottaminen:

TIEP114 Tietokoneen rakenne ja arkkitehtuuri, 3 op. FT Ari Viinikainen

Puhesynteesin perusteet Luento 4: difonikonkatenaatio

KIELENOPPIJOITA TIEDONHANKINTA KESKIÖSSÄ KUUNTELEMALLA OPPIJA (AUDITIIVINEN) KIELEN KÄYTTÖ, VUOROVAIKUTUS NÄKEMÄLLÄ

Transkriptio:

Puheteknologia Informaa2oteknologian perusteet Kalle Palomäki Signaalinkäsi8elyn ja akus2ikan laitos

Määritelmä: Puhekäy8ölii8ymä Kone8a ohjataan ja käytetään puhumalla Kone voi olla hardwarea, sobaa, jne.

Juurilta liikkelle: - Varhainen visio puhekäy8ölii8ymästä h8ps://www.youtube.com/watch?v=mdlelw4zjke

Oppimistavoi8eet Oppii tuntemaan puheteknologian osa- alueet ja tutustuu perusteisiin Puheen siirto ja koodaus Puheen tunnistus ja synteesi Tutustua ihmisen puheentuo8oon, joka on puheteknologian perustana Tällä kurssilla kevyt johdanto teemaan Tutustutaan ilmiöihin, mu8a ei mennä syvälle teoriaan

Puhekäy8ölii8ymiä Täysin automa2soitu versio automaarnen puheentunnis2n ymmärtää puhesynteesi vastaa Annetaan komentoja lai8eille puhuen Matkapuhelimet, navigaa8orit Hoitoteknologia esim. hammaslääkärin tuoli Automa2soidut puhelinkeskukset Suomessa mm. Taksipalvelu Puhelinvaihteet (Sonera esimerkkinä) Sanelusovellukset Esim. terveydenhuollon sanelut DokumenRen kirjoi8aminen sanelulla Tiedon haku puheella Käy8ölii8ymä voi olla puhepohjainen Myös puheaudio voi olla muune8u teks2ksi käy8äen automaarsta puheentunnis2nta

Muitä läheisia teknologioita Puhujan tunnistus Emoo2oiden tunnistus Ympäristöäänten tunnistus, musiikin sisältöpohjainen analyysi ja synteesi

Sisältö Ääni Puheentuo8o Puheenkoodaus Puhekäy8ölii8ymiä ja esimerkkejä Puheentunnistus Puhesynteesi Demoja

Orientaa2o Pariporina: Puheentunnistuksen haasteet Miksi automaarnen puheentunnistus on vaikeaa?

Puheentunnistus Ympäristö ja mikrofonit Melu: kahvilat, auto, liikenne Kaiunta: lähimikrofoni, pöytämikrofoni Puhelinpuhe Puhetyyli Puhuja

Puheentunnistus Ympäristö ja mikrofonit Puhetyyli Erotetut sanat vs. jatkuva puhe Rajoite8u vs. laaja sanasto Spontaani puhe Puhujan mallinnus

Puheentunnistus Ympäristö ja mikrofonit Puhetyyli Puhujan mallinnus Puhujariippuvat mallit Puhujariippuma8omat mallit Puhuja- adaptaa2o

Puheentunnis2n Puheentunnis2n muuntaa puhutun äänisignaalin teks2ksi Puhesignaali Piirre- irroitus Akus2nen malli Dekooderi Teksti Kieli- malli

Puhesignaali Piirre- irroitus Akus2nen malli Dekooderi Teksti Kieli- malli A a l t o ylio p i s to

Puhe signaali Piirre- irroitus Akus;nen malli Dekooderi Teksti Kieli- malli Akus2nen malli perustuu foneemeihin puhu8u vas2n kirjaimille Tilastollinen malli kuvaa keskimäärin eri foneemien akus2ikan Opetetaan kymmenistä - tuhansista tunneista puhu8ua kieltä eri puhujilta

Interna2onal Phone2c Alphabet

Puhe signaali Piirre- irroitus Akus;nen malli Dekooderi Teksti Kieli- malli c

A a l t o ylio p i s to

1 2 Tehtävä 1. Mikä vaihtoehdoista Esi8ää sanaparia sähkötekniikan korkeakoulu?? 3

S ä hkötek nii kan k o r kea k o u l u P e r u s 2e teiden kor kea k o u lu I n s i n ö öri 2e tei den kor kea k o u l u

Puheen tunnis2n luoki8elu Akus2nen malli luoki8elee puhedataa foneemeiksi 2lastollisten mallien avulla

Luoki2n

Luoki2n

Luoki2n

0 opetus 0 1 0 0 _ k k k k k ae ae ae ae t t t t t _

0 opetus 0 1 0 0 _ k k k k k ae ae ae ae t t t t t _

0 opetus 0 0 0 1 _ k k k k k ae ae ae ae t t t t t _

0 Tunnistus 0.05 0.4 0.05 0.5 _ k k k k k ae ae ae ae t t t t t _ Sum()=1

1dim. Gaussin sekoitemalli Havainnon todennäköisyys Havainto Picture by B.Pellom

Esimerkki: Puheen 2lastollinen malli 0.05 0.05 Todennäköisyys 0.04 0.03 0.02 0.01 0.04 0.03 0.02 0.01

Tehtävä 2a. Puheen 2lastollinen malli 1 2 0.05 0.05 Todennäköisyys 0.04 0.03 0.02 0.01 0.04 0.03 0.02 0.01

Tehtävä 2b. Puheen 2lastollinen malli 1 2 0.05 0.05 Todennäköisyys 0.04 0.03 0.02 0.01 0.04 0.03 0.02 0.01

Tehtävä 2b. Puheen 2lastollinen malli 1 2 0.05 0.05 Todennäköisyys 0.04 0.03 0.02 0.01 0.04 0.03 0.02 0.01

Tehtävä 2c. Puheen 2lastollinen malli 1 2 0.05 0.05 Todennäköisyys 0.04 0.03 0.02 0.01 0.04 0.03 0.02 0.01

Tehtävä 2c. Puheen 2lastollinen malli 0.05 0.05 Todennäköisyys 0.04 0.03 0.02 0.01 0.04 0.03 0.02 0.01

0 Tunnistus 0.05 0.4 0.05 0.5 _ k k k k k ae ae ae ae t t t t t _ Sum()=1

Puhe signaali Piirre- irroitus Akus;nen malli Dekooderi Teksti Kieli- malli c

Puhe signaali Piirre- irroitus Akus2nen malli Dekooderi Teksti Kieli- malli Tilastollinen malli kielelle miten todennäköises2 2e8y sana esiintyy konteks2ssa suomen presidenr??? Opetetaan teks2aineistosta leh2ä, kirjoja, ym. tavallista teks2ä Laajuus luokkaa 10 miljoonaa sanaa

Tehtävä 3a. Mikä sana ennustaa todennäköisimmmin sanaa eat? A: I (eat) B: lunch (eat) C: to (eat)

Tehtävä 3a. Todennäköisyydet A: I (eat) : 0.0038 B: lunch (eat) : 0 C: to (eat) : 0.26

Tehtävä 3b. Mikä sana ennustaa todennäköisimmin sanaa lunch A: want (lunch) B: food (lunch) C: Chinese (lunch)

Tehtävä 3b. Todennäköisyydet. A: want (lunch) : 0.0049 B: food (lunch) : 0 C: Chinese (lunch) : 0.0047

Data from Berkeley restaurant corpus (Jurafsky & Mar2n, 2000 Speech and language processing ). I want to eat Chinese food lunch I 8 1087 0 13 0 0 0 want 3 0 786 0 6 8 6 to 3 0 10 860 3 0 12 eat 0 0 2 0 19 2 52 Chinese 2 0 0 0 0 120 1 food 19 0 17 0 0 0 0 lunch 4 0 0 0 0 1 0 1087 / 3437=.32 Uni- gram counts I 3437 want 1215 to 3256 eat 938 Chinese 213 food 1506 lunch 459 3 / 3256 =.00092 6 / 1215 =.0049 Calculate missing bi- gram probabili2es I want to eat Chinese food lunch I.0023.32 0.0038 0 0 0 want.0025 0.65 0.0049.0066.0049 to.00092 0.0031.26.00092 0.0037 eat 0 0.0021 0.020.0021.055 Chinese.0094 0 0 0 0.056.0047 food.013 0.011 0 0 0 0 lunch.0087 0 0 0 0.0022 0

Puhesignaali Piirre- irroitus Akus2nen malli Dekooderi Teksti Kieli- malli Dekooderi yhdistää akus2sen ja kielimallin Valitsee eri tunnistushypoteeseista parhaan

Dekoodaushypoteeseja Speech recogni2on Picture by B.Pellom

Sisältö Ääni Puheentuo8o Puheenkoodaus Puhekäy8ölii8ymiä ja esimerkkejä Puheentunnistus Puhesynteesi Demoja

Puhesynteesi Muuntaa teks2n puheeksi Lisäykset lähde- suoda2n malliin Teks2n analyysi Teks2n ja puheen yhteyden 2lastollinen malli

Puhesynteesi Teks2- analyysi Tilastollinen malli Lähteen generoin2 Ääniväylä- suoda2n SynteeRnen puhe

Demo puheryhmän tutkimuksesta Uu2slähetys AutomaaRses2 teks2te8y Kuva indeksoitu automaarses2 h8ps://www.youtube.com/watch? v=wdfa1xadhge

Tiedonhaku Audio materiaali on muune8u teks2ksi puheen tunnis2men avulla Esimerkki Turunen & Kurimo tutkimuksesta

Demo ryhmän tutkimuksesta AutomaRnen tulkki joka kääntää käy8äjän puheen suomesta englanniksi EU- Emime- projek2 h8ps://www.youtube.com/watch? v=wqv7uyayaq0

Puhesynteesinäy8eitä : Glo8- HMM- synteesi (EU- projek2, SIMPLE4ALL, Paavo Alku, Mikko Kurimo, MarR Vainio) Mies (suomeksi): Nainen (suomeksi): Mies (Amerikan englan2):

Demo: äänen personoin2 Äänen personoin2 adaptoimalla, puhesynteesi 2etylle puhujalle

Lisää puheesta ja signaalinkäsi8elystä Sovelle8u digitaalinen signaalinkäsi8ely: h8ps://www.youtube.com/watch?v=thrmglfbrza h8ps://www.youtube.com/watch?v=v08d2q6k2ig Automa2c Speech Recogni2on (5 cr. maisteriopinnot): h8ps://mycourses.aalto.fi/course/view.php?id=5180

Harjoituksesta Vokaalinauhoi8eiden analysoin2 Audacity ohjelmalla (luento 1) Puheentunnis2men kokeilu (luento 2) Esitehtävä Tuotetaan Audacityllä spektrikuvat vokaalista Kokeillaan puheentunnis2nta ja etsitään virheet Laskari analysoidaan spektrit ja puheentunnistusvirheet

Kiitos mielenkiinnosta!