Puheentuoton fonetiikan kertausta Vfo 251, Puhesynteesin perusteet. Äänet, resonanssi ja spektrit. Äänen tuotto ja eteneminen.

Transkriptio

1 Puheentuoton fonetiikan kertausta Vfo 251, Puhesynteesin perusteet Martti Vainio Äänet, resonanssi ja spektrit Fonetiikan laitos, Helsingin yliopisto Puheentuoton fonetiikan kertausta p.1/109 Vfo251 Puhesynteesin perusteet Kevät 2002 p.2/109 Puhe äänenä Kaikki äänteet ovat luonteeltaan ns. seosääniä. Ts. ne ovat komplekseja ja sisältävät useita taajuuksia. Seosäänet voidaan analysoida osiinsa. Ne koostuvat siniaalloista, jotka yhdessä tuottavat äänelle sen luontaisen spektrin. Äänentuottojärjestelmän resonanssit antavat äänille niiden tunnistettavat luonteen. Puheentuotossa ääniväylän tuottamat resonanssit ovat puheen kannalta kaikkein olennaisimpi piirteitä. Äänen tuotto ja eteneminen Ääni syntyy hiukkasten muuttaessa jonkin ulkoisen häiriön (disturbance) vuoksi paikkaansa aineessa. Ulkoisen toiminnan tuottaman häiriö etenee aineessa sen muodostamien hiukkasten edestakaisena liikkeenä. Puheessa ääni tuotetaan aiheuttamalla paikallinen häiriö ilmahiukkasten liikkeeseen jossain kohtaa ääniväylää. Esim. vokaalien aikana nämä häiriöt ovat äänihuulten välisen raon glottiksen umpeutumisesta ja avautumisesta ulosvirtaavaan hengitysilmaan johtuvia pulsseja. Vfo251 Puhesynteesin perusteet Kevät 2002 p.3/109 Vfo251 Puhesynteesin perusteet Kevät 2002 p.4/109

2 Äänen nopeus vs. hengitysilma Yksinkertainen harmoninen liike Äänen nopeus ilmassa on n. 330 m/s. Se etenee suhteellisen nopeasti verrattuna hengitysilman virran nopeuteen; n. 0.3 m/s. Näin ollen ilmavirran itse aiheuttamat häiriöt ns. glottispulssit etenevät ääniväylässä huomattavasti sitä itseään nopeammin n km/h vs. n. 1,8 km/h. voidaan kuvata tasaisena liikkeenä ympyrässä. Heilurin kaltainen liike Vfo251 Puhesynteesin perusteet Kevät 2002 p.5/109 Vfo251 Puhesynteesin perusteet Kevät 2002 p.6/109 Harmoninen liike ympyrässä Yhdenmukainen (uniform) ympyräliike voidaan kuvata kahden muuttujan avulla: täyteen kierrokseen vaadiittu aika periodi ja liikkuvan pisteen etäisyydellä ympyrän keskipisteestä amplitudi. Heilurin liike Ilmassa etenevän äänen suhteen nämä kaksi ovat ilmahiukkasten yhden edestakaisen värähtelyn periodin kesto ja niiden liikkeen koko. Ajassa heilurin liike muodostaa siniaallon. Vfo251 Puhesynteesin perusteet Kevät 2002 p.7/109 Vfo251 Puhesynteesin perusteet Kevät 2002 p.8/109

3 Siniaalto Siniaalto (jatkoa) Siniaallon liikemäärää kutsutaan siis sen amplitudiksi. Se on yhtä kuin värähtelyn ekstensio lepotilasta. Puheen sisältämät taajuudet ovat 50 Hz:n ja 10 khz:n välillä. Ne siis käytännössä kattavat suurimman osan kuultavista taajuuksista. Siniaallon jakso (periodi) on yhden täydellisen syklin vaatima aika, joka useinmiten ilmaistaan taajuutena (frekvenssi) ja edelleen hertzeinä (Hz) = periodia/sekunti. Vfo251 Puhesynteesin perusteet Kevät 2002 p.9/109 Vfo251 Puhesynteesin perusteet Kevät 2002 p.10/109 Siniaaltojen taajuudet Vaimeneminen Todelliset värähtelevät järjestelmät eivät koskaan ole ideaaleja ja niiden tuottama värähtely on aina vaimenevaa. Esim. ilman sisäinen kitka aiheuttaa siinä etenevän aallon amplitudin vaimenemista. Sinimäinen vaimentunut aalto ei siis ole puhdas siniaalto koska sen amplitudi ei ole vakio. Vaimentuneet siniaallot voidaan kuitenkin analysoida joukoksi eritaajuisiksi siniaalloiksi. Vfo251 Puhesynteesin perusteet Kevät 2002 p.11/109 Vfo251 Puhesynteesin perusteet Kevät 2002 p.12/109

4 Resonanssi Ilman värähtely pullossa Värähtelevä objekti tekee sen aina sille ominaisella taajuudella esim. heilurin ns. resonanssitaajuus määräytyy sen fysikaalisten ominaisuuksien pituuden ja painon mukaan. Toinen esimerkki on ilman värähtely pullossa voimme saada pullossa olevan ilmapatsaan värähtelemään esim. aukaisemalla korkki äkkinäisesti tai puhaltamalla viistosti pullon suulle. Vfo251 Puhesynteesin perusteet Kevät 2002 p.13/109 Vfo251 Puhesynteesin perusteet Kevät 2002 p.14/109 Värähtelyn taajuus Edellisessä kuvassa kahteen aallon lepotilasta edestakaiseen matkaan kului 2 millisekuntia tai 1/500 s. Tämä on siis yhden periodin kesto. Sykli toistuu siis 500 kertaa sekunnissa ja on pullon matalin resonanssitaajuus. Edellisen kuvan pullon tuottaman värähtelyn taajuus on riippuvainen pullon koosta mitä korkeampi pullo, sen matalampi poksahdus"pulloa avattaessa kuuluu. Voimme laskea pullon tuottaman äänen taajuuden äänen nopeuden ja pullon korkeuden avulla. Taajuus: Värähtelytaajuuden määrittäminen Toisesta päästä avoimen putken resonanssin määrittelevät seuraavat rajoitteet: aallon hiukkasnopeuden pitää olla suljetussa päässä minimissään ja avoimessa päässä maksimissaan. Vastaavasti paineen täytyy olla avoimessa päässä minimissään. Resonanssitaajuudet: f = c (2n 1) 4L jossa n on mikä tahansa kokonaisluku ja L on putken pituus. f = c λ Vfo251 Puhesynteesin perusteet Kevät 2002 p.15/109 Vfo251 Puhesynteesin perusteet Kevät 2002 p.16/109

5 Resonanssitaajuudet Hiukkasnopeus vs. paine 17.5 cm 1/4 λ 3/4 λ Vfo251 Puhesynteesin perusteet Kevät 2002 p.17/109 Vfo251 Puhesynteesin perusteet Kevät 2002 p.18/109 Resonanssit puheessa Puheessä esiintyvät resonanssit tuotetaan edellä kuvattujen prosessien mukaisesti. Vokaaleja tuotettaessa ilmavirtaan glottiksessa tuotetut katkokset"etenevät farynksin kautta suuonteloon paineaaltoina, jotka edelleen heijastuvat takaisin ääniväylään suuaukolla (käänteisinä). Äänihuulet toimivat toisessa päässä heijastavana pintana. Tyypillisesti miesäänellä äänihuulipulssin väliin mahtuu kymmenkunta edestakaista heijastusta siis n. viisi periodia. Formantti Puheessä ääniväylän resonansseja kutsutaan formanteiksi. Miehillä, joiden ääniväylän keskimääräinen pituus on 17.5 cm, alin resonanssitaajuus siis formantti on n. 500 Hz. Ääniväylässä kuten kaikissa putkissa on myös muita, taajuudeltaan korkeampia, resonansseja. Itse asiassa lähes kaikki äänteet eroavat toisistaan juuri resonanssitaajuuksiensa ja näin ollen formanttiensa suhteen. Vfo251 Puhesynteesin perusteet Kevät 2002 p.19/109 Vfo251 Puhesynteesin perusteet Kevät 2002 p.20/109

6 Spektrianalyysi Mikä tahansa aaltomuoto voidaan luoda summaamalla keskenään joukko siniaaltoja, joilla on oikeanlaiset taajuudet ja amplitudit. Vaimentuva siniaalto Näitä siniaaltoja, joista kompleksit äännökset koostuvat, kutsutaan niiden komponenteiksi. Analysoidaksemme minkä tahansa kompleksin äänen, etsimme jollain keinolla sellaisest komponentit, jotka summattuina tuottavat analysoimme äänen yleensä tähän käytetään Fourier analyysiä. 500 Hz:n siniaalto on täysin synkroninen vastaavan vaimentuvan aallon kanssa. Vfo251 Puhesynteesin perusteet Kevät 2002 p.21/109 Vfo251 Puhesynteesin perusteet Kevät 2002 p.22/109 Kompleksi ääni Spektrin osat Kolme siniaaltoa voidaan summata yhdeksi vaimentuvaksi aalloksi. Vfo251 Puhesynteesin perusteet Kevät 2002 p.23/109 Vfo251 Puhesynteesin perusteet Kevät 2002 p.24/109

7 Toistuva vaimentuva aalto ja sen spektri Edellistä kuvaa vastaava spektri, joka koostuu 100 Hz:n 500 Hz:n vaimentuva aalto, jota toistetaan 100 millisekunnin välein. kerrannaisista siten, että voimakkain huippu vastaa toistetun vaimentuvan aallon taajuutta (500 Hz). Vfo251 Puhesynteesin perusteet Kevät 2002 p.25/109 Vfo251 Puhesynteesin perusteet Kevät 2002 p.26/109 Perustaajuus Edellisen kuvan 100 Hz:n komponentti on sen ns. perustaajuus (fundamental frequency). Esimerkki puheesta Spektriä, joka koostuu perustaajuutensa kerrannaisista, kutsutaa harmoniseksi spektriksi. Vastaavasti kerrannaistaajuuksia kutsutaan harmonisiksi osasäveliksi. Osasävelten voimakkuus/amplitudi näkyy spektrissä sen 0 korkeutena. Spektriä, joka koostuu osasävelistä, kutsutaan usein viivaspektriksi (line spectrum), jonka vastakohta on jatkuva spektri (continuous spectrum) Time (s) Aaltomuoto keskeltä pitkää [ ]-vokaalia sanassa [ ]. Vfo251 Puhesynteesin perusteet Kevät 2002 p.27/109 Vfo251 Puhesynteesin perusteet Kevät 2002 p.28/109

8 Esimerkki puheesta Sound pressure level (db/hz) Pulsseista puheeksi Glottispulsseista lähtöisin olevat äänteet ovat kokonaisuudessaan resonanssivärähtelyistä koostuva kombinaatio, joka säteilee suuaukosta. Jokainen resonanssivärähtely vaimentuu lähes kokonaan ennen seuraavaa pulssia. Pulssit toistuvat kuitenkin niin usein ja tasaisin välein, että havaitsemme vain jatkuvan soinnillisen äänteen useinmiten kyseessä on vokaali Frequency (Hz) Esimerkki n. 100 millisekuntia pitkästä osasta [ ] - vokaalia. Perustaajuus on n. 105 Hz. Vfo251 Puhesynteesin perusteet Kevät 2002 p.29/109 Vfo251 Puhesynteesin perusteet Kevät 2002 p.30/109 Glottispulssi ja aaltomuoto Glottaalinen hiukkasnopeus ja siitä johtuva aaltomuoto soinnillisen äänteen alussa. Aperiodiset äänteet Puhe sisältää myös ei-periodisia ääniä Ne voivat syntyä kahdella tavalla: 1. Yhtäkkinen (transientti) paineen vapautuminen esim. klusiilien sulkeumavaiheen jälkeen. 2. Ääniväylässä olevan kaupeuman aiheutta turbulenssi ilmavirrassa. Näinen äännösten spektrit muodostuvat niiden lähteen muodostasta spektristä sekä ääniväylän resonanssien vaikutuksesta alkuperäiseen ääneen. Vfo251 Puhesynteesin perusteet Kevät 2002 p.31/109 Vfo251 Puhesynteesin perusteet Kevät 2002 p.32/109

9 Ääntöelimistö Puheentuotto Vfo251 Puhesynteesin perusteet Kevät 2002 p.33/109 Vfo251 Puhesynteesin perusteet Kevät 2002 p.34/109 Ihmisen äänentuottomekanismi skemaattisesti Artikulaatiopaikat ääniväylässä Vfo251 Puhesynteesin perusteet Kevät 2002 p.35/109 Vfo251 Puhesynteesin perusteet Kevät 2002 p.36/109

10 Artikulaatiopaikat: 1. huulet (bi)labiaalinen 2. huulet + ylähampaat labiodentaalinen 3. hampaat dentaalinen 4. hampaiden takapinta post-dentaalinen 5. hammasvalli alveolaarinen 6. (kova) kitalaki palataalinen 7. kitapurje velaarinen 8. uvula uvulaarinenls 9. nielu faryngaalinen 10. kurkunpää faryngaalinen 11. kielen kärki apikaalinen 12. kielen lapa koronaalinen, laminaalinen 13. kielen selkä dorsaalinen 14. kielen tyvi radikaalinen 15. kielen alapinta sublaminaalinen Suomen vokaalit i y e œ æ u o Vfo251 Puhesynteesin perusteet Kevät 2002 p.37/109 Vfo251 Puhesynteesin perusteet Kevät 2002 p.38/109 Suomen konsonantit Paikka Tapa Bilab. Labiodent. Alveol. Postalveol. Palat. Velaarinen Klusiilit Nasaalit Lateraalit Tremulantit Frikatiivit Approksimantit Puheentuoton lähde-suodin -malli Vfo251 Puhesynteesin perusteet Kevät 2002 p.39/109 Vfo251 Puhesynteesin perusteet Kevät 2002 p.40/109

11 Glottaalinen äänilähde Vokaalit saavat alkunsa larynksissa, missä tuotetaan kaikkien soinnillisten äänteiden perusta. Kurkunpään äänentuotto perustuu ns. ääniraon (glottis) nopeasti toistuvaan avautumiseen ja sulkeutumiseen. Tätä glottiksen toimintaa kutsutaan fonaatioksi (phonation). Fonaatio Fonaatio perustuu siis äänihuulten (vocal folds) liikkeisiin. Äänihuulet ovat lihaksista, jänteistä ja kudoksesta koostuvat ulokkeet ilmaväylän molemmin puolin. Äänihuulten primitiivinen, alkuperäinen tarkoitus lienee ollut pitää vieraat esineet poissa keuhkoista, mutta niiden puheeseen liittyvä funktio on niin tärkeä, että niitä on alettu kutsua äänihuuliksi. Vfo251 Puhesynteesin perusteet Kevät 2002 p.41/109 Vfo251 Puhesynteesin perusteet Kevät 2002 p.42/109 Kurkunpää (larynx) Glottispulssi Fonaatiossa ääniraon toistuva sulkeutuminen ja avautuminen muodostaa sen läpi kulkevaan ilmavirtaan jonon pulsseja, jotka toistuvat jotakuinkin tasaisin välein. Pulssijonon spektraalinen muoto toimii pohjana kaikille soinnillisille äänteille etenkin vokaaleille. Näin ollen glottaalisen äänilähteen spektri on kuultavissa kaikissa soinnillisissa äänteissä. Äänihuulten asentoa muutetaan ns. arytenoidiruston (arytenoid cartilage) välityksellä. Glottispulssin spektraaliset ominaisuudet lähes täysin riippuvaisia siitä, millä tavoin äänihuulet sitä tuotettaessa värähtelevät. Vfo251 Puhesynteesin perusteet Kevät 2002 p.43/109 Vfo251 Puhesynteesin perusteet Kevät 2002 p.44/109

12 Äänihuulten mekaaninen malli Äänihuulten toiminta fonaation aikana Värähtely säilyy äänihuulissa, koska niiden osat liikkuvat toistensa suhteen yhtenä järjestelmänä, joka voidaan mekaanisesti kuvata edellisen kuvan kaltaisesti. Vfo251 Puhesynteesin perusteet Kevät 2002 p.45/109 Vfo251 Puhesynteesin perusteet Kevät 2002 p.46/109 Äänihuulten toiminta fonaation aikana Glottispulssin muoto Subglottaalinen paine pakottaa äänihuulet erilleen, jolloin niiden välisen ilman paine laskee ja kääntää niiden liikkeen suunnan sulkeutuvaksi. Ns. Bernoullin efekti aiheuttaa niiden sulkeutumisen äkkinäisesti. Tämän jälkeen subglottaalinen paine ja kudosten elastiset voimat aloittavat syklin uudelleen. Glottispulssi muistuttaa muodoltaan ns. sahanteräaaltoa (sawtooth wave). Vfo251 Puhesynteesin perusteet Kevät 2002 p.47/109 Vfo251 Puhesynteesin perusteet Kevät 2002 p.48/109

13 Glottispulssin spektrin komponentit Glottispulssin spektri Glottispulssin spektrillä on kaksi erityisen tärkeää piirrettä: 1. Spektraalisten komponenttien siis perussävelen ja sen kerrannaistaajuuksien välimatka, joka on riippuvainen pulssin toistumisen taajuudesta. 2. Komponenttien amplitudit taajuuksien suhteen, jotka ovat riippuvaisia perättäisten glottispulssien muodosta. Idealisoitu 100Hz:n taajuudella toistuvan glottispulssin spektri. Vfo251 Puhesynteesin perusteet Kevät 2002 p.49/109 Vfo251 Puhesynteesin perusteet Kevät 2002 p.50/109 Ääniväylän vaikutus fonaatioon Yleensä ääniväylän muoto ei vaikuta glottiksen toimintaan: 1. Väylässä etenevien tasoaaltojen suhteen sen käyryydellä ei ole vaikutusta 2. Väylässä olevat sulkeumat (constriction) vaikuttavat vain vähän pulssin muotoon. Glottispulssijono muistuttaa siis sahanteräaaltoa, joka voidaan analysoida tasavälein toistuviksi kerrannaistaajuuksiksi, joiden amplitudi laskee 12 db jokaisella oktaavilla. Lähde-suodin -teoria Vokaalien ja voimakkaasti soinnillisten äänteiden suhteen glottis siis tuottaa niille niiden äänellisen perustan voimme siis kuvitella, että glottiksen yläpuolinen ääniväylä toimii jonkinlaisena suotimena tai torvena, joka voimistaa lähteen tuottamista komponenteista niitä, jotka ovat lähellä väylän resonanssitaajuuksia. Lähde-suodin -teorian (source-filter theory) avulla voimme siis selvittää kuinka vokaalien spektrit muodostuvat glottaalisen lähteen ja ääniväylän suodinfunktion kombinaationa. Vfo251 Puhesynteesin perusteet Kevät 2002 p.51/109 Vfo251 Puhesynteesin perusteet Kevät 2002 p.52/109

14 Lähde-suodin -teoria (kuva) Suotimen vaikutus lähteen spektriin Gunnar Fant: The Acoustic Theory of Speech Production, Teorian perustana on olettamus, että ääniväylä on täysin riippumaton lähteestä. Vfo251 Puhesynteesin perusteet Kevät 2002 p.53/109 Vfo251 Puhesynteesin perusteet Kevät 2002 p.54/109 Lopullisen spektrin kaltevuus Muiden kuin neutraalin keskivokaalin spektrin kaltevuus riippuu väylän resonanssien välisistä etäisyyksistä. Lähellä olevat resonanssit vahvistavat toisiaan ja vastaavasti resonanssit vaikuttavat negatiivisesti korkeammilla taajuuksilla oleviin resonansseihin. Äänentuottotavan vaikutus spektriin Ääviväylän resonanssien vuorovaikutusten lisäksi vokaalien spektrin yleiseen muotoon (spectral envelope) vaikuttaa se miten glottispulssit tuotetaan. Toisin sanoen glottispulssin taajuuden lisäksi vokaalin lopulliseen spektriin vaikuttaa se, minkä muotoinen pulssi on. Muoto on taas riippuvainen pitkälti siitä, kuinka paljon sen tuottamiseen käytetään fyysistä toimintaa (vocal effort). Voimakkaasti tuotettu pulssi sisältää enemmän energiaa korkeilla taajuuksilla, jolloin spektri on vähemmän kalteva. Vfo251 Puhesynteesin perusteet Kevät 2002 p.55/109 Vfo251 Puhesynteesin perusteet Kevät 2002 p.56/109

15 Vocal effort Ääniväylän vaikutus vokaalien spektreihin Äänilähteen spektrin kaltevuus heikosti ja voimakkaasti tuotetuilla [ ] -vokaaleilla. Vfo251 Puhesynteesin perusteet Kevät 2002 p.57/109 Vfo251 Puhesynteesin perusteet Kevät 2002 p.58/109 Ääniväylän mallit Akustisessa tutkimuksessa on huomattu, että yksinkertaisella putkiin perustuvalla ääniväylämallilla voidaan tuottaa luonnolliselta kuulostavia vokaaleita. Ääniväylää (pharyngeal-oral tract) voidaan mallintaa yhden tai usean putken kombinaatiolla. Koska ääni kulkee väylässä ns. tasoaaltona, ei väylän taipuvalla muodolla ole mainittavaa vaikutusta sen suodinfunktioon. Väylän poikkipinta-alan pienet poikkeamat eivät myöskään Formantti Tässä vaiheessa on hyvä määritellä, mitä tarkoitamme usein esiintyvällä termillä formantti. Teknisesti formantti on ääniväylän äänensiirtoon liittyvä resonanssi, jonka vaikutukset näkyvät mm. äänteiden spektreissä. On kuitenkin huomattava, että spektreissä ja spektrogrammeissa esiintyvät energian kasaumat eivät ole itse formantteja. Formantit ovat siis ääniväylään liittyviä akustisia piirteitä. ole vaikutuksiltaan suuria. Vfo251 Puhesynteesin perusteet Kevät 2002 p.59/109 Vfo251 Puhesynteesin perusteet Kevät 2002 p.60/109

16 Formanttien järjestys Puheessa formantit numeroidaan taajuuksiensa mukaan siten, että alin formantti on ensimmäinen (F1) ja sitä seuraa ylemmät formantit (F2 jne.). Kolmen ensimmäisen formantin taajuudet ovat suoraan riippuvaisia ääniväylän muodosta huulten, kielen ja leuan sekä kurkunpään muodostaessa eri konsonantteja ja vokaaleja. Ääniväylän vaikutus formantteihin Edellä olemme jo nähneet, että tärkein formanttien taajuuksiin vaikuttava tekijä on ääniväylän pituus. Toinen formanttitaajuuksiin vaikuttava tekijä on ääniväylään (yleensä) kielen avaulla tuotettava kapeuma, jonka aste ja pituus vaikuttavat alempien formanttien taajuuksiin ja amplitudeihin. Ylemmät formantit pysyvät jotakuinkin vakiona puheen aikana. Vfo251 Puhesynteesin perusteet Kevät 2002 p.61/109 Vfo251 Puhesynteesin perusteet Kevät 2002 p.62/109 Kardinaalivokaalit Etuvokaalit Vfo251 Puhesynteesin perusteet Kevät 2002 p.63/109 Vfo251 Puhesynteesin perusteet Kevät 2002 p.64/109

17 Takavokaalit Neljän putken ja kolmen parametrin malli Parametrit ovat kapeuman horisontaalinen etäisyys, kapeuman pinta-ala ja huuliaukon pituus. Vfo251 Puhesynteesin perusteet Kevät 2002 p.65/109 Vfo251 Puhesynteesin perusteet Kevät 2002 p.66/109 Parametrien vaikutus formanttitaajuuksiin Neutraali keskivokaali. Vfo251 Puhesynteesin perusteet Kevät 2002 p.67/109 Vfo251 Puhesynteesin perusteet Kevät 2002 p.68/109

18 [u] [i].. Vfo251 Puhesynteesin perusteet Kevät 2002 p.69/109 Vfo251 Puhesynteesin perusteet Kevät 2002 p.70/109 [ ] Puhesynteesi. Vfo251 Puhesynteesin perusteet Kevät 2002 p.71/109 Vfo251 Puhesynteesin perusteet Kevät 2002 p.72/109

19 Puhesynteesin historiaa Historiaa: Kratzenstein Mekaaniset synteesit: 1700-luvulla asiaa harrastivat Wolfgang von Kempelen ja Christian Kratzenstein luvulla tulivat elektromekaaniset sekä elektroniset synteesit ja vuosisadan loppupuolella digitaaliset syntisaattorit. Ks. slemmett/dippa/chap2.html Vfo251 Puhesynteesin perusteet Kevät 2002 p.73/109 Vfo251 Puhesynteesin perusteet Kevät 2002 p.74/109 Historiaa: Kempelen Historiaa: Kempelen Vfo251 Puhesynteesin perusteet Kevät 2002 p.75/109 Vfo251 Puhesynteesin perusteet Kevät 2002 p.76/109

20 Puhesynteesin historiaa: 1930-luku Historiaa: VODER 1936: Englannin puhelinyhtiön puhuva kello käytti optista tallennusta lausekkeet, sanat ja sanojen osat. 1939: Bell Laboratorion VODER (Homer Dudley) mekaaninen urkujen kaltainen laite jolla voitiin soittaa puhetta. (1)* Dudleyn VOCODER, jossa puhesignaali jaettiin lähde-suodin mallin mukaisesti. * = ääniesimerkin numero osoitteessa Vfo251 Puhesynteesin perusteet Kevät 2002 p.77/109 Vfo251 Puhesynteesin perusteet Kevät 2002 p.78/109 Historiaa: pattern playback Historiaa: 1940 ja 1950-luvut Terminaalianalogiaan perustuvat mallit formanttisynteesi Gunnar Fantin OVE, (4) Georg Rosenin artikulatorinen DAVO-syntetisaattori (MIT, 1958). (11) Vfo251 Puhesynteesin perusteet Kevät 2002 p.79/109 Vfo251 Puhesynteesin perusteet Kevät 2002 p.80/109

21 Historiaa: 1960-luku Ensimmäiset digitaaliset mallit ja sääntösynteesi tekstistä puheeksi Brittienglanti; Holmes, Mattingly ja Shearme, (17) Cokerin sääntöpohjainen artikulatorinen malli, (19) Mattinglyn ensimmäinen prosodinen synteesi, (20) Historiaa: 1970-luku TTS (Text-To-Speech) tuotteet ja difonisynteesi Ensimmäinen täydellinen TTS-järjestelmä, Noriko Umeda, Japani, (24) Lausetason fonologiset säännöt, Dennis Klatt, (21) Lineaariprediktioon perustuvien difonien konkatenaatio, Joseph Olive, (22) Votraxin Type-n-Talk, Richard Cagnon, (28) MIT:n MITalk, Jonathan Allen, Sheri Hunnicut ja Dennis Klatt, (30) Vfo251 Puhesynteesin perusteet Kevät 2002 p.81/109 Vfo251 Puhesynteesin perusteet Kevät 2002 p.82/109 Historiaa: 1980-luku Konkatenaatio valtaa alaa suuremmat järjestelmät: AT&T Bell Laboratories, TTS-järjestelmä, (34) DECtalk (35) DECtalk, 300 sanaa/minuutti. (36) Historiaa: 1990-luku Tuotteet, monikielisyys, unit selection Yleinen unit selection, CHATR, Japani, Monikielinen MBROLA, vapaa synteesi, Belgia, Mikropuhe, TIMEHOUSE, Suomi 2000-luku:... Toisaalta kaupalliset järjestelmät perustuvat usein valmiiksi äänitettyyn materiaaliin ja sanojen liimaamiseen (vertaa 1936!) koska lopputulos on parempi. Vfo251 Puhesynteesin perusteet Kevät 2002 p.83/109 Vfo251 Puhesynteesin perusteet Kevät 2002 p.84/109

22 Puhesynteesin kolme peruslajia: 1. Analyysi-resynteesi LPC-synteesi GSM koodaus Tekstistä puheeksi (TTS = Text-to-Speech) Vammaissovellukset Puhelinpalvelut; sähköpostin luku Konseptista puheeksi (CSS = Concept-to-Speech Synthesis) Tietokantojen luku, listat, aikataulut Dialogijärjestelmät Kolme perusparametriä: 1. Sanaston suuruus Rajattu sanasto kuulutukset Rajaton sanasto vapaa teksti 2. Synteesitapa Valmiin puheen leikkaa-liimaa menetelmät Pienten yksiköiden konkatenaatio Formanttisynteesi 3. Syötteen laatu Puhe Teksti Tietokanta Vfo251 Puhesynteesin perusteet Kevät 2002 p.85/109 Vfo251 Puhesynteesin perusteet Kevät 2002 p.86/109 Kahdenlaista motivaatiota: 1. Sovellukset Vammaissovellukset TTS-järjestelmät Dialogijärjestelmät 2. Tieteellinen tutkimus Puheen havaitseminen kontrolloidut ärsykkeet Puheen tuoton mallit Prosodian tutkimus Kolme lähestymistapaa: 1. Konkatenaatio Sanat, lausekkeet, lauseet Sanaa pienemmät osat; tavut, puolitavut Difonit Mikrofoneemit" 2. Formanttisynteesi Puhe tuotetaan synteettisesti alusta pitäen 3. Artikulatorinen synteesi Fyysiset mallit puhe on fysiikkaa Vfo251 Puhesynteesin perusteet Kevät 2002 p.87/109 Vfo251 Puhesynteesin perusteet Kevät 2002 p.88/109

23 Konkatenaatio Difonikonkatenaatio: TD-PSOLA Oikeata puhetta leikkaa-ja-liimaa -periaatteella. Mitä leikataan: lausekkeita, sanoja, tavuja, puoli-tavuja, äänteitä, difoneja. Miten: tarkasti leikatut yksiköt voidaan liimata päistään yhteen, tasoitus (smoothing), PSOLA (pitch-syncronous overlap and add)... Etuja: äärellinen määrä puhedataa riittää, prosessointi on yksinkertaista, lopputuloksena korkeatasoinen ääni. TD-PSOLA: alennettu perustaajuus Vfo251 Puhesynteesin perusteet Kevät 2002 p.89/109 Vfo251 Puhesynteesin perusteet Kevät 2002 p.90/109 Formanttisynteesi Formanttisynteesi: kaavio Miten: Generoidaan periodista ja aperiodista ääntä ja niitä RN ZN R1 R2 R3 R4 R5 yhdistelemällä tuotetaan puheenkaltainen ääni. cascade A1 R1 Etuja: erittäin muokkautuvainen, voidää päästä lähes täydelliseen lopputulokseen, suhteellisen helppo implementoida, tieteellisesti kiinnostava. impulse train random numbers glottal filter LP filter parallel A2 A3 A4 A5 R2 R3 R4 R5 + preempasis synthetic speech output A6 R6 Klatt syntetisaattori Vfo251 Puhesynteesin perusteet Kevät 2002 p.91/109 Vfo251 Puhesynteesin perusteet Kevät 2002 p.92/109

24 Formanttisynteesi: rinnakkainen vai sarjassa Sarjaan kytkettyjen resonaattorien etu on, että niille täytyy kertoa vain formanttien taajuudet ja kaistanleveydet; amplitudit hakeutuvat automaattisesti oikeiksi. Rinnakkaisesta synteesiä rasittaa lisäksi vaatimus formanttien amplitudeista; rinnakkaismallilla voidaan kuitenkin simuloida helpommin sellaisia konsonantteja (etenkin frikatiiveja), joilla on antiformantteja. (Toisaalta rinnakkaismallin resonanssien summaaminen implikoi sitä, että resonaattorit ovat itsenäisempiä ja ovat siten itsenäisesti kontrolloitavissa.) Sarjamalli perustuu suoremmin puheentuoton akustiseen teoriaan, jonka mukaan ääntöväylän siirtofunktio on esitettävissä suotimien tulona. Vfo251 Puhesynteesin perusteet Kevät 2002 p.93/109 Formanttisynteesi: glottaalinen eksitaatio Periaatteessa pelkkä impulssijono riittää tuottamaan puheen kaltaisen tuloksen syntetisaattorista. Luonnollisuus vaatii kuitenkin lähteeltä enemmän. Esim. KLATT-synteesissä lähteeseen liittyy useita parametrejä, joiden avulla voidaan mallintaa muutoksia niin eri äänteiden kuin puhujienkin välillä. Glottislähteen parametrejä ovat mm. sulkeuma- ja avaumavaiheiden suhde (open quotient), aspiraatiohälyn määrä, ns. jitter (perustaajuuden perturbaatio) ja lähteen spektraalinen kaltevuus. Myös glottiksen alapuolisen väylän vaikutus pulssin muotoon on otettu huomioon. Vfo251 Puhesynteesin perusteet Kevät 2002 p.94/109 Formanttisynteesi: resonaattori Formanttiresonaattorin impulssivaste ja sen spektri; formantin kaistanleveys on suoraan verrannollinen impulssivasteen vaimenemiseen Artikulatorinen synteesi Miten: Mallinnetaan ääniväylää pinta-alojen ja ilman virtausten sekä heijastusten suhteen puheentuotto nähdään sovellettuna fysiikkana. Etuja: Parantunut kontrolli, potentiaalisesti luonnollista puhetta, perustutkimusta. 0 Sound pressure level (db/hz) Time (s) Frequency (Hz) Vfo251 Puhesynteesin perusteet Kevät 2002 p.95/109 Vfo251 Puhesynteesin perusteet Kevät 2002 p.96/109

25 Artikulatorinen synteesi: esimerkki Artikulatorinen synteesi: esimerkki 2 Äänenpaineet ja hiukkasnopeudet artikulatorisessa Haskins laboratorion artiulatorinen malli: mallissa: Vfo251 Puhesynteesin perusteet Kevät 2002 p.97/109 Vfo251 Puhesynteesin perusteet Kevät 2002 p.98/109 Artikulatorinen synteesi: esimerkki 3 Tekstistä puheeksi: Haskins laboratorion artiulatorinen malli: teksti Merkkijonojen identifiointi ja esiprosessointi = normalisointi Prosodinen ryhmitys phrasing Lingvistinen analyysi; sanaluokat ja morfosyntaksi Sana- ja lausepainon määrittely Perustaajuuden estimointi Äänekkyyden estimointi Äännekestojen estimointi signaalin generointi Vfo251 Puhesynteesin perusteet Kevät 2002 p.99/109 Vfo251 Puhesynteesin perusteet Kevät 2002 p.100/109

26 Modulaarisuus Lähes kaikki modernit puhesynteesijärjestelmät ovat modulaarisia: tekstianalyysiä seuraa prosodiset modulit, joita seuraa synteesimodulit. Usein suuremmat modulit on vielä jaettu useimpiin tarpeen mukaan esim. intonaatiota voidaan mallintaa usealla tavalla saman järjestelmän sisällä. Data vs. tieto Historiallisesti sääntösynteesijärjestelmät ovat perustuneet tietoon datapohjaiset järjestelmät ovat uudempi suuntaus. Kielen kombinatorinen kompleksisuus on kuitenkin niin valtava, että suuretkin tietokannat ovat tuomittuja edustamaan vain äärimmäisen pientä osaa koko puhutun kielen avaruudesta. Vfo251 Puhesynteesin perusteet Kevät 2002 p.101/109 Vfo251 Puhesynteesin perusteet Kevät 2002 p.102/109 Tekstin analyysi Tekstin analyysi: esimerkki Festivalista Tekstin analyysiin kuuluu kaikki tekstin esiprosessointi ja normalisointi. Teksti muunnetaan järjestelmän ymmärtämään lingvistiseen muotoon, joka sisältää yleensä sanat ja niiden kieliopilliset kategoriat, morfologiset analyysit, fonologiset transkriptiot, aksentuaaliset ja tonaaliset piirteet sekä prosodisten rajojen paikat. Vfo251 Puhesynteesin perusteet Kevät 2002 p.103/109 Vfo251 Puhesynteesin perusteet Kevät 2002 p.104/109

27 Prosodinen esiprosessointi Prosodinen esiprosessointi pitää sisällään syntaktisen analyysin (joka voi yksinkertaisimmillaan olla funktiosanojen tunnistamista) ja lauseiden sekä lausekkeiden rajojen paikantamisen. Myös lausepainon paikan määritys kuuluu prosodiseen tähän vaiheeseen. Prosodian estimointi: ajoitus Järjestelmään sisältyvän ajoituskomponentin tehtävänä on laskea puheelle sen temporaalinen rakenne annetusta symbolisesta syötteestä: foneemit, paino- ja lausepainomerkinnät. Yleensä ajoituksella tarkoitetaan äännekestoja, mutta muunlaistakin temporaalista informaatiota tarvitaan; esim. perustaajuuden huippujen paikka vokaaliin nähden. Ajoitus voidaan laskea joko sääntöjen avulla tai dataan perustuen esim. keinotekoisia hermoverkkoja käyttäen. Vfo251 Puhesynteesin perusteet Kevät 2002 p.105/109 Vfo251 Puhesynteesin perusteet Kevät 2002 p.106/109 Prosodian estimointi: intonaatio Intonaatiokomponentin tehtävänä on laskea tuotettavalle lauseelle sen perustaajuuskontuuri ajoituskomponentin käyttämästä syötteestä ja sen tuottamista äännekestoista. Teorioiden ja mallien suhteen intonaation tutkimus on äärimmäisen vaihtelevaa ja mallien kirjo heijastuukin synteesijärjeselmiin. Fonologisella puolella ei ole kunnollista konsensusta yksiköiden suhteen ja foneettisella puolella ei ole yksimielisyyttä siitä, miten käyrät tulisi laskea: lauseke ja aksenttikomponenttien superpositio (Fujisaki), tonaaliarvojen interpolaatio (Pierrehumbert), linjasegmenttien konkatenaatio (IPO). Vfo251 Puhesynteesin perusteet Kevät 2002 p.107/109 Intonaatiomallit: Phonology Pierrehumbert H* + L L* British fall-rise fall Isard and Pearson Ladd HL +downstep Dutch 1, 2, 3, (Halliday) Fujisaki Accents, Phrases. Intermediate Level F0 targets x x x x x Fixed gradient slopes registers standardised shapes impulses and steps Redundancy Vfo251 Puhesynteesin perusteet Kevät 2002 p.108/109

28 Signaalin generointi Synteesikomponentti ottaa vastaan äännejonotietoa ja prosodista informaatiota, joista sen tehtävänä on generoida kuultava signaali. Historiallisesti signaalin generointi on perustunut lähde-suodin -malliin; formanttisynteesi. Nykyisin kuitenkin suurin osa syntetisaattoreista käyttää jonkinasteista konkatenaatiomenetelmää (difoni tai ns. unit-selection). Difonikonkatenaatiossa yksikköinä ovat nimen mukaisesti difonit (kahden äänteen keskipisteiden välinen osa). unit selection -tyyppisessä synteesissä yksikön koko vaihtelee jopa kokonaisista lauseista difoniin. Vfo251 Puhesynteesin perusteet Kevät 2002 p.109/109