Puheen anatomiaa ja fysiologiaa Puhesignaalin analyysi Puheen havaitseminen luku 11 Luento: Puhe Mitä puhe on? Ihmisen kehittämä symbolinen kommunikaatiojärjestelmä. Perustuu sovittuihin kielellisiin koodeihin /symboleihin. Ilmenee artikulaatioelimien tuottamina äänteinä, joita yhdistelemällä tuotetaan merkityksiä. Tällä luennolla keskitytään äännetasoon. Satu Saalasti Puhetapahtuma Puheen tuottaminen Puheen havaitseminen Puhuja: Kuulija: Ajatus Ajatus Kielellinen muoto Kielellinen muoto Puhe-elinten toiminta Korvan toiminta Ääniaallot Anatomiaa ja fysiologiaa Puheen tuottaminen: Brocan alue vasemman otsalohkon alaosassa, prefrontaalisella aivokuorella Liikeaivokuori = motorinen aivokuori otsalohkon takaosassa Hermoimpulssit puheentuottoelimistön lihaksiin Anatomiaa ja fysiologiaa Brocan ja Wernicken alueet Puheen havaitseminen: Korva ja kuulorata käsittelevät taajuuden ja intensiteetin Kuuloaivokuori ohimolohkon yläosassa Wernicken alue vasemman ohimolohkon takaosassa 1
Brocan ja Wernicken alueet Vauriot tuottavat tyypilliset afasiat: Brocan afasia vaikeuksia puheen tuotossa, mutta puheen ymmärtäminen sujuu Wernicken afasia tuottaa sujuvaa puhetta, mutta on vaikeuksia ymmärtää puhetta ja oma puhe on sekavaa Puheentuottoelimistön toiminta Perusperiaate: Äänihuulien kautta kulkeva ilmavirta on äänilähde. Ääntöväylä on suodin. Ääntöelimet muokkaavat ääntöväylän muotoa (tehdään sulkuja ja ahtaumia) ja siten sen suodatusominaisuudet muuttuvat artikulaatio = articulation Puheentuottoelimistö Keuhkot ja pallea Ääntöväylä ( vocal tract ) kurkunpää ( larynx ) äänihuulet ( vocal cords ) äänirako ( glottis ) nielu ( pharynx ) suuontelo ( oral cavity ) nenäontelo ( nasal cavity ) Puheentuottoelimistö Artikulaatio- eli ääntöelimet Kieli Huulet Leuka Kitalaki ( palate ) Hampaat Pehmeä suulaki ja kitapurje ( velum ) säätelevät ilman pääsyä nenäonteloon 2
Kaavio kurkunpään poikkileikkauksesta Puhesignaalin analyysi edessä Puheen fonetiikka Puheen akustiikka Puhesignaalin kuvausten vertailua äänihuulet takana äänirako Puheen fonetiikka Tarkastellaan äänteiden tuottamista eli artikulaatiota Foneemi = pienin merkitystä muuttava puhesignaalin osa ( phoneme ) vokaali konsonantti Äänne = fooni = foneemin konkreettinen realisaatio / artikuloitu foneemi ( phone / speech sound ) Vokaalien jaottelu Kolme vastakkaista piirrettä: Etu / Taka kielen asento Suppea / Väljä Pyöreä / Lavea huulten asento Suomen kielen vokaalit Suomen kielen vokaalit Etu Suppea Pyöreä a - - - e + +/- - i + + - o - +/- + u - + + y + + + ä + - Etu Suppea i / y* Keski e / ö* Väljä ä a Taka u* o* *=pyöreä 3
Konsonanttien jaottelu Suomen kielen konsonantit Kolme pääpiirrettä: Artikulaatiopaikka Missä ahtauma? Artikulaatiotapa Millainen ahtauma? Soinnillisuus/soinnittomuus Värähtelevätkö äänihuulet? edessä suljettu avoin Puheen akustiikka Perustaajuus Puheen sisältämien taajuuksien ja niiden amplitudien analyysi ajan funktiona Fourier-analyysi Käsitteitä Perustaajuus Formantti Formanttisiirtymä Äänihuulten värähtelyn tuottama spektri koostuu seuraavista taajuuksista: Perustaajuus (F0) F0 120 Hz miehillä F0 200 Hz naisilla Harmonisiset komponentit perustaajuuden kerrannaiset esim. kun F0=200, harmoniset ovat 2*F0=400, 3*F0=600, 4*F0=800, 5*F0=1000 jne. Formantti Ääniväylän resonanssihuippu Ilmenee puhesignaalissa vastaavan taajuuden amplitudihuippuna Formantit ovat erityisesti vokaalien tunnusmerkkejä F1 ja F2 tärkeimmät /a/ /i/ /u/ http://macserver.haskins. yale.edu/haskins/heads/ MMSP/graphics/fig3.gif 4
Spektrogrammi /i:/ Formanttisiirtymä F2 2200 Formant transition Nopea muutos formanttitaajuudessa äänteiden vaihtuessa Johtuu nopeasta muutoksesta ääniväylässä siirryttäessä äänteestä toiseen F1 300 http://cslu.cse.ogi.edu/tutordemos/spectrogramreading/images/ipa/spectrograms/heed.gif Formanttisiirtymä Puhesignaalin kuvausten vertailua compute Puheen fonetiikka ja akustiikka liittyvät toisiinsa ääniväylän muodon kautta esim. klusiilien ominaispiirteet, vokaalien ääntäminen ja formantit Toisaalta tietty akustinen signaali ei suoraan vastaa tiettyä havaintoa kts. invarianssi http://cslu.cse.ogi.edu/tutordemos/spectrogramreading/images/grayscale.gif Klusiilien ominaispiirteet Soinnin alkamisaika Sulkeuma tauko Laukeama kohinapurske Siirtymä seuraavaan äänteeseen formanttisiirtymä Soinnin alkamisaika (VOT = voice oncet time) Voice onset time =VOT Aika klusiilin laukeaman alusta siihen, kun äänihuulet alkavat värähdellä VOT:n avulla erotetaan soinnilliset ja soinnittomat klusiilit VOT > 40 ms soinniton VOT < 40 ms soinnillinen 5
Klusiilien ominaispiirteet Formanttisiirtymät eri konsonanteille Klusiilien ominaispiirteet Vokaalien ääntäminen ja formantit Vokaalien ääntäminen Suppea/väljä F1 matala/korkea F1 nousee, kun kieli laskeutuu alemmaksi Etu/taka F2 korkea/matala F2 nousee, kun kieli siirtyy edemmäksi Pyöreä/lavea F2 matala/korkea F2 nousee, kun huulet lavenevat 6
Vokaalien ääntäminen ja formantit Etu F2 Taka Suppea i / y u Keski e / ö o F1 Väljä ä a Puheen havaitsemisen teorioista: Motorinen teoria (Lieberman et al. 1967): Puheen havaitseminen kiinteässä yhteydessä puheen tuottamiseen Auditorinen lähestymistapa: Puheen havaitseminen yleinen kuulojärjestelmän toiminto Puheen havaitseminen Puheen havaitsemiseen liittyviä ilmiöitä: Segmentointi Puhehavainnon vakioisuus Kategorinen havaitseminen Segmentointi Puhesignaali on jatkuva ja koartikulaation vuoksi vaikea määrittää äännerajoja Miten puheesta erotellaan sanat, tavut ja äänteet? akustinen analyysi kognitiiviset tekijät Jatkuvan puheen segmentointi sanoiksi vaatii useiden vihjeiden yhdistämistä Segmentointi Akustinen analyysi on vaativaa: 7
Kokeillaan PRAAT on ilmainen ja erittäin monipuolinen puheanalyysiohjelma http://www.praat.org/ Spektrogrammi Perustaajuus Intensiteetti Formantit Kognitiiviset tekijät Puheen havaitsemiseen vaikuttaa mm: Sanan merkitys epäselvä äänne tulkitaan merkityksen mukaisesti: Hae tuo tallo/pallo. Lauseyhteys epäselvä äänne sovitetaan lauseyhteyteen: Ulkona kuulee/tuulee kovasti. Kognitiiviset tekijät Restoration effect : katkottu puhe on helpompi ymmärtää, jos tauot täytetään kohinalla Vajavainen signaali on helpompi tulkita, jos puuttuva tieto voidaan yhdistää merkityksellisesti asiayhteyteen. Puhehavainnon vakioisuus Koartikulaatio Sama foneemi on akustisesti erilainen eri puhujilla ja eri kontekstissa invarianssi Äänteet tunnistetaan signaalin invarianssista huolimatta vaikka spektrit erilaiset Invarianssi johtuu seuraavista tekijöistä: Koartikulaatio Foonit Ympärillä olevat äänteet vaikuttavat spektriin esim. klusiileihin liittyvät formanttisiirtymät riippuvat vokaalikontekstista 8
/a/ F3 F2 F1 /u/ Liberman & al. (1967) / / / /i/ /b/ /d/ /g/ Foonit etu suppea Tiettyä foneemia vastaavassa akustisessa signaalissa on eroja puhujien välillä saman puhujan eri tilanteessa lausumien äänteiden välillä taka väljä Kent & Read (1992) Puhehavainnon vakioisuus Miten puhehavainnon vakioisuus saavutetaan? Eräs näkemys: Kullakin foneemilla useampia tunnusomaisia piirteitä. Kaikki piirteet eivät välttämättä aina läsnä foonissa. Muutama piirre voi riittää tunnistukseen. Kategorinen havaitseminen Kuuloärsykkeiden muutokset havaitaan yleensä jatkumona. Puhe sen sijaan tulkitaan johonkin kategoriaan kuuluvaksi. Lisäksi erotuskyky on huono kategorian sisällä. 9
/ba/ /da/ Eimas & Corbit (1973) /ga/ Kategorinen havaitseminen Liberman (1970) Kritiikkiä: samantyyppistä kategorisointia voi tapahtua myös eläimillä ja ei-puheärsykkeillä ei siis todista, että puhetta prosessoitaisiin eri lailla kuin muita signaaleita On osoitus puhehavainnon vakioisuudesta monta foonia, yksi foneemi Yhteenveto: Puhe ja sen havaitseminen Puheen tuottaminen: Hengitys, fonaatio, artikulaatio Puheen havaitseminen Kategorista Kokemukseen perustuvaa Mahdollisesti vuorovaikutuksessa puheen tuottamisen kanssa 10
Puheen tuottaminen ja havaitseminen: Mietittävää: Puheen tuottamisen prosessien osallistuminen puhehavaintoon? Miten evoluutio jatkuu? Miten uusi teknologia vaikuttaa evoluutioon? Vaikuttaako teknologia kuuloon ja puheeseen? 11