Intonaation analyysi ja annotointi puhekorpuksissa

Intonaation analyysi ja annotointi puhekorpuksissa 4.4.2002/HY:n fonetiikan laitos Stefan Werner stefan.werner@joensuu.fi Kieliteknologia/JoY Intonaation analyysi/annotointi HY 4.4.2002 p.1/43

Intonaation määritelmä(t) Sävelkulku, F 0 -käyrä, painotus ja lausetyyppi, sävy,... Intonaation analyysi/annotointi HY 4.4.2002 p.2/43

Intonaation funktiot liittyvät sanapainoon aksenttiin lausetyyppiin syntaksiin semantiikkaan pragmatiikkaan... Intonaation analyysi/annotointi HY 4.4.2002 p.3/43

Määritelmä Intonaatio seuraavassa suppeasti: F 0 Intonaation analyysi/annotointi HY 4.4.2002 p.4/43

Representaatiot ja notaatiot taso rekisteri tooni kontuuri kerrosmalli tune configuration tone sequence... Intonaation analyysi/annotointi HY 4.4.2002 p.5/43

Representaatiot ja notaatiot erilliset pisteet vs. jatkuva viiva suorat viivat vs. käyrät paikallinen vs. globaalinen yksi taso vs. monta tasoa Intonaation analyysi/annotointi HY 4.4.2002 p.6/43

Representaatiot ja notaatiot Kaikki muu kuin (luotettavasti) mitattujen F 0 -arvojen listaus on enemmän tai vähemmän mielivaltaista tulkintaa... Intonaation analyysi/annotointi HY 4.4.2002 p.7/43

Eri mallityyppejä Intonaation analyysi/annotointi HY 4.4.2002 p.8/43

Pierrehumbert: toonisekvenssit Intonaation analyysi/annotointi HY 4.4.2002 p.9/43

Pierrehumbert: toonisekvenssit H* H* H% L L L% Anna came with Manny Intonaation analyysi/annotointi HY 4.4.2002 p.10/43

IPO: kontuuriprototyypit Intonaation analyysi/annotointi HY 4.4.2002 p.11/43

IPO: kontuuriprototyypit Original F0 contour Close copy Standardized stylization Intonaation analyysi/annotointi HY 4.4.2002 p.12/43

Fujisaki: additiiviset kerrokset Intonaation analyysi/annotointi HY 4.4.2002 p.13/43

Öhmanin malli SENTENCE INTONATION INPUT ARTICULATORY INTERACTION LARYNX MODEL F0 WORD INTONATION INPUT ACOUSTIC INTERACTION Intonaation analyysi/annotointi HY 4.4.2002 p.14/43

Fujisakin algoritmi I J ln F 0 (t) = ln F min + A pi G pi (t T 0i )+ A aj {G aj (t T 1j ) G aj (t T 2j )} i=1 j=1 jossa G pi (t) = α 2 i t exp( α it) jos t 0 0 jos t < 0 ja G aj (t) = min[1 (1 + β j t) exp( β j t), γ] jos t 0 0 jos t < 0 Intonaation analyysi/annotointi HY 4.4.2002 p.15/43

Fujisakin algoritmi Parametrit: F min asymptoottinen F 0 I lausekekomentojen lkm J aksenttikomentojen lkm A pi i:nnen lausekekomennon amplitudi A aj j:nnen aksenttikomennon amplitudi T 0i i:nnen lausekekomennon ajankohta T 1j j:nnen aksenttikomennon alku T 2j j:nnen aksenttikomennon loppu α i Lausekemekanismi G pi :n kulmafrekvenssi β j Aksenttimekanismi G aj :n kulmafrekvenssi γ Aksenttiamplitudin maksimiarvo. Intonaation analyysi/annotointi HY 4.4.2002 p.16/43

Fujisaki 200 F0 (Hz) 180 Phrase component 160 140 120 100 80 60 40 200 F0 (Hz) 20 0 0.0 0.2 0.4 0.6 0.8 1.0 1.2 1.4 1.6 1.8 2.0 t (sec) 180 160 Resulting F0 contour 140 120 100 80 60 200 F0 (Hz) 40 180 Accent component 20 t (sec) 160 0 0.0 0.2 0.4 0.6 0.8 1.0 1.2 1.4 1.6 1.8 2.0 140 120 100 80 60 40 20 t (sec) 0 0.0 0.2 0.4 0.6 0.8 1.0 1.2 1.4 1.6 1.8 2.0 Intonaation analyysi/annotointi HY 4.4.2002 p.17/43

Fujisaki 200 F0 (Hz) 200 F0 (Hz) 180 160 140 korkeampi F min 180 160 140 120 100 a) d) 80 80 120 100 60 40 20 t (sec) 0 0.0 0.2 0.4 0.6 0.8 1.0 1.2 1.4 1.6 1.8 2.0 60 40 pienempi lausekkeen amplitudi 20 t (sec) 0 0.0 0.2 0.4 0.6 0.8 1.0 1.2 1.4 1.6 1.8 2.0 200 F0 (Hz) 200 F0 (Hz) 180 180 160 140 pienempi alfa 160 140 120 120 b) 100 e) 80 100 80 60 40 60 40 pienempi aksentin amplitudi 20 t (sec) 20 t (sec) 0 0 0.0 0.2 0.4 0.6 0.8 1.0 1.2 1.4 1.6 1.8 2.0 0.0 0.2 0.4 0.6 0.8 1.0 1.2 1.4 1.6 1.8 2.0 200 F0 (Hz) 200 F0 (Hz) 180 180 160 160 140 140 120 c) 100 f) 80 120 100 80 60 pienempi beta 60 40 40 myöhempi T1 20 t (sec) 20 t (sec) 0 0 0.0 0.2 0.4 0.6 0.8 1.0 1.2 1.4 1.6 1.8 2.0 0.0 0.2 0.4 0.6 0.8 1.0 1.2 1.4 1.6 1.8 2.0 Intonaation analyysi/annotointi HY 4.4.2002 p.18/43

Fujisaki 200 F0 (Hz) 180 160 korkeampi F min 140 120 100 80 60 40 20 t (sec) 0 0.0 0.2 0.4 0.6 0.8 1.0 1.2 1.4 1.6 1.8 2.0 Intonaation analyysi/annotointi HY 4.4.2002 p.19/43

Fujisaki 200 F0 (Hz) 180 160 140 pienempi alfa 120 100 80 60 40 20 t (sec) 0 0.0 0.2 0.4 0.6 0.8 1.0 1.2 1.4 1.6 1.8 2.0 Intonaation analyysi/annotointi HY 4.4.2002 p.20/43

Fujisaki 200 F0 (Hz) 180 160 140 120 100 80 60 pienempi beta 40 20 t (sec) 0 0.0 0.2 0.4 0.6 0.8 1.0 1.2 1.4 1.6 1.8 2.0 Intonaation analyysi/annotointi HY 4.4.2002 p.21/43

Fujisaki 200 F0 (Hz) 180 160 140 120 100 80 60 40 pienempi lausekkeen amplitudi 20 t (sec) 0 0.0 0.2 0.4 0.6 0.8 1.0 1.2 1.4 1.6 1.8 2.0 Intonaation analyysi/annotointi HY 4.4.2002 p.22/43

Fujisaki 200 F0 (Hz) 180 160 140 120 100 80 60 pienempi aksentin amplitudi 40 20 t (sec) 0 0.0 0.2 0.4 0.6 0.8 1.0 1.2 1.4 1.6 1.8 2.0 Intonaation analyysi/annotointi HY 4.4.2002 p.23/43

Fujisaki 200 F0 (Hz) 180 160 140 120 100 80 60 40 myöhempi T1 20 t (sec) 0 0.0 0.2 0.4 0.6 0.8 1.0 1.2 1.4 1.6 1.8 2.0 Intonaation analyysi/annotointi HY 4.4.2002 p.24/43

Tilt Paul Taylor (CSTR, Rhetorical,... ) RFC-mallin seuraaja intonational event ja sen muoto F 0 -tapahtumat kytketty tavujen nukleuksiin Intonaation analyysi/annotointi HY 4.4.2002 p.25/43

Rise Fall Connection 4 parametria: nousun amplitudi ja kesto laskun amplitudi ja kesto 3 mittauspistettä F 0 -tapahtumassa: alku huippu loppu Automaattinen F 0 -käyrän approksimointi Intonaation analyysi/annotointi HY 4.4.2002 p.26/43

Tilt 3 parametria: 1. tilt (F 0 -käyräosan muoto) 2. F 0 -tapahtuman amplitudi 3. F 0 -tapahtuman kesto Intonaation analyysi/annotointi HY 4.4.2002 p.27/43

Tilt tilt A = A nousu A lasku A nousu + A lasku tilt K = K nousu K lasku K nousu +K lasku Intonaation analyysi/annotointi HY 4.4.2002 p.28/43

Tilt tilt A = A nousu A lasku A nousu + A lasku tilt K = K nousu K lasku K nousu +K lasku tilt = A nousu A lasku 2( A nousu + A lasku ) + K nousu K lasku 2(K nousu +K lasku ) Intonaation analyysi/annotointi HY 4.4.2002 p.28/43

Tilt tilt A = A nousu A lasku A nousu + A lasku tilt K = K nousu K lasku K nousu +K lasku tilt = A nousu A lasku 2( A nousu + A lasku ) + K nousu K lasku 2(K nousu +K lasku ) A = A nousu + A lasku K = K nousu + K lasku Intonaation analyysi/annotointi HY 4.4.2002 p.28/43

Tilt 0.0 0.5 0.5 1.0 1.0 Intonaation analyysi/annotointi HY 4.4.2002 p.29/43

Muita Lundin malli (Gårding, Bruce) ICP:n malli (Bailly, Aubergé) INTSINT (DiCristo, Hirst) Neuraaliverkot (Vainio et al.)... Intonaation analyysi/annotointi HY 4.4.2002 p.30/43

ICP Sentence Sentence + syntagma Sentence + syntagma + prosodic group rappelez monsieur dupont jeudi Intonaation analyysi/annotointi HY 4.4.2002 p.31/43

INTSINT M T L U T S L U T D L H L H D H D B Intonaation analyysi/annotointi HY 4.4.2002 p.32/43

Vertailuesimerkki 200 Frequency (Hz) 0 er he sieht sees sieher H* L% ToBI ^0ST3 *3GSE0 IPO phrase accent Fujisaki 0 0.858 Time (s) Intonaation analyysi/annotointi HY 4.4.2002 p.33/43

Käytännön sovellus ToBI: painollisten tavujen paikallistaminen, manuaalinen annotointi IPO: suuri määrä erilaisia kuuntelukokeita Fujisaki: automaattinen annotaatio mahdollista (esim. http://www.tfh-berlin.de/~mixdorff/f INTSINT: automaattinen annotaatio mahdollista (http://www.lpl.univ-aix.fr/ext/proje http://www.icp.grenet.fr/~rolland/my_ Intonaation analyysi/annotointi HY 4.4.2002 p.34/43

Esim. MOMEL/INTSINT Intonaation analyysi/annotointi HY 4.4.2002 p.35/43

MOMEL: residuaali Intonaation analyysi/annotointi HY 4.4.2002 p.36/43

INTSINT T T T T T H H B B B Intonaation analyysi/annotointi HY 4.4.2002 p.37/43

INTSINT U T D H S D U L Intonaation analyysi/annotointi HY 4.4.2002 p.38/43

MOMEL in Praat [rykäisy] e hkap A [] s i t: E n [] m us i so i nt i a Intonaation analyysi/annotointi HY 4.4.2002 p.39/43

MOMEL in Praat 370 o F0 curve and its MOMEL stylization Pitch (Hz) o o o o o o o o o o o 120 0 3.47687 Time (s) Intonaation analyysi/annotointi HY 4.4.2002 p.40/43

Esim. MOMEL/INTSINT Intonaation analyysi/annotointi HY 4.4.2002 p.41/43

Esim. MOMEL/INTSINT Intonaation analyysi/annotointi HY 4.4.2002 p.42/43

MOMEL in Praat Intonaation analyysi/annotointi HY 4.4.2002 p.43/43