Matemaattinen malli puheentutkimuksessa

Transkriptio

1 Matemaattinen malli puheentutkimuksessa Jarmo Malinen Atle Kivelä Aalto-yliopiston Perustieteiden korkeakoulu Matematiikan ja Systeemianalyysin Laitos 28. pvä helmikuuta, 2012, Turun yliopisto

2 Ajantasainen yleiskuva COMSPEECH-projektista helmikuussa pvä helmikuuta, 2012, Turun yliopisto 1

3 Kaksi akustista vokaalimallia (1) Websterin osittaisdifferentiaaliyhtälö 1 2 ψ c 2 t 2 = 1 ( A(s) ψ ) 2παW(s) A(s) s s A(s) + Numeerisesti kevyt, teoreettisesti helppo. ψ t Ääntöväylän geometria esitetty yksinkertaistettuna poikkileikkauspinta-aloin. Ympäröivän tilan akustiikka esitetty vain yhden parametrin (akustisen impedanssin) avulla. Kohtuullisen tarkka vain F3:n asti. 28. pvä helmikuuta, 2012, Turun yliopisto 2

4 Kaksi akustista vokaalimallia (2) Aaltoyhtälö Φ tt = c 2 Φ Numeerisesti raskas, teoreettisesti siedettävä. + Tarkka ääntöväylän geometria ja tarkat kudosten materiaaliparametrit. + Ympäröivän tilan akustiikka huomioitavissa tarkasti. + Ei rajoitusta taajuuskaistalle. 28. pvä helmikuuta, 2012, Turun yliopisto 3

5 COMSPEECH-malli (1) COMSPEECH-malli on hybridi molemmista edellämainituista, yhdistettynä virtausmekaaniseen glottismalliin. Malli tähtää realistisesti ääntöväylän geometrian ja vokaalituoton yhteyden tarkkaan simulaatioon, jolloin lääketieteellisetkään sovellukset eivät ole poissuljettuja. 28. pvä helmikuuta, 2012, Turun yliopisto 4

6 COMSPEECH-malli (2) Tarvittavat ääntöväylän geometriat sekä validointiin tarvittavat puhenäytteet tuotetaan MRI-tekniikalla. Onnistuneet pilottikokeet tehtiin kesäkuussa Pilottikokeiden perusteella mittausjärjestelmä on nyt rakennettu datan massatuotantoon soveltuvaksi. 28. pvä helmikuuta, 2012, Turun yliopisto 5

7 Glottismalli Glottismalli on toteutettu A. Aallon diplomityössä, joka palkittiin TKK:lla v tiedekunnan parhaana. Virtausmalli "Bernoulli" pyörteetön kokoonpuristumaton kuristus aerodyn. voima Glottismalli massa-jousi kudoshäviöt kollisio äänihuulissa p.v. vastapaine Websterresonaattori ei kudoshäviötä akust. imp suussa Mallia on validoitu P. Alkun käänteissuodatusmenetelmällä hankittua mittausdataa käyttäen. Validointia jatketaan T. Murtolan diplomityössä kattavalla datasetillä. 28. pvä helmikuuta, 2012, Turun yliopisto 6

8 Aaltoyhtälösimulaattori Virtausmalli kuristus "Bernoulli" aerodyn. voima Glottismalli v.t. glottispulssi (m / n) Tehty Työn alla vastapaine. Tulevaisuudessa p.v. p.v. Websterresonaattori kudoshäviötön akust. imp suussa vastaa y.t.-mallia Viritetään vastaamaan toisiaan 3. formanttiin asti Aaltoyhtälömalli kudoshäviöt reunaehdoilla tarkka geometria y.t. malli Toteutetaan T. Murtolan diplomityössä poislukien aaltoyhtälön numeerinen ratkaisija sekä ympäristötilamalli. 28. pvä helmikuuta, 2012, Turun yliopisto 7

9 Geometriat ja spektraaliviritys (1) MRI automaattinen vektorointi hampaiden yhdistäminen FEM-verkotus Aaltoyhtälö ja Helmholtz - ratkaisija formanteille 3D-geometriassa Spektraaliviritys ja validaatio Hammasskanneri Pinta-alafunktiot ja akustiset keskiviivat Websterin yhtälö ja Websterformantit pinta-alafuntkioista Toteutetaan suurelta osin A. Kivelän diplomityössä. 28. pvä helmikuuta, 2012, Turun yliopisto 8

10 Geometriat ja spektraaliviritys (2) Puheakustiikan kannalta merkitykselliset kudosilmarajapinnat koehenkilön lausuessa vokaalin [u]. 3D-pintamalli on vektoroitu MRI-datasta. 28. pvä helmikuuta, 2012, Turun yliopisto 9

11 Mittaustekniikka ja validaatio (1) MRI + hampaat Vektorointi & FEM-verkotus Helmholtz/ a.y-ratkaisija Akustinen & MRI teknologia Validaatio Ääni MRI:ssä DSP melunpoisto & jälkikäsittely Formantti ekstraktio Validaatio Ääni kaiuttomassa huoneessa Formantti ekstraktio 28. pvä helmikuuta, 2012, Turun yliopisto 10

12 Mittaustekniikka ja validaatio (2) Tarvittava akustinen mittausteknologia on toteutettu v P. Palon ja J. Malisen työnä. Työ on raportoitu mm. Palon lisensiaattityössä. MRI-tekniikan soveltaminen on ollut J. Saunavaaran tehtävänä. MRI-näkyviä hammasmarkkereita ovat kehittäneet erityisesti J.-M. Luukinen sekä J 2. Malinen. Foneettisista aspekteista ja koejärjestelyiden suunnittelusta ovat pääosin vastanneet D. Aalto, T. Murtola ja M. Vainio. 28. pvä helmikuuta, 2012, Turun yliopisto 11

13 What s hot now? Nyt aloitamme kattavan MRI- ja äänidatan keräämisen ortognaattisen kirurgian potilaista. Poikkitieteellinen asiantuntijatiimi kansainvälisestikin huomattavan projektin parissa! 28. pvä helmikuuta, 2012, Turun yliopisto 12

14 Now this is not the end. It is not even the beginning of the end. But it is, perhaps, the end of the beginning. Sir Winston Churchill 28. pvä helmikuuta, 2012, Turun yliopisto 13