Ääntöväylän fysikaalisten mallien tuottaminen MRI:llä tehdyn kuvantamisen pohjalta

Ääntöväylän fysikaalisten mallien tuottaminen MRI:llä tehdyn kuvantamisen pohjalta Johdanto Tässä hakemuksessa ehdotetun kehitystyön tarkoituksena on hyödyntää puheentutkimusprojektissamme jo aiemmin syntynyttä osaamista laadukkaiden fysikaalisten mallien eli kolmiulotteisten, anatomisesti yksityiskohtaisten tulosteiden tuottamiseksi. Näiden mallien geometria on peräisin ihmisen ääntöväylästä tehdyistä kolmiulotteisista magneettiresonanssikuvista (MRI). Viimeisen vuoden aikana olemme kehittäneet algoritmejä ja tietokonekoodia pään ja kaulan alueen anatomisten yksityiskohtien vektoroimiseksi ja pintamallien luomiseksi FEM-laskentaa varten. Työn motivaatio on matemaattisessa puheentutkimuksessa. Samoja algoritmejä voidaan kuitenkin käyttää kolmiulotteisten, kovien tai elastisten muovitulosteiden tuottamiseen ihmisen ääntöväylässä sellaisena kuin ääntöväylä esiintyy erilaisissa puhekonfiguraatioissaan. Valitettavasti tulosteiden tekeminen nykyaikaisilla, mutta hinnaltaan edullisilla 3D-tulostimilla ei ole lainkaan suoraviivaista ääntöväylän ilmatilan vaikean muodon johdosta. Tähän asti tehtyjen kokeilujen perusteella voimme todeta, että kehitystyötä tarvitaan tyydyttävän lopputuloksen saamiseksi. Kehitystyö edellyttää lukuisia kokeiluja erilaisilla tulostusmateriaaleilla (mm. eri lämpötila-alueissa sulavilla PLA/ABS-muoveilla ja muilla vastaavilla materiaaleilla) ja näinollen jopa itse tulostuslaitteen modifioimista. Kehitystyö edellyttää siihen erityisesti omistettua 3D-tulostinlaitetta (Ultimaker, http://www.ultimaker.com ) ja lukuisia ylimääräisiä komponentteja. Resursseja tarvitaan myös materiaalihankintoihin kuten tulostusmuoveihin. Haettu rahoitus on 4000 e, ja se ehdotetaan käytettäväksi vuosina 2012-2014. Taustaa Tutkimme puheäänteiden mallintamista matemaattisin, numeerisin ja kokeellisin menetelmin. Tutkimusryhmämme pääasiallisena tarkoituksena on kehittää ihmi-

sen ääntöväylälle aaltoyhtälön FEM-ratkaisijaan perustuvaa mallia, jota voidaan käyttää suun ja kurkun alueen anatomisten poikkeamien tutkimuksessa [1, 2, 3, 10, 12, 13]. Pidemmän aikavälin tavoitteena on käyttää mallia hoito- ja kuntoutustoimenpiteiden suunnittelussa tavalla, joka parantaa potilaan hoitoa erityisesti puheen laadun kannalta. Näiden tavoitteiden saavuttamiseksi perustettiin nelivuotisen pilottivaiheen jälkeen v. 2010 Aalto-yliopiston, Helsingin ylipiston ja Turun yliopiston (m.l. TYKS ja Varsinais-Suomen Kuvantamiskeskus) tutkijoiden konsortio COMSPEECH, johon kuuluvat ryhmiensä vetäjinä prof. Olli Aaltonen (HY), prof. Risto-Pekka Happonen (TY), ja tekn. tri Jarmo Malinen (Aalto-yliopisto). Konsortiossa on edellä mainittujen lisäksi mukana seuraavat tutkijat: DI Atte Aalto, tekn. tri. Daniel Aalto, DI Antti Huhtala, tekn. yo. Atle Kivelä, FM Juha Kuortti, HLK Jean-Marc Luukinen, M.Sc. Tiina Murtola, tekn. lis. Pertti Palo, dos. Riitta Parkkola, fil. tri. Jani Saunavaara, HLT Tero Soukka, ja dos. Martti Vainio. Otaniemen tiimi (A. Aalto, Huhtala, Kivelä, Malinen, Murtola) toimii kiinteässä yhteydessä prof. Rolf Stenbergin laskennallisen mekaniikan ryhmän kanssa. Projektissa on syntynyt eräitä uusia teknologisia ratkaisuja: 1. Puheäänen ja MRI-kuvan yhtäaikaiseen, lähes täysin automatisoituun tallentamiseen koehenkilöitä ja potilailta [7, 8]; 2. saatujen puhenäytteiden formanttiekstraktioon [46] ja jälkikäsittelyyn MRImelun poistamiseksi; sekä 3. suurten MRI-datamäärien vaatimia kuvankäsittelyalgoritmeja kolmiulotteisen MRI-datan vektoroinniksi, anatomisten yksityiskohtien automatisoituun ekstraktioon ja kuva-artefaktien poistoon [9]. Näistä ratkaisuista viimeksimainitut ovat hakemuksessa ehdotetun hankkeen kannalta tärkeimmät. Kaikki mainitut julkaisut ovat saatavilla hakijan kotisivulta. Tutkimussuunnitelma Projektissamme tehty ääntöväylän MR-kuvien vektorointialgoritmien kehitystyö on avannut mielenkiintoisen mahdollisuuden käyttää samoja pintageometrioita

a e i o u y ä ö Kuva 1: Suomen kielen vokaalien ääntögeometrioiden pintamallit. Koehenkilö on terve, suomea äidinkielenään puhuva 30-vuotias mies. matemaattisen mallinnuksen ja validaation lisäksi myös fysikaalisten mallien tuottamiseksi. Fysikaaliset mallit ovat yksinkertaisimmillaan kolmiulotteisia tulosteita ääntöväylän ilma-kudos -rajapinnasta, ja näihin tulosteisiin voidaan liittää antureita ja muuta instrumentaatiota laboratoriomittausten tekemiseksi. Kuinka niitä tehdään, ja mikä siinä on haasteena? Fysikaalisten mallien pohjana käytetään projektissamme vastikään kehitetyin vektorointialgoritmein tuotettuja 3D-pintamalleja. Näistä malleista olkoon esimerkkinä suomen kielen vokaaleja vastaavat geometriat Kuvassa 1, jonka pohjana on vuonna 2010 tuotettu pilottidatasetti; ks. [46]. Ääntöväylän kuvantamisongelmien, kuvadatan jälkikäsittelyn, ja ääntöväylägeometrian tulostuksen kannalta vaativan muodon johdosta fysikaalisia malleja on tähän asti tuotettu ainoastaan joko paljon käsityötä vaativina yksittäiskappaleina tieteellisiin tarkoituksiin tai yksittäisen ääntöväylägeometrian kopioina perinteisin valumenetelmin. Modernit ja hinnaltaan kilpailukykyiset Fast Prototyping -tuotantomenetelmät ovat

muuttaneet perinpohjin monien geometristen muotojen työstämistä metalleista tai muoveista. Ihmisen ääntöväylän fysikaalinen malli (tai epäsuorassa valmistusmenetelmässä sen valumuotti ja keerna, tai negatiivit näille) voidaan periaatteessa tuottaa 3D-tulostimella, jota ohjataan tulostettavan geometrian mukaisesti erityisellä komentokielellä eli nk. G-koodilla. Kuvassa 2 on esitetty alle 1500e hintaluokkaan kuuluva tulostin Ultimaker, jonka toimintaperiaatteena on rullassa olevan lämpömuovifilamentin sulattaminen kerroksittain tulostettavan kappaleen pintaan (n.k. Fused Deposition Modelling -menetelmä, FDM). G-koodi määrää myös missä järjestyksessä FDM-tulostin lisää ainetta vähitellen rakentuvaan kappaleeseen. Ääntöväylän vaikean geometrian johdosta korkealaatuisen tulosteen tuottavan G-koodin tuottaminen laadukkaastakaan vektoroidusta MR-kuvasta ei ole lainkaan suoraviivainen ohjelmointitehtävä. Mm. yksinkertaisten koneenosien ja muiden säännöllisten muotojen tulostamiseen tarkoitetulla G-koodigeneraattorilla ja kahdella FDM-periaatteella toimivalla, edullisella 3Dtulostimella tehdyt kokeilut ovat osoittautuneet laadullisesti epätyydyttäviksi [9, Section 4] vaan ei kuitenkaan toivottomaksi. Kuvan 1 geometrioiden tulostaminen ei kuitenkaan tuottane teknillisiä ongelmia yli 20000e hintaisilla ammattimaisilla tulostusjärjestelmillä, jotka perustuvat toisenlaisiin menetelmiin kuten selective laser sintering tai stereolitografiaan. Joka tapauksessa G-koodin tuottaminen ääntöväylästä on lähes mahdotonta ilman tehokkaita ja tarkkoja MR-kuvien vektorointialgoritmeja. Tämän johdosta projektillamme on tällä hetkellä jopa koko maailman mittakaavassa poikkeuksellinen etulyöntiasema. Projektissamme saavutettavat tulokset matemaattisesta mallinnuksesta saisivat olennaisesti lisää näkyvyyttä, mikäli voisimme tutkimuksen sivutuotteena tarjota käytännöllisen ja erityisesti edullisen ratkaisun ääntöväylätulosteiden tuottamiseksi. Mihin fysikaalisia malleja tarvitaan? Ääntöväylän fysikaalisten mallien tärkeimmät sovellukset ovat seuraavat: 1. Ääntöväylän virtaus- ja painemittausten suorittaminen esimerkiksi astman tai obstruktiivisen uniapnean kaltaisten tilojen biofysiikan ymmärtämiseksi numeerisen virtausmekaniikan (CFD) ohella;

Kuva 2: Ultimaker 3D-tulostin sekä rulla tulostusmateriaalia. Keskellä laitteella tulostettu kappale. 2. fysikaalisilla malleilla tehdyt akustiset mittaukset laskennallisten puheentuoton mallien ja koehenkilöiltä tehtyjen suorien mittauksien validoimiseksi; 3. potilaiden ääntöväylän mukaan räätälöityjen kudosvaraosien tuottaminen tulevaisuuden kudosteknologian menetelmin, mikä edellyttää tissue scaffold -rakenteiden tulostamista; sekä 4. havaintoesineiden tuottaminen joko oppimateriaaliksi tai muihin fonetiikan, lääketieteen ja kirurgian tarkoituksiin. Fysikaalisen mallin käyttötarkoitus asettaa ylimääräisiä materiaalivaatimuksia. Esimerkiksi PIV-menetelmä (Particle Image Velocimetry) virtauskenttien kuvantamiseksi vaatii optisesti läpinäkyviä ja homogeenisia malleja (yleisimmin akryylia tai polykarbonaattia). Eräs varsin yksinkertaisella laser-leikkausmenetelmällä levystä tuotettu polykarbonaatti-koetuloste on esitetty Kuvassa 3 oikealla. Tällainen tuloste ei kuitenkaan sovellu PIV-menetelmään, koska levyjen pinnat toimivat optisena heijastus- ja taipumiskohtana. Soveltuva malli tulisikin tehdä valumenetelmällä mieluiten yhtenä kappaleena, ja valumuotin sekä keernan tekeminen edellyttää 3D-tulostetta ääntöväylän ilmatilasta. Mikäli MRI:llä kuvannettujen ääntöväylägeometrioiden tulostaminen voitaisiin tehdä riittävän laadukkaasti käyttäen Ultimakerin kaltaista hinnaltaan edullista laitetta, tulosteita voitaisiin käyttää apuneuvona mm. kirurgisten toimenpiteiden suunnittelussa aivan kuten kipsivaloksia on perinteisesti käytetty hammaslääketieteessä. Verenkiertoelimistön rakenteet ovat kuvantamisen, vektoroinnin ja fysikaalisten tulosteiden kannalta merkittävästi helpompia kuin ääntöväylä, ja niistä tuotettuja

Kuva 3: (a) Keskisagittaalikuva miehestä, joka lausuu pitkän vokaalin [œ]. (b) Samasta vokaaligeometriasta laserleikkurilla 3mm levystä tehty polykarbonaattituloste, joka koostuu 24 tasosta (joista 14 on kuvassa). fysikaalisia malleja on nykyään saatavilla kaupallisestikin vastaaviin tarkoituksiin: http://www.unitedbiologics.com Mitä projektissamme aiotaan tehdä fysikaalisilla malleilla? Tarkoituksenamme on kehittää itse tulostusmenetelmää sekä sen vaatimia matemaattisia algoritmeja ja tietokonekoodia. Aiomme julkaista saavutetut tulokset tekniikan alan julkaisuissa ja konferensseissa. Tuotamme riittävän määrän fysikaalisia malleja tutkimusprojektimme omiin tarpeisiin matemaattisen mallinnuksen validaation edellyttämiä akustisia mittauksia varten. Nämä mittaukset on tarkoitus tehdä Aalto-yliopiston Sähkötekniikan korkeakoulun kaiuttomassa laboratoriossa prof. Paavo Alkun ryhmän avustuksella. Tutkimusprojektissamme ei ole aikomuksena (eikä edellytyksiä) tehdä ääntöväylämallein virtausmittauksia itsenäisesti, mutta toimitamme fysikaalisia malleja toisille tutkimusryhmille mikäli tällaiselle palvelulle on kysyntää ja tuotantokysymykset voidaan ratkaista. Kuvaa 1 vastaava täydellinen vokaalimallisarja on luvattu toimittaa Helsingin Yliopiston Puhetieteen Laitoksen käyttöön.

Kuva 4: (a) MR-kuvauksen aikaisen puhenäytteen äänittämiseen käytetty tietokonejärjestelmä. Räkissä ylhäältä päin lukien: MRI-melunperuutusvahvistin, digitointiyksikkö M- Audio Delta 1010, mittausjärjestelmän paikallisverkon kytkin, Linux-serveri, UPS. Räkki sisältää myös kontrollerin MRI-koneen ulkoista ohjausta varten. Kokeenjärjestäjä ohjaa tapahtumia läppärinsä välityksellä. (b) MRI-koneen pään ja kaulan alueen kuvantamiskelan päälle tuleva akustinen äänenkeräin sekä Faradayn häkissä (ei kuvissa) sijaitsevaan mikrofoniasetelmaan vievät aaltojohdot. MRI-datasetin hankkiminen Kuten edellä jo mainittiin, puheilmiöiden matemaattinen ja fysikaalinen mallinnus edellyttää geometrista dataa koehenkilön ääntöväylän anatomiasta. Seuraavassa on lyhyt esitys menetelmästä, jolla hakemuksen edellyttämä MRI-kuvantaminen suoritetaan. Ääntöväylän ilmatilan geometria kuvannetaan MRI-tekniikalla yhtäaikaisesti puheääninäytteiden tallentamisen kanssa. Ääninäytteiden tallentaminen MR-kuvauksen aikana on teknisesti vaativaa, ja tähän tarkoitukseen olemme rakentaneet mittauslaitteiston akustisen ja analogisen osan jo projektin pilottivaiheessa vuosina 2007-2010. Magnus Ehrnroothin säätiöltä vuonna 2010 myönnetyn apurahan 1 turvin olemme viimeistelleet pilottivaiheessa toteutetun äänitysjärjestelmän instrumentaatiota ja kehittäneet tietotekniikkaa siten, että kattavien potilasmäärien sekä suurten kuvamäärien hankkiminen on käytännössäkin mahdollista mahdollisimman pienellä laboratoriohenkilökunnalla, mahdollisesti huonokuntoista potilasta liiaksi rasittamatta, sekä kerätyn MRI- ja puheäänidatan laatua vaarantamatta. Kuvassa 4 vasemmalla esitetään näillä varoilla toteutetun siirrettävän mittausjär- 5000e. 1 Hakija tekn. tri. Jarmo Malinen (Aalto-yliopisto, Matematiikan ja Systemianalyysin Laitos),

jestelmän signaalinkäsittely- ja tallennusjärjestelmä. Akustisia ratkaisuja on dokumentoitu julkaisuissa [17, 41]. Vuoden 2012 aikana ortognaattisen kirurgian potilaiden kuvantamisprojekti on saatu aloitettua Varsinais-Suomen Kuvantamiskeskuksen (TYKS) skannerilla (Siemens Avanto 1.5T). Näillä potilailla leukaluiden paikkaa on muutettu sahaamalla luita poikki ja kiinnittämällä kappaleet uuteen asemaan. Niinpä kustakin potilaasta tarvitaan kaksi eri kuvantamisrupeamaa ennen ja jälkeen kirurgisen toimenpiteen. Datasetin tärkeimpänä tarkoituksena on pyrkiä havaitsemaan ja ymmärtämään kirurgian aiheuttamat muutokset puheeseen sekä suorin havainnoin (MRkuva ja ääninäyte) että numeerisen puhemallin avulla (MR-kuvan perusteella). Tämä mahdollistaa numeerisen puhemallin riippumattoman validaation ja mallinnusvirhearvioiden tekemisen. Syntynyt ainutlaatuinen ja kattava data on mielenkiintoista myös suoran kliinisen tutkimuksen kannalta. Kuvantamisprojektin johtajana ja vastuullisena tutkijana toimii prof. Risto-Pekka Happonen (Turun yliopisto, Suu- ja Leukakirurgian Laitos). Kuvantamiseen tarvittava rahoitus 2 on saatu nk. EVO-rahoituksena vuosille 2012 ja 2013. Kuvantamisprojektin käytännön toteutuksesta vastaavat tekn. tri. Daniel Aalto (Helsingin yliopisto, Käyttäytymistieteiden Laitos, sekä Åbo Akademi, Matematiska Institution) ja fil. tri. Jani Saunavaara (TYKS). Projektin laitteistojen sekä ohjelmistojen kehittäminen ja huolto ovat M.Sc. Tiina Murtolan ja hakijan vastuulla. Tätä hakemusta kirjoitettaessa kolmen potilaan toimenpidettä edeltävä, laadultaan ensiluokkainen data-aineisto (MR-kuva ja yhtäaikainen puhenäyte kymmenissä foneettisesti relevanteissa puhekonfiguraatioissa) on jo olemassa. Kertyvän potilasdata-aineiston lisäksi on tuotettu kolme terveistä koehenkilöistä otettua pilottisarjaa. Kuvan 1 vokaaligeometriat ovat ensimmäisestä vuonna 2010 tehdystä eksperimentistä. Pilottisarjan tulokset ja johtopäätökset on dokumentoitu julkaisussa [8], ja aineistosta tehtyjä foneettisia analyysejä on käsitelty julkaisussa [46]. Lopullinen koejärjestely on (osin) dokumentoitu raportissa [7]. Projektin osanottajat Tässä hakemuksessa esitettyyn fysikaalisen mallinnuksen kehittämisprojektiin osallistuvat seuraavat tutkijat: 2 Hakija prof. Risto-Pekka Happonen (Turun yliopisto, Suu- ja Leukakirurgian Laitos), 18000e.

1. Aalto-yliopiston Matematiikan ja Systeemianalyysin Laitokselta tekn. yo. Atle Kivelä (ääntöväylän pintaekstraktiokoodi ja algoritmit), DI Matti Harjula (automaatio- ja tietotekninen asiantuntija, mikrokontrolleriohjelmointi sekä G-koodi), tekn. tri. Jarmo Malinen (instrumentaatio, elektroniikka, mekatroniikka ja matemaattiset tarkastelut); 2. Helsingin yliopiston Käyttäytymistieteiden Laitokselta tekn. tri. Daniel Aalto (kuvantamisjärjestelyt MRI:llä); sekä 3. Turun yliopistosta sekä Varsinais-Suomen Kuvantamiskeskukselta fil. tri. Jani Saunavaara (MRI-sekvenssit ja kuvantamisteknologia) ja HLK Jean- Marc Luukinen (kuvantamistyöhön liittyvä hammaslääketieteellinen osuus). Projektin vetäjänä toimii hakija. Ääntöväylätulosteilla tehtyyn kokeilutoimintaan liittyvät avainhenkilöinä lisäksi DI Teemu Ronkka (Aalto Design Factory), tekn. yo. Jukka Helle (Aalto Media Factory, FabLab) sekä mahdollisesti muita Aalto Design Factoryn valmistustekniikan asiantuntijoita. Osa eksperimentaalisesta työstä voidaan tehdä oppilastöinä ja opinnäytteinä. Hanke toimii kiinteässä yhteistyössä laskennallisen fonetiikkakonsortion COM- SPEECHin kanssa, jossa tämän hankkeen kannalta tärkeimmät kollegat ovat prof. Risto-Pekka Happonen (TYKS), HLT Tero Soukka (TYKS), sekä dos. Martti Vainio (Helsingin yliopisto). Varainkäyttösuunnitelma Hakemuksessa esitetty kokonaissumma 4000 e ehdotetaan käytettäväksi vuosien 2013-2014 aikana arviolta seuraavalla tavalla: 1. Ultimaker 3D (Limited Edition) -tulostin, UltiController -ohjausyksikkö, sekä ohjelmistoja 2000 e 2. Sekalaisiin komponentteihin kuten tulostuspäihin 500 e 3. Laitteen päivitykseen ja huoltokustannuksiin kahdelle vuodelle 500 e 4. 3D tulostemateriaaleihin (PLA/ABS muovit) sekä valukelpoisiin muoveihin ja silikoneihin 500 e 5. Muoteista, valukehikoista j.n.e. syntyvät kustannukset 500 e Hankkeen palkkakustannuksista vastaa kunkin tutkijan oma instituutio.

Curriculum vitae breve Henkilötiedot Jarmo Kalervo Malinen, s. Oulussa, 28. lokakuuta, 1970. Opinnot Ylioppilastutkinto (6 L), Karjasillan lukio, Oulu 1989 Diplomi-insinööri (oivallisesti), Tekn. fys. ja mat. osasto, Teknillinen korkeakoulu 1995 Tekniikan tohtori (kiittäen hyväksytty), Tekn. fys. ja mat. osasto, Teknillinen korkeakoulu 2000 Merkittävimmät akateemiset tehtävät, apurahat ja tunnustukset Matematiikan assistentti, TKK 1995-1998, 1998-2001 Emil Aaltosen säätiön 3-vuotinen apuraha tohtorintutkintoa varten 1996-1999 Post-doctoral research fellow, Imperial College, Lontoo 1.5.2000-31.10.2000 Post-doctoral research fellow, KTH, Tukholma 1.11.2000-31.10.2001 Rolf Nevanlinna -instituutin palkinto erinomaisesta matematiikan alan väitöskirjasta vuonna 2000 19.11.2001 Nomination as an outstanding reviewer for AUTOMATICA 1.7.2001-1.7.2002 Mittag Leffler -instituutin stipendiaatti, Djursholm 15.1.2003-15.6.2003 Matematiikan yliassistentti, TKK alkaen 1.1.2004 Aalto Starting Grant laskennallista puhetutkimusta varten Aalto-yliopisto 1.8.2011 30.7.2013

STACK-opetusteknologiaan keskittyvän start-upin Eleaga Ltd. Oy:n hallituksen puheenjohtaja alkaen 30.9.2012 Tieteelliset asiantuntijatehtävät Reviewer seuraavissa lehdissä: Automatica; SIAM Journal of Control; Mathematics of Control, Signals, and Systems; Complex Analysis and Operator Theory; Math Reviews; IEEE Control Systems Society; Applied Acoustics; Measurement Science Review. Reviewer seuraavissa konferensseissa: European Control Conference; BIODE- VICES. Muut tieteelliset asiantuntijatehtävät: IPC member of the BIODEVICES conference since 2011. Project evaluator for Czech Science Foundation since 2012.

Julkaisuluettelo [1] A. Aalto, D. Aalto, J. Malinen, and M. Vainio. Interaction of vocal fold and vocal tract oscillations. In Proceedings of the 24th Nordic Seminar on Computational Mechanics, 2011. [2] A. Aalto, D. Aalto, J. Malinen, and M. Vainio. Modal locking between vocal fold and vocal tract oscillations. arxiv:1211.4788, 23 pp., 2012. Submitted. [3] A. Aalto, P. Alku, and J. Malinen. A LF-pulse from a simple glottal flow model. In Proceedings of the 6th International Workshop on Models and Analysis of Vocal Emissions for Biomedical Applications (MAVEBA2009), pages 199 202, Firenze, December 2009. [4] A. Aalto, T. Lukkari, and J. Malinen. Acoustic wave guides as infinitedimensional dynamical systems. arxiv:1211.7000, 28 pp. + 6 pp. appendix, 2012. [5] A. Aalto and J. Malinen. Wave propagation in networks: a system theoretic approach. In Proceedings of the 18th World Congress of the IFAC, Milano, Italy, 2011. [6] A. Aalto and J. Malinen. Composition of passive boundary control systems. Mathematical Control and Related Fields, 2012. [7] D. Aalto, O. Aaltonen, R.-P. Happonen, J. M. Luukinen, J. Malinen, T. Murtola, R. Parkkola, J. Saunavaara, and M. Vainio. Measurement of acoustic and anatomic changes in maxillofacial surgery patients. Technical report, (downloadable), 4 pp., 2012. [8] D. Aalto, O. Aaltonen, R.-P. Happonen, J. Malinen, P. Palo, R. Parkkola, J. Saunavaara, and M. Vainio. Recording speech sound and articulation in MRI. In Proceedings of BIODEVICES 2011, pages 168 173, Rome, January 2011. [9] D. Aalto, J. Helle, A. Huhtala, A. Kivelä, J. Malinen, J. Saunavaara, and T. Ronkka. Algorithmic surface extraction from MRI data: modelling the human vocal tract. To appear in Proceedings of BIODEVICES, 2013. [10] D. Aalto, A. Huhtala, A. Kivelä, J. Malinen, P. Palo, J. Saunavaara, and M. Vainio. How far are vowel formants from computed vocal tract resonances? arxiv:1208.5963, 13 pp., 2012.

[11] D. Aalto, J. Malinen, M. Vainio, J. Saunavaara, and J. Palo. Estimates for the measurement and articulatory error in MRI data from sustained vowel phonation. In Proceedings of the International Congress of Phonetic Sciences, 2011. [12] A. Hannukainen, T. Lukkari, J. Malinen, and P. Palo. Formants and vowel sounds by the finite element method. In Proceedings of the symposium "Fonetiikan päivät", Helsinki, pages 24 33, 2006. [13] A. Hannukainen, T. Lukkari, J. Malinen, and P. Palo. Vowel formants from the wave equation. Journal of the Acoustical Society of America Express Letters, 122(1):EL1 EL7, 2007. [14] V. Havu and J. Malinen. Laplace and Cayley transforms an approximation point of view. In Proceedings of the Joint 44th IEEE Conference on Decision and Control and European Control Conference (CDC-ECC 05), Seville, December 2005. [15] V. Havu and J. Malinen. Cayley transform as a time discretization scheme. Numerical Functional Analysis and Applications, 28(7):825 851, 2007. [16] T. Lukkari and J. Malinen. Webster s equation with curvature and dissipation. arxiv:1204.4075, 22 pp. + 5 pp. appendix, 2011. [17] T. Lukkari, J. Malinen, and P. Palo. Recording speech during magnetic resonance imaging. In Proceedings of the 5th International Workshop on Models and Analysis of Vocal Emissions for Biomedical Applications (MAVE- BA2007), pages 163 166, Firenze, December 2007. [18] J. Malinen. On the preconditioning and iterative inversion of Toeplitz operators. Master s thesis, Helsinki University of Techology Institute of Mathematics, 1995. [19] J. Malinen. On the properties for iteration of a compact operator with unstructured perturbation. Technical Report A360, Helsinki University of Technology Institute of Mathematics, 1996. [20] J. Malinen. Minimax control of distributed discrete time systems through spectral factorization. In Proceedings of European Control Conference (ECC 97), Brussels, July 1997. [21] J. Malinen. Nonstandard discrete time cost optimization problem: The spectral factorization approach. Technical Report A385, Helsinki University of Technology Institute of Mathematics, 1997.

[22] J. Malinen. Well-posed discrete time linear systems and their feedbacks. Technical Report A384, Helsinki University of Technology Institute of Mathematics, 1997. [23] J. Malinen. Discrete time Riccati equations and invariant subspaces of linear operators. In Proceedings of MMAR98, Miedzyzdroje, Poland, 1998. [24] J. Malinen. Properties of iteration of Toeplitz operators with Toeplitz preconditioners. BIT Numerical Mathematics, 38(2):356 371, 1998. [25] J. Malinen. Solutions of the Riccati equation for H discrete time systems. In Proceedings of Mathematical Theory of Networks and Systems (MTNS 98), Padova, 1998. [26] J. Malinen. Discrete time Riccati equations and invariant subspaces of linear operators. Technical Report A407, Helsinki University of Technology Institute of Mathematics, 1999. [27] J. Malinen. Riccati equations for H discrete time systems: Part I. Technical Report A405, Helsinki University of Technology Institute of Mathematics, 1999. [28] J. Malinen. Riccati equations for H discrete time systems: Part II. Technical Report A406, Helsinki University of Technology Institute of Mathematics, 1999. [29] J. Malinen. Toeplitz preconditioning of Toeplitz matrices an operator theoretic approach. Technical Report A404, Helsinki University of Technology Institute of Mathematics, 1999. [30] J. Malinen. Discrete Time H Algebraic Riccati Equations. PhD thesis, Helsinki University of Technology Institute of Mathematics, 2000. [31] J. Malinen. Discussion on: "Boundary control of a class of hyperbolic systems". European Journal of Control, 9:605 607, 2003. [32] J. Malinen. Shift realizations and their algebraic Riccati equations. Technical Report 22, Institut Mittag Leffler, 2003. [33] J. Malinen. Conservativity of time-flow invertible and boundary control systems. Technical Report A479, Helsinki University of Technology Institute of Mathematics, 2004.

[34] J. Malinen. A remark on the Hille Yoshida resolvent theorem. Technical Report A469, Helsinki University of Technology Institute of Mathematics, 2004. [35] J. Malinen. Conservativity and time-flow invertiblity of boundary control systems. In Proceedings of the Joint 44th IEEE Conference on Decision and Control and European Control Conference (CDC-ECC 05), Seville, December 2005. [36] J. Malinen. Tustin s method for final state approximation of conservative dynamical systems. In Proceedings of the 18th World Congress of the IFAC, Milano, Italy, 2011. [37] J. Malinen and R. Nagamune. Conservative realisations for Hermite Fejer interpolation problem. Technical Report 21, Institut Mittag Leffler, 2003. [38] J. Malinen, O. Nevanlinna, V. Turunen, and Z. Yuan. A lower bound for the differences of powers of linear operators. Acta Mathematica Sinica, 23(4):745 748, 2007. [39] J. Malinen, O. Nevanlinna, and Z. Yuan. On the Tauberian condition for bounded linear operators. Mathematical Proceedings of the Royal Irish Academy, 109:101 108, 2009. [40] J. Malinen, O. Nevanlinna, and J. Zemánek. Microspectral analysis of quasinilpotent operators. arxiv:1211.4790, 22 pp., 2011. Submitted. [41] J. Malinen and P. Palo. Recording speech during MRI: Part II. In Proceedings of the 6th International Workshop on Models and Analysis of Vocal Emissions for Biomedical Applications (MAVEBA2009), pages 211 214, Firenze, December 2009. [42] J. Malinen, O. Staffans, and G. Weiss. When is a linear system conservative? Quarterly of Applied Mathematics, 64(1):61 91, 2006. [43] J. Malinen and O. J. Staffans. Conservative boundary control systems. Journal of Differential Equations, 231(1):290 312, 2006. [44] J. Malinen and O. J. Staffans. Semigroups of impedance conservative boundary control systems. In Proceedings of Mathematical Theory of Networks and Systems (MTNS 06), Kioto, 2006. [45] J. Malinen and O. J. Staffans. Impedance passive and conservative boundary control systems. Complex Analysis and Operator Theory, 2(1):279 300, 2007.

[46] J. Palo, D. Aalto, O. Aaltonen, R.-P. Happonen, J. Malinen, J. Saunavaara, and M. Vainio. Articulating Finnish vowels: Results from MRI and sound data. Linguistica Uralica, 48(3):194 199, 2012. [47] A. Rasila, L. Havola, P. Alestalo, J. Malinen, and H. Majander. Matematiikan perusopetuksen kehittämistoimia ja tulosten arviointia. Tietojenkäsittelytiede, (33):44 55, 2011. [48] A. Rasila, L. Havola, H. Majander, and J. Malinen. Automatic assessment in engineering mathematics: evaluation of the impact. In Reflektori 2010, Symposium of Engineering Education, pages 38 45, 2010. [49] K. Silius, T. Miilumäki, S. Pohjolainen, A. Rasila, M. Harjula, J. Malinen, and E. Valkeila. Perusteet kuntoon apuneuvoja matematiikan opiskelun aloittamiseen. In Proceedings of ITK 09 tutkijatapaaminen, Hämeenlinna, April 2009.