PUHEENTUTKIMUKSEN RESURSSIT

Transkriptio

1 PUHEENTUTKIMUKSEN RESURSSIT SUOMESSA

2

3 PUHEENTUTKIMUKSEN RESURSSIT SUOMESSA toimittaneet Juhani Toivanen ja Manne Miettinen CSC Tieteellinen laskenta Oy

4 c CSC Tieteellinen laskenta Oy 2001 ISBN X

5 Puheentutkimuksen resurssit Suomessa 5 Esipuhe Idea tämän esiselvityksen tekemiseen on lähtöisin opetusministeriön omistaman tieteen tietotekniikan keskuksen CSC:n kielitieteen palvelun johtoryhmästä. Esiselvitys on toteutettu opetusministeriöltä saadun markan määrärahan turvin. Esiselvitykselle asetettiin kaksi tavoitetta: ensimmäinen tavoite oli kartoittaa kattavasti suomenkielistä puhetta tutkivien tieteenalojen nykytila ja tulevaisuudennäkymät Suomessa, toinen tavoite oli esittää kartoituksen pohjalta joukko toimenpiteitä, joilla puheentutkimuksen edellytyksiä voitaisiin parantaa maassamme. Esiselvityshanke alkoi marraskuussa Syksyn pohjatyö kulminoitui Helsingin yliopistossa 13. joulukuuta 2000 järjestettyyn seminaariin Puheentutkimuksen resurssit Suomessa. Kyselylomakkeet lähetettiin helmikuussa :ään puheentutkimusta harjoittavaan tutkimuslaitokseen ja yritykseen. Toukokuussa 2001 pyydettiin lisäksi kuutta puheentutkimuksen eri alojen asiantuntijaa kirjoittamaan asiantuntija-arvio alansa nykytilasta, tulevaisuudennäkymistä ja kehittämistarpeista. Hankkeen ohjausryhmän muodostivat professori Matti Karjalainen (Teknillinen korkeakoulu), professori Kimmo Koskenniemi (Helsingin yliopisto), tutkimusjohtaja Kari Laurila (Nokia Research Center), erikoistutkija Marja- Leena Sorjonen (Kotimaisten kielten tutkimuskeskus), kehittämispäällikkö Juha Sylberg (Näkövammaisten kirjasto), tutkija Martti Vainio (Helsingin yliopisto) ja arkistonjohtaja Lauri Vihonen (Yleisradio). Haluamme toimittajina kiittää ohjausryhmää kannustavasta ohjauksesta. Lisäksi asiantuntijaarvioiden kirjoittajat Lauri Carlson, Matti Karjalainen, Matti Laine, Unto K. Laine, Mikko Sams, Kari Suomi ja Martti Vainio, kyselyyn vastanneet puheentutkijat sekä eri tavoin oman panoksensa raportin syntyyn antaneet Toomas Altosaar, Roope Havu, Jyrki Hokkanen ja Eija Koskenlinna ansaitsevat niin ikään lämpimät kiitoksemme. Kaikki raportin mahdolliset virheet ja epätarkkuudet ovat toimittajien vastuulla. Espoossa ja Oulussa Juhani Toivanen ja Manne Miettinen

6 6 Puheentutkimuksen resurssit Suomessa Tiivistelmä Puhetta tutkitaan eri puolella Suomea pienissä muutaman hengen tutkimusryhmissä. Yhteiskunnan muutos ja teknologisoituminen ovat luoneet puheentutkimukselle uusia tehtäviä, joihin vanhat rakenteet eivät pysty vastaamaan. Puheentutkimusyksiköiden maantieteellinen ja tieteenalakohtainen eristyneisyys sekä yksiköiden pieni koko haittaavat merkittävästi puheentutkimuksen edistymistä Suomessa. Tutkimuksen rahoittajat voisivat parantaa puheentutkimuksen edellytyksiä Suomessa tukemalla: vähintään yhden yli 20 tutkijan kokoisen yksikön syntymistä, jonka tutkimuksella on selvä painopistealue tutkimushankkeita, joissa luodaan siltoja eri puheentutkimuksen alueiden, erityisesti humanistisen puheentutkimuksen ja puheteknologian tutkijoiden välille puheentutkimuksen eri alueiden verkostoitumista tutkimusaineistojen kokoamista ja käyttöä koskevien yhteisten standardien ja pelisääntöjen laatimista olemassaolevien tutkimusaineistojen käytön koordinointia pitkän aikavälin monitieteistä perustutkimusta puhutun kielen olemuksen selvittämiseksi perus- ja jatkokoulutuksen uudelleen organisointia monitieteiseen suuntaan

7 Puheentutkimuksen resurssit Suomessa 7 English summary Speech and spoken language is studied by a number of small research groups scattered around Finland. The fast pace of globalisation and information technology have created new demands for speech research, that are not supported by the existing organisational structures. Especially the small size and geographical dispersion of the research units create serious barriers for the advancement of speech research in Finland. The research funding and policy should be directed so that: at least one larger and focused research unit with over 20 researchers will be created new multidisciplinary research programs are launched to bring together the different traditions of humanistic and technological speech research. common standards and recommendations are created for the compilation and use of speech databases use of existing resources is better coordinated there will be long-term multidisciplinary basic research to understand the essence of spoken language education is reorganized in a more multidisciplinary way

8 8 Puheentutkimuksen resurssit Suomessa Sisältö Esipuhe 5 Tiivistelmä 6 English summary 7 1 Johdanto Puheentutkimuksen merkitys Suomelle Raportin tarkoitus ja rakenne Monimuotoinen puhe Fysikaalinen puhe Sosiaalinen puhe Asiantuntija-arvioiden tiivistelmä Tutkimuksen nykytila Tulevaisuudennäkymät Puhetietokannat Vastausten analyysi Yhteenveto Puheen tuottamisen ja havaitsemisen perustutkimus Puheteknologian tutkimus Puhekielen ja kielellisen variaation tutkimus Dialogin ja kielellisen vuorovaikutuksen tutkimus Kaupallinen puheteknologian tutkimus Toimenpide-ehdotukset 24

9 Sisältö 9 Liitteet 25 A Asiantuntija-arviot 26 B Vastaukset 40 B.1 Akustiikan ja äänenkäsittelytekniikan laboratorio (TKK) 40 B.2 Digitaali- ja tietokonetekniikan laitos (TTKK) B.3 Digitaalisen median instituutti (TTKK) B.4 Elisan tutkimuskeskus B.5 Fonetiikan laitos (HY) B.6 Fonetiikka (TUY) B.7 Institutionaalisen vuorovaikutuksen tutkimusyksikkö.. 53 B.8 Kognitiivisen tieteen ja teknologian tutkimusryhmä (TKK) 54 B.9 Kotimaisten kielten tutkimuskeskus B.10 Lingsoft Oy B.11 MediaTeam (OY) B.12 Neuroverkkojen tutkimusyksikkö (TKK) B.13 Nokian tutkimuskeskus B.14 Näkövammaisten keskusliitto B.15 Puheopin laitos (TAY) B.16 Suomen kielen laitos (HY) B.17 Suomen kielen laitos (JYU) B.18 Suomalaisen ja yleisen kielitieteen laitos (TUY) B.19 Suomen kielen ja kulttuuritieteiden laitos (JOY) B.20 Suomen kielen ja yleisen kielitieteen laitos (TAY) B.21 Suomen kielen jaos (OY) B.22 TAUCHI-tutkimusryhmä (TAY) B.23 Timehouse Oy B.24 Vieraiden kielten laitos (JOY)

10 10 Puheentutkimuksen resurssit Suomessa 1 Johdanto 1.1 Puheentutkimuksen merkitys Suomelle Globalisaatio yhdessä tieto- ja viestintäteknologian kanssa muodostavat ennen näkemättömän suuren uhan suomen ja muiden kotimaisten kielten asemalle. Automaattiseen puheentunnistukseen ja puhesynteesiin (eli puheteknologiaan) perustuvat sovellukset ja palvelut yleistynevät lähivuosina osaksi ihmisten arkipäivää. Pienten kielten asema on vaarassa heikentyä ellei niiden avulla voi käyttää myös uusia puheteknologiaan perustuvia sovelluksia ja palveluita. Kansainväliset suuryritykset eivät juurikaan huolehdi pienten kielten sovelluksista, sillä niiden keskinäisessä kilpailussa ja markkinoiden turvaamisessa avainasemassa ovat suuret ja vauraat kielialueet, joiden puhujamäärät lasketaan kymmenissä miljoonissa. Microsoftin kaltaiset jättiläisyritykset ovat porrastaneet eri kielille annettavan tuen tärkeysjärjestykseen markkinoiden koon mukaan. Suomen kieli ei tällä listalla yllä kovinkaan korkealle sijalle. Tuki pienille kielille voi kokonaan jäädä toteutumatta tai aikataulutetaan huomattavasti englannin kieltä myöhemmäksi. Kansainväliset suuryritykset eivät välttämättä aseta samoja vaatimuksia pienten kielten tuen laadulle kuin valtakielille. Monet suomalaiset ovat jo nyt sopeutuneet käyttämään tietokoneohjelmien englanninkielisiä versiota. Saako suomalainen puheteknologian sovelluksen käyttäjä lähitulevaisuudessa asiansa paremmin hoidetuksi puhumalla huonoa englantia kuin äidinkieltään? Tällainen kehitys uhkaisi kotimaisten kielten asemaa ja johtaisi vanhempien ja vähemmän koulutettujen ihmisten syrjäytymiseen. Kotimaisten kielten puheteknologian saatavuuden takaaminen on siis tärkeä kansallinen tehtävä. Tavoitetta ei kuitenkaan saavuteta yksinkertaisesti eikä lyhytjänteisesti. Tehtävän vaativuus johtuu ennen kaikkea siitä, että puhe on erittäin monimutkainen ja vaikea tutkimuskohde. Seuraavat tosiasiat saattavat yllättää maallikon: Puhe on ääntä, mutta äänen fysikaalisista ominaisuuksista ei edes perinpohjaisilla laskennallisilla menetelmillä ole nykyään mahdollista tarkasti päätellä, mitä äänteitä signaalissa missäkin kohdassa on. Ihminen voi kokea erilaiset fysikaaliset äänet samaksi äänteeksi ja

11 1. Johdanto 11 toisaalta sama fysikaalinen ääni voidaan kokea eri äänteiksi, jos se sijoitetaan keinotekoisesti osaksi erilaisia sanoja. Eri puhujien tuottamat puheäänet ovat keskenään erilaisia kuten myös samankin puhujan eri kerroilla tai eri sanojen osina tuottamat äänteet. Puhuttu kieli eroaa rakenteeltaan merkittävästi normitetusta kirjakielestä, erityisesti lauserakenteen osalta. Kotimaisten kielten puheteknologian saatavuus on turvattava parantamalla puheentutkimuksen edellytyksiä sekä lyhyellä että pitkällä tähtäyksellä. Lyhyellä tähtäyksellä on tuettava vähintään yhden suuremman puheteknologiaan keskittyvän tutkimusyksikön syntymistä. Lisäksi tutkimusyksiköiden verkostoitumista on tuettava yhteisillä tutkimushankkeilla ja koordinoimalla tutkimusaineistojen käyttöä. Pitemmällä tähtäyksellä tarvitaan paljon laajempaa ja pitkäjänteisempää perustutkimusta puhutun kielen olemuksen selvittämiseksi ja kuvaamiseksi, jossa otetaan huomioon havainnot puhutun kielen fysikaalisista, neuraalisista, kognitiivisista ja sosiaalisista piirteistä. Pitemmällä aikavälillä myös puheentutkimukseen liittyvä opetus ja tutkijakoulutus on organisoitava uudelleen. Maamme ei voi heittäytyä passiiviseksi muualla tehtävän tutkimuksen seuraajaksi, vaan uusia innovaatioita pitäisi voida ripeästi soveltaa omiin kieliin, silloinkin kun menetelmät ovat muualla keksittyjä. Maallamme on toki myös edellytyksiä viedä tutkimusta joillakin sektoreilla eteenpäin kansainvälisestikin merkittävällä tavalla. Tämä kansallisen kulttuurin ja omintakeisuuden turvaamiseksi käynnistettävä toiminta loisi pohjaa myös kotimaiselle puheteknologiaan panostavalle teollisuudelle, joka saattaisi hyvinkin nousta maallemme merkittäväksi vientialaksi. 1.2 Raportin tarkoitus ja rakenne Tällä raportilla on kaksi tavoitetta: Kartoittaa puheentutkimuksen nykytila ja kehittämistarpeet Suomessa erityisesti tutkimusaineistojen osalta. Ehdottaa tutkimusrahoittajille toimenpiteitä, joilla puheentutkimuksen edellytyksiä voitaisiin parantaa Suomessa. Raportti pyrkii kokoamaan yhteen tietoa josta olisi hyötyä sekä tutkijayhteisölle itselleen että tiedepolitiikan ja tutkimusrahoituksen päättäjille. Raportin näkökulma on painottunut niille puheentutkimuksen aloille, joissa tietokannoilla ja laskennallisilla menetelmillä on keskeinen asema. Painotus johtuu esiselvityksen alullepanijan, CSC Tieteellinen laskenta Oy:n, toimenkuvasta tukea ja edistää laskennallista tiedettä Suomessa.

12 12 Puheentutkimuksen resurssit Suomessa Raportti rakentuu siten, että luvun 2 tarkoitus on perehdyttää lukija pääpiirteissään puhutun kielen ominaispiirteisiin sekä fysikaalisesta että sosiaalisesta näkökulmasta. Luvussa 3 ja 4 esitetään toimittajien tiivistämässä muodossa asiantuntija-arvioiden ja kyselyjen tulokset. Viimeisessä luvussa 5 esitetään raportin toimittajien ja ohjausryhmän laatimat toimenpide-ehdotukset. Liitteisiin A ja B on koottu asiantuntija-arviot ja vastaukset kokonaisuudessaan.

13 2. Monimuotoinen puhe 13 2 Monimuotoinen puhe 2.1 Fysikaalinen puhe Puhe ei koostu toisiaan seuraavista helposti erotettavista yksiköistä kuten äänteistä ja sanoista, vaan monista toisiinsa hierarkisessa suhteessa olevista tekijöistä. Puhe tuotetaan erilaisin ääntöelinten elein, jotka ovat ajallisesti sekä toisiaan seuraavia että samanaikaisia. Puhe on jatkuvaa fysiologisen toiminnan aiheuttamaa virtaa, jonka yksiköt muodostuvat vasta aivoissa monimutkaisten kognitiivisten prosessien seurauksena. Kognitiivisten prosessien näkymättömyys ja näennäinen helppous aiheuttaa sen, että puhetta pidetään jollakin tapaa itsestään selvänä ja helposti ohitettavana ilmiönä. Seuraavan sivun kuva havainnollistaa miten vaikeasti kielelliset yksiköt ovat havaittavissa äänisignaalista. Puheentutkijoita lukuunottamatta monikaan ei tule problematisoineeksi sitä, että ihminen voi välittää tietoa sisäisistä tarpeistaan ja ulkoisesta olemuksestaan organisoimalla liikkeeseen ilman molekyylejä keuhkojen ja suun avulla. Puhe on monien tapahtumien koostama hierarkinen rakenne, joka tuotetaan suurella määrällä erilaisia ajassa toisiaan seuraavilla ja toisaalta samanaikaisilla eleillä. Tämä rakenne on aina jonkinlaisessa suhteessa kielelliseen rakenteeseen ja sisältöön, mutta puhe ja sen sisältämä kielellinen viesti eivät kuitenkaan ole yksi ja sama; puhe sisältää yleensä paljon lingvistisen koodin ulkopuolelle jäävää informaatiota mm. puhujan asenteista, tunnetiloista ja vaikkapa iästä, sukupuolesta tai terveyden tilasta. Puhetapahtumassa voidaan yksinkertaistetusti erottaa viisi erilaista vaihetta: puhujan tarkoitus tai intentio, neuraalinen ja fysiologinen toiminta puheen tuottamisessa, ääniaalto, neuraalinen ja fysiologinen toiminta puhetuotoksen vastaanottamisessa sekä sanoman ymmärtäminen. Toisaalta voidaan puhua sanoman kielentämisestä ja sanoman tulkinnasta. Huomionarvoista on, että vain artikulaatio ja sen aikaansaama ääniaalto eli puheen artikulatoriset ja akustiset aspektit ovat puheketjun helposti havainnoitavia osia. Aivojen toiminta puheen tuottamisessa ja ymmärtämisessä on ollut metodologisesti vaikeampi tutkimuskohde kuin puheketjun artikulatorinen ja akustinen vaihe. Joka tapauksessa on selvää, että akustisen signaalin tulkitseminen on hyvin monimutkainen kognitiivinen prosessi, jossa on sekä kielellisiä että kulttuurisidonnaisia ulottuvuuksia. Puheen havaitsemiseen liittyy ns. invarianssiongelma: puhe on akustisesti

14 14 Puheentutkimuksen resurssit Suomessa Kuva 2.1: Spektrogrammi, aaltomuoto ja transkriptio lauseesta»tarkka kirurgi varoo näköään». Sanat, äänteet ja äänteiden kestot eivät erotu signaalista selkeinä yksiköinä, esim. tarkka-sanan pitkä [k] on saman pituinen kirurgisanan ensimmäisen [k]:n kanssa ja toisaalta ensimmäinen [a] sanassa tarkka on toista yli kaksi kertaa pidempi.

15 P Y A 2. Monimuotoinen puhe 15 täynnä vaihtelua ja kielelliset yksiköt ovat usein foneettisesti hyvinkin puutteellisesti tuotettuja. Silti kuulijat yleensä tunnistavat erilaiset variantit samaksi yksiköksi. Ilmeisesti kuulija pystyy normalisoimaan puhujan äänen, eli poistamaan äänen havaitsemisprosessista vain puhujasta aiheutuvat ominaisuudet. Toisaalta konteksti on aina mukana puheen havaitsemisessa: ihminen voi aistia tietyn äänteen, vaikka sitä ei objektiivisesti voida havaita puhesignaalista. Kontekstin ja normalisaation vaikutus puheen havaitsemisessa on hyvin monimutkainen kokonaisuus, ja on ilmeistä, että koneet eivät vielä pitkään aikaan kykene havaitsemaan ja tunnistamaan puhetta ihmisen tavoin. 2.2 Sosiaalinen puhe Puhutun kielen omin esiintymäympäristö on kahden tai useamman henkilön välinen keskustelu. Puhetta ei voi viime kädessä tulkita ymmärtämättä sen luonnetta toimintana ja erityisesti yhteistoimintana niitä kulttuurisia ja sosiaalisia ehtoja (mukaan lukien institutionaaliset ehdot), jotka ohjaavat tulkintaa vähintään yhtä suuressa määrin kuin aikasidonnaisuus ja prosodiakin. Tästä syystä puheen tutkiminen ei voi pysähtyä vain äänisignaalin tai perättäisten sanojen yhteismerkityksen tutkimiseen. Puheen avulla kieliyhteisön jäsenet tekevät ymmärrettäväksi tarkoitusperiään toisilleen ja tulkitsevat toisiaan hoitavat erilaisia arjen tehtäviä ja toimintoja. Puhe elää puheenvuoroista koostuvina kielellisinä tekoina ja niistä koostuvina laajempina toimintakokonaisuuksina. Puheen olennainen osa on prosodia, ilman sitä puhetta ei ole. Kasvokkaisviestintään kuuluu erottamattomasti myös puheen ja erilaisen ei-kielellisen merkityksenannon yhteispeli: puheen suhde katseeseen, eleisiin, ilmeisiin, nauruun ja hymyyn. Seuraavassa on kaksi katkelmaa Kelassa tapahtuvan asumistukea koskevan asioinnin alusta: Katkelma 1. "$#%&('() %*%,+,)-.0/2134& ":9<;0= 88>4? %0)')? %? A >4? %,)'()? - B0*% 'CD% E0)FG1,/? 1) 8 1)K9LF/4&MJ )) *,%? 1)9ON N1KQH@,*% FI'R? RSR FT9 U #%&('() %*%,+,)- Q V// W(/ XS 8[Z 9\,= ;$#%&('() %*%,+,)- ]%,3^ 8Z %*,)F,F03_1C **0C`E31'3 *,*,C 8[Z 9H;= \ 1,/%J 1 %,*,)FF03K6 Katkelma 2. "$#%&('() %*%,+,)-.0/aF,%% FIE03%K6 7 >4? %,)'()? - b,3 1)D*,)? '3113'(/_10R d2)4&5%0/%(5)w 8[Z 9 Y = 1@'0%K9 P 8 ":9 Z = U #%&('() %*%,+,)- 1@3? 1)6ON Y >4? %,)'()? - N.%,%I3,1? )%?I? 3,JJ/? 3Fe)4&5%0/Fe311,C 8[Z 9 U =GJ%'(C? 3 ; 1@TQ<*,33? %,11,3G/*,3,J )S,)F:6 \f#%&('() %*%,+,)- Q V/,/ W(/g6<S h #%&('() %*%,+,)- i(r*:-<*,ce0c FjJ 3 %**0CG/F:6 " Z 8[Z 9\,=

16 16 Puheentutkimuksen resurssit Suomessa ""f# %&(') %,*%,+)- k% F 'C? *,) % 8[Z 9<;0=_J% F 'C? *,) %? 1) " 7 1@ ''(336mN J Puhe tulkitaan suhteessa sekä kielelliseen että ei-kielelliseen esiintymäkontekstiinsa. Puheenvuoro (ja sen sisältämät kielelliset ainekset) tuotetaan aina tietyssä kontekstissa, ja se ymmärretään puhekumppanin edellisen puheenvuoron ja yhteisen laajemman meneillään olevan toimintakokonaisuuden luomaa taustaa vasten. Niinpä katkelman 1 virkailija ilmaisee rivin 5 vuorollaan»joo-o?» ymmärtäneensä asiakkaan asian ennen kuin tämä on päässyt käynnin syyn kertomisensa loppuun, kun taas katkelmassa 2 rivin 4 hiljaisuus ja virkailijan rivillä 5 esittämä toisto ilmaisevat asiakkaan käynnin syyn olevan virkailijalle vielä epäselvä. Vuorovaikutuksen rakentumisen ja etenemisen peruspilareita ovat vuorottelu eli puheenvuorojen siirtyminen puhujalta toiselle, puheen jäsentyminen puheenvuoroa laajemmiksi kokonaisuuksiksi (sekvensseiksi) ja keinot, joilla puhuja ja vastaanottaja käsittelevät puheen tuottamisessa, vastaanottamisessa ja ymmärtämisessä esiintyviä ongelmia. Vuorottelua analysoitaessa kiinnitetään huomio tapoihin, joilla puheenvuorot vaihtuvat puhujalta toiselle: milloin ja miten vaikkapa palvelupuhelimeen soittava asiakas on osoittanut soittonsa syyn päättyneeksi; vastaako lääkärin vastaanotolla oleva potilas lääkärin kysymykseen heti vai esimerkiksi vasta mahdollista ongelmaa ilmaisevan hiljaisuuden jälkeen. Monien puhutun kielen rakennepiirteiden voi nähdä muotoutuneen nimenomaan ihmisten välistä sosiaalista vuorovaikutusta palvelemaan. Niinpä esimerkiksi erilaisina vastauksina toimivilla puheenvuoroilla on usein omanlaisensa, ei-lausemainen rakenne. Toisaalta puheen ajassa etenevä, tietylle vastaanottajalle muotoiltu luonne näkyy esimerkiksi erilaisina syntaktisen rakenteen korjaus-, täydennys-, toisto- ja limittymisilmiöinä, joilla voidaan hakea vastaanottajalta tietynlaista reaktiota tai estää kumppania ottamasta puheenvuoroa jossakin tietyssä kohdin. Erilaiset lauseytimen ulkopuolelle jäävät partikkelit puolestaan ovat keskeisiä puheenvuoron toimintaluonteen ilmaisemisessa. Erirakenteisten kielten käyttämien vuorovaikutuskeinojen erojen ja yhtäläisyyksien selvittäminen on parhaillaan yksi puhutun kielen tutkimuksen keskeisalueita.

17 3. Asiantuntija-arvioiden tiivistelmä 17 3 Asiantuntija-arvioiden tiivistelmä Varsinaisen kyselyn ohella pyydettiin kuudelta puheentutkimuksen eri alan asiantuntijalta lyhyitä asiantuntija-arvioita tutkimusalansa nykytilasta, tulevaisuudennäkymistä ja kehittämistarpeista. Arvioita pyydettiin neurotieteellisen puheentutkimuksen (Mikko Sams ja Matti Laine), dialogin ja vuorovaikutuksen tutkimuksen (Lauri Carlson), fonetiikan tutkimuksen (Kari Suomi), puheentunnistuksen tutkimuksen (Unto K. Laine), puhesynteesin tutkimuksen (Martti Vainio) ja puhetietokantojen kehitystyön (Matti Karjalainen) alalta. Asiantuntija-arviot kokonaisuudessaan löytyvät tämän raportin liitteestä A. Alla on toimittajien tekemä yhteenveto arvioista. 3.1 Tutkimuksen nykytila Perustutkimuksen tuoma tietämys puheen luonteesta ja inhimillisestä kommunikaatiosta on monilta osin riittämätöntä. Ääntöelimistön eri osien toimintaperiaatteet ja osuus puheen tuottamisessa tunnetaan pääpiirteissään, mutta monet yksityiskohdat ja osien toiminta kokonaisuutena tunnetaan vielä puutteellisesti. Yksi suurimmista mysteereistä on miten ihmisaivot pystyvät tunnistamaan puhetta niin nopeasti ja vaivattomasti. Moderneilla aivojenkuvantamismenetelmillä on saatu tärkeitä alustavia tuloksia siitä miten ihmisaivot käsittelevät kieltä. Aivotutkimuksen resurssit ja metodivalikoima ovat Suomessa erinomaisella tasolla, mutta metodiikan lisäksi tarvitaan välttämättä lisää teoreettista työtä aiempaa osuvimpien tutkimuskysymysten ja -asetelmien muotoilemiseksi. Puheteknologian tutkimus on tällä hetkellä keskittynyt lyhyen aikavälin tavoitetutkimukseen ja tunnettujen menetelmien soveltamiseen. Pienen sanaston puhujasta riippumattomat puheentunnistimet ovat jo kaupallisella asteella. Pisimmällä ollaan englannin kielen puheentunnistuksessa. Suuren sanaston puhujasta riippumaton tunnistus on kuitenkin edelleen kaukainen tavoite. Puhesynteesi on myös kehittynyt hyödyllisten sovellusten asteelle. Luonnollisen kuuloista synteettistä puhetta tuottava unit-selection -synteesimenetelmä ei kuitenkaan ole kovin joustava. Viime aikoina puheteknologian tutkijat ovat alkaneet yhä enenevässä määrin

18 18 Puheentutkimuksen resurssit Suomessa kiinnostua luonnollisesta keskustelusta, eleiden ja prosodian sekä visuaalisen informaation merkityksestä puheessa. Tätä kautta puheteknologian tutkimus on lähentymässä humanistis-yhteiskuntatieteellisen puheentutkimusta, jonka piirissä on tutkittu empiirisesti luonnollista keskustelua 1970-luvulta lähtien. Luonnollisen keskustelun tutkimusaineistojen keruu on erittäin työlästä ja vaikeaa, joten laajoja tai kvantitatiivisia tuloksia ei ole vielä esitetty. 3.2 Tulevaisuudennäkymät Puheteknologian alalla tullaan lähivuosina näkemään todennäköisesti asteittaista laadun paranemista, mutta merkittäviä harppauksia ei ole näköpiirissä. Lähitulevaisuuden uudet perustutkimukselliset tulokset liittynevät puheen prosessoinnin psykologisten mallien tarkentumiseen sekä vanhojen psykologisten ja lingvististen perusolettamusten ja teorioiden uudelleenarviointiin. Merkittäviä innovaatioita ei voi syntyä ilman mittavaa panostusta monitieteiseen perustutkimukseen, jossa yhdistetään kielitieteen, foneetiikan, psykologian, neurologian, matemaattisen mallintamisen ja aivokuvannuksen osaalueiden asiantuntemus. 3.3 Puhetietokannat Puhetietokannoista on tullut yhä olennaisempi apuväline niin puheen perustutkimukselle kuin puheteknologian kehitystyöllekin. Tutkimusrahoituksen järjestäminen puhetietokantojen kehitystyöhön on kuitenkin vaikeaa, koska rahoittajat ovat haluttomia maksamaan tutkimuksen apuvälineistä ja infrastruktuurista. Puhetietokantojen kehitystyö on usein hidasta, työlästä ja tarkkuutta vaativaa. Tulevaisuudessa olisi toivottavaa päästä eroon nykyisten puhetietokantojen käyttöä haittaavasta yhteensopimattomien tallenne- ja esitysformaattien kirjosta ja siirtyä yhtenäiseen, mielellään kansainväliseen standardiin. Tietokantojen käsittelyä varten tarvitaan myös helppokäyttöisempiä puhetietokantajärjestelmiä, joilla voisi käsitellä myös audiovisuaalista materiaalia. Korkealuokkaista suomenkielistä materiaalia on puhetietokannoissa toistaiseksi liian vähän. Suomenkielisen puhetietokannan kehittäminen on tärkeää sekä kulttuurisista että teknisistä syistä, vaikka suomi on tieteen ja teknologian maailmassa marginaalinen tekijä.

19 4. Vastausten analyysi 19 4 Vastausten analyysi Esiselvitystä varten laadittiin kyselylomake, joka lähetettiin 44:ään puhetta tutkivaan tutkimusyksikköön ja yritykseen. Vastauksia palautettiin yhteensä 24, joista 19 edusti erilaisia yliopistollisia tutkimusyksikköjä ja 4 yrityksiä. Lisäksi kyselyyn vastasi Näkövammaisten keskusliitto, jonka mittava äänikirjasto on merkittävä potentiaalinen puheentutkimuksen tutkimusaineisto. Kyselyn kohderyhmä oli pieni ja saadut vastaukset noudattavat kysymyslomaketta vapaamuotoisesti, joten vastaukset esitetään alla toimittajien tiivistämänä. Täydelliset vastaukset löytyvät liitteestä B. 4.1 Yhteenveto Puhetta tutkitaan Suomessa pienissä muutaman hengen tutkimusryhmissä eri puolilla maata. Yliopistojen tulosohjaus ja ulkopuolisen rahoituksen kasvu näkyy erityisen selvästi perustutkimuksen virkojen lakkauttamisena ja puheteknologian tavoitetutkimuksen lisääntymisenä. Puheteknologian tutkimus perustuu lähes täysin ulkopuoliseen rahoitukseen. Yksiköt ovat verkottuneet melko heikosti keskenään. Aivan viime vuosina puheteknologian tutkijat ovat alkaneet verkottua Tekesin USIX-teknologiaohjelman ja kieliteknologian opetusverkoston 1 myötä. Kieliteknologian opetusverkosto tarjoaa myös monipuolista opetusta puheteknologian alalla. Humanistis-yhteiskuntatieteellinen puheentutkimus on verkostoitunut keskustelunanalyysin ja sosiolingvistiikan ympärille. Puheteknologian tutkimus ja humanistis-yhteiskuntatieteellinen puheentutkimus eivät ole toistaiseksi verkottuneet keskenään. Kyselyyn vastanneiden tutkimusyksiköiden käytössä olevat tutkimusaineistot ovat hyvin erilaisia ja niiden yhteiskäyttö ei useinkaan ole mahdollista. Tutkimusaineistojen yhteiskäyttöä rajoittavat yhtäältä tutkimustavoitteiden erilaisuus, toisaalta aineistojen käyttöön liittyvät tekniset ja juridiset ongelmat. Teknisiä ja juridisia ongelmia pitäisi kiireellisesti ryhtyä ratkaisemaan yhteisten standardien ja suositusten avulla. Pitemmällä aikavälillä on odotettavissa että eri tutkimustraditiot lähenevät toisiaan, erityisesti luonnollisen keskustelun tutkimuksessa, jolloin tutkimustavoitteiden erilaisuudesta johtuvat ongelmat tulevat vähenemään. 1 E11n:-mo,opppq9*% F0r9<E3 *? % F'%K9ts %o '0%3 *%01,3',F/*0/ r,%,)o,53&('u/? 10/

20 20 Puheentutkimuksen resurssit Suomessa Kyselyn vastaukset on luokiteltu alla tutkimusalueittain viiteen ryhmään: puheen tuottamisen ja havaitsemisen perustutkimukseen, puheteknologian tutkimukseen, kielellisen vuorovaikutuksen ja puhekielen tutkimukseen, dialogin ja vuorovaikutuksen tutkimukseen sekä kaupallisen puheteknologian tutkimukseen. On selvää, että luokittelu ei ole ainoa mahdollinen ja että kaikki tutkimusyksiköt ja tutkimusaiheet eivät sovi yksiselitteisesti minkään yhden kategorian alle. Luokituksen ainoa tarkoitus onkin helpottaa lukijaa hahmottamaan paremmin suomalaisen puheentutkimuksen kenttä kokonaisuudessaan. 4.2 Puheen tuottamisen ja havaitsemisen perustutkimus Puheen tuottamisen ja havaitsemisen perustutkimuksella tarkoitetaan tutkimusta, jonka tavoitteena on löytää ja selittää uusia tosiasioita puheen biologisesta, neuraalisesta, akustisesta ja auditiivisesta perustasta. Tutkimus on luontaisesti monitieteistä ja läheisessä suhteessa soveltavaan kliiniseen ja puheteknologiseen tutkimukseen. Kyselyyn vastanneista perustutkimusta edustavat Helsingin yliopiston fonetiikan laitoksella tehtävä vokaalitutkimus, prosodian tutkimus sekä lapsen äänteellisen kehityksen tutkimus (ks. 48), Turun yliopiston fonetiikan oppianeen tekemä vokaalijärjestelmien vertaileva tutkimus ja foneettisten prosessien biologisen perustan tutkimus (ks. 51), Teknillisen korkeakoulun kognitiivisen tieteen ja teknologian tutkimusryhmässä tehtävä visuaalisen puheen havaitsemisen neurokognitiivisten mekanismien tutkimus (ks. 54), Jyväskylän yliopiston suomen kielen laitoksen harjoittama suomen kielen omaksumisen ja dysleksian tutkimus (ks. 71), Tampereen yliopiston suomen kielen ja yleisen kielitieteen laitoksella harjoitettava lapsen kielen omaksumisen tutkimus (ks. 76), Joensuun yliopiston vieraiden kielten laitoksella harjoitettava puheen prosodisten ilmiöiden mallintamisen tutkimus (ks. 84) sekä Kotimaisten kielten tutkimuskeskuksessa harjoitettava suomen murteiden prosodiikan tutkimus (ks. 56). Monet lähtökohdiltaan soveltavat tieteenalat ja tutkimushankkeet lähestyvät perustutkimuksen kysymyksenasetteluja. Toisaalta soveltava tutkimus tuottaa usein perustutkimusta edistäviä havaintoja ja menetelmiä. Tämän tyyppiseen tutkimukseen voidaan vastaajista lukea Tampereen yliopiston puheopin laitoksella tehtävä puheteknisten normien ja äänenlaadun tutkimus (ks. 64), Teknillisen korkeakoulun akustiikan ja äänenkäsittelytekniikan laboratoriossa harjoitettava ihmisen puheentuottomekanismien laskennallinen mallinnus sekä puheteknologiaan liittyvien kognitiivisten tekijöiden tutkimus (ks. 40) sekä Oulun yliopiston MediaTeam -tutkimusryhmässä harjoitettava puheenaiheiden puhujan tunnetilojen identifioinnin tutkimus (ks. 59). Perustutkimuksen tutkimusongelmat asettavat tutkimusaineistolle usein vaatimuksia, joihin olemassa olevat aineistot eivät voi vastata. Perustutkimuksen tutkimusaineistot on usein koottava kunkin tutkimuskysymyksen edellyttämällä tavalla. Tästä syystä olisi tärkeää, että perustutkimuksen rahoituksessa otettaisiin huomioon myös uusien tutkimusaineistojen kokoaminen.

21 4. Vastausten analyysi 21 Tässä raportissa mainituista tutkimusaineistoista yleiskäyttöisimmät puheen perustutkimukseen soveltuvat aineistot lienevät suomenkielinen puhetietokanta (ks. 49) ja mittava puheopin laitoksen äänitearkisto (ks. 67). Uudentyyppinen merkittävä aineisto on Teknillisen korkeakoulun kognitiivisen tieteen ja teknologian tutkimusryhmän keräämä audiovisuaalinen puhetietokanta (ks. 55). 4.3 Puheteknologian tutkimus Puheteknologian tutkimuksella tarkoitetaan puhetta käsittelevän tekniikan tieteellistä tutkimusta sekä siihen liittyvien matemaattisten ja tietoteknisten menetelmien kehittämistä. Perinteisesti puheteknologiaa on tutkittu teknillisissä korkeakouluissa osana signaalinkäsittelyn, neurolaskennan tai tietotekniikan tutkimusta, mutta nykyään yhä useammin myös fonetiikan ja kieliteknologian piirissä. Tekesin vuonna 1999 käynnistämällä USIX-teknologiaohjelmalla ja vuonna 2001 käynnistyneellä kieliteknologian opetuksen verkostolla on huomattava vaikutus alan verkostoitumiseen ja monitieteistymiseen. Toistaiseksi kuitenkin dialogin ja puheen variaation tutkimus on jäänyt verkostojen ulkopuolelle. Keskeiset puheteknologian tutkimuskohteet ovat puheenkoodaus, puheentunnistus, puhujan tunnistus, puhesynteesi, tiedonhaku puhedatasta, dialogijärjestelmät ja puhetietokantojen kehitystyö. Puheteknologian tutkimusta edustavat vastanneista: Teknillisen korkeakoulun akustiikan ja äänenkäsittelytekniikan laboratoriossa harjoitettava puhesynteesiin, puheentunnistuksen ja puhetietokantatekniikan tutkimus. QuickSig-puhetietokantajärjestelmää ja suomenkielen puhetietokantaa laboratorio on kehittänyt yhteistyössä Helsingin yliopiston fonetiikan laitoksen kanssa. Viimeksi mainitun kehittämiseen osallistuu nykyään myös Joensuun yliopiston vieraiden kielten laitos. USIX-ohjelmaan kuuluva suomenkielisen puheteknologian yhteishanke (ks. 84) osahankkeineen (puhesynteesi, puhujan tunnistus ja suomenkielen puhetietokannan laajentaminen). Hanketta koordinoi Joensuun yliopiston vieraiden kielten laitos ja siihen osallistuvat myös Helsingin yliopiston fonetiikan laitos ja Helsingin yliopiston yleisen kielitieteen laitos. Tampereen teknillisen korkeakoulun digitaali- ja tietokonetekniikan laitoksen tutkimushankkeet, joissa tutkitaan monikielistä puheentunnistusta, matalan bittinopeuden puheenkoodausta sekä ääniportaalin kehittämistä (ks. 43). Tampereen teknillisen korkeakoulun Digitaalisen median instituutin tutkimusprojektit, joissa kehitetään monikielistä puheentunnistusta telepalveluita varten sekä puheentunnistusta tiedonhaun tarpeisiin (ks. 45).

22 22 Puheentutkimuksen resurssit Suomessa Teknillisen korkeakoulun neuroverkkojen tutkimusyksikössä harjoitettava puheentunnistusalgoritmien ja dialogijärjestelmien tutkimus ja kehitystyö (ks. 61). Tampereen yliopiston TAUCHI-tutkimusryhmässä tehtävä adaptiivisten puhekäyttöliittymien kehitys ja multimodaalisen ihmisen ja koneen välisen vuorovaikutuksen tutkimus (ks. 80). Raportissa mainitut puheteknologian tutkimusaineistot on koottu alla olevaan taulukkoon. Monet puheteknologian tutkijat tarvitsisivat laajempia ja tarkemmin annotoituja aineistoja, joihin sisältyisi myös luonnollista keskustelua. Aineiston nimi Lisätietoa sivulla Suomenkielinen puhetietokanta 49 Lingsoft Finnish Speech Database 59 SpeechDatII 46 Audiovisuaalinen puhetietokanta 55 Suomen vokaalit 50 Puhuva suomen kielen sanakirja 50 Karjalainen-puhekorpus 85 MediaTeamin puheaineisto 60 Neuroverkkojen tutkimusyksikön puhetietokanta 61 TAUCHI:n puheenvuoroaineistot Puhekielen ja kielellisen variaation tutkimus Puhekielen ja kielellisen variaation tutkimus tarkoittaa puheen alueellisen ja sosiaalisen vaihtelun kuvaamista ja selittämistä. Tutkimus on luonteeltaan perustutkimusta ja sitä harjoitetaan lähinnä humanistisen kielentutkimuksen osana sosiolingvistiikan ja murteentutkimuksen menetelmin. Alan merkittävä keskus Suomessa on Tampereen yliopiston suomen kielen ja yleisen kielitieteen laitos (ks. 76), joka vastaa sosiolingvistiikan tutkimuksen ja opetuksen kehittämisestä valtakunnallisesti. Laitoksessa tutkitaan myös suomen kielen fonetiikkaa ja pragmatiikkaa. Muita puhekielen ja kielellisen variaation tutkimuslaitoksia ovat vastaajista Kotimaisten kielten tutkimuskeskus (ks. 56), Turun yliopiston suomalaisen ja yleisen kielitieteen laitos (ks. 73), Joensuun yliopiston suomen kielen ja kulttuuritieteiden laitos (ks. 75) ja Oulun yliopiston suomen kielen jaos (ks. 78). Puhekielen ja kielellisen variaation tutkijoilla on useita laajoja nauhoitearkistoja, joilla on sekä tutkimuksellista että kulttuurihistoriallista merkitystä. Monien nauhoitearkistojen historia ulottuu yli 40 vuoden päähän ja vanhimmat nauhoitteet olisi tärkeä pelastaa tuhoutumiselta. Toistaiseksi vain hyvin pieni osa nauhoitteista on digitaalisessa muodossa. Huolellisesti toteutettu aineistojen digitointi laajentaisi merkittävästi niiden käyttömahdollisuuksia, vaikka äänitteiden laatu ei useimmissa tapauksissa riitä akustisen analyysin tarpeisiin. Digitoinnin suunnittelussa ja toteutuksessa olisi suurta hyötyä yhteisistä standardeista ja teknisimmin suuntautuneiden puheentutkijoiden tietotaidosta.

23 4. Vastausten analyysi 23 Alla olevaan taulukkoon on koottu raportissa mainitut puhekielen ja kielellisen variaation tutkimuksen tutkimusaineistot. Aineiston nimi Lisätietoa sivulla Tampereen puhekieli 77 Tampereen muuttujatutkimus 77 Sanasto ja maailmankuva-aineisto 77 Virtain aineisto 77 Meän kielen aineisto 77 Pekka Lehtimäen aineisto 78 Klaus Laalon aineisto 78 Esa Lehtisen aineisto 78 Suomen kielen nauhoitearkisto 57 Suomen kielen äänitearkisto 73 Lauseopin arkisto 74 Oulun nauhoitearkisto Dialogin ja kielellisen vuorovaikutuksen tutkimus Dialogin ja kielellisen vuorovaikutuksen tutkimus pyrkii selvittämään luonnollisen arkikeskustelun lainalaisuuksia, vuorovaikutuksen kielioppia. Eniten dialogia ja kielellistä vuorovaikutusta tutkitaan humanististen ja yhteiskuntatieteiden piirissä keskustelunanalyyttisellä menetelmällä. Toisaalta myös teknisten tieteiden piirissä on herännyt yhä enenevässä määrin kiinnostus luonnolliseen dialogiin puhekäyttöliittymiä ja dialogijärjestelmiä kehitettäessä. Toistaiseksi näiden tieteenalojen välille ei kuitenkaan ole syntynyt yhteistyötä. Humanistis-yhteiskuntatieteellisellä puolella tutkimus on keskittynyt erityisesti institutionaalisten vuorovaikutustilanteiden tutkimukseen. Tutkimusalan ympärille on syntynyt Tampereen yliopiston, Helsingin yliopiston ja Kotimaisten kielten tutkimuskeskuksen yhteishanke, Institutionaalisen vuorovaikutuksen tutkimusyksikkö (ks. 53). Teknisellä puolella vuorovaikutusta tutkitaan osana dialogijärjestelmiä, joilla pyritään parantamaan ihmisen ja koneen välistä vuorovaikutusta. Dialogijärjestelmiin liittyvää tutkimusta harjoitetaan mm. Tampereen yliopiston TAUCHI-ryhmässä (ks. 80), Tampereen teknillisen korkeakoulun Digitaalisen median instituutissa (ks. 45) sekä Teknillisen korkeakoulun neuroverkojen tutkimusyksikössä osana USIX-ohjelmaan kuuluvaa INTERACT-hanketta (ks. 61). Institutionaalisen vuorovaikutuksen tutkimusyksikkö on koonnut tutkimusprojektien yhteydessä merkittäviä audio- ja videoaineistoja litterointeineen, jotka koostuvat aidoista vuorovaikutustilanteista. Aineistoa on useita kymmeniä tunteja, mutta aineistot eivät ole arkaluonteisuuden vuoksi muiden käytettävissä. Humanistis-yhteiskuntatieteelliset variaationtutkijat ovat pääosin tyytyväisiä nykyisiin aineistoihinsa, joskin eräillä osa-alueilla kuten prosodian analysoinnissa pidettiin toivottavana läheisempää yhteistyötä foneetikkojen kanssa. Raportissa mainitut dialogin ja kielellisen vuorovaikutuksen tutkimuksen tutkimusaineistot on koottu alla olevaan taulukkoon.

24 24 Puheentutkimuksen resurssit Suomessa Aineiston nimi Lisätietoa sivulla Hoitoideologiat-aineisto 53 Mini-interventio-aineisto 53 Psykoanalyysi-aineisto 53 Keskusteluntutkimuksen arkisto (HY) 70 Asiointitilanteet Kelassa (Kotus) 56 TAUCHI-ryhmän dialogiaineisto Kaupallinen puheteknologian tutkimus Kaupallinen puheteknologian tutkimus kehittää loppukäyttäjille tarkoitettuja puheteknologiaan perustuvia tuotteita ja palveluita. Puheteknologian sovelluksilla on erittäin merkittävä kaupallinen potentiaali, sillä esimerkiksi matkapuhelimien maailmanlaajuinen käyttäjäkunta on suuri. Vastaajista kaupallista puheteknologiaa edustaa Lingsoft Oy (ks. 58), Timehouse Oy (ks. 83), Nokian tutkimuskeskus (ks. 62) ja Elisan tutkimuskeskus (ks. 47).

25 5. Toimenpide-ehdotukset 25 5 Toimenpide-ehdotukset Puhetta tutkitaan eri puolella Suomea pienissä muutaman hengen tutkimusryhmissä. Yhteiskunnan muutos ja teknologisoituminen ovat luoneet puheentutkimukselle uusia tehtäviä, joihin vanhat rakenteet eivät pysty vastaamaan. Puheentutkimusyksiköiden maantieteellinen ja tieteenalakohtainen eristyneisyys sekä yksiköiden pieni koko haittaavat merkittävästi puheentutkimuksen edistymistä Suomessa. Tutkimuksen rahoittajat voisivat parantaa puheentutkimuksen edellytyksiä Suomessa tukemalla: vähintään yhden yli 20 tutkijan kokoisen yksikön syntymistä, jonka tutkimuksella on selvä painopistealue tutkimushankkeita, joissa luodaan siltoja eri puheentutkimuksen alueiden, erityisesti humanistisen puheentutkimuksen ja puheteknologian tutkijoiden välille puheentutkimuksen eri alueiden verkostoitumista tutkimusaineistojen kokoamista ja käyttöä koskevien yhteisten standardien ja pelisääntöjen laatimista olemassaolevien tutkimusaineistojen käytön koordinointia pitkän aikavälin monitieteistä perustutkimusta puhutun kielen olemuksen selvittämiseksi perus- ja jatkokoulutuksen uudelleen organisointia monitieteiseen suuntaan

26 Liitteet

27 A. Asiantuntija-arviot 27 A Asiantuntija-arviot Neurotieteellinen puheentutkimus Mikko Sams (TKK) ja Matti Laine (ÅA) Mitä aivojen toiminnasta puheen tuottamisessa ja havaitsemisessa tiedetään tällä hetkellä? Puheen havaitseminen perustuu sekä kuulon että näön välityksellä saadun puhesignaalin prosessointiin. Suurin osa puheen tutkimuksesta on tähän asti keskittynyt akustiseen puheeseen ja vasta viime aikoina visuaalisen puheen tärkeä merkitys on oivallettu. Tämän seurauksena mm. akustisen ja visuaalisen puheen integraatiomekanismien tutkimus on lisääntynyt. Puheen havaitsemisessa on keskeinen rooli myös siihen liittyville eleillä, joiden roolia ja prosessointia tunnetaan vielä hyvin vähän. Moderneilla aivojen kuvantamismenetelmillä on voitu osoittaa, että puhetta prosessoitaessa aktivoituu laaja hermoverkosto, joka vaihtelee tilanne- ja yksilökohtaisten tekijöiden mukaan. Puheen prosessointiin liittyy siis massiivisia, osin ajallis-paikallisesti eriytyneitä ja osin samanaikaisia aivoaktivaatioita. Aivovauriotutkimukset ovat osoittaneet, että tietyt vasemman aivopuoliskon alueet ovat aikuisilla kielenkäyttäjillä kriittisiä puheen ja kielen prosessoinnin kannalta. Tämä koskee sekä puhuttua että viitottua kieltä, eli»kielen ydin» on jotain muuta kuin siihen käytetyt aistikanavat. Vasemman aivopuoliskon alueiden sisällä on myös toiminnallista erikoistumista Eräät potilastapaukset viittaavat siihen, että kielen rakenteellisilla kategorioilla on yhteyttä aivojen järjestäytymiseen (esim. merkitysjärjestelmä, syntaksi, sanojen äänteelliset ja kirjoitetut hahmot). Puheen ja kielen vahvasti vuorovaikutuksellista luonnetta kuvaavat tulokset, joiden mukaan lukutaidon omaksuminen muuntaa aivojen tapaa käsitellä äännetason kielellistä (fonologista) tietoa. Mitä uusia tuloksia on odotettavissa seuraavan viiden vuoden aikana? Tietokoneilla tapahtuvan mallintamisen kehittymisen myötä tulevat puheen prosessoinnin psykologiset mallit aiempaa yksityiskohtaisemmiksi ja dynaamisemmiksi. Eräät simulaatioihin pohjautuvat teoreettiset tulokset ovat jo kyseenalaistamassa sekä kognitiivisen neuropsykologian perusolettamuksia että ns. nativistista (sisäsyntyistä) näkökulmaa puheen ja kielen olemukseen. Teoriakehityksen myötä voidaan puheen kehittymisen ja sen häiriöiden aivotaustan suhteen asettaa tutkimuksessa aiempaa tarkempia kysymyksiä ja etsiä niihin vastausta mm. kuvantamistekniikoilla. Kuvantamistutkimukset

28 28 Puheentutkimuksen resurssit Suomessa ovat vielä pioneerivaiheessa eikä ko. metodien ja niiden yhdistelmien potentiaalista ole vielä selvyyttä. Näillä metodeilla luodaan lähinnä»yleiskarttaa» aivostollisista tapahtumista puheen prosessoinnin yhteydessä. Tarkempaan analyysiin pyrittäessä tarvittaisiin myös yksi- ja monisolurekisteröintejä, mutta näitä voidaan luonnollisestikin tehdä ihmisillä vain erittäin rajoitetussa määrin, eräiden neurologisten potilaiden kirurgisten hoitotoimien yhteydessä. Eräs puheen prosessointimekanismien tutkimuksen kannalta tärkeä uusi tutkimustulos on ollut»peilineuronien» löytäminen eläinten ja ihmisten aivojen eri osista. Nämä neuronit aktivoituvat liikkeitä suoritettaessa ja hyvin samalla tavoin silloin kun organismi havaitsee toisen organismin suorittavan samaa liikettä. Tällaiset peilineuronit voivat osoittautua tärkeiksi puheen havaitsemisessa, ja luovat myös linkin puheen havaitsemisen ja tuottamisen välille. On esimerkiksi voitu näyttää, että oman puheen aikana puhujan kuuloaivokuoren toiminta muokkautuu generoidun puheen mukaisesti. Puheeseen liittyvät sensoris-motoriset interaktiot tulevatkin olemaan tärkeä tutkimuskohde. Mitkä ovat suurimmat aukot tiedossa aivojen toiminnasta puheen tuottamisessa ja havaitsemissa? Suurimpiin haasteisiin kuuluvat seuraavat kysymykset: 1. Mihin perustuu se, että puhe ja kieli on tuntemassamme muodossa ainoastaan ihmisen ominaisuus? Onko ihmisaivoissa sisäsyntyinen kielikyky vai perustuuko se ihmisaivojen ylivoimaiseen laskennalliseen tehoon? Millaisia geneettisiä linkkejä liittyy puhekykyyn ja sen kehityksen häiriöihin? Mihin neuraalisiin järjestelmiin eläinten kommunikointikyvyt perustuvat? 2. Puheen ymmärtäminen ja tuottaminen tapahtuu normaalisti erittäin nopeasti ja vaivattomasti vaikka tehtävä on osoittautunut erittäin hankalaksi koneelliselle puheentunnistukselle puhesignaalin suuren vaihtelun takia. Puheentunnistus vaatii hyvin vaihtelevan signaalin vertaamista kielellisiin muistiedustumiin. Miten vertaistaminen tapahtuu ja miten nämä muistiedustumat ovat järjestäytyneet aivoissa? Tarvitaanko jonkinlaista normalisointia? 3. Puheen ja kielen oppimiseen liittyy selvästikin tietty»herkkyyskausi», jonka jälkeen kielen tai kielten täydellinen omaksuminen muuttuu hankalaksi. Mihin aivostollisiin kehitysprosesseihin tämä herkkyyskausi liittyy? Miksi se koskettaa enemmän tiettyjä kielen osa-alueita? Laajasti määritellen on suurin osa ihmiskunnasta kaksikielisiä. Mitkä aivostolliset tapahtumat liittyvät useamman kuin yhden kielen oppimiseen ja hallintaan? 4. Mikä on puheen näkemisen osuus kielen ymmärtämisessä ja mihin mekanismeihin se perustuu? Onko»puheen näkemisellä» merkitystä puheen oppimisessa ja selittävätkö häiriöt nähdyn ja kuullun puheen integraatiomekansimeissa joitakin kielellisiä häiriöitä?

29 A. Asiantuntija-arviot 29 Mitä kannattaisi tutkia tai selvittää seuraavan viiden vuoden aikana? Entä pitkällä aikavälillä? Puheen ja kielen tutkimuksessa tulee tukea monitieteisiä lähestymistapoja joissa yhdistyy kielitieteen, fonetiikan, psykologian, matemaattisen mallintamisen, neurologian ja aivokuvannuksen eri osa-alueiden asiantuntemus. Lisäksi on huomioitava suomen kielen erityispiirteet: nämä vaativat kansallista tutkimusta ja toisaalta suomen kieltä voisi aiempaa enemmän hyödyttää kontrastiivisissa tutkimuksissa etsittäessä universaaleja ja kielispesifejä puheen ja kielen prosessoinnin piirteitä. Mitä tutkimusresursseihin liittyviä esteitä tai rajoituksia puheen tuottamiseen ja havaitsemiseen keskittyvällä aivotutkimuksella on? Monitieteisten, humanistisista teknisiin tieteisiin ulottuvien tutkimusryhmien muodostuminen on keskeinen haaste. Monitieteisen kielen ja tutkimustradition syntyminen vaatii paljon aikaa. Aivotutkimuksen resurssit ja metodivalikoima on Suomessa erinomainen (EEG, MEG, PET, fmri, TMS). Erinomaisen metodiikan lisäksi tarvitaan välttämättä teoreettista työtä aiempaa osuvampien tutkimuskysymysten ja -asetelmien muotoilemiseksi. Kognitiiviseen neuropsykologiaan ja yksityiskohtaiseen potilastutkimukseen pohjautuva traditio, joka on kansainvälisesti tärkeässä asemassa puheen ja kielen mekanismien tutkimuksessa, on Suomessa puolestaan heikommin kehittynyt. Tällä hetkellä puhetta tutkitaan maassamme hyvin pienissä tutkimusryhmissä, jotka sijaitsevat kaukana toisistaan. Ala kehittyisi huomattavasti nopeammin, jos maassamme olisi yksi laaja monitieteinen puheen tutkimusta tekevä instituutio tai kyllin tiivis laboratorioiden yhteistyöverkosto. Eräänä rajoituksena puheen prosessien tutkimukselle on ollut keskittyminen kielen vastaanoton ja erityisesti kirjoitetun kielen tutkimiseen. Tämä on ollut ymmärrettävää puhtaasti käytännön syistä, mutta nykyään on puheen prosessien tutkiminen helpottunut tietokoneavusteisten menetelmien myötä (esim. ärsykkeiden laadinta, puhesignaalin eri piirteiden analyysi). Puheprosessien aivotutkimuskin kaipaisi kuitenkin laajaa ja edustavaa modernin puhutun suomen kielen aineistoa, josta mm. erilaisia koeasetelmien kaipaamia äänne-, sana- ja lausetason yleisyystietoja sekä puhesignaalin variaation erilaisia mittoja olisi laskettavissa. Pystytäänkö puhetta tutkivassa neurotieteessä hyödyntämään muiden puhetta tutkivien tieteenalojen havaintoja tai tutkimusmenetelmiä? Kuten edellä todettiin, monitieteinen yhteistyö on koko tutkimusalueen kehittymisen elinehto. Aivotutkimusmenetelmiin liittyy kuitenkin metodista riippuen myös erilaisia rajoitteita, jotka on otettava huomioon (avaruudellinen ja ajallinen erottelukyky, motorisen suorituksen kuten puhe-elinten liikkeiden aiheuttamat häiriöt, laitteistomelu, säteilyrasitus, ilmiöiden lyhytikäisyys joka pakottaa käyttämään ärsykkeitä joita luonnollisessa kielessä ei yksinään esiinny). Onko alueita, joissa lähempi tieteidenvälinen yhteistyö olisi mahdollista? Tieteiden välistä yhteistyötä voisi tiivistää kaikilla em. alueilla. Puheen havaitsemiseen ja tuottamiseen keskittyvän riittävän suuren tutkimusyhteisön

30 30 Puheentutkimuksen resurssit Suomessa perustaminen olisi tässä suhteessa tärkeää. Fonetiikan tutkimus Kari Suomi (OY) Mitä tiedetään ääntöelimistön toiminnasta puheen tuottamisessa tällä hetkellä? Liikkuvan eli perifeerisen ääntöelimistön eri osien toimintaperiaatteet ja niiden osuudet puheen tuottamisessa ovat pääpiirteissään tiedossa, samalla kun monet yksityiskohdat ovat edelleen selvittämättä. On olemassa monenlaista kvantitatiivista tietoa ääntöelimistön useiden osien toiminnasta puheen tuottamisen eri vaiheissa (mm. hermotoiminnasta, ääntöelimistön eri osien liikkeistä, ilman virtauksista jne.), mutta vähän tietoa siitä miten osatoiminnot koordinoidaan toistensa kanssa, eli siitä miten ääntöelimistö toimii kokonaisuutena. Laajasti ymmärrettynä ääntöelimistö kattaa myös keskushermoston puhekeskuksen eli ns. sentraalisen ääntöelimistön, keskuksen joka oletettavasti vastaa puheen tuottamisen kokonaiskoordinaatiosta, ja toistaiseksi tämän keskuksen toiminnasta tiedetään hyvin vähän. Miten puhuja muuttaa aikomansa kielellisen sanoman puhe-elimistön toiminnaksi, ja mitä äänteellisiä yksiköitä tämän toiminnan suunnittelussa käytetään? Mitä uusia tuloksia on odotettavissa seuraavan viiden vuoden aikana? Entä pidemmällä aikavälillä? Mitään varsinaista läpimurtoa puheen tuottamisen tutkimuksessa ei liene odotettavissa viidessä vuodessa. Perifeerisen ääntöelimistön toiminnan tutkimusmenetelmät kehittynevät edelleen, ja toivottavasti jatkuvasti monipuolistuvat aivojen toiminnan tutkimusmenetelmät tuovat pitkällä aikavälillä uutta tietoa puheen sentraalisesta ohjauksesta. Tässä tarvitaan ilmeisesti myös entistä parempia lingvistisiä teorioita puheen foneettis-fonologisesta rakenteesta. Tutkimusta on myös mahdollisuuksien mukaan pyrittävä suuntaamaan spontaanin puheen tuottamiseen. Mitkä ovat suurimmat aukot tieteellisessä tiedossa puheen tuottamisesta ja havaitsemisesta? Sekä puheen tuottamisessa että havaitsemisessa suurimmat aukot koskevat puheen sentraalisia, aivoissa tapahtuvia vaiheita. Mitä aivoissa tapahtuu puhuttaessa ja puhetta vastaanotettaessa? Etenkin puheen havaitsemisen mallintaminen on osoittautunut hyvin vaikeaksi tehtäväksi; kuulijassahan ei tapahdu mitään mitä voisi ulkoapäin havainnoida. Vaikka tiedetään paljonkin useiden puheen akustisten muuttujien ja havainnon välisistä suhteista (esimerkiksi vokaalien spektrirakenteen ja vokaalien havaitun foneettisen laadun välisistä suhteista), mitään yhtenäistä teoriaa puheen havaitsemisesta ei ole ilmaantunut, ja samat empiiriset havainnot voidaan sovittaa hyvinkin erilaisiin teoreettisiin viitekehyksiin. Mitä kannattaisi tutkia tai selvittää seuraavan viiden vuoden aikana? Entä pitkällä aikavälillä?