Kuuloaisti Saila Ovaska*) Informaatiotieteiden yksikkö, Tampereen yliopisto *) Osan luentokalvoista on laatinut Jenni Anttonen syksyllä 2009. Aiheina Ihmisen kuuloaisti Äänet vs. melu Erot näköaistin avulla havaitsemiseen Erityisryhmien apuvälineitä Ääni ja puhe vuorovaikutuksessa tietokoneen kanssa Ääntä ja puhetta tietokoneen tulosteena Puhe syötteenä tietokoneelle Puhekomennot Puheentunnistus (esim. saneltaessa) Aihetta voi syventää kurssilla VTEKS301 Design and Development of Speech Interfaces Saila.Ovaska@cs.uta.fi 1
Mitä äänellä voi tehdä? Ääntä käytetään hyväksi normaalissa työskentelyssä Esim. uuden henkilön tulo huoneeseen, puhelimeen vastaaminen, auton vikojen paikantaminen... Prosessinvalvonta, lennonohjaus Jopa tietokoneen kanssa työskennellessä: kovalevyn rapina, kirjoittimen rätinä Ääni antaa tärkeän ulottuvuuden kokemukseen Äänimaisema Ambient sound Tunnelman luojana esim. teatterissa Hiljaisuus ääni - melu Tavanomaisia väitteitä äänekkäitä käyttöliittymiä vastaan: Eikö työympäristö ole jo riittävän äänekäs? Eikö äänten lisääminen haittaisi työskentelyä? Eikö ajatus kulje parhaiten hijaisuudessa? Hiljaisuus Tavoiteltavaa? Tuskin mikään paikka enää hiljainen (ei edes kirjasto) Melu On ääntä, joka ei välitä informaatiota Äänisuunnittelun tavoitteena vähentää melun osuutta ja lisätä informaatiota välittävän äänen osuutta Saila.Ovaska@cs.uta.fi 2
Miksi ääntä? Ääni täydentää näköhavaintoja Esim. tutkimukset videopelien pelaajista: ilman ääntä tulokset huononivat merkitsevästi Lisätty todellisuus Esimerkki: Listen Reader S. Joy Mountford, William W. Gaver, Talking and Listening to Computers. In The Art of Human-Computer Interaction, Brenda Laurel (ed.), Addison-Wesley, 1990, 319-334. Ääntä käyttöliittymissä Syöttö Tulostus Muu kuin puheääni (non-speech audio) tietokoneelle naksuttelu, viheltäminen, huutaminen... tiedon tai tapahtuman havainnollistus äänen avulla Puheääni (speech) äänikommentointi puheviestit (ääniposti)... järjestelmän ohjaus puhekomennoilla vapaa sanelu, puheentunnistus Ruudunlukija Apuvälineohjelma Puhetulostus Nauhoite tai synteettinen puhe Saila.Ovaska@cs.uta.fi 3
KUULOAISTI Korvan rakenne Ääni on ilman ainesosien liikettä. Ääni saapuu korvaan ulkokorvan ohjaamana. Tärykalvon värähtely etenee kuuloluiden kautta sisäkorvaan, jossa on kuulemiseen tarvittavia soluja. Risto Ilmoniemi, Ihmisaivojen rakenne ja toiminta. http://www.biomag.hus.fi/braincourse/l7.html Saila.Ovaska@cs.uta.fi 4
Äänen ominaisuudet ääniaallon aallonpituus ääniaallon frekvenssi (taajuus aikayksikössä) tuottaa aistimuksen korkeasta tai matalasta äänestä (pitch) ääniaallon amplitudi (korkeus) tuottaa voimakkuusvaikutelman aika Ääniaallon ominaisuudet ovat fysikaalisia suureita Ihmisen aistiman äänen ominaisuudet Äänen voimakkuus (loudness) Äänen korkeus (pitch) Äänen sointi, äänenväri (timbre) Äänen kesto (duration) Äänien kuuleminen Hyvin matalat ja korkeat äänet jäävät kuulematta Harmaalla puheen ymmärtämisen alue Ikä vaikuttaa kuuloalueeseen Erityisesti korkeiden äänien kuuleminen heikkenee Lähde: http://www.biomag.hus.fi/braincourse/l7.html Saila.Ovaska@cs.uta.fi 5
ERITYISRYHMIEN APUVÄLINEITÄ Ääni näkövammaisen apuvälineenä Ruudunlukija Windows Microsoft Narrator osana käyttöjärjestelmää kaupallisia esim. Jaws for Windows Jaws myös suomenkielinen puhesynteesi saatavilla Verkkosivujen esitys näkövammaista varten Aural Style Sheets osana verkkosivuja http://www.w3.org/tr/css2/aural.html Selainohjelmissa ei vielä toteutettu tukea esim. Fire Vox selainlaajennos Mukanakannettava laitteisto Esim. näkövammaisen tutka (voice, http://www.artificialvision.com/) http://www.youtube.com/watch?v=emjrhib6tda Saila.Ovaska@cs.uta.fi 6
Synteettinen ääni halvaantuneen apuvälineenä The Audeo puhetta ilman ääntä http://www.theaudeo.com/ Videoita: ALS-potilaan apuna http://www.youtube.com/watch?v=-bz_kivrdqo Kenelle tahansa(?): mobiilikäyttöliittymä http://www.youtube.com/watch?v=xyn4viz21n0 Kuvat: http://www.popsci.com/scitech/article/2009-05/electronic-voice-box ÄÄNI TULOSTEENA - äänipalautteet (non-speech audio) ja puhe(synteesi) Saila.Ovaska@cs.uta.fi 7
Palautteena käyttäjälle ääntä vai kuvaa? Ääni Käyttäjän ei tarvitse olla näköyhteydessä Samanaikaisten viestien määrä on rajoitettu Aikaan sidottu: käytettävissä vain hetkellisesti Sopii muuttuvien tapahtumien esittämiseen Vertaa: liikkuva kuva, animaatiot Kuva (viestiruutu näytöllä) Paikkaan sidottu: käyttäjän on oltava näköyhteydessä Useiden samanaikaisten viestien mahdollisuus Ajasta riippumaton: voidaan lukea myöhemminkin Sopii vain staattisten asioiden esittämiseen Windows-äänimaailmaa Default sound Information Notification Warning Error Hardware insert Recycle http://www.guidebookgallery.org/sounds Saila.Ovaska@cs.uta.fi 8
Tiedon tai tapahtuman havainnollistus Käyttöliittymissä voi käyttää apuna keksittyjä, abstrakteja ääniä viestimään käyttäjälle jostakin kohteesta, operaatiosta tai vuorovaikutuksesta Auditory icons Havainnollisia, luonnollisia ääniä, intuitiivinen linkki äänen ja tapahtuman välillä Earcons Abstrakteja, synteettisiä ääniä, jotka muodostavat auditiivisesti koodatun viestin Käyttäjän on opittava äänen merkitys Gaver, W. (1986). Auditory Icons: Using sound in computer interfaces. Human Computer Interaction, 2(2), pp. 167-177 http://www.dcs.gla.ac.uk/~stephen/generalearcons/generalearcons1.shtml Earcon-esimerkki Hierarchical earcons Jokaisella valikolla oma sointi (eri soitin) Valikon valinnoilla erilainen rytmi, sointi ja korkeus Valikko 1 Valikko 2 Open Close Edit Yhdistelmä-ääni: Copy Move Undo An example of an earcon hierarchy showing sounds that could be used to represent errors. http://www.dcs.gla.ac.uk/~stephen/earcon_guidelines.shtml Saila.Ovaska@cs.uta.fi 9
Milloin ääntä? Käytä käyttäjälle annettavan sanoman ilmaisemiseen ääntä (puhetta tai muuta ääntä) jos Sanoma on yksinkertainen ja lyhyt Sanomaan ei viitata myöhemmin Sanomalla on aikayhteys Sanoma vaatii välitöntä toimenpidettä Visuaalinen järjestelmä on ylikuormitettu Valaistusolot ovat huonot Vastaanottaja liikkuu ympäriinsä (koneen lähellä) jatkuvasti Laite on kannettava mukana Autolla ajettaessa - silmät tiessä, ei näytössä Puheen tallennus tietokoneessa Digitoitu puhe Nauhoite Luonnollista Vaatii kuitenkin puhujan! Esimerkiksi sanakirjan lausuntaohjeet Synteettinen puhe Puheen tuottamista synteettisesti Luonnolliselta kuulostava puhe on teknisesti haastavaa tuottaa Vie vähän tilaa koneen muistista (tallennetaan tekstinä) Saila.Ovaska@cs.uta.fi 10
Tietokone tuottaa synteettistä puhetta TTS = Text to Speech Synthesis Suomenkielinen puhesynteesi esimerkiksi Mikropuhe: demo http://www.mikropuhe.com/live/ Suopuhe (Hgin yliopisto) Bitlips: demo http://www.bitlips.fi/tts/demo.cgi Loquendo: demo http://tts.loquendo.com/ttsdemo/default.asp Puhekäyttöliittymällä kasvot? Yhdistettynä ns. puhuvaan päähän http://www.bitlips.fi/kimmo/ Saila.Ovaska@cs.uta.fi 11
Persoonallista puhetta? Äänen avulla muodostetaan mielikuva puhujasta Milloin tietokoneen avulla tuotettu puhe voisi olla persoonallista? ÄÄNI SYÖTTEENÄ - ääniohjaus ja puheentunnistus Saila.Ovaska@cs.uta.fi 12
Ääni ja puhe syötteenä Ääntä ja puhetta voi käyttää syötteenä tietokoneelle Ääntä (non-speech) on käytetty jonkin verran syötteenä koneelle esimerkiksi peleissä (esimerkiksi Kukakumman kiljahdukset) Myös erilaisia taputuksia ja sormien napsautuksia on käytetty komentoina Luonnollisen puheen käyttö syötteenä tietokoneelle on haastavaa sekä puheen tuottaminen ihmiselle että puheentunnistus hahmontunnistustehtävänä tietokoneelle Puhe vaatii kognitiivista prosessointia Puheen tuottaminen ja kuuntelu kuluttaa samaa kognitiivista kapasiteettia kuin tehtävän ratkaisukin Hiiren käytössä tarvittava käden ja silmän koordinaatio ei kuluta samalla tavoin kognitiivisia resursseja Ben Shneiderman, The limits of speech recognition. Comm. ACM 43:9, September 2000, 63-65. Saila.Ovaska@cs.uta.fi 13
Puheentunnistus Puheen avulla voi antaa järjestelmän ohjaamisessa mahdollisia komentoja Vrt. Aibo-koira, stand up, sit! Suomenkielinen esimerkki: Fonecta puheohjattava numerohaku sano kyllä tai ei Kummalla on aloite keskustelussa, tietokoneella vai ihmisellä? Puheentunnistus Kai-Fu Lee, Fundamentals of speech recognition -video Puheentunnistuksen edut Luonnollisuus Nopeus komentojen annossa Voi olla yhtenä samanaikaisena modaliteettina käytössä (esim. hiiri & näppäimistö ja puhekomennot) Puhe ei sido käsiäeikävaadi sitä, että katsottaisiin näyttöä Saila.Ovaska@cs.uta.fi 14
Puheentunnistuksen haasteita Puheentunnistuksen haasteet (Kai-Fu Lee) Puhekäyttöliittymissä tarvittava puheentunnistus on vaikeata Miksi? Foneemien tunnistus äänisyötteestä Jatkuva puhe vs. yksittäiset sanat Puhuja- ja ympäristökohtaiset erot Puheen merkityksen ymmärtäminen Puheentunnistuksen kehityskulkua: tunnistusvirheiden suhteellinen osuus > 10% Saila.Ovaska@cs.uta.fi 15
Puheentunnistuksen haasteet Puhekäyttöliittymissä tarvittava puheentunnistus on yhä vieläkin virhealtista Väärin tunnistettuja sanoja vieläkin paljon (esim. Vistassa) MUTTA: Boyce, Natural spoken dialogue systems for telephony applications Comm. ACM 43:9, Sept. 2000. Dialogin suunnittelu? Mistä soittaja tietää, että puhuu koneelle? Tutkimus: tietokoneen alkurepliikki palvelussa soittajan käyttämä sanamäärä Boyce, Comm. ACM 43:9, Sept. 2000. Saila.Ovaska@cs.uta.fi 16
Puhekäyttöliittymä ei sovellu kaikkiin käyttötilanteisiin ei toimi samalla tavalla kuin ihmisten välinen vuorovaikutustilanne Tunnistusongelmaa yritetään helpottaa: sallitaan sanoa vain yksi sana kerrallaan tajataan järjestelmän sanavarasto; sanat on tunnettava rajataan puhekomennon sallittuja muotoja (missä järjestyksessä komennon osat annetaan) lisätään tunnistukseen avuksi tietoa siitä, mitkä sanat ovat mahdollisia tässä yhteydessä koulutetaan puheentunnistinta tunnistamaan käyttäjän ääni Esimerkki: Ravintolahaku Miten puheentunnistusta on tehty helpommaksi seuraavassa esimerkissä? Miten käyttäjää avustetaan? Speechworks Foodline Ravintolahaku Käytössä New Yorkissa n. v. 2000 Saila.Ovaska@cs.uta.fi 17
Yhteenveto: ääni voi olla taustalla Vaikuttaa käyttäjäkokemukseen vrt. elokuvat olennainen osa järjestelmän antamaa palautetta jos käyttäjän tulee reagoida tapahtumaan, ääni herättää huomion Huomaa: ihmisen kuuloaistia voisi hyödyntää nykyistä enemmänkin annettaessa palautetta esim. University of Glasgow: Shoogle http://www.dcs.gla.ac.uk/~rod/videos.html Yhteenvetoa: puhekäyttöliittymät Puhekäyttöliittymät ovat yleistymässä esimerkkejä mm. http://www.nuance.com/talk/ ja http://www.nuance.com/speech/demos/ ja http://www.puheentunnistus.fi Saila.Ovaska@cs.uta.fi 18
Soittajan apuna? Millerin 7+-2 sääntö! Toteutuskieli VoiceXML (vuorovaikutteisille puhelinsovelluksille) Google video Vaatii erityistä ohjelmistotukea, monta eri valmistajaa Yhteenvetoa: puheentunnistus yhtenä modaaliteettina Puheena annetut syötteet voivat olla yksi modaliteetti järjestelmää ohjattaessa esim. Windows Vista Puhekomennot nopeampaa antaa kuin näppäimistö + hiiri Puhe vapauttaa käyttäjän liikkumaan... ja kädet irti hiirestä Usein käytössä yhdessä muiden modaliteettien kanssa Esim. puhelimessa: vaihtoehtoiset syötteenantotavat hyväksytään joko puheella tai kosketusnäytöltä tai näppäimistöltä annetut komennot tuo lisää kanavia käyttäjän ja koneen välille luonnollisempi (?) vuorovaikutustilanne Saila.Ovaska@cs.uta.fi 19
Puheentunnistus osana multimodaalista järjestelmää Puheentunnistus tärkeä kun halutaan tarjota vaihtoehtoisia modaliteetteja niille, joilta puuttuu kyky tai mahdollisuus operoida peruskäyttöliittymän parissa näkövammaiset kirjoitustaidottomat, lapset autoilijan (tai kadulla kävelijän) hands free Joskus käytössä samanaikaiset, toisiaan täydentävät kanavat Jos puheentunnistuksessa tulee virhe, ehkä muista syötevirroista (esim. katse) saadaan tietoa, josta käyttäjän tavoite voidaan päätellä Kehityssuunta: jokapaikan tietotekniikka Saila.Ovaska@cs.uta.fi 20