Kuuloaisti Saila Ovaska Informaatiotieteiden yksikkö, Tampereen yliopisto Aiheina Ihmisen kuuloaisti Äänet vs. melu Erot näköaistin avulla havaitsemiseen Erityisryhmien apuvälineitä Tietokoneen kuuloaisti ja puheen tuotto Ääni ja puhe vuorovaikutuksessa tietokoneen kanssa Ääntä ja puhetta tietokoneen tulosteena Puhe syötteenä tietokoneelle Puhekomennot Puheentunnistus (esim. saneltaessa) Saila.Ovaska@uta.fi 1
Mitä äänellä voi tehdä? Ääntä käytetään hyväksi normaalissa työskentelyssä Esim. uuden henkilön tulo huoneeseen, puhelimeen vastaaminen, auton vikojen paikantaminen... Prosessinvalvonta, lennonohjaus Jopa tietokoneen kanssa työskennellessä: kovalevyn rapina, kirjoittimen rätinä Ääni antaa tärkeän ulottuvuuden kokemukseen Äänimaisema Ambient sound Tunnelman luojana esim. teatterissa Robare & Forlizzi, Sound in computing: a short history. ACM interactions, 16:1, 2009, 62-65. http://dx.doi.org/10.1145/1456202.1456218 Hiljaisuus ääni - melu Tavanomaisia väitteitä äänekkäitä käyttöliittymiä vastaan: Eikö työympäristö ole jo riittävän äänekäs? Eikö äänten lisääminen haittaisi työskentelyä? Eikö ajatus kulje parhaiten hiljaisuudessa? Hiljaisuus Tavoiteltavaa? Tuskin mikään paikka enää hiljainen (ei edes kirjasto) Melu On ääntä, joka ei välitä informaatiota Äänisuunnittelun tavoitteena vähentää melun osuutta ja lisätä informaatiota välittävän äänen osuutta Saila.Ovaska@uta.fi 2
Miksi ääntä? Ääni täydentää näköhavaintoja Esim. tutkimukset videopelien pelaajista: ilman ääntä tulokset huononivat merkitsevästi Lisätty todellisuus Esimerkki: Listen Reader Xerox PARC, 2001 http://dx.doi.org/10.1145/365024.365031 S. Joy Mountford, William W. Gaver, Talking and Listening to Computers. In The Art of Human-Computer Interaction, Brenda Laurel (ed.), Addison-Wesley, 1990, 319-334. Tilannetietoa ja muistutuksia Huomaa: ihmisen kuuloaistia voisi hyödyntää nykyistä enemmänkin annettaessa palautetta esim. University of Glasgow: Shoogle http://www.dcs.gla.ac.uk/~rod/videos.html Saila.Ovaska@uta.fi 3
Ääntä käyttöliittymissä Syöttö Tulostus Muu kuin puheääni (non-speech audio) tietokoneelle naksuttelu, viheltäminen, huutaminen... tiedon tai tapahtuman havainnollistus äänen avulla Puheääni (speech) äänikommentointi puheviestit (ääniposti)... järjestelmän ohjaus puhekomennoilla vapaa sanelu, puheentunnistus Ruudunlukija Apuvälineohjelma Puhetulostus Nauhoite tai synteettinen puhe KUULOAISTI Saila.Ovaska@uta.fi 4
Korvan rakenne Ääni on ilman ainesosien liikettä. Ääni saapuu korvaan ulkokorvan ohjaamana. Tärykalvon värähtely etenee kuuloluiden kautta sisäkorvaan, jossa on kuulemiseen tarvittavia soluja. Risto Ilmoniemi, Ihmisaivojen rakenne ja toiminta. http://www.biomag.hus.fi/braincourse/l7.html Äänen ominaisuudet ääniaallon aallonpituus ääniaallon frekvenssi (taajuus aikayksikössä) tuottaa aistimuksen korkeasta tai matalasta äänestä (pitch) ääniaallon amplitudi (korkeus) tuottaa voimakkuusvaikutelman aika Ääniaallon ominaisuudet ovat fysikaalisia suureita Ihmisen aistiman äänen ominaisuudet Äänen voimakkuus (loudness) Äänen korkeus (pitch) Äänen sointi, äänenväri (timbre) Äänen kesto (duration) Saila.Ovaska@uta.fi 5
Äänien kuuleminen Hyvin matalat ja korkeat äänet jäävät kuulematta Harmaalla puheen ymmärtämisen alue Ikä vaikuttaa kuuloalueeseen Erityisesti korkeiden äänien kuuleminen heikkenee Lähde: http://www.biomag.hus.fi/braincourse/l7.html ERITYISRYHMIEN APUVÄLINEITÄ Saila.Ovaska@uta.fi 6
Tietokoneen ääni ja puhe näkövammaisen apuna Ruudunlukija Windows Microsoft Narrator osana käyttöjärjestelmää kaupallisia esim. Jaws for Windows Jaws myös suomenkielinen puhesynteesi saatavilla Verkkosivujen esitys näkövammaista varten Aural Style Sheets osana verkkosivuja http://www.w3.org/tr/css2/aural.html Selainohjelmissa ei vielä toteutettu tukea esim. Fire Vox selainlaajennos http://firevox.clcworld.net/ Mukanakannettava laitteisto Esim. näkövammaisen tutka (voice, http://www.artificialvision.com/) http://www.youtube.com/watch?v=emjrhib6tda Synteettinen ääni halvaantuneen apuvälineenä The Audeo puhetta ilman ääntä http://www.theaudeo.com/ Videoita: ALS-potilaan apuna http://www.youtube.com/watch?v=-bz_kivrdqo Kenelle tahansa(?): mobiilikäyttöliittymä http://www.youtube.com/watch?v=xyn4viz21n0 Kuvat: http://www.popsci.com/scitech/article/2009-05/electronic-voice-box Saila.Ovaska@uta.fi 7
ÄÄNI TULOSTEENA - äänipalautteet (non-speech audio) ja puhe(synteesi) Palautteena käyttäjälle ääntä vai kuvaa? Ääni Käyttäjän ei tarvitse olla näköyhteydessä Samanaikaisten viestien määrä on rajoitettu Aikaan sidottu: käytettävissä vain hetkellisesti Sopii muuttuvien tapahtumien esittämiseen Vertaa: liikkuva kuva, animaatiot Kuva (viestiruutu näytöllä) Paikkaan sidottu: käyttäjän on oltava näköyhteydessä Useiden samanaikaisten viestien mahdollisuus Ajasta riippumaton: voidaan lukea myöhemminkin Sopii vain staattisten asioiden esittämiseen Saila.Ovaska@uta.fi 8
Tiedon tai tapahtuman havainnollistus Käyttöliittymissä voi käyttää apuna keksittyjä, abstrakteja ääniä viestimään käyttäjälle jostakin kohteesta, operaatiosta tai vuorovaikutuksesta Auditory icons Havainnollisia, luonnollisia ääniä, intuitiivinen linkki äänen ja tapahtuman välillä Earcons Abstrakteja, synteettisiä ääniä, jotka muodostavat auditiivisesti koodatun viestin Käyttäjän on opittava äänen merkitys Gaver, W. (1986). Auditory Icons: Using sound in computer interfaces. Human Computer Interaction, 2(2), pp. 167-177 http://www.dcs.gla.ac.uk/~stephen/generalearcons/generalearcons1.shtml http://sonification.de/handbook/index.php/chapters/chapter14/ http://sonification.de/handbook/index.php/chapters/chapter18/ Earcon-esimerkki Hierarchical earcons Jokaisella valikolla oma sointi (eri soitin) Valikon valinnoilla erilainen rytmi, sointi ja korkeus Valikko 1 Valikko 2 Open Close Edit Yhdistelmä-ääni: Copy Move Undo An example of an earcon hierarchy showing sounds that could be used to represent errors. http://www.dcs.gla.ac.uk/~stephen/earcon_guidelines.shtml Saila.Ovaska@uta.fi 9
Milloin ääntä? Käytä käyttäjälle annettavan sanoman ilmaisemiseen ääntä (puhetta tai muuta ääntä) jos Sanoma on yksinkertainen ja lyhyt Sanomaan ei viitata myöhemmin Sanomalla on aikayhteys Sanoma vaatii välitöntä toimenpidettä Visuaalinen järjestelmä on ylikuormitettu Valaistusolot ovat huonot Vastaanottaja liikkuu ympäriinsä (koneen lähellä) jatkuvasti Laite on kannettava mukana Autolla ajettaessa - silmät tiessä, ei näytössä Puheen tallennus tietokoneessa Digitoitu puhe Nauhoite Luonnollista Vaatii kuitenkin puhujan! Esimerkiksi sanakirjan lausuntaohjeet Synteettinen puhe Puheen tuottamista synteettisesti Luonnolliselta kuulostava puhe on teknisesti haastavaa tuottaa Vie vähän tilaa koneen muistista (tallennetaan tekstinä) Saila.Ovaska@uta.fi 10
Tietokone tuottaa synteettistä puhetta TTS = Text to Speech Synthesis Suomenkielinen puhesynteesi esimerkiksi Mikropuhe: demo http://www.mikropuhe.com/live/ Suopuhe (Hgin yliopisto) Bitlips: demo http://www.bitlips.fi/tts/demo.cgi Loquendo: demo http://tts.loquendo.com/ttsdemo/default.asp Puhekäyttöliittymällä kasvot? Yhdistettynä ns. puhuvaan päähän http://www.bitlips.fi/kimmo/ Saila.Ovaska@uta.fi 11
ÄÄNI SYÖTTEENÄ - ääniohjaus ja puheentunnistus Ääni ja puhe syötteenä Ääntä ja puhetta voi käyttää syötteenä tietokoneelle Ääntä (non-speech) on käytetty jonkin verran syötteenä koneelle esimerkiksi peleissä (esimerkiksi Kukakumman kiljahdukset) Myös erilaisia taputuksia ja sormien napsautuksia on käytetty komentoina Luonnollisen puheen käyttö syötteenä tietokoneelle on haastavaa sekä puheen tuottaminen on haastavaa ihmiselle että puheentunnistus hahmontunnistustehtävänä tietokoneelle Saila.Ovaska@uta.fi 12
Puhe vaatii kognitiivista prosessointia Puheen tuottaminen ja kuuntelu kuluttaa samaa kognitiivista kapasiteettia kuin tehtävän ratkaisukin Hiiren käytössä tarvittava käden ja silmän koordinaatio ei kuluta samalla tavoin kognitiivisia resursseja Ben Shneiderman, The limits of speech recognition. Comm. ACM 43:9, September 2000, 63-65. Puheentunnistus Puheen avulla voi antaa järjestelmän ohjaamisessa mahdollisia komentoja Vrt. Aibo-koira, stand up, sit! Suomenkielinen esimerkki: Fonecta puheohjattava numerohaku sano kyllä tai ei Siri, iphone paranee versio versiolta http://www.macworld.com/article/1168507/hands_on_with_ios_ 6_siri.html Esimerkkivideoita netissä paljon esim. http://www.youtube.com/watch?v=7h5ktc3m3yy Kummalla on aloite keskustelussa, tietokoneella vai ihmisellä? Saila.Ovaska@uta.fi 13
Puheentunnistus Kai-Fu Lee, Fundamentals of speech recognition -video Puheentunnistuksen edut Luonnollisuus Nopeus komentojen annossa Voi olla yhtenä samanaikaisena modaliteettina käytössä (esim. hiiri & näppäimistö ja puhekomennot) Puhe ei sido käsiäeikävaadi sitä, että katsottaisiin näyttöä Puheentunnistuksen haasteita Puheentunnistuksen haasteet (Kai-Fu Lee) Puhekäyttöliittymissä tarvittava puheentunnistus on vaikeata Miksi? Foneemien tunnistus äänisyötteestä Jatkuva puhe vs. yksittäiset sanat Puhuja- ja ympäristökohtaiset erot Puheen merkityksen ymmärtäminen Saila.Ovaska@uta.fi 14
Puheentunnistuksen kehityskulkua: tunnistusvirheiden suhteellinen osuus > 10% Puheentunnistuksen haasteet Puhekäyttöliittymissä tarvittava puheentunnistus on yhä vieläkin virhealtista Väärin tunnistettuja sanoja vieläkin paljon (esim. Vistassa: http://video.google.com/videoplay?docid=- 1123221217782777472 ) MUTTA: Boyce, Natural spoken dialogue systems for telephony applications Comm. ACM 43:9, Sept. 2000. http://dx.doi.org/10.1145/348941.348974 Saila.Ovaska@uta.fi 15
Dialogin suunnittelu? Mistä soittaja tietää, että puhuu koneelle? Tutkimus: tietokoneen alkurepliikki palvelussa soittajan käyttämä sanamäärä Boyce, Comm. ACM 43:9, Sept. 2000. Puhekäyttöliittymä ei sovellu kaikkiin käyttötilanteisiin ei toimi samalla tavalla kuin ihmisten välinen vuorovaikutustilanne Tunnistusongelmaa yritetään helpottaa: sallitaan käyttäjän sanoa vain yksi sana kerrallaan rajataan järjestelmän sanavarasto; käyttäjän on tunnettava sanat rajataan puhekomennon sallittuja muotoja (missä järjestyksessä komennon osat annetaan) lisätään tunnistukseen avuksi tietoa siitä, mitkä sanat ovat mahdollisia tässä yhteydessä koulutetaan puheentunnistinta tunnistamaan käyttäjän tapa lausua sanat Saila.Ovaska@uta.fi 16
Käytännön esimerkkejä Miten puheentunnistusta on tehty helpommaksi seuraavissa esimerkissä? Miten käyttäjää avustetaan? Ravintolahaku Speechworks Foodline Ravintola sijainnin, ruuan, suositusten, perusteella Käytössä New Yorkissa n. v. 2000 Hammaslääkäriajan varaus / peruutus, Suomessa n. v. 2010 http://www.puheentunnistus.fi Yhteenveto Saila.Ovaska@uta.fi 17
Yhteenveto: ääni voi olla taustalla Vaikuttaa käyttäjäkokemukseen vrt. elokuvat olennainen osa järjestelmän antamaa palautetta jos käyttäjän tulee reagoida tapahtumaan, ääni herättää huomion paremmin kuin ruudulle ilmestyvä viesti Yhteenvetoa: puhekäyttöliittymät Puhekäyttöliittymät ovat yleistymässä Kohde-esimerkkejä mm. Sanelua tietokoneelle ja tietokoneen eri sovellusten käyttöä http://www.nuance.com/talk/ Mm. pelikäyttöä http://www.nuance.com/speech/demos/ luennolla tarkastellut puhelinkeskusesimerkit Siri Huomaa mahdollisia merkityseroja termeissä Voice recognition Tunnistaa puhujan, siis henkilön Biometristä tunnistusta Mutta: Voice user interface vrt. Graphical user interface Saila.Ovaska@uta.fi 18
Yhteenveto: puheentunnistus yhtenä modaaliteettina Puheena annetut syötteet voivat olla yksi modaliteetti järjestelmää ohjattaessa Puhekomennot nopeampaa antaa kuin näppäimistö + hiiri Puhe vapauttaa käyttäjän liikkumaan... ja kädet irti hiirestä Usein käytössä yhdessä muiden modaliteettien kanssa Esim. puhelimessa: vaihtoehtoiset syötteenantotavat hyväksytään joko puheella tai kosketusnäytöltä tai näppäimistöltä annetut komennot tuo lisää kanavia käyttäjän ja koneen välille luonnollisempi (?) vuorovaikutustilanne Puheentunnistus osana multimodaalista järjestelmää Puheentunnistus tärkeä kun halutaan tarjota vaihtoehtoisia modaliteetteja niille, joilta puuttuu kyky tai mahdollisuus operoida peruskäyttöliittymän parissa näkövammaiset kirjoitustaidottomat, lapset autoilijan (tai kadulla kävelijän) hands free Joskus käytössä samanaikaiset, toisiaan täydentävät kanavat Jos puheentunnistuksessa tulee virhe, ehkä muista syötevirroista (esim. katse) saadaan tietoa, josta käyttäjän tavoite voidaan päätellä Kehityssuunta: jokapaikan tietotekniikka Saila.Ovaska@uta.fi 19