Kuuloaisti Saila Ovaska Informaatiotieteiden yksikkö, Tampereen yliopisto Tavoitteena tänään JoVuoT-opintojakson suoritettuaan opiskelija tietää alkeita ihmisen aisteista, kognitiivisista prosesseista ja motoriikasta. tuntee syöte- ja tulostemodaliteetit vuorovaikutuksessa ja ymmärtää niiden suhdetta ihmisen tiedonkäsittelyyn Tässä luennossa aiheena kuuloaisti ihmisen aistijärjestelmän osana ja puhe ihmisen ja koneen välisenä vuorovaikutustapana ja koneen kannalta: kuuloaistin eli puheentunnistuksen toteuttamisen haasteita Saila.Ovaska@uta.fi 1
Aiheina Ihmisen kuuloaisti Erityisryhmien apuvälineitä Äänet vs. melu Erot näköaistin avulla havaitsemiseen Tietokoneen kuuloaisti ja puheen tuotto Ääni ja puhe vuorovaikutuksessa tietokoneen kanssa Ääntä ja puhetta tietokoneen tulosteena Äänet syötteenä tietokoneelle Puhe syötteenä tietokoneelle tai nykyisin myös mobiililaitteelle Puhekomennot Puheentunnistus (esim. saneltaessa) Mitä äänellä voi tehdä? Ääntä käytetään hyväksi normaalissa työskentelyssä Esim. uuden henkilön tulo huoneeseen, puhelimeen vastaaminen, auton vikojen paikantaminen... Prosessinvalvonta, lennonohjaus Jopa tietokoneen kanssa työskennellessä: kovalevyn rapina, kirjoittimen rätinä Vertaa Robare & Forlizzi (2009). Ääni antaa tärkeän ulottuvuuden kokemukseen Äänimaisema http://www.aanipaa.tamk.fi/ http://mediametka.fi/oppimateriaalit/aanet/aeaenimaisema-2/ http://yle.fi/uutiset/vaitos_kotoinen_aanimaisema_tuo_turvallisuutta/ 6778352 Ambient sound Tunnelman luojana esim. teatterissa Robare & Forlizzi, Sound in computing: a short history. ACM interactions, 16:1, 2009, 62-65. http://dx.doi.org/10.1145/1456202.1456218 Saila.Ovaska@uta.fi 2
Hiljaisuus ääni - melu Tavanomaisia väitteitä äänekkäitä käyttöliittymiä vastaan: Eikö työympäristö ole jo riittävän äänekäs? Eikö äänten lisääminen haittaisi työskentelyä? Eikö ajatus kulje parhaiten hiljaisuudessa? Hiljaisuus Tavoiteltavaa? Tuskin mikään paikka enää hiljainen (ei edes kirjasto) Melu On ääntä, joka ei välitä informaatiota Äänisuunnittelun tavoitteena vähentää melun osuutta ja lisätä informaatiota välittävän äänen osuutta Hiljaisuus ääni melu? Melu On ääntä, joka ei välitä informaatiota Äänisuunnittelun tavoitteena vähentää melun osuutta ja lisätä informaatiota välittävän äänen osuutta MUTTA: Is Noise Always Bad? Vai auttaako taustamelu keskittymistä? Esim. http://coffitivity.com/ Tutkimus: http://www.jstor.org/stable/10.1086/665048 http://www.fastcolabs.com/3015970/why-ambient-noise-makes-youmore-productive-and-three-apps-that-do-it-right Saila.Ovaska@uta.fi 3
Miksi ääntä? Ääni täydentää näköhavaintoja Esim. tutkimukset videopelien pelaajista: ilman ääntä tulokset huononivat merkitsevästi Lisätty todellisuus esimerkiksi kirjaa luettaessa Esimerkki: Listen Reader Xerox PARC, 2001 http://dx.doi.org/10.1145/365024.365031 Vertaa Text 2.0 -idea, jossa osa lukunautinnosta tuotetaan äänien avulla. Sekin siis hyödyntää lisättyä todellisuutta. Kirjassa edetään katseenseurannan avulla, joten lukukohta on tiedossa. http://text20.net/ S. Joy Mountford, William W. Gaver, Talking and Listening to Computers. In The Art of Human-Computer Interaction, Brenda Laurel (ed.), Addison-Wesley, 1990, 319-334. Tilannetietoa ja muistutuksia Huomaa: ihmisen kuuloaistia voisi hyödyntää nykyistä enemmänkin annettaessa palautetta esim. University of Glasgow: Shoogle http://www.dcs.gla.ac.uk/~rod/videos.html Saila.Ovaska@uta.fi 4
Ääntä käyttöliittymissä Syötteenä Tulosteena Muu kuin puheääni (non-speech audio) tietokoneelle naksuttelu, viheltäminen, huutaminen... tiedon tai tapahtuman havainnollistus äänen avulla Puheääni (speech) äänikommentointi puheviestit (ääniposti)... järjestelmän ohjaus puhekomennoilla vapaa sanelu, puheentunnistus Ruudunlukija Apuvälineohjelma Puhetulostus Nauhoite tai synteettinen puhe ERITYISRYHMIEN APUVÄLINEITÄ Saila.Ovaska@uta.fi 5
Tietokoneen ääni ja puhe näkövammaisen apuna Ruudunlukija Windows Microsoft Narrator osana käyttöjärjestelmää kaupallisia esim. Jaws for Windows Jaws myös suomenkielinen puhesynteesi saatavilla Lukee verkkosivun sisältöä ja tarjoaa toiminnallisuutta kuten erottelee linkit omaksi listakseen; sivuston tekijän huolehdittava luettavuudesta Verkkosivujen esitys näkövammaista varten http://www.w3.org/tr/css3-speech/ Selainohjelmissa ei vielä toteutettu tukea sille Tietokoneen ääni ja puhe näkövammaisen apuna Mukanakannettavia laitteistoja iphone ja ipad VoiceOver http://www.youtube.com/watch?v=wxq2qkshvmc Blindsquare-sovellus http://blindsquare.com/ Käyttää apuna sosiaalisen median sovellusta nimeltä Foursquare http://www.youtube.com/watch?v=twn1og9mumk näkövammaisen tutka voice, http://www.artificialvision.com/ http://www.youtube.com/watch?v=emjrhib6tda http://techland.time.com/2013/07/09/this-device-couldhelp-the-blind-see-images-with-their-ears/ Saila.Ovaska@uta.fi 6
Synteettinen ääni halvaantuneen apuvälineenä The Audeo puhetta ilman ääntä http://www.theaudeo.com/ Videoita: ALS-potilaan apuna http://www.youtube.com/watch?v=-bz_kivrdqo Kenelle tahansa(?): mobiilikäyttöliittymä http://www.youtube.com/watch?v=xyn4viz21n0 Kuvat: http://www.popsci.com/scitech/article/2009-05/electronic-voice-box KUULOAISTI Saila.Ovaska@uta.fi 7
Korvan rakenne Ääni on ilman ainesosien liikettä. Ääni saapuu korvaan ulkokorvan ohjaamana. Tärykalvon värähtely etenee kuuloluiden kautta sisäkorvaan, jossa on kuulemiseen tarvittavia soluja. Risto Ilmoniemi, Ihmisaivojen rakenne ja toiminta. http://www.biomag.hus.fi/braincourse/l7.html Äänen ominaisuudet ääniaallon aallonpituus ääniaallon frekvenssi (taajuus aikayksikössä) tuottaa aistimuksen korkeasta tai matalasta äänestä (pitch) ääniaallon amplitudi (korkeus) tuottaa voimakkuusvaikutelman aika Ääniaallon ominaisuudet ovat fysikaalisia suureita Ihmisen aistiman äänen ominaisuudet Äänen voimakkuus (loudness) Äänen korkeus (pitch) Äänen sointi, äänenväri (timbre) Äänen kesto (duration) Saila.Ovaska@uta.fi 8
Äänien kuuleminen Hyvin matalat ja korkeat äänet jäävät kuulematta Harmaalla puheen ymmärtämisen alue Ikä vaikuttaa kuuloalueeseen Erityisesti korkeiden äänien kuuleminen heikkenee Lähde: http://www.biomag.hus.fi/braincourse/l7.html ÄÄNI TULOSTEENA - äänipalautteet (non-speech audio) ja puhe(synteesi) Saila.Ovaska@uta.fi 9
Palautteena käyttäjälle ääntä vai kuvaa? Ääni Käyttäjän ei tarvitse olla näköyhteydessä Samanaikaisten viestien määrä on rajoitettu Aikaan sidottu: käytettävissä vain hetkellisesti Sopii muuttuvien tapahtumien esittämiseen Vertaa: liikkuva kuva, animaatiot Kuva (viestiruutu näytöllä) Paikkaan sidottu: käyttäjän on oltava näköyhteydessä Useiden samanaikaisten viestien mahdollisuus Ajasta riippumaton: voidaan lukea myöhemminkin Sopii vain staattisten asioiden esittämiseen Windows-äänimaailmaa Default sound Information Notification Warning Error Hardware insert Recycle http://www.guidebookgallery.org/sounds Saila.Ovaska@uta.fi 10
Tiedon tai tapahtuman havainnollistus Käyttöliittymissä voi käyttää apuna ääniä viestimään käyttäjälle jostakin kohteesta, operaatiosta tai vuorovaikutuksesta Kaksi erilaista lähtökohtaa: Auditory icons Havainnollisia, luonnollisia ääniä, intuitiivinen linkki äänen ja tapahtuman välillä Earcons Abstrakteja, synteettisiä ääniä, jotka muodostavat auditiivisesti koodatun viestin Käyttäjän on opittava äänen merkitys Gaver, W. (1986). Auditory Icons: Using sound in computer interfaces. Human Computer Interaction, 2(2), pp. 167-177. E-kirja ja esimerkkejä: The Sonification Handbook. Ks. luvut 13, 14 ja 18. http://sonification.de/handbook/ Earcon-esimerkki Hierarchical earcons Jokaisella valikolla oma sointi (eri soitin) Valikon valinnoilla erilainen rytmi, sointi ja korkeus Valikko 1 Valikko 2 Open Close Edit Yhdistelmä-ääni: Copy Move Undo An example of an earcon hierarchy showing sounds that could be used to represent errors. http://www.dcs.gla.ac.uk/~stephen/earcon_guidelines.shtml Saila.Ovaska@uta.fi 11
Milloin ääntä? Käytä käyttäjälle annettavan sanoman ilmaisemiseen ääntä (puhetta tai muuta ääntä) jos Sanoma on yksinkertainen ja lyhyt Sanomaan ei viitata myöhemmin Sanomalla on aikayhteys Sanoma vaatii välitöntä toimenpidettä Visuaalinen järjestelmä on ylikuormitettu Valaistusolot ovat huonot Vastaanottaja liikkuu ympäriinsä (koneen lähellä) jatkuvasti Laite on kannettava mukana Autolla ajettaessa - silmät tiessä, ei näytössä Puheen tallennus tietokoneessa Digitoitu puhe Nauhoite Luonnollista Vaatii kuitenkin puhujan! Esimerkiksi sanakirjan lausuntaohjeet Synteettinen puhe Puheen tuottamista synteettisesti Luonnolliselta kuulostava puhe on teknisesti haastavaa tuottaa; monia eri tekniikoita Vie vähän tilaa koneen muistista (tallennetaan tekstinä) Saila.Ovaska@uta.fi 12
Tietokone tuottaa synteettistä puhetta TTS = Text to Speech Synthesis Suomenkielinen puhesynteesi esimerkiksi Mikropuhe: demo http://www.mikropuhe.com/live/ Suopuhe (Hgin yliopisto) Bitlips: demo http://www.bitlips.fi/tts/demo.cgi Loquendo: demo http://tts.loquendo.com/ttsdemo/default.asp Puhekäyttöliittymällä kasvot? Yhdistettynä ns. puhuvaan päähän http://www.bitlips.fi/kimmo/ Saila.Ovaska@uta.fi 13
Persoonallista puhetta? Äänen avulla muodostetaan mielikuva puhujasta Milloin tietokoneen avulla tuotettu puhe voisi olla persoonallista? ÄÄNI SYÖTTEENÄ - ääniohjaus ja puheentunnistus Saila.Ovaska@uta.fi 14
Ääni ja puhe syötteenä Ääntä ja puhetta voi käyttää syötteenä tietokoneelle Ääntä (non-speech) on käytetty jonkin verran syötteenä koneelle esimerkiksi peleissä (esimerkiksi Kukakumman kiljahdukset) Myös erilaisia taputuksia ja sormien napsautuksia on käytetty komentoina Luonnollisen puheen käyttö syötteenä tietokoneelle on haastavaa sekä puheen tuottaminen on haastavaa ihmiselle että puheentunnistus hahmontunnistustehtävänä tietokoneelle Puhe vaatii kognitiivista prosessointia Puheen tuottaminen ja kuuntelu kuluttaa samaa kognitiivista kapasiteettia kuin tehtävän ratkaisukin Hiiren käytössä tarvittava käden ja silmän koordinaatio ei kuluta samalla tavoin kognitiivisia resursseja Ben Shneiderman, The limits of speech recognition. Comm. ACM 43:9, September 2000, 63-65. Saila.Ovaska@uta.fi 15
Puheentunnistus Puheen avulla voi antaa järjestelmän ohjaamisessa mahdollisia komentoja Vrt. Aibo-koira, stand up, sit! Suomenkielinen esimerkki: Fonecta puheohjattava numerohaku sano kyllä tai ei Siri, iphone paranee versio versiolta http://www.macworld.com/article/1168507/hands_on_with_ios_ 6_siri.html Esimerkkivideoita netissä paljon esim. http://www.youtube.com/watch?v=7h5ktc3m3yy Kummalla on aloite keskustelussa, tietokoneella vai ihmisellä? Puheentunnistus Kai-Fu Lee, Fundamentals of speech recognition -video Puheentunnistuksen edut Luonnollisuus Nopeus komentojen annossa Voi olla yhtenä samanaikaisena modaliteettina käytössä (esim. hiiri & näppäimistö ja puhekomennot) Puhe ei sido käsiäeikävaadi sitä, että katsottaisiin näyttöä Saila.Ovaska@uta.fi 16
Puheentunnistuksen haasteita Puheentunnistuksen haasteet (Kai-Fu Lee) Puhekäyttöliittymissä tarvittava puheentunnistus on vaikeata Miksi? Foneemien tunnistus äänisyötteestä Jatkuva puhe vs. yksittäiset sanat Puhuja- ja ympäristökohtaiset erot Puheen merkityksen ymmärtäminen Puheentunnistuksen kehityskulkua: tunnistusvirheiden suhteellinen osuus > 10% Saila.Ovaska@uta.fi 17
Puheentunnistuksen haasteet Puhekäyttöliittymissä tarvittava puheentunnistus on yhä vieläkin virhealtista Väärin tunnistetuilta sanoilta ja ilmauksilta ei voida täysin välttyä ikinä MUTTA: Boyce, Natural spoken dialogue systems for telephony applications Comm. ACM 43:9, Sept. 2000. http://dx.doi.org/10.1145/348941.348974 Dialogin suunnittelu? Mistä soittaja tietää, että puhuu koneelle? Tutkimus: tietokoneen alkurepliikki palvelussa soittajan käyttämä sanamäärä Boyce, Comm. ACM 43:9, Sept. 2000. Saila.Ovaska@uta.fi 18
Puhekäyttöliittymä ei sovellu kaikkiin käyttötilanteisiin ei toimi samalla tavalla kuin ihmisten välinen vuorovaikutustilanne Tunnistusongelmaa yritetään helpottaa: sallitaan käyttäjän sanoa vain yksi sana kerrallaan rajataan järjestelmän sanavarasto; käyttäjän on tunnettava sanat rajataan puhekomennon sallittuja muotoja (missä järjestyksessä komennon osat annetaan) lisätään tunnistukseen avuksi tietoa siitä, mitkä sanat ovat mahdollisia tässä yhteydessä koulutetaan puheentunnistinta tunnistamaan käyttäjän tapa lausua sanat Käytännön esimerkkejä Miten puheentunnistusta on tehty helpommaksi seuraavissa esimerkissä? Miten käyttäjää avustetaan? Ravintolahaku Speechworks Foodline Ravintola sijainnin, ruuan, suositusten, perusteella Käytössä New Yorkissa n. v. 2000 Hammaslääkäriajan varaus / peruutus, Suomessa n. v. 2010 http://www.puheentunnistus.fi Nykyisin osa Lingsoft-kielitaloa Saila.Ovaska@uta.fi 19
Soittajan apuna? Muista Millerin 7+-2 sääntö, joka liittyy ihmisen työmuistin kapasiteettiin! Toteutuskieli VoiceXML (vuorovaikutteisille puhelinsovelluksille) http://en.wikipedia.org/wiki/voicexml http://www.w3.org/tr/voicexml30/ Vaatii erityistä ohjelmistotukea, monta eri valmistajaa Peleissä Peleissä erilaista äänen- ja jopa puheentunnistusta Edellä jo esimerkkinä Kukakumma-lastenpeli, joka ymmärtää vain äänen voimakkuuden ohjaus huutamalla Singstar-peli, jota pelataan laulamalla ymmärtää äänen korkeuden Puhetta ymmärtävien pelien osalta samat haasteet kuin edellä Rajoitettu sanavarasto! Taustamelu Lisänä itse pelaamisen tuottama melu Lähteenä Aki Halonen, Sami Hyrynsalmi & Jouni Smed: Puheentunnistusteknologian nykytilanne ja mahdollisuudet elektronisissa peleissä. 92-98. http://www.pelitutkimus.fi/vuosikirja2012/ptvk2012-09.pdf Saila.Ovaska@uta.fi 20
Puhekäyttöliittymät ovat yleistymässä Kohde-esimerkkejä mm. Sanelua tietokoneelle ja tietokoneen eri sovellusten käyttöä http://www.nuance.com/dragon Esimerkki etelän murretta puhuvan käytössä http://youtu.be/9aov6xg0xte myös mobiililaitteille Siri, iphone-assistentti http://www.apple.com/ios/siri/ http://howto.cnet.com/8301-11310_39-57599322-285/how-totalk-to-siri-the-right-way/ Google-haut puhumalla http://en.wikipedia.org/wiki/google_voice_search Yhteenveto Saila.Ovaska@uta.fi 21
taustalla Yhteenveto: ääni voi olla Vaikuttaa käyttäjäkokemukseen vrt. elokuvat olennainen osa järjestelmän antamaa palautetta jos käyttäjän tulee reagoida tapahtumaan, ääni herättää huomion paremmin kuin ruudulle ilmestyvä viesti Jos puheääni, kuulija assosioi siihen erilaisia mielikuvia puhujasta Yhteenvetoa: termistö Huomaa: termeissä mahdollisia merkityseroja Voice recognition joskus Tunnistaa puhujan, siis henkilön Biometristä tunnistusta Eri asia kuin puheentunnistus (sanojen merkityssisältö) tai äänen(voimakkuuden) tunnistus Eri lähteissä kuitenkin termejä sekoitetaan Mutta: Voice user interface vrt. Graphical user interface Saila.Ovaska@uta.fi 22
Yhteenveto: puheentunnistus yhtenä modaaliteettina Puheena annetut syötteet voivat olla yksi modaliteetti järjestelmää ohjattaessa Puhekomennot nopeampaa antaa kuin näppäimistö + hiiri Puhe vapauttaa käyttäjän liikkumaan... ja kädet irti hiirestä tai laitteen näyttöpinnalta(?) Usein puhe käytössä yhdessä muiden modaliteettien kanssa Esim. puhelimessa: vaihtoehtoiset syötteenantotavat hyväksytään joko puheella tai kosketusnäytöltä tai näppäimistöltä annetut komennot tuo lisää kanavia käyttäjän ja koneen välille luonnollisempi (?) vuorovaikutustilanne Puheentunnistus osana multimodaalista järjestelmää Puheentunnistus on tärkeää kun halutaan tarjota vaihtoehtoisia modaliteetteja niille, joilta puuttuu kyky tai mahdollisuus operoida peruskäyttöliittymän parissa näkövammaiset kirjoitustaidottomat, lapset autoilijan (tai kadulla kävelijän) hands free Joskus käytössä on samanaikaiset, toisiaan täydentävät kanavat Jos puheentunnistuksessa tulee virhe, ehkä muista syötevirroista (esim. katse) saadaan tietoa, josta käyttäjän tavoite voidaan päätellä Kehityssuunta: jokapaikan tietotekniikka Saila.Ovaska@uta.fi 23