Kuuloaisti. Tavoitteena tänään

Transkriptio

1 Kuuloaisti Saila Ovaska Informaatiotieteiden yksikkö, Tampereen yliopisto Tavoitteena tänään JoVuoT-opintojakson suoritettuaan opiskelija tietää alkeita ihmisen aisteista, kognitiivisista prosesseista ja motoriikasta. tuntee syöte- ja tulostemodaliteetit vuorovaikutuksessa ja ymmärtää niiden suhdetta ihmisen tiedonkäsittelyyn Tässä luennossa aiheena kuuloaisti ihmisen aistijärjestelmän osana ja puhe ihmisen ja koneen välisenä vuorovaikutustapana ja koneen kannalta: kuuloaistin eli puheentunnistuksen toteuttamisen haasteita 1

2 Aiheina Ihmisen kuuloaisti Erityisryhmien apuvälineitä Äänet vs. melu Erot näköaistin avulla havaitsemiseen Tietokoneen kuuloaisti ja puheen tuotto Ääni ja puhe vuorovaikutuksessa tietokoneen kanssa Ääntä ja puhetta tietokoneen tulosteena Äänet syötteenä tietokoneelle Puhe syötteenä tietokoneelle tai nykyisin myös mobiililaitteelle Puhekomennot Puheentunnistus (esim. saneltaessa) Mitä äänellä voi tehdä? Ääntä käytetään hyväksi normaalissa työskentelyssä Esim. uuden henkilön tulo huoneeseen, puhelimeen vastaaminen, auton vikojen paikantaminen... Prosessinvalvonta, lennonohjaus Jopa tietokoneen kanssa työskennellessä: kovalevyn rapina, kirjoittimen rätinä Vertaa Robare & Forlizzi (2009). Ääni antaa tärkeän ulottuvuuden kokemukseen Äänimaisema Ambient sound Tunnelman luojana esim. teatterissa Robare & Forlizzi, Sound in computing: a short history. ACM interactions, 16:1, 2009, Saila.Ovaska@uta.fi 2

3 Hiljaisuus ääni - melu Tavanomaisia väitteitä äänekkäitä käyttöliittymiä vastaan: Eikö työympäristö ole jo riittävän äänekäs? Eikö äänten lisääminen haittaisi työskentelyä? Eikö ajatus kulje parhaiten hiljaisuudessa? Hiljaisuus Tavoiteltavaa? Tuskin mikään paikka enää hiljainen (ei edes kirjasto) Melu On ääntä, joka ei välitä informaatiota Äänisuunnittelun tavoitteena vähentää melun osuutta ja lisätä informaatiota välittävän äänen osuutta Hiljaisuus ääni melu? Melu On ääntä, joka ei välitä informaatiota Äänisuunnittelun tavoitteena vähentää melun osuutta ja lisätä informaatiota välittävän äänen osuutta MUTTA: Is Noise Always Bad? Vai auttaako taustamelu keskittymistä? Esim. Tutkimus: Saila.Ovaska@uta.fi 3

4 Miksi ääntä? Ääni täydentää näköhavaintoja Esim. tutkimukset videopelien pelaajista: ilman ääntä tulokset huononivat merkitsevästi Lisätty todellisuus esimerkiksi kirjaa luettaessa Esimerkki: Listen Reader Xerox PARC, Vertaa Text 2.0 -idea, jossa osa lukunautinnosta tuotetaan äänien avulla. Sekin siis hyödyntää lisättyä todellisuutta. Kirjassa edetään katseenseurannan avulla, joten lukukohta on tiedossa. S. Joy Mountford, William W. Gaver, Talking and Listening to Computers. In The Art of Human-Computer Interaction, Brenda Laurel (ed.), Addison-Wesley, 1990, Tilannetietoa ja muistutuksia Huomaa: ihmisen kuuloaistia voisi hyödyntää nykyistä enemmänkin annettaessa palautetta esim. University of Glasgow: Shoogle 4

5 Ääntä käyttöliittymissä Syötteenä Tulosteena Muu kuin puheääni (non-speech audio) tietokoneelle naksuttelu, viheltäminen, huutaminen... tiedon tai tapahtuman havainnollistus äänen avulla Puheääni (speech) äänikommentointi puheviestit (ääniposti)... järjestelmän ohjaus puhekomennoilla vapaa sanelu, puheentunnistus Ruudunlukija Apuvälineohjelma Puhetulostus Nauhoite tai synteettinen puhe ERITYISRYHMIEN APUVÄLINEITÄ 5

6 Tietokoneen ääni ja puhe näkövammaisen apuna Ruudunlukija Windows Microsoft Narrator osana käyttöjärjestelmää kaupallisia esim. Jaws for Windows Jaws myös suomenkielinen puhesynteesi saatavilla Lukee verkkosivun sisältöä ja tarjoaa toiminnallisuutta kuten erottelee linkit omaksi listakseen; sivuston tekijän huolehdittava luettavuudesta Verkkosivujen esitys näkövammaista varten Selainohjelmissa ei vielä toteutettu tukea sille Tietokoneen ääni ja puhe näkövammaisen apuna Mukanakannettavia laitteistoja iphone ja ipad VoiceOver Blindsquare-sovellus Käyttää apuna sosiaalisen median sovellusta nimeltä Foursquare näkövammaisen tutka voice,

7 Synteettinen ääni halvaantuneen apuvälineenä The Audeo puhetta ilman ääntä Videoita: ALS-potilaan apuna Kenelle tahansa(?): mobiilikäyttöliittymä Kuvat: KUULOAISTI 7

8 Korvan rakenne Ääni on ilman ainesosien liikettä. Ääni saapuu korvaan ulkokorvan ohjaamana. Tärykalvon värähtely etenee kuuloluiden kautta sisäkorvaan, jossa on kuulemiseen tarvittavia soluja. Risto Ilmoniemi, Ihmisaivojen rakenne ja toiminta. Äänen ominaisuudet ääniaallon aallonpituus ääniaallon frekvenssi (taajuus aikayksikössä) tuottaa aistimuksen korkeasta tai matalasta äänestä (pitch) ääniaallon amplitudi (korkeus) tuottaa voimakkuusvaikutelman aika Ääniaallon ominaisuudet ovat fysikaalisia suureita Ihmisen aistiman äänen ominaisuudet Äänen voimakkuus (loudness) Äänen korkeus (pitch) Äänen sointi, äänenväri (timbre) Äänen kesto (duration) 8

9 Äänien kuuleminen Hyvin matalat ja korkeat äänet jäävät kuulematta Harmaalla puheen ymmärtämisen alue Ikä vaikuttaa kuuloalueeseen Erityisesti korkeiden äänien kuuleminen heikkenee Lähde: ÄÄNI TULOSTEENA - äänipalautteet (non-speech audio) ja puhe(synteesi) Saila.Ovaska@uta.fi 9

10 Palautteena käyttäjälle ääntä vai kuvaa? Ääni Käyttäjän ei tarvitse olla näköyhteydessä Samanaikaisten viestien määrä on rajoitettu Aikaan sidottu: käytettävissä vain hetkellisesti Sopii muuttuvien tapahtumien esittämiseen Vertaa: liikkuva kuva, animaatiot Kuva (viestiruutu näytöllä) Paikkaan sidottu: käyttäjän on oltava näköyhteydessä Useiden samanaikaisten viestien mahdollisuus Ajasta riippumaton: voidaan lukea myöhemminkin Sopii vain staattisten asioiden esittämiseen Windows-äänimaailmaa Default sound Information Notification Warning Error Hardware insert Recycle 10

11 Tiedon tai tapahtuman havainnollistus Käyttöliittymissä voi käyttää apuna ääniä viestimään käyttäjälle jostakin kohteesta, operaatiosta tai vuorovaikutuksesta Kaksi erilaista lähtökohtaa: Auditory icons Havainnollisia, luonnollisia ääniä, intuitiivinen linkki äänen ja tapahtuman välillä Earcons Abstrakteja, synteettisiä ääniä, jotka muodostavat auditiivisesti koodatun viestin Käyttäjän on opittava äänen merkitys Gaver, W. (1986). Auditory Icons: Using sound in computer interfaces. Human Computer Interaction, 2(2), pp E-kirja ja esimerkkejä: The Sonification Handbook. Ks. luvut 13, 14 ja Earcon-esimerkki Hierarchical earcons Jokaisella valikolla oma sointi (eri soitin) Valikon valinnoilla erilainen rytmi, sointi ja korkeus Valikko 1 Valikko 2 Open Close Edit Yhdistelmä-ääni: Copy Move Undo An example of an earcon hierarchy showing sounds that could be used to represent errors. Saila.Ovaska@uta.fi 11

12 Milloin ääntä? Käytä käyttäjälle annettavan sanoman ilmaisemiseen ääntä (puhetta tai muuta ääntä) jos Sanoma on yksinkertainen ja lyhyt Sanomaan ei viitata myöhemmin Sanomalla on aikayhteys Sanoma vaatii välitöntä toimenpidettä Visuaalinen järjestelmä on ylikuormitettu Valaistusolot ovat huonot Vastaanottaja liikkuu ympäriinsä (koneen lähellä) jatkuvasti Laite on kannettava mukana Autolla ajettaessa - silmät tiessä, ei näytössä Puheen tallennus tietokoneessa Digitoitu puhe Nauhoite Luonnollista Vaatii kuitenkin puhujan! Esimerkiksi sanakirjan lausuntaohjeet Synteettinen puhe Puheen tuottamista synteettisesti Luonnolliselta kuulostava puhe on teknisesti haastavaa tuottaa; monia eri tekniikoita Vie vähän tilaa koneen muistista (tallennetaan tekstinä) Saila.Ovaska@uta.fi 12

13 Tietokone tuottaa synteettistä puhetta TTS = Text to Speech Synthesis Suomenkielinen puhesynteesi esimerkiksi Mikropuhe: demo Suopuhe (Hgin yliopisto) Bitlips: demo Loquendo: demo Puhekäyttöliittymällä kasvot? Yhdistettynä ns. puhuvaan päähän Saila.Ovaska@uta.fi 13

14 Persoonallista puhetta? Äänen avulla muodostetaan mielikuva puhujasta Milloin tietokoneen avulla tuotettu puhe voisi olla persoonallista? ÄÄNI SYÖTTEENÄ - ääniohjaus ja puheentunnistus Saila.Ovaska@uta.fi 14

15 Ääni ja puhe syötteenä Ääntä ja puhetta voi käyttää syötteenä tietokoneelle Ääntä (non-speech) on käytetty jonkin verran syötteenä koneelle esimerkiksi peleissä (esimerkiksi Kukakumman kiljahdukset) Myös erilaisia taputuksia ja sormien napsautuksia on käytetty komentoina Luonnollisen puheen käyttö syötteenä tietokoneelle on haastavaa sekä puheen tuottaminen on haastavaa ihmiselle että puheentunnistus hahmontunnistustehtävänä tietokoneelle Puhe vaatii kognitiivista prosessointia Puheen tuottaminen ja kuuntelu kuluttaa samaa kognitiivista kapasiteettia kuin tehtävän ratkaisukin Hiiren käytössä tarvittava käden ja silmän koordinaatio ei kuluta samalla tavoin kognitiivisia resursseja Ben Shneiderman, The limits of speech recognition. Comm. ACM 43:9, September 2000,

16 Puheentunnistus Puheen avulla voi antaa järjestelmän ohjaamisessa mahdollisia komentoja Vrt. Aibo-koira, stand up, sit! Suomenkielinen esimerkki: Fonecta puheohjattava numerohaku sano kyllä tai ei Siri, iphone paranee versio versiolta 6_siri.html Esimerkkivideoita netissä paljon esim. Kummalla on aloite keskustelussa, tietokoneella vai ihmisellä? Puheentunnistus Kai-Fu Lee, Fundamentals of speech recognition -video Puheentunnistuksen edut Luonnollisuus Nopeus komentojen annossa Voi olla yhtenä samanaikaisena modaliteettina käytössä (esim. hiiri & näppäimistö ja puhekomennot) Puhe ei sido käsiäeikävaadi sitä, että katsottaisiin näyttöä 16

17 Puheentunnistuksen haasteita Puheentunnistuksen haasteet (Kai-Fu Lee) Puhekäyttöliittymissä tarvittava puheentunnistus on vaikeata Miksi? Foneemien tunnistus äänisyötteestä Jatkuva puhe vs. yksittäiset sanat Puhuja- ja ympäristökohtaiset erot Puheen merkityksen ymmärtäminen Puheentunnistuksen kehityskulkua: tunnistusvirheiden suhteellinen osuus > 10% 17

18 Puheentunnistuksen haasteet Puhekäyttöliittymissä tarvittava puheentunnistus on yhä vieläkin virhealtista Väärin tunnistetuilta sanoilta ja ilmauksilta ei voida täysin välttyä ikinä MUTTA: Boyce, Natural spoken dialogue systems for telephony applications Comm. ACM 43:9, Sept Dialogin suunnittelu? Mistä soittaja tietää, että puhuu koneelle? Tutkimus: tietokoneen alkurepliikki palvelussa soittajan käyttämä sanamäärä Boyce, Comm. ACM 43:9, Sept

19 Puhekäyttöliittymä ei sovellu kaikkiin käyttötilanteisiin ei toimi samalla tavalla kuin ihmisten välinen vuorovaikutustilanne Tunnistusongelmaa yritetään helpottaa: sallitaan käyttäjän sanoa vain yksi sana kerrallaan rajataan järjestelmän sanavarasto; käyttäjän on tunnettava sanat rajataan puhekomennon sallittuja muotoja (missä järjestyksessä komennon osat annetaan) lisätään tunnistukseen avuksi tietoa siitä, mitkä sanat ovat mahdollisia tässä yhteydessä koulutetaan puheentunnistinta tunnistamaan käyttäjän tapa lausua sanat Käytännön esimerkkejä Miten puheentunnistusta on tehty helpommaksi seuraavissa esimerkissä? Miten käyttäjää avustetaan? Ravintolahaku Speechworks Foodline Ravintola sijainnin, ruuan, suositusten, perusteella Käytössä New Yorkissa n. v Hammaslääkäriajan varaus / peruutus, Suomessa n. v Nykyisin osa Lingsoft-kielitaloa Saila.Ovaska@uta.fi 19

20 Soittajan apuna? Muista Millerin 7+-2 sääntö, joka liittyy ihmisen työmuistin kapasiteettiin! Toteutuskieli VoiceXML (vuorovaikutteisille puhelinsovelluksille) Vaatii erityistä ohjelmistotukea, monta eri valmistajaa Peleissä Peleissä erilaista äänen- ja jopa puheentunnistusta Edellä jo esimerkkinä Kukakumma-lastenpeli, joka ymmärtää vain äänen voimakkuuden ohjaus huutamalla Singstar-peli, jota pelataan laulamalla ymmärtää äänen korkeuden Puhetta ymmärtävien pelien osalta samat haasteet kuin edellä Rajoitettu sanavarasto! Taustamelu Lisänä itse pelaamisen tuottama melu Lähteenä Aki Halonen, Sami Hyrynsalmi & Jouni Smed: Puheentunnistusteknologian nykytilanne ja mahdollisuudet elektronisissa peleissä

21 Puhekäyttöliittymät ovat yleistymässä Kohde-esimerkkejä mm. Sanelua tietokoneelle ja tietokoneen eri sovellusten käyttöä Esimerkki etelän murretta puhuvan käytössä myös mobiililaitteille Siri, iphone-assistentti Google-haut puhumalla Yhteenveto 21

22 taustalla Yhteenveto: ääni voi olla Vaikuttaa käyttäjäkokemukseen vrt. elokuvat olennainen osa järjestelmän antamaa palautetta jos käyttäjän tulee reagoida tapahtumaan, ääni herättää huomion paremmin kuin ruudulle ilmestyvä viesti Jos puheääni, kuulija assosioi siihen erilaisia mielikuvia puhujasta Yhteenvetoa: termistö Huomaa: termeissä mahdollisia merkityseroja Voice recognition joskus Tunnistaa puhujan, siis henkilön Biometristä tunnistusta Eri asia kuin puheentunnistus (sanojen merkityssisältö) tai äänen(voimakkuuden) tunnistus Eri lähteissä kuitenkin termejä sekoitetaan Mutta: Voice user interface vrt. Graphical user interface 22

23 Yhteenveto: puheentunnistus yhtenä modaaliteettina Puheena annetut syötteet voivat olla yksi modaliteetti järjestelmää ohjattaessa Puhekomennot nopeampaa antaa kuin näppäimistö + hiiri Puhe vapauttaa käyttäjän liikkumaan... ja kädet irti hiirestä tai laitteen näyttöpinnalta(?) Usein puhe käytössä yhdessä muiden modaliteettien kanssa Esim. puhelimessa: vaihtoehtoiset syötteenantotavat hyväksytään joko puheella tai kosketusnäytöltä tai näppäimistöltä annetut komennot tuo lisää kanavia käyttäjän ja koneen välille luonnollisempi (?) vuorovaikutustilanne Puheentunnistus osana multimodaalista järjestelmää Puheentunnistus on tärkeää kun halutaan tarjota vaihtoehtoisia modaliteetteja niille, joilta puuttuu kyky tai mahdollisuus operoida peruskäyttöliittymän parissa näkövammaiset kirjoitustaidottomat, lapset autoilijan (tai kadulla kävelijän) hands free Joskus käytössä on samanaikaiset, toisiaan täydentävät kanavat Jos puheentunnistuksessa tulee virhe, ehkä muista syötevirroista (esim. katse) saadaan tietoa, josta käyttäjän tavoite voidaan päätellä Kehityssuunta: jokapaikan tietotekniikka Saila.Ovaska@uta.fi 23