Johdatus vuorovaikutteiseen teknologiaan

Transkriptio

1 Tavoitteena tänään Kuuloaisti Saila Ovaska Informaatiotieteiden yksikkö, Tampereen yliopisto JoVuoT-opintojakson suoritettuaan opiskelija tietää alkeita ihmisen aisteista, kognitiivisista prosesseista ja motoriikasta. tuntee syöte- ja tulostemodaliteetit vuorovaikutuksessa ja ymmärtää niiden suhdetta ihmisen tiedonkäsittelyyn Tässä luennossa aiheena kuuloaisti ihmisen aistijärjestelmän osana ja puhe ihmisen ja koneen välisenä vuorovaikutustapana ja koneen kannalta: kuuloaistin eli puheentunnistuksen toteuttamisen haasteita Aiheina Ihmisen kuuloaisti Erityisryhmien apuvälineitä Äänet vs. melu Erot näköaistin avulla havaitsemiseen Tietokoneen kuuloaisti ja puheen tuotto Ääni ja puhe vuorovaikutuksessa tietokoneen kanssa Ääntä ja puhetta tietokoneen tulosteena Äänet syötteenä tietokoneelle Puhe syötteenä tietokoneelle tai nykyisin myös mobiililaitteelle Puhekomennot Puheentunnistus (esim. saneltaessa) Mitä äänellä voi tehdä? Ääntä käytetään hyväksi normaalissa työskentelyssä Esim. uuden henkilön tulo huoneeseen, puhelimeen vastaaminen, auton vikojen paikantaminen... Prosessinvalvonta, lennonohjaus Jopa tietokoneen kanssa työskennellessä: kovalevyn rapina, kirjoittimen rätinä Vertaa Robare & Forlizzi (2009). Ääni antaa tärkeän ulottuvuuden kokemukseen Äänimaisema Ambient sound Tunnelman luojana esim. teatterissa Robare & Forlizzi, Sound in computing: a short history. ACM interactions, 16:1, 2009, Hiljaisuus ääni - melu Hiljaisuus ääni melu? Tavanomaisia väitteitä äänekkäitä käyttöliittymiä vastaan: Eikö työympäristö ole jo riittävän äänekäs? Eikö äänten lisääminen haittaisi työskentelyä? Eikö ajatus kulje parhaiten hiljaisuudessa? Hiljaisuus Tavoiteltavaa? Tuskin mikään paikka enää hiljainen (ei edes kirjasto) Melu On ääntä, joka ei välitä informaatiota Äänisuunnittelun tavoitteena vähentää melun osuutta ja lisätä informaatiota välittävän äänen osuutta Melu On ääntä, joka ei välitä informaatiota Äänisuunnittelun tavoitteena vähentää melun osuutta ja lisätä informaatiota välittävän äänen osuutta MUTTA: Is Noise Always Bad? Vai auttaako taustamelu keskittymistä? Esim. Tutkimus: Saila.Ovaska@uta.fi 1

2 Miksi ääntä? Tilannetietoa ja muistutuksia Ääni täydentää näköhavaintoja Esim. tutkimukset videopelien pelaajista: ilman ääntä tulokset huononivat merkitsevästi Lisätty todellisuus esimerkiksi kirjaa luettaessa Esimerkki: Listen Reader Xerox PARC, Vertaa Text 2.0 -idea, jossa osa lukunautinnosta tuotetaan äänien avulla. Sekin siis hyödyntää lisättyä todellisuutta. Kirjassa edetään katseenseurannan avulla, joten lukukohta on tiedossa. Huomaa: ihmisen kuuloaistia voisi hyödyntää nykyistä enemmänkin annettaessa palautetta esim. University of Glasgow: Shoogle S. Joy Mountford, William W. Gaver, Talking and Listening to Computers. In The Art of Human-Computer Interaction, Brenda Laurel (ed.), Addison-Wesley, 1990, Ääntä käyttöliittymissä Muu kuin puheääni (non-speech audio) Puheääni (speech) äänikommentointi Syötteenä tietokoneelle naksuttelu, viheltäminen, huutaminen... puheviestit (ääniposti)... järjestelmän ohjaus puhekomennoilla vapaa sanelu, puheentunnistus Tulosteena tiedon tai tapahtuman havainnollistus äänen avulla Ruudunlukija Apuvälineohjelma Puhetulostus Nauhoite tai synteettinen puhe ERITYISRYHMIEN APUVÄLINEITÄ Tietokoneen ääni ja puhe näkövammaisen apuna Ruudunlukija Windows Microsoft Narrator osana käyttöjärjestelmää kaupallisia esim. Jaws for Windows Jaws myös suomenkielinen puhesynteesi saatavilla Lukee verkkosivun sisältöä ja tarjoaa toiminnallisuutta kuten erottelee linkit omaksi listakseen; sivuston tekijän huolehdittava luettavuudesta Verkkosivujen esitys näkövammaista varten Selainohjelmissa ei vielä toteutettu tukea sille Tietokoneen ääni ja puhe näkövammaisen apuna Mukanakannettavia laitteistoja iphone ja ipad VoiceOver Blindsquare-sovellus Käyttää apuna sosiaalisen median sovellusta nimeltä Foursquare näkövammaisen tutka voice,

3 Synteettinen ääni halvaantuneen apuvälineenä The Audeo puhetta ilman ääntä Videoita: ALS-potilaan apuna Kenelle tahansa(?): mobiilikäyttöliittymä KUULOAISTI Kuvat: Korvan rakenne Ääni on ilman ainesosien liikettä. Ääni saapuu korvaan ulkokorvan ohjaamana. Tärykalvon värähtely etenee kuuloluiden kautta sisäkorvaan, jossa on kuulemiseen tarvittavia soluja. ääniaallon aallonpituus ääniaallon frekvenssi (taajuus aikayksikössä) tuottaa aistimuksen korkeasta tai matalasta äänestä (pitch) Äänen ominaisuudet ääniaallon amplitudi (korkeus) tuottaa voimakkuusvaikutelman aika Ääniaallon ominaisuudet ovat fysikaalisia suureita Ihmisen aistiman äänen ominaisuudet Äänen voimakkuus (loudness) Äänen korkeus (pitch) Äänen sointi, äänenväri (timbre) Äänen kesto (duration) Risto Ilmoniemi, Ihmisaivojen rakenne ja toiminta. Äänien kuuleminen Hyvin matalat ja korkeat äänet jäävät kuulematta Harmaalla puheen ymmärtämisen alue Ikä vaikuttaa kuuloalueeseen Erityisesti korkeiden äänien kuuleminen heikkenee ÄÄNI TULOSTEENA - äänipalautteet (non-speech audio) ja puhe(synteesi) Lähde: Saila.Ovaska@uta.fi 3

4 Palautteena käyttäjälle ääntä vai kuvaa? Windows-äänimaailmaa Ääni Käyttäjän ei tarvitse olla näköyhteydessä Samanaikaisten viestien määrä on rajoitettu Aikaan sidottu: käytettävissä vain hetkellisesti Sopii muuttuvien tapahtumien esittämiseen Vertaa: liikkuva kuva, animaatiot Kuva (viestiruutu näytöllä) Paikkaan sidottu: käyttäjän on oltava näköyhteydessä Useiden samanaikaisten viestien mahdollisuus Ajasta riippumaton: voidaan lukea myöhemminkin Sopii vain staattisten asioiden esittämiseen Default sound Information Notification Warning Error Hardware insert Recycle Tiedon tai tapahtuman havainnollistus Käyttöliittymissä voi käyttää apuna ääniä viestimään käyttäjälle jostakin kohteesta, operaatiosta tai vuorovaikutuksesta Kaksi erilaista lähtökohtaa: Auditory icons Havainnollisia, luonnollisia ääniä, intuitiivinen linkki äänen ja tapahtuman välillä Earcons Abstrakteja, synteettisiä ääniä, jotka muodostavat auditiivisesti koodatun viestin Käyttäjän on opittava äänen merkitys Gaver, W. (1986). Auditory Icons: Using sound in computer interfaces. Human Computer Interaction, 2(2), pp E-kirja ja esimerkkejä: The Sonification Handbook. Ks. luvut 13, 14 ja Earcon-esimerkki Hierarchical earcons Jokaisella valikolla oma sointi (eri soitin) Valikon valinnoilla erilainen rytmi, sointi ja korkeus Valikko 1 Valikko 2 Open Close Edit Yhdistelmä-ääni: Copy Move Undo An example of an earcon hierarchy showing sounds that could be used to represent errors. Milloin ääntä? Käytä käyttäjälle annettavan sanoman ilmaisemiseen ääntä (puhetta tai muuta ääntä) jos Sanoma on yksinkertainen ja lyhyt Sanomaan ei viitata myöhemmin Sanomalla on aikayhteys Sanoma vaatii välitöntä toimenpidettä Visuaalinen järjestelmä on ylikuormitettu Valaistusolot ovat huonot Vastaanottaja liikkuu ympäriinsä (koneen lähellä) jatkuvasti Laite on kannettava mukana Autolla ajettaessa - silmät tiessä, ei näytössä Puheen tallennus tietokoneessa Digitoitu puhe Nauhoite Luonnollista Vaatii kuitenkin puhujan! Esimerkiksi sanakirjan lausuntaohjeet Synteettinen puhe Puheen tuottamista synteettisesti Luonnolliselta kuulostava puhe on teknisesti haastavaa tuottaa; monia eri tekniikoita Vie vähän tilaa koneen muistista (tallennetaan tekstinä) Saila.Ovaska@uta.fi 4

5 Tietokone tuottaa synteettistä puhetta Puhekäyttöliittymällä kasvot? TTS = Text to Speech Synthesis Suomenkielinen puhesynteesi esimerkiksi Mikropuhe: demo Suopuhe (Hgin yliopisto) Bitlips: demo Loquendo: demo Yhdistettynä ns. puhuvaan päähän Persoonallista puhetta? Äänen avulla muodostetaan mielikuva puhujasta Milloin tietokoneen avulla tuotettu puhe voisi olla persoonallista? ÄÄNI SYÖTTEENÄ - ääniohjaus ja puheentunnistus Ääni ja puhe syötteenä Ääntä ja puhetta voi käyttää syötteenä tietokoneelle Ääntä (non-speech) on käytetty jonkin verran syötteenä koneelle esimerkiksi peleissä (esimerkiksi Kukakumman kiljahdukset) Myös erilaisia taputuksia ja sormien napsautuksia on käytetty komentoina Luonnollisen puheen käyttö syötteenä tietokoneelle on haastavaa sekä puheen tuottaminen on haastavaa ihmiselle että puheentunnistus hahmontunnistustehtävänä tietokoneelle Puhe vaatii kognitiivista prosessointia Puheen tuottaminen ja kuuntelu kuluttaa samaa kognitiivista kapasiteettia kuin tehtävän ratkaisukin Hiiren käytössä tarvittava käden ja silmän koordinaatio ei kuluta samalla tavoin kognitiivisia resursseja Ben Shneiderman, The limits of speech recognition. Comm. ACM 43:9, September 2000, Saila.Ovaska@uta.fi 5

6 Puheentunnistus Puheen avulla voi antaa järjestelmän ohjaamisessa mahdollisia komentoja Vrt. Aibo-koira, stand up, sit! Suomenkielinen esimerkki: Fonecta puheohjattava numerohaku sano kyllä tai ei Siri, iphone paranee versio versiolta 6_siri.html Esimerkkivideoita netissä paljon esim. Kummalla on aloite keskustelussa, tietokoneella vai ihmisellä? Puheentunnistus Kai-Fu Lee, Fundamentals of speech recognition -video Puheentunnistuksen edut Luonnollisuus Nopeus komentojen annossa Voi olla yhtenä samanaikaisena modaliteettina käytössä (esim. hiiri & näppäimistö ja puhekomennot) Puhe ei sido käsiä eikä vaadi sitä, että katsottaisiin näyttöä Puheentunnistuksen haasteita Puheentunnistuksen haasteet (Kai-Fu Lee) Puhekäyttöliittymissä tarvittava puheentunnistus on vaikeata Miksi? Foneemien tunnistus äänisyötteestä Jatkuva puhe vs. yksittäiset sanat Puhuja- ja ympäristökohtaiset erot Puheen merkityksen ymmärtäminen Puheentunnistuksen kehityskulkua: tunnistusvirheiden suhteellinen osuus > 10% Puheentunnistuksen haasteet Puhekäyttöliittymissä tarvittava puheentunnistus on yhä vieläkin virhealtista Väärin tunnistetuilta sanoilta ja ilmauksilta ei voida täysin välttyä ikinä MUTTA: Boyce, Natural spoken dialogue systems for telephony applications Comm. ACM 43:9, Sept Mistä soittaja tietää, että puhuu koneelle? Tutkimus: tietokoneen alkurepliikki palvelussa soittajan käyttämä sanamäärä Dialogin suunnittelu? Boyce, Comm. ACM 43:9, Sept

7 Puhekäyttöliittymä ei sovellu kaikkiin käyttötilanteisiin ei toimi samalla tavalla kuin ihmisten välinen vuorovaikutustilanne Tunnistusongelmaa yritetään helpottaa: sallitaan käyttäjän sanoa vain yksi sana kerrallaan rajataan järjestelmän sanavarasto; käyttäjän on tunnettava sanat rajataan puhekomennon sallittuja muotoja (missä järjestyksessä komennon osat annetaan) lisätään tunnistukseen avuksi tietoa siitä, mitkä sanat ovat mahdollisia tässä yhteydessä koulutetaan puheentunnistinta tunnistamaan käyttäjän tapa lausua sanat Käytännön esimerkkejä Miten puheentunnistusta on tehty helpommaksi seuraavissa esimerkissä? Miten käyttäjää avustetaan? Ravintolahaku Speechworks Foodline Ravintola sijainnin, ruuan, suositusten, perusteella Käytössä New Yorkissa n. v Hammaslääkäriajan varaus / peruutus, Suomessa n. v Nykyisin osa Lingsoft-kielitaloa Soittajan apuna? Muista Millerin 7+-2 sääntö, joka liittyy ihmisen työmuistin kapasiteettiin! Toteutuskieli VoiceXML (vuorovaikutteisille puhelinsovelluksille) Vaatii erityistä ohjelmistotukea, monta eri valmistajaa Peleissä Peleissä erilaista äänen- ja jopa puheentunnistusta Edellä jo esimerkkinä Kukakumma-lastenpeli, joka ymmärtää vain äänen voimakkuuden ohjaus huutamalla Singstar-peli, jota pelataan laulamalla ymmärtää äänen korkeuden Puhetta ymmärtävien pelien osalta samat haasteet kuin edellä Rajoitettu sanavarasto! Taustamelu Lisänä itse pelaamisen tuottama melu Lähteenä Aki Halonen, Sami Hyrynsalmi & Jouni Smed: Puheentunnistusteknologian nykytilanne ja mahdollisuudet elektronisissa peleissä Puhekäyttöliittymät ovat yleistymässä Kohde-esimerkkejä mm. Sanelua tietokoneelle ja tietokoneen eri sovellusten käyttöä Esimerkki etelän murretta puhuvan käytössä myös mobiililaitteille Siri, iphone-assistentti Google-haut puhumalla Yhteenveto Saila.Ovaska@uta.fi 7

8 Yhteenveto: ääni voi olla taustalla Vaikuttaa käyttäjäkokemukseen vrt. elokuvat olennainen osa järjestelmän antamaa palautetta jos käyttäjän tulee reagoida tapahtumaan, ääni herättää huomion paremmin kuin ruudulle ilmestyvä viesti Jos puheääni, kuulija assosioi siihen erilaisia mielikuvia puhujasta Yhteenvetoa: termistö Huomaa: termeissä mahdollisia merkityseroja Voice recognition joskus Tunnistaa puhujan, siis henkilön Biometristä tunnistusta Eri asia kuin puheentunnistus (sanojen merkityssisältö) tai äänen(voimakkuuden) tunnistus Eri lähteissä kuitenkin termejä sekoitetaan Mutta: Voice user interface vrt. Graphical user interface Yhteenveto: puheentunnistus yhtenä modaaliteettina Puheena annetut syötteet voivat olla yksi modaliteetti järjestelmää ohjattaessa Puhekomennot nopeampaa antaa kuin näppäimistö + hiiri Puhe vapauttaa käyttäjän liikkumaan... ja kädet irti hiirestä tai laitteen näyttöpinnalta(?) Usein puhe käytössä yhdessä muiden modaliteettien kanssa Esim. puhelimessa: vaihtoehtoiset syötteenantotavat hyväksytään joko puheella tai kosketusnäytöltä tai näppäimistöltä annetut komennot tuo lisää kanavia käyttäjän ja koneen välille luonnollisempi (?) vuorovaikutustilanne Puheentunnistus osana multimodaalista järjestelmää Puheentunnistus on tärkeää kun halutaan tarjota vaihtoehtoisia modaliteetteja niille, joilta puuttuu kyky tai mahdollisuus operoida peruskäyttöliittymän parissa näkövammaiset kirjoitustaidottomat, lapset autoilijan (tai kadulla kävelijän) hands free Joskus käytössä on samanaikaiset, toisiaan täydentävät kanavat Jos puheentunnistuksessa tulee virhe, ehkä muista syötevirroista (esim. katse) saadaan tietoa, josta käyttäjän tavoite voidaan päätellä Kehityssuunta: jokapaikan tietotekniikka Saila.Ovaska@uta.fi 8