Tampereen Yliopisto Tietojenkäsittelyopin laitos Toukokuu Pro Gradu -tutkielma

Transkriptio

1 Tampereen Yliopisto Tietojenkäsittelyopin laitos Toukokuu 1998 Pro Gradu -tutkielma Markku Turunen

2 Tampereen yliopisto Tietojenkäsittelyopin laitos Turunen, Markku: Puheohjaus 3D-käyttöliittymissä Pro Gradu-tutkielma, sivua Toukokuu 1998 Tiivistelmä Tässä työssä tutkitaan kolmiulotteisessa ympäristössä tapahtuvaa vuorovaikutusta puheohjauksen näkökulmasta. Puhetta käytetään vuorovaikutukseen, koska se mahdollistaa kolmiulotteisen virtuaalimaailman täysimittaisen hallinnan myös niissä tapauksissa, joissa käsien käyttäminen ei ole mahdollista. Tutkimuksessa esitetään VRMLmaailmojen hallintaan soveltuva puheohjattu selain sekä tällä suoritetut käyttäjätestit. Konstruktion pohjana on puheen luonnetta, puhesovellusten suunnitteluperiaatteita ja kolmiulotteisten käyttöliittymien piirteitä selvittävä kirjallisuuskatsaus. Selaimella suoritettujen käyttäjätestien tulosten pohjalta esitetään menetelmiä puheohjauksen tehostamiseksi. Erityisesti kiinnitetään huomiota virheiden hallintaan, koska puheteknologioiden nykyisellä kehitystasolla tämä on merkittävin seikka puhesovellusten hyväksymisen kannalta. Toiminnallisuuden kehittämistä lähestytään komentopohjaisten puhesyötteiden ohella luonnollisen kielen, multimodaalisuuden ja puhetulosteiden kautta. ii

3 SISÄLLYSLUETTELO 1 JOHDANTO PUHEEN KÄSITTELY Puheen rakenne Puheen esittäminen digitaalisesti Puheentunnistus Puheentunnistuksen periaate Puheentunnistuksen ongelmia Puheentunnistusjärjestelmien ominaisuuksia Sanasto ja kieli Puheen luonne Olosuhteet Muita seikkoja Puheentunnistusjärjestelmien evaluointi Puheen syntetisointi Puheen merkityksen käsittely Lopuksi PUHESOVELLUSTEN SUUNNITTELU JA EVALUOINTI Puhe käyttöliittymäelementtinä Puheen asema käyttöliittymässä Puheen ymmärtämisen taso iii

4 3.1.3 Kommunikaation suunta Puheen ja graafisen suorakäyttöliittymän eroista Puhe multimodaalisissa käyttöliittymissä Puheen keskeisimmät ominaisuudet Puheen käytössä huomioitavia seikkoja Puhesovellusten suunnittelu Keskustelun ohjaus Virheiden hallinta Vahvistukset Palaute ja ohjeet Puhesovellusten evaluointikriteerejä Puhesovelluksiin liittyvä empiirinen tutkimus Lopuksi KOLMIULOTTEISET KÄYTTÖLIITTYMÄT Kolmiulotteinen käyttöliittymä ja sen perustoiminnot Kolmiulotteisen käyttöliittymän erityispiirteitä Virtuaalimaailman luonne Liikkuminen kolmiulotteisessa ympäristössä Liikkumisen motiivit Liikkumisen perusmetaforat Liikkeen kontrollointi Korkean tason liikkumismetaforat iv

5 4.5 Vuorovaikutuksessa tarvittavien vapausasteiden rajoittaminen Puheen käytöstä kolmiulotteisissa käyttöliittymissä Lopuksi PUHEOHJATTU SELAIN Lähtökohdat Toiminnallisuus Toimintojen määrittäminen Liikkeiden kontrollointi Metafora Toimintojen esittäminen komentoina Konstruointiin käytetyt välineet Selaimen toteutus Huomiota toteutuksesta KÄYTTÄJÄTESTIT Testien tarkoitus Testiolosuhteet Koehenkilöt Havaintojen tallentaminen Ensivaikutelmien keruu ja alustavat testit Tehtävät Harjoitustehtävät (1, 2 ja 3) Liikkumistehtävät (4, 8 ja 9) v

6 6.6.3 Kääntymistehtävät (5 ja 6) Asemointitehtävä (7) Kyselylomake ja haastattelut Testien suorittaminen Materiaalin analysointi Huomioita testeistä PUHEOHJAUKSEN KEHITTÄMINEN TESTIEN POHJALTA Tunnistusvirheet Tunnistusvirheiden määrä ja jakaantuminen Henkilökohtaiset erot tunnistusvirheissä Virheellisten tulkintojen karsinnan toimivuus Virhetulkintojen karsinnan kehittäminen Komentojen antamiseen liittyvien virheiden syyt ja korjaaminen Semanttiset virheet Semanttisten virheiden lähteet Semanttiset virheet ja ohjausmetafora Semanttisten virheiden vähentäminen metaforaa tukemalla Virheiden vaikutukset Virheiden korjaus ja palaute Virheiden havaitseminen ja korjaaminen Perumistoiminto Palaute vi

7 7.5 Toiminnallisuuden kehittäminen Komentojen antaminen Nopeuden kontrollointi ja tarkka työskentely Perusliikkumisen vaihtoehdot Kääntymiskomentojen tehostaminen XY-tason orientaation muuttaminen Toiminnallisuuden lisäämisen prioriteetit Multimodaalisuuden hyödyntäminen Yhteenveto jatkokehityksestä YHTEENVETO...84 LÄHDELUETTELO...87 Liite: Käyttäjätestien haastattelulomake. vii

8 1 - JOHDANTO 1 JOHDANTO Kolmiulotteisten käyttöliittymien merkitys on kasvanut viime aikoina jatkuvasti. Kolmiulotteisessa ympäristössä ihmisen ja tietokoneen vuorovaikutus on kuitenkin huomattavasti monimukaisempaa kuin perinteisessä kaksiulotteisessa työpöytäympäristössä. Ongelmaa on lähestytty kehittämällä erilaisia syöttölaitteita ja ohjelmallisia ratkaisuja, joiden yhteisenä tekijänä voidaan pitää niiden hallinnan vaatimaa tarkkuutta ja voimakasta suuntausta käsien hyödyntämiseen. Nämä ratkaisut jättävät kuitenkin toivomisen varaa, sillä aina ei ole mahdollista käyttää edistyksellisiä syöttölaitteita. On myös tilanteita, joissa käsien käyttäminen on joko rajoitettua tai kokonaan mahdotonta. Tämän vuoksi tarvitaan myös sellaisia menetelmiä, jotka soveltuvat käytettäväksi ilman tarkkaa motorista kontrollointia. Tässä tutkimuksessa lähestytään kolmiulotteisten käyttöliittymien hallintaa käyttämällä puhetta syötteiden antamiseen. Puhe on niin ilmaisuvoimainen kommunikointimenetelmä, että sen avulla on mahdollista hallita kolmiulotteisia käyttöliittymiä myös niissä tilanteissa, joissa käyttäjän kädet ovat kokonaan varattuina muihin tehtäviin. Ratkaisu mahdollistaa myös virtuaalimaailmojen käyttämisen sellaisille ihmisryhmille, jotka muutoin jäisivät näistä osattomiksi. Esimerkiksi motorisesti vammaiset ovat tällainen usein unohdettu käyttäjäryhmä. Keskeisenä ajatuksena on tutkia, millaisia menetelmiä tarvitaan siihen, että virtuaalimaailmaa pystytään hallitsemaan puheen avulla. Aihetta lähestytään kartoittamalla aikaisempia puhesovellusten ja kolmiulotteisten käyttöliittymien tutkimuksia. Näiden pohjalta esitetään malli puheohjauksen liittämiseksi virtuaalimaailmoihin ja tämän konkretisointi puheohjatun VRML 2.0 -selaimen muodossa sekä selaimelle suoritetut käyttäjätestit. Käyttäjätestien havaintojen pohjalta esitetään suunnitelma puheohjauksen kehittämiseksi ja jatkotutkimusten suorittamiseksi. Tutkimus muodostaa ensimmäisen vaiheen iteratiivisesta prosessista, jonka tarkoituksena on kehittää kolmiulotteisten maailmojen täysimittaiseen hallitsemiseen soveltuva puhekäyttöliittymä. Tutkimuksessa kiinnitetään erityistä huomiota virhetilanteisiin, sillä virheiden hallinta on ratkaiseva seikka puhesovellusten hyväksymiselle. Suurin osa virheistä aiheutuu teknologian kehittymättömyydestä. Puhekäyttöliittymien suunnittelu vaatiikin poik- Sivu 1

9 1 - JOHDANTO keuksellisen paljon tietoutta pohjana olevasta teknologiasta. Tämän vuoksi käsitellään lyhyesti keskeisimpiä puhetekniikoita käyttöliittymäsuunnittelun näkökulmasta. Pääpaino teoreettisessa tarkastelussa on kuitenkin puhesovellusten suunnittelussa ja kolmiulotteisten käyttöliittymien vuorovaikutusmenetelmissä. Kirjallisuudessa esitettyjä puhekäyttöliittymien suunnittelunäkökohtia tulkitaan reaaliaikaisten järjestelmien kannalta. Kolmiulotteisten käyttöliittymien vuorovaikutusmenetelmistä käsitellään erityisesti niitä, jotka ovat sovellettavissa puheohjaukseen. Puheen ohella voidaan syötteiden antamiseen käyttää myös muita menetelmiä, jotka eivät vaadi käsien käyttämistä. Tällöin on kysymys multimodaalisesta käyttöliittymästä. Multimodaalisuuden teemaa pidetään yllä koko tutkimuksen ajan, sillä jatkon kannalta on todennäköistä, että syötemodaliteettivalikoimaa laajennetaan. Tällä toivotaan parannettavan järjestelmän käytettävyyttä mm. vähentämällä virheitä. Käsiteltävien asioiden yhteydessä pyritään jo ennakkoon huomioimaan, kuinka multimodaalisuus olisi hyödynnettävissä eri tilanteissa. Puhetta voidaan käyttää syötteiden ohella myös tulosteisiin. Yhdessä nämä muodostavat keskustelupohjaisen järjestelmän, joka mahdollistaa luonnollisen kaltaisen ja monipuolisen vuorovaikutuksen ihmisen ja tietokoneen välille. Puhetulosteet ovat yksi mielenkiintoisimmista jatkokehityskohteista. Tämän vuoksi tässä tutkimuksessa lähestytään puhekäyttöliittymiä keskustelupohjaisen mallin mukaisesti. Tämä tutkimus liittyy läheisesti kolmiulotteisten käyttöliittymien tutkimukseen, mikä on tällä hetkellä erittäin aktiivisen tarkastelun kohteena. Muita läheisiä tutkimusalueita ovat puhekäyttöliittymät, näistä erityisesti reaaliaikaiset. Yhteyksiä on jatkokehityksen näkökulmasta myös vaihtoehtoisten kommunikointimenetelmien ja multimodaalisten käyttöliittymien tutkimukseen. Tutkimus aloitetaan selvittämällä puheteknologioita eli puheen digitaalista käsittelyä. Tätä tarkastellaan toisessa luvussa. Puhesovellusten suunnittelua käsitellään kolmannessa luvussa. Neljännessä luvussa tarkastellaan kolmiulotteisia käyttöliittymiä ja erityisesti niiden vuorovaikutusmenetelmiä. Viidennessä luvussa esitetään puheohjatun selaimen prototyyppi. Prototyypille suoritettuja käyttäjätestejä kuvataan kuudennessa luvussa ja niiden tuloksia sekä puheohjauksen kehittämistä seitsemännessä luvussa. Kahdeksannessa luvussa esitetään yhteenveto tutkimuksesta. Sivu 2

10 2 PUHEEN KÄSITTELY 2 PUHEEN KÄSITTELY Puheen käyttäminen ihmisen ja tietokoneen välisessä kommunikoinnissa perustuu muutamaan perustekniikkaan. Näiden tunteminen on ensiarvoisen tärkeää kaikille puhesovellusten tekijöille. Tämä pitää paikkansa varsinkin kehityskulun nykyisessä vaiheessa, kun teknologia ei ole vielä erityisen kehittynyttä. Puheen käyttöä lähestytään tässä tutkimuksessa keskustelupohjaisten järjestelmien näkökulmasta. Keskustelupohjainen lähestymistapa kattaa teknologiatasolla puheentunnistuksen, synteettisen puheen tuottamisen ja puheen merkityksen käsittelyn. Kustakin tekniikasta selvennetään niitä piirteitä, jotka vaikuttavat joko suoranaisesti tai välillisesti puheen hyödyntämiseen käyttöliittymäelementtinä. Pääpaino tässä luvussa on asetettu tutkimuksen kannalta keskeiselle menetelmälle, puheentunnistukselle. Ennen tekniikoihin syventymistä selvitetään lyhyesti puheenkäsittelyn pohjalla olevia seikkoja eli puheen rakennetta ja esittämistä. Puhetekniikoiden esittämisen ohella käsitellään puheentunnistusjärjestelmien keskeisimpiä ominaisuuksia ja evaluointia. Lopussa on yhteenveto käsitellyistä asioista. 2.1 Puheen rakenne Foneemi eli äänne on pienin merkityksellinen yksikkö sanoja muodostettaessa. Mikä tahansa kieleen kuuluva sana voidaan esittää jonona foneemeja, jotka vastaavat ihmisen puheentuotantojärjestelmän tilanmuutoksia. Eri kielissä on erilaiset foneemien joukot. Tyypillisesti kieleen kuuluu foneemia. Kuhunkin foneemiin liittyy allofoneja, jotka ovat erilaisia tapoja ääntää kyseinen foneemi [O Shaughnessy, 1987, 55-56]. Foneemien yhdistelmistä muodostuu tavuja, sanojen yksiköitä. Sanoista muodostuu lauseita ja näistä edelleen monimutkaisempia kokonaisuuksia. Tarkastelun helpottamiseksi on hyödyllistä käsitellä puhetta eri tasoilla. Schmandt [1994, 8-11] esittää mallin, jossa puhe jaetaan kahdeksalle tasolle (kuva 2-1). Schmandt huomauttaa, että malli on analyyttinen eikä pyrikään kattamaan kaikkia puheen ilmiöitä. Puheen käsittelyn kannalta malli on kuitenkin erittäin hyödyllinen, sillä se auttaa jäsentämään käsiteltäviä asioita puheen abstraktiusasteen mukaisesti. Sivu 3

11 2 PUHEEN KÄSITTELY Puheen ymmärtäminen Puheen käsittelyn perustekniikat Kuva 2-1: Puheen tasot (muokattu lähteestä [Schmandt, 1994, 9]). Alimman kokonaisuuden muodostavat akustinen taso, artikulatorinen taso sekä foneemitaso. Puhe esitetään näillä tasoilla äänimolekyylien liikkeenä ilmassa, äänijärjestelmän erilaisina tiloina sekä foneemeina. Jos tilannetta tarkastellaan puheen vastaanottajan kannalta, korvautuu artikulatorinen taso havaintotasolla, joka kuvaa äänisignaalin käsittelyä kuuloelimissä ja aivoissa. Leksikaalinen taso ja syntaksin taso muodostavat kokonaisuuden, jossa puhetta käsitellään sana- sekä lausetasolla. Leksikaalinen taso kuvaa kielen sanavaraston, sanojen muodostamissäännöt ja painotukset. Syntaksin tasolla tarkastellaan lauseiden rakennetta eli laillisia sanakombinaatioita. Puhetta käsitellään sen sisältämien merkitysten kannalta semanttisella, pragmaattisella sekä diskurssin tasolla. Nämä muodostavat yhdessä korkean tason kokonaisuuden. Semanttisella tasolla tarkastellaan sanojen merkityksiä. Tarkastelu voi kohdistua yksittäiseen sanaan tai useiden sanojen yhdistelmään. Pragmaattisella tasolla mielenkiinnon kohteena on puheen tarkoitus. Diskurssi käsittelee puhetapahtumaa siihen osallistuvien tahojen muodostamien puheenvuorojen kautta. Kun puheen käsittelyn tekniikoita tarkastellaan edellä esitetyn jäsennyksen pohjalta, voidaan tehdä karkea yleistys: perustekniikat työskentelevät alimman ja keskimmäisen kokonaisuuden tasoilla. Puheen ymmärtäminen puolestaan operoi pääasiassa korkeimman ja keskimmäisen kokonaisuuden tasoilla. Jakoa tulee pitää lähinnä viitteellisenä. Sivu 4

12 2 PUHEEN KÄSITTELY 2.2 Puheen esittäminen digitaalisesti Puhe esiintyy akustisella tasolla ilmanpaineen vaihteluina. Jotta tietokonepohjainen puheen käsittely olisi mahdollista, on puhe muunnettava digitaaliseksi. Digitaalisesti esitettyä puhetta voidaan käyttää sellaisenaan puhetulosteisiin. Digitaalinen puhe toimii myös pohjana muille puheteknologioille, kuten puheentunnistukselle. Puhetta käsitellään digitaalisesti tallentamalla alkuperäinen puhesignaali tai mallintamalla puheen tuottamismenetelmiä. Signaalin tallentaminen eli koodaus tapahtuu akustisella tasolla ja mallintaminen lähinnä artikulatorisella tasolla. Näillä täysin toisistaan poikkeavilla menetelmillä on omat etunsa ja haittansa. Puhesignaalin koodaamisessa on vaikeutena informaation tehokas esittäminen. Puheen mallinnuksen pääongelmana on puheen laatu [Trancoso, 1996]. Lopputuloksen kannalta on tärkeintä saavutettu puheen esityksen taso. Atal ja Jayant [1996] erottavat neljä kriteeriä, joiden avulla voidaan arvioida puhetta esittävien järjestelmien suorituskykyä. Heidän kriteerinsä ovat puheen laatu, esityksen tiiviys, kommunikointiin aiheutuva viive sekä menetelmän monimutkaisuus. Puheen laatua kuvataan viisiportaisella MOS-asteikolla (mean-opinion score). Laadun arviointi suoritetaan laajalla aineistolla, joka sisältää käyttäjien mielipiteitä siitä, onko puheen laatu ala-arvoista, huonoa, välttävää, hyvää vai erinomaista. Esityksen tiiviyttä ilmaistaan luvulla, joka kertoo kuinka monta bittiä tarvitaan kuvaamaan yhtä sekuntia puhetta. Hyväksyttävät kommunikointiviiveet esitetään millisekunneissa ja algoritmien monimutkaisuutta kuvataan laskentateho- sekä muistivaatimuksilla. Käyttöliittymäsuunnittelijan tulisi aina suorittaa tekniikan evaluointi esimerkiksi edellä esitettyjen kriteerien mukaisesti. Erityisen tärkeää tämä on puhetulosteissa, sillä huonolaatuinen tai pitkiä kommunikointiviiveitä aiheuttava puhetuloste voi olla merkittävä käyttöliittymäongelma. Myös puheentunnistuksessa on puheen digitaalisen esityksen laadulla merkitystä. Aina tulisi varmistaa, että puheentunnistusjärjestelmä ja sille syötteenä annettava puhe soveltuvat yhteen. 2.3 Puheentunnistus Makhoul ja Schwartz [1994] määrittelevät automaattisen puheentunnistuksen (ASR, Automatic Speech Recognition) prosessiksi, jossa jatkuva puhesignaali kuvataan jou- Sivu 5

13 2 PUHEEN KÄSITTELY koksi diskreettejä elementtejä. Nämä elementit voivat olla äänteitä, sanoja tai lauseita. Puheentunnistuksen päämääränä voidaan yleensä pitää tekstimuotoisen lauseen muodostamista syötteenä saadusta analogisesta puhesignaalista. Tässä kohdassa esitetään puheentunnistuksen periaate pääpiirteissään sekä käydään läpi merkittävimpiä prosessia haittaavia ongelmia Puheentunnistuksen periaate Puheentunnistus perustuu kontekstisidonnaisten äänteiden eli allofonien etsimiseen puhesignaalista. Kun puhesignaali kuvataan äänteiksi, käytetään prosessissa välimuotona signaalin ominaisuuksista muodostettuja malleja. Makhoul ja Schwartz [1994] toteavat, että tunnistus on periaatteessa mahdollista suoraan signaalistakin. Puhesignaali sisältää kuitenkin suuria vaihteluita, minkä vuoksi se on hyödyllistä normalisoida ja muodostaa malli ainoastaan tärkeimmistä ominaisuuksista. Kuvassa 2-2 esitetyssä puheentunnistuksen yleistetyssä mallissa on kolme perusprosessia, puhesignaalin digitalisointi, signaalin ominaisuuksien analysointi sekä signaalin ominaisuuksien vertailu ja ratkaisun hakeminen. Vertailussa ja etsinnässä käytetään hyväksi malleja kielen ominaisuuksista ja puheen yksiköistä. Analogisen signaalin muuntaminen digitaaliseksi suoritetaan useimmiten jo käyttöjärjestelmän tasolla. Rakenteiset mallit Muunnos analogisesta digitaaliseksi Analoginen puhesignaali Digitaalinen puhesignaali Signaalin ominaisuuksien analysointi Signaalin ominaisuudet Vertailu ja ratkaisun etsintä Tekstituloste Ominaisuuksien mallit Kuva 2-2: Yleinen puheentunnistusjärjestelmän rakenne. Digitalisoidun signaalin käsittely tapahtuu tyypillisesti 10 tai 20 millisekunnin jaksoissa. Ensimmäinen vaihe jakson käsittelyssä on sen ominaisuuksien erittely. Signaalista erotetaan foneettisen tunnistamisen kannalta tärkeät osat. Erottelussa pyritään karsimaan puhujasta johtuvat vaihtelut, kommunikaatiokanavan häiriöt sekä tunneti- Sivu 6

14 2 PUHEEN KÄSITTELY lan yms. vaikutukset. Jakson keskeisistä piirteistä muodostetaan ominaisuusvektori, jossa on tyypillisesti tärkeimmäksi katsottua piirrettä [Hunt, 1996]. Ominaisuusvektoreiden perusteella etsitään signaalin todennäköisintä vastaavuutta sanatasolla. Ratkaisun muodostamisessa käytetään hyväksi tietoutta kielen ja puheen rakenteista sekä järjestelmän opetusvaiheessa saatuja äänteiden malleja. Makhoul ja Schwartz [1994] painottavat rakenteisten mallien osuutta. Heidän mukaansa näihin sisältyy huomattava osa siitä tiedosta, mikä meillä on kielen rakenteesta ja puheen tuottamisesta sekä havainnoinnista. Käytetyin menetelmä äänteiden mallintamiseen on 1970-luvulla puheentunnistukseen sovellettu HMM (hidden Markov models). Tämä malli pohjautuu todennäköisyyksiin, minkä ansiosta sen tärkeimpiä ominaisuuksia ovat opetusvaiheessa tapahtuva automaattinen mallien muodostaminen sekä joustavuus signaalin variaatioiden käsittelyssä. De Morin ja Brugnaran [1996] mukaan HMM tarjoaa tarpeeksi vahvan pohjan puheen variaatioiden käsittelyyn ja on samalla tarpeeksi joustava laajojen järjestelmien toteuttamiseen Puheentunnistuksen ongelmia Puheentunnistusta haittaa joukko ongelmia, joiden seurauksena tunnistusprosessi voi epäonnistua. Suurimpana esteenä virheettömälle puheentunnistukselle pidetään puhesignaalissa esiintyviä vaihteluita. Zue, Cole ja Ward [1996] esittävät signaalin variaatioille kolme päälähdettä: lingvistiset vaihtelut, akustiset vaihtelut sekä henkilöihin liittyvät vaihtelut. Lingvistinen vaihtelu käsittää fonetiikkaan, syntaksiin, semantiikkaan ja puheen diskurssiin liittyviä tekijöitä. Erityisenä ongelma pidetään äänteiden kontekstisidonnaista luonnetta. Akustiset vaihtelut voivat aiheutua joko kommunikointiväylästä tai ympäristötekijöistä. Henkilöihin liittyvät vaihtelut voivat olla puhujan sisäisiä tai erilaisiin puhujiin liittyviä. Puhujan sisäiset vaihtelut liittyvät artikulaatioon, tunnetilaan ja puhenopeuteen. Puhujien välisiin eroihin liittyvät akustiset vaihtelut johtuvat mm. sosiaalisesta taustasta ja puheenmuodostamiseen liittyvistä fyysisistä tekijöistä. Luonnollinen puhe on usein jatkuvaa ja spontaania. Se sisältää Cohenin ja Oviattin [1994] mukaan mm. epäröintiä, vääriä aloituksia, korjauksia, katkoja sekä muita kieli- Sivu 7

15 2 PUHEEN KÄSITTELY oppiin kuulumattomia ominaisuuksia. Heidän mukaansa nämä seikat tulisi havaita ja korjata puheesta ennen jatkotoimenpiteitä. On kuitenkin syytä huomata, että näitä elementtejä voidaan hyödyntää puheen ymmärtämisessä diskurssitasolla [Price, 1996]. 2.4 Puheentunnistusjärjestelmien ominaisuuksia Puheentunnistus on vielä melko puutteellista. Kaikkiin tilanteisiin soveltuvaa järjestelmää ei ole onnistuttu kehittämään. Tämän vuoksi tarkoitukseen soveltuvan järjestelmän valitseminen muodostaa tärkeän osan puhesovellusten suunnittelua. Käyttöliittymäsuunnittelun kannalta pohjalla olevan teknologian ominaisuuksien tunteminen onkin ensiarvoista, sillä sen katsotaan hallitsevan sovelluksien suunnittelua [Mane et al., 1996]. Olen koonnut taulukkoon 2-1 keskeisimpinä pitämiäni puheentunnistusjärjestelmien ominaisuuksia. Oikeanpuolimmaisessa sarakkeessa ovat vaikeimmin toteutettavat, mutta käytettävyyden kannalta tärkeimmät seikat. Esitystä ei pidä tulkita kategorioivana, vaan lähinnä pyrkimyksenä luonnehtia järjestelmien pääpiirteitä. Sanasto ja kieli Sanaston koko suppea keskikokoinen laaja Kielioppi fraasit sanaverkko säännöt Laajennettavuus kiinteä dynaaminen Puheen luonne Puhuja riippuva mukautuva riippumaton Tyyli sana kerrallaan havaitseminen jatkuva Olosuhteet Ympäristö optimaalinen häiriötekijöitä Kanava erinomainen huonolaatuinen Taulukko 2-1: Puheentunnistusjärjestelmien keskeiset ominaisuudet Sanasto ja kieli Eräs järjestelmien tärkeimmistä ominaisuuksista on sanavaraston laajuus. Schmandt [1994, 140] luokittelee järjestelmät tämän piirteen mukaan kolmeen ryhmään sen mukaan, onko sanavarasto suppea (alle 200), keskikokoinen ( ) vai laaja (yli 5000). Tämän esimerkkiluokittelun lisäksi voidaan muodostaa muitakin luokitteluja. Suppea sanavarasto soveltuu parhaiten komentoluonteiseen puheeseen. Keskikokoi- Sivu 8

16 2 PUHEEN KÄSITTELY sella sanavarastolla voidaan jo toteuttaa useimmat keskustelupohjaiset ratkaisut. Laajaa sanavarastoa hyödynnetään toistaiseksi lähinnä sanelukäytössä. Sanavaraston koon lisäksi myös käytössä oleva kielioppi on tärkeä järjestelmän käyttöön vaikuttava seikka. Kielioppi vaikuttaa suuresti myös järjestelmän tunnistuskykykyyn. Ilman mitään kielioppisääntöjä kaikki sanojen yhdistelmät ovat yhtä todennäköisiä. Tämä lähestymistapa ei ole missään nimessä sen paremmin luonnollinen kuin tehokaskaan. Yksinkertaisimmillaan järjestelmän kielioppi koostuu joukosta ennalta kiinnitettyjä fraaseja, joissa ei sallita minkäänlaisia variaatioita. Tämä lähestymistapa soveltuu lähinnä komentopohjaisiin sovelluksiin. Useimmiten kielioppi on kuitenkin joustavampi. Se voidaan esittää sanaverkkona, luonnollisen kielen sääntöinä tai tilastollisesti sanojen esiintymistodennäköisyyksinä. Kieliopissa on myös mahdollista hyödyntää sovellusalueen alakohtaisia erikoispiirteitä. Laajennettavuus on kolmas tärkeä seikka, joka liittyy puheentunnistusjärjestelmien sanavarastoon. Laajennettavan sanavaraston avulla voidaan järjestelmä muokata vastaamaan käyttäjien tarpeita. Puheohjatun selaimen käytettävyystestien pohjalta on syytä olettaa, että ongelmallisten komentojen vaihtaminen eli henkilökohtaisen sanaston luominen voisi vähentää tunnistusvirheitä merkittävästi Puheen luonne Käyttäjien kannalta tärkein seikka lienee se, onko järjestelmä puhujasta riippumaton vai ei. Puhujasta riippuvaisessa järjestelmässä vaaditaan jonkin asteinen sisäänkirjoittautuminen, mikä tarkoittaa käytännössä joukkoa käyttäjän lausumia, ennalta määritettyjä sanoja tai lauseita. Puhujasta riippumaton järjestelmä on ainakin periaatteessa heti käytettävissä. Jako puhujasta riippuvaisiin ja riippumattomiin järjestelmiin ei ole tiukka. Selkeimpänä välimuotona voidaan erottaa puhujaan sopeutuvat järjestelmät. Näissä järjestelmä sopeuttaa toimintaansa käyttäjän puhetapaan. Tällöin järjestelmän suorituskyky voi parantua huomattavastikin oppimisen myötä. Edellä mainittujen kolmen päätyypin lisäksi käytännön järjestelmissä esiintyy erilaisia hybridiratkaisuja. Järjestelmä voi esimerkiksi olla puhujasta riippumaton, mutta tar- Sivu 9

17 2 PUHEEN KÄSITTELY jota paremman suorituskyvyn, mikäli käyttäjä harjoittaa sen omaan puheeseensa. Huomionarvoinen piirre on myös vaadittavan opetus- tai sopeutumisajan kesto; parhaimmillaan järjestelmä tarvitsee ainoastaan muutaman minuutin opetukseen, kun taas toisessa ääripäässä vaihe voi kestää useita tunteja. Olemme tottuneet sujuvaan, jatkuvaan puheeseen, jossa ei ole taukoja sanojen välissä. Puheentunnistusjärjestelmän on kuitenkin huomattavasti helpompi ymmärtää puhettamme, mikäli sanojen välissä on selkeät tauot. Useimmat laajan sanavaraston ja joustavan kieliopin omaavat järjestelmät pystyvätkin erottamaan ainoastaan selkeästi toisistaan erillisinä lausutut sanat. Jatkuvaa puhetta ja erillisiä sanoja tunnistavien järjestelmien lisäksi on olemassa yksittäisiä sanoja lauseista havaitsevia järjestelmiä. Sanojen havaitseminen (wordspotting) on mielenkiintoinen tekniikka, sillä se mahdollistaa luonnollisen kaltaisen puhesyötteen, mutta ei vaadi varsinaista luonnollisen kielen ymmärtämistä. Tämä tekniikka olisi ollut ihanteellinen ratkaisu puheohjatun selaimen toteutukseen, mutta valitettavasti sanojen havaitsemista tukevat järjestelmät eivät ole vielä yleisiä Olosuhteet Puheentunnistusjärjestelmiä on kritisoitu paljon siitä, etteivät ne useinkaan toimi hyvin muissa kuin optimaalisissa olosuhteissa. Tunnistukseen joskus dramaattisestikin vaikuttavia olosuhdetekijöitä ovat mm. ympäristötekijät (taustamelu, huoneen akustiikka jne.) sekä kommunikointikanava (mikrofoni, puhelinverkko). Osaan näistä tekijöistä voidaan vaikuttaa esim. vaihtamalla mikrofoni parempaan, toisiin taas on useimmiten mahdotonta puuttua. Uskon, että ongelmallisissa olosuhteissa toimivien järjestelmien tarve kasvaa entisestään julkisten ja hajautettujen sovellusten yleistyessä Muita seikkoja Sanaston ulkopuoliset sanat ovat kiusallinen ongelma, mikäli niitä ei pystytä erottamaan. Selainta testattaessa tuli eteen tilanteita, joissa käyttäjä antoi järjestelmälle tuntemattoman komennon. Järjestelmä ei tunnistanut komentoja virheellisiksi, vaan antoi niille niin hyvän tunnistustodennäköisyyden, että komennot otettiin huomioon, luonnollisesti jossain muussa merkityksessä kuin miksi käyttäjä oli ne tarkoittanut. Sivu 10

18 2 PUHEEN KÄSITTELY Olisi ehdottoman tärkeää, että järjestelmä pystyisi ehkäisemään edellä kuvatun kaltaiset tilanteet. Makhoul ja Schwartz [1994] ehdottavat ratkaisuksi ulkopuolisten sanojen lisäämistä sanavarastoon. Tämä ratkaisu tietysti edellyttää sanojen havaitsemista ja tunnistamista sekä järjestelmän valmiutta dynaamiseen sanavarastoon ja kielioppiin. Valitettavasti ulkopuolisten sanojen tunnistaminen on jo sinällään ongelmallista. Myös järjestelmän sovelluskohteen luonteesta johtuvat kriteerit saattavat olla merkittäviä. Eräs tällainen asia on järjestelmän tunnistusyksikkö eli taso, jolla järjestelmä antaa tulosteensa. Useimpiin tilanteisiin riittää sanataso, mutta on olemassa myös sovelluksia, jotka vaativat tulosten äännetasoista erittelyä. Sovellusten kehitystyön kannalta taas on tärkeää ohjelmointirajapinta. 2.5 Puheentunnistusjärjestelmien evaluointi Ominaisuuksien tuntemisen lisäksi sovelluskehittäjän on syytä olla perillä puheentunnistusjärjestelmän suorituskyvystä. Suorituskyvyn mittaamisessa on kaksi osatekijää, tehtävän ja teknologian evaluointi [Furui, 1994]. Teknisestä perspektiivistä katsottuna suorituskyky määräytyy pitkälti järjestelmän kyvystä tunnistaa sanat oikein. Virheettömyyttä mitataan vertaamalla väärin tulkittujen, pois jääneiden ja lisättyjen sanojen suhdetta alkuperäiseen viestiin. Näin saadaan virhetason määritelmä: Virhetaso = Muuttuneet + Poistetut + Lisätyt Alkuperäisen viestin sanat 100 Virhetason rinnakkaisarvo eli oikein tunnistettujen sanojen osuus on vastaavasti määriteltynä tunnistustaso. Virhetasojen vertaaminen ei ole mielekästä voimakkaasti toisistaan poikkeavien järjestelmien kesken. Järjestelmien suorittamien tunnistustehtävien vaikeutta kuvataan kielen kompleksisuudella (perplexity). Kielen kompleksisuutta voidaan arvioida yksinkertaistetusti sanaston koon ja peräkkäisten sanojen esiintymistodennäköisyyksien pohjalta. Paras tapa selvittää kahden tehtävän välistä kompleksisuutta on mitata niitä puheentunnistusjärjestelmien tuottamilla virheillä [Roukos, 1996]. Käytännön järjestelmien virhetasot vaihtelevat hyvin paljon tehtävien mukaan. Alhaisimmat virhetasot saavutetaan yksinkertaisissa tehtävissä, kuten numeroiden tunnistuksessa. Tällöin päästään jopa 0.3%:n virhetasolle. Kompleksisissa tehtävissä, kuten Sivu 11

19 2 PUHEEN KÄSITTELY spontaaneissa puhelinkeskusteluissa virhetaso on 50%:n luokkaa [Zue et al., 1996]. Kielen monimutkaisuus vähenee mitä kauemmaksi normaalista puhekielestä tullaan; kaikkein pienimmillään se on suppeilla erikoisaloilla. Usein esitetäänkin alakohtaisia kielen malleja osaratkaisuksi tunnistuksen ongelmiin. Virhetasoja tulkittaessa tulee aina ottaa huomioon tehtävän vaatimukset. Toisiin tehtäviin 10%:n virhetaso on aivan riittävä; toisissa käyttökelpoisuus saavutetaan vasta alle 1%:n luokkaa olevalla virhetasolla. On myös muistettava, ettei tehokkuus yksinään ole ratkaiseva tekijä: esimerkiksi synteettinen puhe voi olla hyvinkin ymmärrettävää, mutta useat ihmiset eivät halua sitä käyttää, koska he eivät pidä sitä miellyttävänä. Nykyisellä kehitystasolla voidaan puheentunnistusta soveltaa useille aloille ilman raskaita erityisvaatimuksia. Visiot luonnollista puhetta virheettömästi tunnistavista järjestelmistä ovat kuitenkin vielä kaukana nykytodellisuudesta. Olosuhdetekijät ovat erityisen merkityksellisiä: puheohjatun selaimen käyttäjätestien tulokset osoittivat, että kehitystyön kokemusten perusteella arvioitu 5%:n virhetaso oli testiolosuhteissa lähes 15%:a. Näin suuri ero on vuorovaikutukseen dramaattisesti vaikuttava tekijä. Järjestelmien evaluointiin voidaan käyttää muitakin kriteereitä kuin virhetasoa. Puheohjatun selaimen tapauksessa kiinnosti tunnistamisen nopeus, mikä on reaaliaikaisissa sovelluksissa erittäin tärkeä käytettävyyteen vaikuttava seikka. Vasteajan merkitys korostuu etenkin silloin, kun riittävää palautetta ei ole saatavilla (esim. puhelinlinjan välityksellä tapahtuva kommunikointi). 2.6 Puheen syntetisointi Puheen käsitteleminen signaalimuotoisena ei ole aina mielekästä. Ongelmia muodostavat mm. signaalin suuri tilantarve ja kielen rikkaudesta aiheutuva tarvittavien sanojen paljous. Synteettisen puheen vahvoja puolia ovatkin juuri taloudellisuus ja joustavuus. Pieni tilantarve mahdollistaa laajat keskustelupohjaiset järjestelmät. Joustavuus taas tekee synteettisesta puheesta vahvan käyttöliittymäelementin, etenkin näkörajoitteisille [Raman, 1997]. Puheen syntetisoinnin päämääränä pidetään syötteenä saadun tekstin muuntamista puhesignaaliksi. Vaikka syöte voidaan antaa muussakin muodossa kuin merkkijonona Sivu 12

20 2 PUHEEN KÄSITTELY [Liberman, 1994], tarkastellaan tässä syntetisointia nimenomaan puheen tuottamisena merkkijonosyötteestä. Tekstin muuntaminen syntetisoiduksi puheeksi koostuu kahdesta päävaiheesta. Ensimmäiseksi annettu merkkijono muunnetaan puheen perusyksiköiksi, äänteiksi. Toisessa vaiheessa äänteistä muodostetaan digitaalinen puhesignaali. Ensimmäinen vaihe syötteen käsittelyssä on sen muuntaminen joukoksi peräkkäisiä sanoja. Sanoista muodostuva teksti normalisoidaan ennen jatkokäsittelyä. Normalisoinnissa tekstissä esiintyvät symbolit ja lyhenteet korvataan kontekstiin sopivilla ilmaisuilla. Tähän käytetään sääntöjä tai tilastollisia menetelmiä. Normalisoidun tekstin sanat muunnetaan äänteiksi käyttämällä hyväksi sekä leksikaalisia sääntöjä että sanastoa. Vaikka sanasto voikin kattaa yli 99% kaikista sanoista, tarvitaan molempia menetelmiä hyvään lopputulokseen pääsemiseksi [Allen, 1994]. Suora sanojen muuntaminen äänteiksi ei ole vielä riittävä keino ymmärrettävän ja luonnollisen puheen tuottamiseksi. Äänteisiin vaikuttaa useita tekijöitä, joista tärkeimpiä ovat tavujen painotus, koartikulaatio sekä erilaiset prosodiset tekijät [Schmandt, 1994, 87]. Koartikulaatio tarkoittaa äänteiden riippuvuutta edeltävistä ja seuraavista äänteistä. Prosodisia tekijöitä ovat mm. äänteiden, sanojen ja tavujen keston sekä painotuksen kontrollointi. Ongelmallista varsinkin prosodian kohdalla on se, että vaikuttavat tekijät voivat esiintyä aina diskurssitasolla asti [Allen, 1994]. Äänteistä muodostetaan puhesignaali joko mallintamalla ihmisen äänentuotantomekanismia tai puhesignaalin akustisia ominaisuuksia. Näiden kahden täysin synteettisen menetelmän lisäksi voidaan myös yhdistellä luonnollisen puheen osia [d Alessandro & Liénard, 1996]. Kiinnostavimpana menetelmänä pidetään äänentuotantoa jäljittelevää mallia. Siihen liittyy kuitenkin joukko sekä teoreettisia että käytännöllisiä ongelmia, joita Carlsonin [1994] mukaan voidaan lähestyä mm. hermoverkoilla. Toistaiseksi kuitenkin suurin osa puheen syntetisoinnista tapahtuu joko jäljittelemällä puhesignaalin akustisia ominaisuuksia tai yhdistelemällä äänitietokannan elementtejä. Syntetisoidun puheen laatua arvioidaan kahdella kriteerillä: ymmärrettävyydellä ja luonnollisuudella. Nykyisin synteettistä puhetta pidetään yleisesti hyvin ymmärrettävänä. Luonnollisuuden kanssa on sen sijaan vielä paljon tehtävää. Tämä muodostaakin ongelman, sillä nimenomaan luonnollisuutta pidetään yhtenä vahvimmista puheen käyttöä puoltavista ominaisuuksista. Sivu 13

21 2 PUHEEN KÄSITTELY 2.7 Puheen merkityksen käsittely Perusteknologiat käsittelevät puhetta akustiselta tasolta aina syntaksin tasolle asti. Jotta voimme rakentaa kehittyneitä järjestelmiä, tarvitsemme menetelmiä myös korkeampien tasojen eli puheen merkityssisältöjen käsittelyyn. Useimmiten nämä menetelmät perustuvat luonnollisen kielen käsittelyyn. Luonnollisen kielen käsittelyn menetelmiä voidaan hyödyntää sekä puheen tunnistuksen että puheen tuottamisen osana. Puheen ymmärtämisessä on kysymys merkityksen etsimisestä syötteenä saadulle puheelle. Puheen tuottamisessa taas on kysymys luonnollisten lauseiden tuottamisesta annetun sisällön pohjalta. Tärkeintä molemmissa tapauksissa on puheen olennaisen sisällön ymmärtäminen ja tämän yhteys luonnolliseen kieleen. Puhutun kielen ymmärtäminen sisältää kaksi komponenttia, puheen tunnistamisen ja luonnollisen kielen käsittelyn. Integroimalla nämä komponentit voidaan parantaa molempien lopputulosta. Luonnollisen kielen käsittely voi avustaa tunnistusprosessia tarjoamalla merkityksen tunnistettaville sanoille [Hirschman, 1994]. Puheentunnistus voi puolestaan helpottaa prosodisen informaation kautta kielen käsittelyä [Price, 1996]. Yksinkertaisin tapa prosessoida puhuttua kieltä on välittää puheentunnistuskomponentin lopputulos luonnollista kieltä käsittelevälle komponentille jatkotoimenpiteitä varten. Tämä naiivi lähestymistapa kärsii kuitenkin puutteista, joita aiheuttavat mm. puheen eroaminen merkittävästi kirjoitetusta tekstistä, puheentunnistusjärjestelmien rajoitukset sekä tunnistuksessa häviävä informaatio [Moore, 1994]. Käytetyin menetelmä puheentunnistuksen ja luonnollisen kielen käsittelyn yhdistämiseksi lienee erilaiset N-Best liittymän variaatiot. Tässä menetelmässä puheentunnistusjärjestelmä välittää halutun määrän parhaiksi toteamiaan hypoteeseja järjestelmän luonnollista kieltä käsittelevälle osalle. Hypoteesit arvotetaan ja esitetään tämän mukaisessa järjestyksessä. Tiukempaan integrointiin on kehitetty sanaverkkoihin perustuvia jäsentäjiä, dynaamisia kielioppiverkkoja sekä kehittyneitä N-Best-muunnelmia [Moore, 1994]. Näissä menetelmissä osien vuorovaikutus on kaksisuuntaista. Keskustelupohjaiseen käyttöliittymään kuuluu olennaisena osana tietokoneen antamat vastaukset tuottava komponentti. Sen tehtäviin kuuluu päättää milloin tarvitaan tulosteita ja lisäkysymyksiä, tuottaa sisältö käsiteltävän tietosisällön, kontekstin ja dialogin Sivu 14

22 2 PUHEEN KÄSITTELY tilan pohjalta, muotoilla näistä selkeä lauserakenne sekä koordinoida keskustelun kulkua suhteessa muihin tulosteisiin [Price, 1996]. Sovellustasolla on kuitenkin vaikea erottaa luonnollista kieltä käsittelevän komponentin osuus sovelluksen muiden komponenttien osuudesta [Bates, 1994]. 2.8 Lopuksi Puheen käsittelyyn liittyvät tekniikat ovat laajan kehitystyön kohteena. Edistystä tapahtuu sekä kehittämällä edelleen toimivaksi osoittautuneita ratkaisuja että tutkimalla kokonaan uusia ratkaisuja ja apumenetelmiä. Puheen käsittelyn eri osa-alueet eivät ole myöskään erillisiä vaan omaavat yhteisiä menetelmiä ja voivat näin hyötyä myös toistensa edistysaskeleista. Useimmat puheen käsittelyyn liittyvät menetelmät ovat perusluonteeltaan ilmiöitä aproksimoivia; esimerkiksi puheentunnistuksen tulisi ihanteellisesti pohjautua kuulemisen mallintamiseen. Tietomme näistä ilmiöistä ei kuitenkaan ole läheskään riittävällä tasolla. Tämän vuoksi tarvitaan erilaisia vaihtoehtoisia menetelmiä, joiden parhaita puolia yhdistelemällä voidaan saavuttaa useimpiin tarkoituksiin käyttökelpoinen taso. Eräs mahdollisuus on visuaalisen informaation käyttäminen tunnistuksen tukena. Visuaalista informaatiota voidaan hyödyntää mm. hahmontunnistuksen, katseen seurannan ja huulten asentojen kautta. Puhesovellusten suunnittelu ja toteuttaminen on prosessi, joka nojaa poikkeuksellisen paljon teknologisiin lähtökohtiin. Ellei teknisiä mahdollisuuksia tunneta ja osata käyttää hyväksi, on vaarana epäsoveltuvien ratkaisujen käyttäminen ja mahdollisuuksien hukkaaminen. Tämä toimii myös toisin päin: teknologian rajoituksia on mahdollista kompensoida onnistuneilla käyttöliittymäratkaisuilla. Tämä asettaakin puhesovellusten suunnittelijat vaativaan rooliin. Sivu 15

23 3 PUHESOVELLUSTEN SUUNNITTELU 3 PUHESOVELLUSTEN SUUNNITTELU JA EVALUOINTI Puheen käyttämisellä uskotaan olevan dramaattinen vaikutus ihmisen ja tietokoneen välisen kommunikoinnin laatuun. Uskotaan myös, että puhe mahdollistaa tietokoneiden käytön entistä useammille ihmisille. Kuitenkin puheen käyttäminen ihmisen ja tietokoneen välisessä viestinnässä on melko vähäistä. Osaltaan tähän vaikuttaa se, ettei puheen soveltamisen menetelmiä tunneta vielä riittävästi. Kehittyneiden puhesovellusten tuottamiseksi tarvitaan paitsi edistyksiä teknologiassa myös lisätietoutta puheen sovellusmahdollisuuksista. Tässä luvussa esittelen puheen käyttöä käyttöliittymäsuunnittelun näkökulmasta. Ensimmäiseksi käsitellään puhetta käyttöliittymäelementtinä. Seuraavassa kohdassa tarkastellaan puhetta osana multimodaalisia käyttöliittymiä. Puheen merkittävimpiä ominaisuuksia ja keskeisimpiä käytössä huomioonotettavia seikkoja esitellään tämän jälkeen. Loppuosa luvusta keskittyy puhesovellusten suunnitteluun, evaluointiin sekä empiirisiin tutkimuksiin. Lopuksi esitän joitakin kommentteja puhesovellusten suunnittelusta. 3.1 Puhe käyttöliittymäelementtinä Puhetta voidaan hyödyntää käyttöliittymäelementtinä monin tavoin ja useissa eri yhteyksissä. Puhesovelluksien toteutuksen kannalta on tärkeää valita näkökulma heti suunnittelun alkuvaiheessa. Suunnittelun kannalta tärkeitä seikkoja ovat puheen aseman, ymmärtämisen tason ja kommunikaation suunnan määrittäminen. On myös hyödyllistä tuntea puheen erot graafiseen suorakäyttöliittymään Puheen asema käyttöliittymässä Kun puhe on pääasiallisin syötteiden antamistapa, käytetään usein termiä puhekäyttöliittymä (SUI). On syytä huomata, ettei pääasiallinen puheen käyttö kuitenkaan sulje pois muiden syötekanavien mahdollisuutta. Kun puhetta käytetään syötteiden antamiseen tasavertaisesti yhdessä muiden kommunikointimenetelmien kanssa, on kyse multimodaalisesta käyttöliittymästä. Auditiivinen käyttöliittymä (AUI) ei käytä perinteistä näyttöä vaan hoitaa tulosteet syntetisoidun puheen kautta. Multimediakäyttöliittymässä puhetta käytetään yhtenä mahdollisena tulostemuotona tehostamaan kommunikointia ja luomaan viihtyvyyttä. Sivu 16

24 3 PUHESOVELLUSTEN SUUNNITTELU Käyttöliittymä voi olla myös täysin puheeseen pohjautuva, jolloin sekä kaikki tulosteet että syötteet hoidetaan puhetta käyttäen. Tässä tutkimuksessa asioita käsitellään lähinnä puhekäyttöliittymän näkökulmasta, sillä puheohjattu selain kuuluu tähän ryhmään. Jatkokehityksen myötä on tarkoituksena laajentaa syöte- ja tulostevalikoimaa myös multimodaalisuuden ja multimedian suuntaan. Tämän vuoksi asioita käsitellään hieman laajemmin kuin mitä pelkkä puhekäyttöliittymän näkökulma vaatisi Puheen ymmärtämisen taso Cohen ja Oviatt [1994] käsittelevät puheentunnistuksen sovelluksia sen mukaan, halutaanko tunnistus suorittaa tekstin tasolla vai onko päämääränä puheen tarkoituksen ymmärtäminen. Samaa erottelua voidaan mielestäni käyttää myös puhetta tulosteena käyttäviin sovelluksiin. Puheen tarkoituksen ymmärtäminen liitetään usein luonnollisen kielen ymmärtämiseen, jota käsiteltiin kohdassa 2.7. Puheen tarkoituksen ymmärtäminen ei kuitenkaan vaadi kaiken sanotun ymmärtämistä, sillä tärkeintä on saada selville se, mihin puheella pyritään. Puheen tarkoituksen ymmärtäminen liittyykin läheisesti käyttäjän suorittaman tehtävän tavoitteen ymmärtämiseen. Tehtävän tavoite voi olla hyvinkin selkeästi esitetty jo käyttöliittymän rakenteessa (esim. lomakkeen täyttö). Usein tehtävän tavoite on kuitenkin vaikeammin pääteltävissä. Puheohjatun selaimen kehittämisessä voidaan puheen ymmärtämistä hyödyntää erityisesti virhetilanteiden hallinnassa. Käyttäjätesteissä havaittiin, että kontekstitietous mahdollistaa yksinkertaisen puheen ymmärtämisen, jos käytettävissä on N-Best sanalista (ks. kohta 2.7). Tällöin on mahdollista vähentää virheitä arvioimalla puheentunnistusjärjestelmän hypoteesien mielekkyyttä tehtävän näkökulmasta. Tämä ratkaisu ei edellytä lainkaan varsinaista luonnollisen kielen käsittelyä, mutta mahdollistaa irrottautumisen pelkästä tekstitason tunnistuksesta Kommunikaation suunta Käyttöliittymän luonnetta määrää paljon kommunikaation suunta. Kommunikaatio voi olla yksisuuntaista, käyttäjältä järjestelmälle tai järjestelmältä käyttäjälle. Se voi olla myös keskustelupohjaista eli käyttäjän ja järjestelmän välistä dialogia. Perinteinen Sivu 17

25 3 PUHESOVELLUSTEN SUUNNITTELU suorakäyttöinen liittymähän on melko yksisuuntainen aloitteen tekemisen ollessa pääosin käyttäjällä. Osa puheeseen perustuvista käyttöliittymistä sen sijaan pitää vuoropuhelun ohjauksen tiukasti itsellään. Järjestelmän kommunikatiivinen luonne määrää pitkälti, millainen suunnittelu soveltuu parhaiten tilanteeseen. Jos aloitteen tekeminen on pääosin järjestelmän hallussa (esim. henkilötietojen kysely puhelimen välityksellä), keskustelun kulkua voidaan mallintaa esim. äärellisellä automaatilla. Komentopohjaisissa sovelluksissa taas valitaan usein helpoin mahdollinen vaihtoehto eli tarjotaan käyttäjälle jatkuvasti kaikki mahdolliset komennot käytettäväksi. Puhesovelluksissa tämä ei ole kovin hedelmällinen lähestymistapa: käyttämällä kontekstisidonnaista kielioppia ja sanavarastoa pystytään vaikuttamaan esim. tunnistuksen virhetasoihin merkittävästi. Puheohjatun selaimen tapaisiin reaaliaikaisiin järjestelmiin soveltuu parhaiten käyttäjän aloitteeseen pohjautuva kommunikointimalli. Tämä ei kuitenkaan tarkoita, että kommunikaation tulisi olla täysin yksisuuntaista. Järjestelmä voi tehdä aloitteen mm. virhetilanteiden yhteydessä. Tämän tulee kuitenkin olla tarkoin harkittua, sillä vaarana on reaaliaikaisuuden väheneminen. Keskustelupohjainen malli onkin mielenkiintoinen, mutta vaikeasti hyödynnettävä lähestymistapa Puheen ja graafisen suorakäyttöliittymän eroista Puhetta hyödyntävä käyttöliittymä eroaa huomattavasti totutusta: esimerkiksi käyttäjän toimintojen havaitseminen on puheentunnistuksessa erittäin virhealtis tapahtuma, kun taas perinteisen käyttöliittymän näkökulmasta se on hyvin triviaali seikka [Bradford, 1995]. Tämän perustavanlaatuisen seikan lisäksi puheella on monia muitakin eroja suhteessa perinteisiin käyttöliittymiin. Cohen ja Oviatt [1994] analysoivat suorakäyttöisyyden ja luonnollisen kielen vahvuuksia ja heikkouksia. He havaitsivat suorakäyttöisyyden edullisemmaksi, kun käsiteltävät objektit ovat näkyvillä, ne ovat tunnettuja eikä niitä ole liikaa valintatilanteissa. Lisäksi suorakäyttöisyys vähentää mahdollisia virheitä, koska valintoja on rajoitettu. Luonnollista kieltä taas suosivat Cohenin ja Oviattin mukaan tilanteet, joissa on tarve käsitellä objekteja, toimintoja ja tapahtumia joukosta, jota ei pystytä esittämään kerralla tai tutkimaan yksityiskohtaisesti. Myös toimintojen ajallisen siirtämisen mah- Sivu 18

26 3 PUHESOVELLUSTEN SUUNNITTELU dollisuus ja asioiden esittäminen käyttäjän omalla kielellä sekä monimutkaisten kuvauksien nopea ilmaiseminen ovat luonnolliselle kielelle sopivia käyttökohteita. Koska rajoittamaton luonnollinen kieli ei ole vielä puheentunnistuksen saavutettavissa, osa edellä kuvatuista puheen eduista jää toistaiseksi hyödyntämättä. Tulee myös huomata, että kun puhetta käytetään korvaamaan suorakäyttöisyyttä, tulee erityistä huomiota kiinnittää niihin asioihin, jotka ovat suorakäyttöisyyden vahvoja alueita. Todennäköisimmät puhesovelluksen käytettävyysongelmat ovat tällöin odotettavissa juuri näillä alueilla. 3.2 Puhe multimodaalisissa käyttöliittymissä Multimodaalisella lähestymistavalla pyritään ehkäisemään virheitä, parantamaan järjestelmään luotettavuutta, avustamaan virheiden korjausta sekä tarjoamaan vaihtoehtoisia kommunikointitapoja erilaisiin tilanteisiin ja olosuhteisiin [Cohen & Oviatt, 1994]. Multimodaalisuus saattaa myös nopeuttaa kommunikointia ja tehdä käyttöliittymän luonnollisemmaksi sekä mahdollistaa toisten kommunikointimuotojen simuloinnin esim. vammaisille käyttäjille [Smith et al., 1996]. Multimodaalisen käyttöliittymän suunnittelun kannalta tärkein seikka on sopivimpien modaliteettien valitseminen kuhunkin tehtävään. Koska eri modaliteetteja käytetään harvoin tasapuolisesti, multimodaalisiin käyttöliittymiin voidaankin tehdä jako sen perusteella, onko käyttöliittymä perusluonteeltaan graafinen vai puheeseen pohjautuva. Cathy Wolf [Mane et al., 1996] esittää näkökohtia, joissa eritellään multimodaalisuuden hyötyjä molemmissa vaihtoehdoissa. Graafisissa käyttöliittymissä puhetta voidaan käyttää viittaamaan asioihin, jotka eivät ole suoraan saavutettavissa sekä määrittelemään objekti ja siihen kohdistuva toiminto. Objektin ja toiminnon määritteleminen voi tapahtua joko yhdessä osassa ( kopioi otsikko kolmannelle sivulle ) tai rinnakkain ( siirrä tämä tähän ). Tulosteena puhetta voidaan hyödyntää tarjoamalla käyttäjälle informaatiota muuttamatta kuvaruudun tilaa. Viimeiseksi mainittu seikka on tärkeä erityisesti vahvasti visuaaliseen ilmaisuun pohjautuvissa sovelluksissa. Selaimen käyttäjätesteissä havaittiin, että palautetta seurattiin hyvin vähän. Uskon, että käyttämällä puhetulosteita voidaan tätä seikkaa parantavaa merkittävästi. Sivu 19

27 3 PUHESOVELLUSTEN SUUNNITTELU Puheeseen perustuvissa käyttöliittymissä grafiikkaa voidaan käyttää palautteen antoon ja varmistuksiin, muistin tukena, kehotteisiin, osoittamaan objekteja sekä varamekanismina. Grafiikan etuja tulosteena on sen nopeus puheeseen verrattuna; näppäimistön ja hiiren käyttäminen taas on perusteltua paitsi varamekanismina myös vaihtoehtoisuuden kannalta. Edellä multimodaalisuutta on käsitelty pelkästään puheen ja graafisten suorakäyttöliittymien näkökulmasta. Monipuolisemmissa multimodaalisissa käyttöliittymissä, joissa voidaan käyttää hyväksi mm. katseohjausta, eleitä ja hahmontunnistusta, tulee samoin etsiä kullekin modaliteetille sopivimmat käyttökohteet ja välttää modaliteetille ongelmallisia tilanteita. Itse uskon etenkin katseohjauksen sopivan puheen kanssa käyttöliittymäelementiksi, sillä tämä kombinaatio mahdollistaa monipuolisen kommunikoinnin ilman käsien käyttöä. 3.3 Puheen keskeisimmät ominaisuudet Puheen tehokas hyödyntäminen käyttöliittymässä vaatii sen ominaisuuksien hyvää tuntemusta. Esittelen tässä keskeisimpiä puheen ominaisuuksia, kuten luonnollisuutta, tehokkuutta ja suosiota ihmisten välisessä kommunikoinnissa. Näiden seikkojen pohjalta esitän motiivit puheen käyttöön. Puheen käyttöä perustellaan useimmiten sillä, että se on luonnollista. Käytämme puhetta jatkuvasti, minkä seurauksena puheesta on kehittynyt tehokkain, suosituin ja laajimmin levinnyt kommunikointimenetelmämme. Tuomalla puhe osaksi ihmisen ja tietokoneen vuorovaikutusta uskotaan olevan mahdollista hyödyntää niitä etuja, jotka vallitsevat ihmisten välisessä puhekommunikaatiossa [Kamm, 1994]. On kuitenkin syytä huomata, että puhe kommunikaationa on nimenomaan opittu menetelmä ihmisten välillä; kuinka puhetta voidaan soveltaa ihmisen ja tietokoneen väliseen kommunikointiin onkin yksi ongelmallista peruskysymyksistä. Puheen katsotaan olevan tehokkain kommunikointimuoto ihmisten välisessä interaktiivisessa ongelmanratkaisussa. Chapaniksen [1975] kuuluisassa tutkimuksessa verrattiin erilaisia kommunikointimenetelmiä. Pyrkimyksenä oli selvittää, mikä käytetyistä modaliteeteista olisi kaikkein hyödyllisin ihmisen ja tietokoneen välisessä vuorovaikutuksessa. Tutkimuksella oli selvä puhetta suosiva lopputulos: puhe oli yli kaksi kertaa nopeampi kuin seuraavaksi tehokkain tapa eli kirjoitus. Erittäin mielenkiintoinen on Sivu 20

28 3 PUHESOVELLUSTEN SUUNNITTELU myös Chapaniksen havainto, että pelkkä puheen käyttö oli ainoastaan hieman hitaampaa kuin kaikkien muiden saatavilla olevien modaliteettien yhteiskäyttö. Tehokkuuteen liittyy nopeuden ohella monia muitakin tekijöitä, kuten ilmaisuvoimaisuus ja lisäkapasiteetin tuominen. Puheen avulla on mahdollista ilmaista asioita, joiden ilmaiseminen muilla tavoin on erittäin vaikeata tai jopa mahdotonta. Puheella nähdään myös olevan tuottavuutta lisäävä vaikutus etenkin useita samanaikaisia tehtäviä sisältävissä tilanteissa. Jakamalla tehtävät tällaisissa tilanteissa eri modaliteeteille on kokonaistoimintaa mahdollista tehostaa [Martin, 1989]. Puhe on myös suosittu kommunikointitapa useissa tilanteissa haluaisimme käyttää puhetta, vaikka jonkin muun menetelmän käyttö saattaisikin olla tehokkaampaa. Osaltaan mieltymys puheeseen voi johtua ihmisten erilaisista ongelmanratkaisutavoista: Bradford [1995] esittää, että käyttöliittymät ovat perinteisesti keskittyneet ongelmanratkaisuun visuaalis-tilallisella lähestymistavalla. Kuitenkin osa ihmisistä ajattelee verbaalis-akustisen lähestymistavan mukaisesti. Puheen tuominen käyttöliittymään voisi parantaa käyttäjien tyytyväisyyttä tietokoneita kohtaan ja laajentaa näin käyttäjäjoukkoa. Puheen käyttöön voidaan löytää kaikkiaan kuusi motiivia. Puhe voi olla ainoa, tehokkain tai miellyttävin mahdollinen käytettävissä oleva modaliteetti tai se voi toimia avustavana, vaihtoehtoisena tai korvaavana kommunikointimenetelmä. Käyttöliittymäsuunnittelussa on erittäin tärkeää ottaa huomioon ne motiivit, jotka ovat johtaneet puheen valintaan. Esimerkiksi käyttäjien hyväksymät virhetasot ovat todennäköisesti täysin erilaisia niissä tapauksissa, joissa puhe on valittu miellyttävyyden perusteella kuin niissä, joissa puhe korvaa toisen, ehkä tilanteeseen paremmin soveltuvan modaliteetin. Tässä tutkimuksessa puhetta käytetään lähinnä korvaavana modaliteettina. Tämä tekee sen käyttämisestä erittäin vaikeaa ja asettaakin suuren haasteen käyttöliittymäsuunnittelulle. 3.4 Puheen käytössä huomioitavia seikkoja Puheen hyödyntämiseen liittyy joukko seikkoja, jotka on syytä ottaa huomioon onnistuneen käyttöliittymäsuunnittelun varmistamiseksi. Nämä seikat liittyvät joko suoraan puheen luonteeseen tai ihmisten välisessä kommunikoinnissa muodostuneisiin tapoihin. Sivu 21

29 3 PUHESOVELLUSTEN SUUNNITTELU Yksi suurimmista ongelmista komentopohjaisissa puhesovelluksissa on komentojen ulkoaosaamisen tarve. Mikäli sovellus ei ole tuttu eikä sitä käytetä usein, voi tämä muodostaa kynnyskysymyksen järjestelmän käyttöön. Sama ongelma vaivaa luonnollisesti perinteisiä komentopohjaisia järjestelmiä. Määrän lisäksi on huomiota syytä kiinnittää myös komentojen merkityksiin. Puheohjatun selaimen osalta huomattiin, että väärä komentovalikoima voi tuottaa ongelmia jo hyvin suppeallakin sanavalikoimalla. Komentopohjaisissa järjestelmissä onkin ensiarvoisen tärkeää kiinnittää huomiota sanaston valintaan. Puheen väliaikainen luonne voi olla ongelmallinen, jos halutaan tarkastella edeltäviä tapahtumia. Käyttäjän voi olla vaikeaa palauttaa mieleen aikaisemmin annettuja komentoja, mikäli näitä ei pystytä tulkitsemaan komentojen vaikutuksista tai anneta suorana palautteena käyttäjälle. Varsinkin virhetilanteissa on usein ongelmallista selvittää virheen syytä, koska mahdollinen palaute on aina approksimaatio annetusta syötteestä. Schmandt [1994, ] esittää tulosteena käytettävän puheen ongelmiksi mm. hitauden sekä puheen väliaikaisen, peräkkäisen ja julkisen luonteen. Puheen hitaus sekä sen väliaikainen ja peräkkäinen luonne ovatkin ongelmallisia tulosteiden suunnittelun kannalta. Puheen julkinen luonne rajoittaa käyttömahdollisuuksia sekä syötteiden että tulosteiden kohdalla. Puhekommunikointiin liittyy monia opittuja tapoja, joista on vaikea päästä eroon, vaikka luonnollisen kaltaista keskustelua ei odotettaisikaan. Kamm [1994] luettelee keskeisimmiksi tällaisiksi tavoiksi ihmisten taipumuksen puhua jatkuvasti ilman taukoja sanojen välillä, keskeyttää toisensa puhumalla päällekkäin sekä taukojen käytön keskustelun rakenteen ohjailuun. Ihmisten on erityisen vaikeaa puhua tauottaen puhettaan jokaisen sanan välillä, vaikka tähän olisi kehotettukin. Erityinen ongelma tämä on luonnollisen kaltaisissa lauseissa, mutta ilmiö tulee esille myös komentoluonteisessa puheessa: puheohjatun selaimen käyttäjätesteissä tämä näkyi komentojen yhteenliittämisenä, varsinkin virhetilanteiden korjaamisessa. Toinen ongelma, josta käyttäjien saattaa olla vaikea päästä eroon, on puheeseen kuulumattomien äänteiden esiintyminen puheen lomassa. Taipumus keskeyttää toisten puhe siinä vaiheessa, kun asia on ymmärretty, on samoin hyvin syvälle kommunikointitapoihin juurtunut. Pelkän puheen varassa toimivissa Sivu 22

30 3 PUHESOVELLUSTEN SUUNNITTELU käyttöliittymissä onkin erittäin ongelmallista, jos tietokoneen puhetta ei voida keskeyttää. Vaikka päällepuhumista esiintyy, suurin osa puheenvuorojen vaihdoksista hoidetaan puheeseen liittyvien vihjeiden, kuten taukojen käytön ja prosodisen informaation avulla. Näiden sääntöjen laiminlyönti voi merkitä ongelmien, kuten päällekkäin puhumisen lisääntymistä. Kehitettäessä käyttöliittymää keskusteluluonteisemmaksi onkin syytä tarkkailla tilanteita, jotka ovat potentiaalisia ongelmakohtia, kun käytetään puhetulosteita. 3.5 Puhesovellusten suunnittelu Jokaisen käyttöliittymän pohjana on suunnitelma, jonka avulla saadaan selville tehtävän suorittamiseksi tarvittava informaatio. Niin kauan kuin luonnollisen puhekielen käyttö ei ole mahdollista, on puhekäyttöliittymän päärooli ohjata käyttäjää täyttämään teknologian vaatimukset [Kamm, 1994]. Voidaankin perustellusti sanoa, että sovellusten pohjana oleva puheteknologia hallitsee käyttöliittymäsuunnittelua: tehdyt ratkaisut perustuvat useammin teknologian vaatimuksiin kuin käyttäjän kannalta parhaisiin vaihtoehtoihin [Mane et al., 1996]. Puhekäyttöliittymien ongelmia ei voida kuitenkaan laittaa pelkästään teknologian syyksi: huolellisella käyttöliittymäsuunnittelulla voidaan kiertää suurin osa teknisistä rajoituksista ja saavuttaa näin käyttäjän kannalta haluttu lopputulos teknologian pettäessäkin [Kamm, 1994]. Puhetta on kuitenkin käytetty tähän asti pääosin ad-hoc periaattein sovellettuna. Sovellusten tulevan kehityksen yhtenä ongelmana pidetäänkin yleisen suunnittelumetodologian puuttumista. Hahmottelen tässä joitakin tärkeimpiä suunnittelusääntöjä, jotka liittyvät keskustelun ohjaukseen, virheiden hallintaan, palautteeseen, vahvistuksiin ja ohjeisiin Keskustelun ohjaus Ihmisillä on käytössään runsas valikoima erilaisia keskustelutekniikoita, kuten vuoronvaihtoon liittyvät menetelmät [Bradford, 1995]. Vuoronvaihtoon, uusien asioiden esille tuomiseen ja muihin keskustelun suuntaan vaikuttaviin seikkoihin liittyvät puheen ominaisuudet ovat kuitenkin vaivoin hyödynnettävissä. Keskustelun kulku etenee tämän vuoksi pitkälti joko käyttäjän komentojen tai tietokoneen esittämien kehotteiden varassa. Sivu 23

31 3 PUHESOVELLUSTEN SUUNNITTELU Kehotteet ovat kommunikoinnin onnistuneisuuteen suuresti vaikuttava tekijä. Niinkin yksinkertaiselta vaikuttava seikka kuin myöntävän tai kieltävän vastauksen pyytäminen käyttäjältä voi muodostua hyvinkin virhealttiiksi, jos kehote on muotoiltu huonosti. Kehotteiden informaatiosisältöön vaikuttaa suuresti myös käyttäjien taso: kokeneille käyttäjille voidaan antaa suppeampia kehotteita kuin noviisikäyttäjille. Kehotteita voidaan myös lyhentää käytön aikana niiden muodostuessa tutuiksi. Kun kehotteisiin käytetään puhetta, vaikuttaa keskustelun kulun suunnitteluun dramaattisesti se, onko käyttäjällä mahdollisuus aloittaa vastauksen antaminen ennen kehotteen loppumista. Kehotteen päälle puhuminen mahdollistaa informatiivisemmat kehotteet, sillä kokeneemmat käyttäjät pystyvät keskeyttämään kehotteen heti tarvittavan informaation saatuaan [Mane et al., 1996]. Tämä vähentää myös ihmisen lyhytkestoisen muistin rajoituksista aiheutuvia virheitä. Schmandtin [1994, 109] mukaan kehotteiden keskeytettävyyteen ei voida kuitenkaan luottaa, sillä osalla ihmisiä on taipumus seurata sanoma loppuun saakka. Hänen mukaansa keskeytyksiin liittyy myös ajoitusongelmia. Yksi kehotteiden suunnittelun avoimista kysymyksistä on se, kuinka hyvin käyttäjät adaptoituvat kehotteissa käytetyn kielen tyyliin ja sanastoon eli ryhtyvät käyttämään samanlaista kieltä kuin sovelluksessa esiintyy [Bradford, 1995]. Vaikka tällä onkin merkitystä eniten luonnollista kieltä käyttävissä sovelluksissa, uskon puheselaimella suoritettujen käyttäjätestien pohjalta, että asialla on vaikutusta myös komentopohjaisissa sovelluksissa Virheiden hallinta Kuten kohdassa 2.5 todettiin, puheentunnistus ei ole vielä läheskään virheetöntä. Tämän vuoksi virheisiin on varauduttava: sovellusten tulee olla yksinkertaisia ja virhesietoisia eli ne tulee suunnitella siten, että virheiden vaikutukset saataisiin minimoitua [Wilpon, 1994]. Virheiden hallinta voidaan jakaa viiteen vaiheeseen: ennalta ehkäisyyn, havaitsemiseen, syiden etsimiseen, virheen korjauksen suunnittelemiseen ja virheen korjaukseen. Virheet vähentävät sekä tuottavuutta että käyttäjien tyytyväisyyttä. Virheiden ennaltaehkäisyllä voidaan vaikuttaa merkittävästi sovelluksen laatuun hyvä esimerkki on sanaston valinta niin, että sanat ovat puheentunnistuksen kannalta toisistaan selkeästi Sivu 24

32 3 PUHESOVELLUSTEN SUUNNITTELU erotettavissa. Näen virheiden ehkäisemisessä pääongelmaksi sen, että suurin osa prosessiin vaikuttavista seikoista on tilanneriippuvaisia, kuten olosuhteiden vaihtelut ja käyttäjien ominaisuudet. Näihin on luonnollisesti suunnittelun tasolla vaikeaa puuttua. Erään yleisen ongelman muodostavat virheelliset tulkinnat, jotka on tehty muusta kuin sovellukselle suunnatusta puheesta. Näiden seurauksia voidaan vähentää liittämällä järjestelmään mekanismi huomion kohdistamiseksi. Kohdistaminen voidaan suorittaa joko mikrofoniin tai käyttöliittymään sijoitetulla kytkimellä tai erillisillä puhekomennoilla. Molempiin tapoihin liittyy kuitenkin ongelmia: kytkin on käytännössä erittäin ärsyttävä ja helposti unohtuva; puheeseen liitetyt komennot taas voivat hidastaa kommunikointia merkittävästi ja heikentää järjestelmän tunnistuskykyä lisäämällä sanaston kompleksisuutta. Eräs kiinnostava mahdollisuus on visuaalisen informaation, kuten katseen paikan hyödyntäminen. Virheen korjaaminen alkaa sen havaitsemisesta. Sekä käyttäjän että järjestelmän tulisi pystyä tekemään aloite virheen korjaamiseksi [Kamm, 1994]. Perinteisestihän virheen korjaaminen jätetään käyttäjän huoleksi, ellei virhe ole triviaali, kuten syötteen muodon oikeellisuuden tarkastus. Kun järjestelmä huomaa mahdollisen virheen, se voi joko pyytää käyttäjältä vahvistusta, käynnistää virheen korjauksen tai korjata virheen automaattisesti. Käyttäjillä on taipumus muuttaa ääntämistään virheiden seurauksena. Tällöin virheen korjaaminen saattaa aiheuttaa uusia virheitä. Ennen virheen korjausta tulisikin pyrkiä löytämään virheen mahdolliset syyt, jotta voitaisiin suorittaa oikeat korjaustoimenpiteet. Myös virheen ja sen korjaustoimenpiteen kustannusten suhteella on merkitystä: virheen korjauksen ei tule olla automaattista vaan suunniteltua ja harkittua. Yksinkertaisin tapa virheiden korjaamiseksi on pyytää käyttäjää toistamaan sanomansa. Tällöin on kuitenkin vaarana päätyminen virhekierteeseen, joka voi haitata käyttäjän tyytyväisyyttä ohjelmaa kohtaan todella paljon. Parempi tekniikka on ainoastaan potentiaalisten sanojen tarkasteleminen (esim. N-Best listalta, ks. kohta 2.7), jolloin voidaan käyttää suppeampaa sanavarastoa. Toinen mahdollisuus on pyytää käyttäjää toistamaan toiminto muun modaliteetin välityksellä. Viimeisenä keinona, kun mikään muu ei enää onnistu, tulee käyttäjälle tarjota mahdollisuus päästä tilanteesta siististi pois [Kamm, 1994]. Sivu 25

33 3 PUHESOVELLUSTEN SUUNNITTELU Vahvistukset Vahvistuksilla voidaan ennakoida mahdollisia virhetilanteita. Ne ovatkin eräänlainen ennaltaehkäisyn ja virheidenkorjauksen välimuoto. Vaikka vahvistuksia tuleekin käyttää säästeliäästi etteivät ne aiheuta ylimääräistä kuormitusta ja lisää tyytymättömyyttä järjestelmää kohtaan, on myös sellaisia tilanteita, joissa vahvistusta on syytä käyttää. Schmandt [1994, ] jakaa vahvistusmenettelyt kahteen luokkaan, eksplisiittisiin ja implisiittisiin vahvistuksiin. Eksplisiittistä vahvistusta voidaan hänen mukaansa käyttää tilanteissa, joissa toiminnon seurauksia on vaikea perua tai perumismahdollisuutta ei ole lainkaan. Eksplisiittisen vahvistuksen hyviä puolia on, että siinä voidaan käyttää (samaan tapaan kuin virheiden korjauksessa) supistettua sanavarastoa ja korkeita tunnistuskynnyksiä. Se on kuitenkin hidas, epämukava ja vaatii aina käyttäjän huomiota sekä pakottaa toimimaan. Implisiittisessä vahvistuksessa käyttäjää informoidaan tulevasta toimenpiteestä, jonka jälkeen pidetään tauko, jonka aikana käyttäjällä on mahdollisuus perua toiminto. Ellei käyttäjä reagoi tauon aikana toiminto suoritetaan tämän jälkeen normaalisti. Schmandt pitää implisiittisen vahvistuksen ongelmina tauon sopivan pituuden määrittämistä sekä oikean perumismenetelmän löytämistä. On lisäksi syytä huomioida, että implisiittinen vahvistus on ongelmallinen tehtävissä, joissa nopeus on ensiarvoista Palaute ja ohjeet Käyttäjät haluavat usein opastusta siihen, mitä heidän tulee kussakin tilanteessa sanoa sekä siihen, kuinka heidän tulisi sanottavansa esittää. Käyttäjän informointi onkin varsinkin noviiseille tärkeä osa käyttöliittymää [Mane et al., 1996]. Liiassa käyttäjän opastuksessa on kuitenkin ongelmansa, varsinkin jos kaikki opastus liitetään kehotteisiin. Hyödyllistä olisikin erottaa selkeästi kehotteisiin ja opastukseen kuuluvat asiat, jolloin noviisikäyttäjillä on tarvittava apu saatavilla, mutta se ei häiritse kokeneita käyttäjiä tai vie liikaa tilaa kuvaruudulta. Palaute on erityisen tärkeää pelkkään puheeseen perustuvissa käyttöliittymissä missä se on valitettavasti myös vaikeinta toteuttaa tehokkaasti. Palautteen annossa on syytä muistaa siitä aiheutuvat kustannukset, kuten muistin kuormittuminen ja huo- Sivu 26

34 3 PUHESOVELLUSTEN SUUNNITTELU miokyvyn vieminen muualle sekä puhepalautetta käytettäessä sen rajoitukset, mm. hitaus. 3.6 Puhesovellusten evaluointikriteerejä Puhesovellusten kehityksen kannalta olisi tärkeää saada aikaiseksi yleisiä kriteerejä järjestelmien evaluoimiseksi. Järjestelmiä voidaan tarkastella kolmesta näkökulmasta, tekniikan, tehtävän tai käytettävyyden perspektiivistä. Lisäksi tulisi arvioida teknologian valmiutta tehtävään. Tekniikan ja tehtävän evaluoimiseen liittyviä seikkoja on käsitelty kohdassa 2.5. Tärkein tässä huomioitava seikka on se, että puheteknologian evaluoinnin tulisi palvella aina käyttöliittymäsuunnittelua [Furui, 1994]. Näinhän ei välttämättä ole, sillä esim. standardiksi muodostunutta virhetasoa parempi kriteeri olisi usein se, kuinka hyvin järjestelmä kykenee hylkäämään sanaston ulkopuoliset sanat. Sovelluksen käytettävyyden arviointiin voidaan käyttää sekä objektiivisia että subjektiivisia kriteerejä. Nakatsu ja Suzuki [1994] luettelevat objektiivisiksi kriteereiksi: tehtävän suorittamisen asteen, tehtävän suorittamiseen kuluvan ajan, tehtävän suorittamiseen tarvittavien tapahtumien lukumäärän, ja virheenkorjauskertojen lukumäärän. Subjektiivisesti arvioitaviksi he taas luettelevat: käyttäjän tyytyväisyyden toteutusta kohtaan, järjestelmän aiheuttaman kuormituksen, ja käyttäjän mieltymykset eri menetelmiä kohtaan. Lisäisin Nakatsun ja Suzukin esittämiin objektiivisesti arvioitaviin kriteereihin vielä virheenkorjaukseen kuluvan ajan, varmistuksien aiheuttamat haitat (määrä, kuluva aika) sekä multimodaalisissa järjestelmissä kunkin modaliteetin käyttöasteen. Edellä esitetyt kriteerit eivät suinkaan ole ainoita mahdollisia. Yleisesti ottaen puhejärjestelmien evaluointiin soveltuvat perinteiset käytettävyyden arviointimenetelmät, luonnollisesti tilanteen mukaan sovellettuna. Evaluoinnin tarkoitusperät ja sovelluksen sekä tehtävän luonne vaikuttavat myös valittaviin asioihin huomattavasti. Sivu 27

35 3 PUHESOVELLUSTEN SUUNNITTELU Itse pidän ongelmallisena perinteistä tapaa arvioida sovelluksia ainoastaan kvantitatiivisten kriteerien mukaan. Tämä johtaa käytännössä siihen, että tehtävää arvioidaan ainoastaan suorituksen tehokkuudella. Vaikka tehokkuus onkin tärkeä tekijä, niin se ei missään nimessä ole ainoa käytettävyyteen vaikuttava seikka. Puhetta käytetään usein vaihtoehtoisena ja korvaavana kommunikointimuotona, jolloin tehokkuuden arviointia parempia kriteereitä voivatkin olla esim. käyttäjien mieltymyksiin liittyvät seikat. Puheohjatun selaimen käyttäjätesteissä kiinnitettiin paljon huomiota käyttäjien mielipiteisiin ja havaittiin, että esimerkiksi osallistumisen tunne voi olla tärkeämpää kuin tehokkuus. Ennen järjestelmän toteuttamista tulisi suorittaa teknologian valmiuden evaluointi, eli arvioida soveltuuko puheen käyttö kyseiseen tehtävään. Kamm [1994] esittää tämän arviointiin kaksi kriteeriä: 1. Hyväksyykö käyttäjä järjestelmän, eli pystyykö hän suorittamaan tehtävän onnistuneesti, jolloin käyttö on tehokasta ja sujuvaa? 2. Hyväksyykö palvelun tarjoaja järjestelmän, eli ovatko järjestelmän tarjoamat hyödyt ja säästöt oikeassa suhteessa kustannuksiin? 3.7 Puhesovelluksiin liittyvä empiirinen tutkimus Empiiristen tutkimusten osuus käyttöliittymäsuunnittelussa on merkittävää varsinkin alkuvaiheessa, kun kartutetaan suunnitteluperiaatteita. Puheen käyttöön liittyvä empiirinen tutkimus voidaan jakaa kolmeen luokkaan sen mukaan, onko tutkimuksen kohteena ihmisten välinen kommunikaatio, ihmisen ja simuloidun tietokonesovelluksen välinen kommunikaatio vai ihmisen ja tietokoneen välinen kommunikaatio. Ihmisten välisen kommunikaation tutkimista käytetään silloin, kun kerätään tietoa menetelmistä, joita voi olla mahdollista hyödyntää myös ihmisen ja tietokoneen välisessä kommunikaatiossa. Klassinen esimerkki on Chapaniksen [1975] tutkimus eri modaliteettien soveltuvuudesta interaktiiviseen ongelmanratkaisemiseen. Ihmisten välisen kommunikoinnin tutkimuksen suurimpana vaikeutena on tulosten yleistäminen koskemaan ihmisen ja tietokoneen välistä kommunikointia. Huomattava osa suoritetuista empiirisistä tutkimuksista on ihmisen ja simuloidun tietokoneohjelman välisiä. Näistä käytetään usein nimitystä Wizard of Oz -tutkimukset. Sivu 28

36 3 PUHESOVELLUSTEN SUUNNITTELU Simuloituja kokeita käytetään sekä suunnittelun että tutkimuksen apuna. Useimmiten simuloinnin syynä on se, että kokeen tarkoitusperien kannalta tarkoituksenmukaisen järjestelmän rakentaminen on mahdotonta. Suunnittelun kannalta taas on tärkeää päästä kiinni mahdollisiin ongelmakohtiin mahdollisimman aikaisessa vaiheessa: simuloitu koe voi paljastaa ongelmia mm. sovelluksen loogisessa rakenteessa, kehotteissa jne. [Mane et al., 1996]. Kokeen luonteen kannalta on olennaista se, tietävätkö käyttäjät puhuvansa koneelle vai ihmiselle, sillä ihmisten on todettu puhuvan eri tavalla koneille kuin toisilleen [Fraser & Gilbert, 1991]. Mikäli ohjelmaa halutaan simuloida luonnollisen tuntuisesti, ovat nopeat ja luotettavat vastaukset tärkeitä. Toisaalta on myös varottava liian täydellisiä vastauksia esim. luonnollisen kielen käsittelyssä [Cohen & Oviatt, 1994]. Vaikka simuloidut kokeet ovatkin hyödyllisiä, niihin liittyy useita ongelmallisia näkökohtia. Eräs näistä on virheiden simulointi: kuinka esim. tunnistusvirheitä tulisi simuloida ja paljonko tähän tarvitaan tietoutta tunnistusjärjestelmän rakenteesta? Myös simuloitujen tutkimusten rajoitukset tulisi ottaa huomioon: missä tilanteissa ne voivat viedä tutkimusta väärään suuntaan tai johtaa tuottamattomiin sovelluksiin? [Mane et al., 1996]. Reaaliaikaisissa järjestelmissä nämä seikat ovat erityisen ongelmallisia, sillä syötteisiin tulisi reagoida sekunnin kymmenyksissä. Puheohjatun selaimen kohdalla simuloiduista kokeista luovuttiinkin, sillä ne olisivat muodostuneet erittäin raskaiksi ja virhealttiiksi. Ihmisen ja tietokoneen välisessä kommunikoinnissa puheen käyttöä on pyritty motivoimaan usein tehokkuusnäkökohdilla. Puheen hyödyllisyyden todistamista on lähestytty erilaisilla järjestelmien vertailututkimuksilla. Paljon huomiota ovat herättäneet mm. Poockin [1980] ja Martinin [1989] tekemät tutkimukset, joissa puheen käyttö todettiin näppäimistön käyttöä nopeammaksi. Tuloksia ei ole kuitenkaan oikopäätä hyväksytty, varsinkin Poockin tutkimusta vastaan on hyökätty voimakkaasti [Damper et al., 1996]. Vertailututkimuksia pidetään tärkeinä, koska toivotaan, että niiden avulla löydetään puheelle edullisia käyttökohteita ja käyttäjäryhmiä. Näissä tutkimuksissa on kuitenkin useita ongelmia, kuten se, että niissä vertaillaan pikemminkin teknologiaa kuin modaliteettia. Toinen merkittävä vertailututkimusten ongelma on se, että niiden tulokset Sivu 29

37 3 PUHESOVELLUSTEN SUUNNITTELU eivät useinkaan ole yleistettävissä tutkimuksessa käytetyn sovellusalueen ulkopuolelle [Leatherby & Pausch, 1992]. Syötteidenantomenetelmiä vertailevia tutkimuksia hedelmällisempi suuntaus on puheen soveltuvuutta arvioivat tutkimukset. Esimerkkejä tästä suuntauksesta tarjoavat mm. Karlin, Petteyn ja Shneidermanin [1993] sekä Oviattin, DeAngelin ja Kuhnin [1997] tutkimukset. Näissä tutkimuksissa lähestytään puheen käyttöä etsimällä sekä puheelle soveltuvia kohteita että tilanteita, jotka ovat puheelle ongelmallisia. Puheohjatun selaimen käyttäjätutkimukset kuuluvat tähän ryhmään, tosin ne ovat niin alustavia, että niitä voidaan pitää vielä osaksi sovelluskehityksen evaluointivaiheena. 3.8 Lopuksi Yleisesti ottaen puhesovellusten suunnittelussa pätevät normaalit käyttöliittymäsuunnittelun periaatteet: käyttäjäkeskeisyys, iteratiivinen, vaiheittainen eteneminen ja käyttäjien mukanaolo. Puhesovelluksien suunnittelussa on kuitenkin ensiarvoisen tärkeää, että käyttäjiin saadaan kosketus mahdollisimman aikaisessa vaiheessa. Yleisten periaatteiden puuttuessa on vaikeaa saada kokemuksia muutoin kuin rakentamalla prototyyppejä. Käyttöliittymäsuunnittelua vaikeuttaa mm. se, että ihmiset puhuvat hyvin eri tavoin; spesifit ongelmat selviävät ainoastaan käytännössä. Tässä tutkimuksessa puhetta käsitellään pääasiallisesti ainoana syötteiden lähteenä. Tämä lähestymistapa ei kuitenkaan ole aina paras mahdollinen. Multimodaaliset käyttöliittymät tarjoavatkin mahdollisuuden hyödyntää eri kommunikointimenetelmien parhaita puolia. Multimodaalisuuden hyödyntämiseksi tarvitaan kuitenkin tietoa kunkin kommunikointimenetelmän hyvistä ja huonoista puolista. Tämän vuoksi perustutkimus kommunikointimodaliteeteista onkin korvaamatonta. Puheohjatun selaimen prototyypissä hyödynnettiin puhetta ainoastaan syötemodaliteettina. Uskon kuitenkin, että keskustelupohjaisten järjestelmien periaate on hyödynnettävissä useimmissa puhesovelluksissa. Tämä näkyi hyvin myös prototyypin käyttäjätestien kommentteina, joissa toivottiin enemmän vuorovaikutusta järjestelmän ja käyttäjän välille. Toisaalta useat käyttäjät esittivät myös jyrkän vastalauseensa puhetulosteille. Selvää on, että asia kaipaa lisätutkimusta. Sivu 30

38 4 3D-KÄYTTÖLIITTYMÄT 4 KOLMIULOTTEISET KÄYTTÖLIITTYMÄT Kolmiulotteisia käyttöliittymiä pidetään merkittävänä askeleena ihmisen ja tietokoneen välisen vuorovaikutuksen evoluutiossa. Niiden nähdään jopa tuovan mukanaan samankaltaisen vallankumouksen kuin graafisten käyttöliittymien yleistyminen luvulla. Samoin kuin puheenkin kohdalla, on käyttöliittymäsuunnittelu kuitenkin huomattavasti vaikeampaa verrattuna perinteisiin kaksiulotteisiin suorakäyttöliittymiin. Tässä luvussa tarkastelen kolmiulotteisten käyttöliittymien vuorovaikutusmenetelmiä. Huomiota on kiinnitetty erityisesti sellaisiin asioihin, jotka ovat tärkeitä puheohjauksen kannalta. Tutkimuksen kannalta olennaisinta on virtuaalisessa ympäristössä liikkuminen. Tätä ennen selvitetään alueeseen liittyviä peruskäsitteitä, kolmiulotteisten käyttöliittymien erityispiirteitä sekä virtuaalisen ympäristön luonnetta. Liikkumisen lisäksi tarkastellaan vuorovaikutuksessa tarvittavien vapausasteiden rajoittamista sekä tutkimuksen kannalta kiinnostavaa puheen käyttöä virtuaaliympäristöissä. Lopuksi esitän muutamia ajatuksia kolmiulotteisen maailman hallintaan liittyen. 4.1 Kolmiulotteinen käyttöliittymä ja sen perustoiminnot Kolmiulotteisiin käyttöliittymiin liittyy joukko käsitteitä, joiden hallitseminen on välttämätöntä sovellusten suunnittelijoille sekä usein myös niiden käyttäjille. Esittelen tässä keskeisimmät asiat, kuten käytettävän koordinaatiston, objekteille mahdolliset perusoperaatiot, vuorovaikutuksen perustoiminnot sekä maailman havainnointiin liittyvät metaforat. Kolmiulotteisella käyttöliittymällä tarkoitetaan tässä kolmedimensioista avaruutta, joka sisältää joukon objekteja. Tätä virtuaalista maailmaa voidaan esittää erilaisissa koordinaatistoissa. Tässä yhteydessä käytämme nk. oikeakätistä koordinaatistoa, joka on esitetty kuvassa 4-1 vasemmalla. Koordinaatisto on valittu sen luonnollisuuden vuoksi: useimmille meistä lienee tutuin tämä esitystapa, jossa x-akselin arvot kasvavat oikealle, y-akselin arvot ylös ja z-akselin arvot suoraan katsojaan päin. Kuvassa on esitettynä myös luonnolliset tasot, xy, xz ja yz. Kolmiulotteisen maailman sisältämien objektien asema voidaan määrittää paikan ja orientaation avulla. Näin objektin aseman ilmaisemiseen tarvitaan kuusi parametria Sivu 31

39 4 3D-KÄYTTÖLIITTYMÄT eli toisin sanoen kullakin kappaleella on kuusi vapausastetta. Paikan ja orientaation lisäksi objekteille voitaisiin määritellä vielä koko. Tämän tutkimuksen kannalta on kuitenkin tarkoituksenmukaista keskittyä ensisijaisesti paikan ja orientaation tarkasteluun. \ [\WDVR \ [\WDVR \]WDVR \]WDVR \]WDVR ] [ [ [ []WDVR ] \ []WDVR \ ] \ Kuva 4-1: Kolmiulotteisen maailman dimensiot ja perusoperaatiot. Kappaleen paikka määritellään sen keskipisteen koordinaattien perusteella. Orientaatio määritellään vastaavasti kappaleen kallistuskulmana koordinaattiakseleiden suhteen. Näitä parametrejä muuttamalla saadaan aikaan kuusi perusoperaatiota, paikan siirto x-, y- ja z-suunnassa sekä kappaleen kiertäminen x-, y- ja z-akselien suhteen. Operaatioita on havainnollistettu kuvassa 4-1 oikealla, missä tumma objekti esittää perustilaa ja vaaleammat kappaleet ovat kukin sekä siirtyneet että kiertyneet yhden akselin suhteen positiiviseen suuntaan. Robinettin ja Hollowayn [1992] mukaan virtuaaliympäristöjen perustoimintoja ovat paikan, orientaation ja koon vaihtaminen. Kaikki kolme voivat kohdistua sekä käyttäjään että objektiin. Toiminnot vastaavat suoraan kolmiulotteisille objekteille määriteltyjä perusoperaatioita ja toimivat siten pohjana korkeamman tason operaatioita muodostettaessa. Käyttäjän näkökulmasta perustoimintoina voidaan pitää maailmassa liikkumista ja objektien valitsemista, manipulointia sekä skaalaamista [Mine, 1995]. Kolmiulotteinen avaruus voidaan jakaa edelleen aliavaruuksiin, joilla on omat koordinaatistonsa. Jokaisella kappaleella on lisäksi paikallinen koordinaatisto. Näin yhdessä maailmassa voi olla useita eri koordinaatistoja, jotka ovat aina suhteessa toisiinsa [Robinett & Holloway, 1992]. Tässä käsittelemme avaruudessa tapahtuvia operaatioita aina maailman koordinaatiston suhteen. Objekteja manipuloidaan näin käyttäjän näkökul- Sivu 32

40 4 3D-KÄYTTÖLIITTYMÄT masta vastakohtana objektin näkökulmasta suoritettavalle manipuloinnille [Chen et al., 1988]. Kolmiulotteista avaruutta tarkastellaan aina jostain pisteestä käsin. Tämä piste, käyttäjän paikka eli tarkkailupiste, määritetään samoin kuin muutkin maailmaan sisältyvät objektit. Tarkkailupiste voidaan olettaa kameraksi, jonka läpi maailmaa tarkastellaan. Kameralle voidaan normaalien objektien ominaisuuksien lisäksi määritellä muitakin parametrejä, kuten esim. katselukulma ja syvyysterävyys. Näillä ei kuitenkaan ole tarvetta operoida samassa mittakaavassa kuin paikan ja orientaation muutoksilla, joten niitä ei käsitellä tarkemmin tässä tutkimuksessa. Virtuaalisen maailman tarkasteluun liittyy kaksi toisistaan selkeästi poikkeava lähestymistapaa, joiden pohjalle korkeamman tason metaforat rakennetaan. Ensimmäisen mukaan liikkuminen voidaan nähdä tarkkailupisteen aseman muutoksena eli kameran paikkaa ja orientaatiota manipuloimalla saadaan aikaan liikettä. Tämä tuottaa havainnoinnin kannalta saman tuloksen kuin toisen näkemyksen mukainen ympäröivän maailman liikuttaminen tarkkailupisteen suhteen. [Ware & Osborne, 1990] 4.2 Kolmiulotteisen käyttöliittymän erityispiirteitä Kolmiulotteiset käyttöliittymät ovat huomattavasti monimutkaisempia kuin perinteiset kaksiulotteiset käyttöliittymät. Käyttöliittymäsuunnittelun kannalta merkittävimpiä tekijöitä ovat kolmiulotteisen tilan ja siinä sijaitsevien kappaleiden hahmottamiseen liittyvät seikat sekä useampien vapausasteiden aiheuttama vuorovaikutusmenetelmien monimutkaistuminen. Kolmiulotteisen tilan hahmottaminen on vaikeaa, koska ihmisillä on ongelmia syvyyden havaitsemisessa ja kappaleiden välisten suhteiden ymmärtämisessä. Syvyyden havaitsemista voidaan tukea erilaisilla syvyysvihjeillä. Syvyysvihjeitä tarjoavat mm. perspektiivi, liike, stereokuva, tekstuuri, varjot ja väri. Perinteisesti stereokuvaa pidetään vahvimpana tekijänä syvyyden havaitsemisessa. Lähes yhtä vahva, jopa vahvempikin syvyysvihje on liike: yhdessä nämä ovat erittäin tehokkaita syvyyden hahmottamisessa [Ware et al., 1993]. Syvyysvihjeiden määrä vaikuttaa kolmiulotteisessa tilassa tapahtuvien tehtävien suoritusnopeuteen ja tarkkuuteen merkittävästi. On kuitenkin todennäköistä, että vihjeiden käytön määrällä on raja, jonka jälkeen merkittävää parannusta ei enää tapahdu [Brown, 1994]. Sivu 33

41 4 3D-KÄYTTÖLIITTYMÄT Kolmiulotteisen tilan hahmottamiseen eli tilanhahmottamiskykyyn [Osborn & Agogino, 1992] liittyy oleellisesti siinä olevien kappaleiden välisten suhteiden ymmärtäminen. Katsojan täytyy pystyä hahmottamaan kappaleen paikan lisäksi myös sen orientaatio suhteessa muihin tilassa sijaitseviin kappaleisiin. Puutteellisesta tilanhahmottamiskyvystä seuraa virheitä, jotka ilmenevät epämielekkäinä toimenpiteinä. Koska tässä tutkimuksessa ollaan kiinnostuneita siitä, kuinka hyvin valittu ohjausmetafora soveltuu vuorovaikutukseen, tulee maailman hahmottamisesta aiheutuvat virheet erottaa vuorovaikutusmenetelmiin liittyvistä virheistä. Tätä lähestytyttiin käyttämällä testeissä sellaisia maailmoja, joissa syvyysvihjeiden käyttötarve oli minimoitu sekä tutkimalla kappaleiden välisten suhteiden ymmärtämistä läpinäkyvyyttä hyväksikäyttäen. Havaittiin, että maailman hahmottamiseen liittyvät ongelmat ovat yksinkertaisissa tilanteissa merkityksellisempiä kuin ohjaukseen liittyvät kysymykset. Operaatiot kolmiulotteisessa maailmassa ovat luonnostaan monimutkaisia. Ongelmia syntyy erityisesti tapauksissa, joissa tehtävän dimensiot ja käytettävissä olevan vuorovaikutusmenetelmän dimensiot eivät kohtaa. Perinteisesti ongelma on määritelty koskemaan tapauksia, joissa korkean vapausasteen omaavia tehtäviä yritetään kontrolloida vähän vapausasteita tarjoavilla menetelmillä. Yhtä lailla ongelmia esiintyy tehtävissä, joissa useita vapausasteita omaavia menetelmiä käytetään kontrolloimaan vähemmän vapausasteita tarvitsevia tehtäviä. Ihmisen ja tietokoneen välisen vuorovaikutuksen kannalta olisi parasta, jos kuhunkin tehtävään pystyttäisiin valitsemaan sen ominaisuuksien kannalta tarkoituksenmukaisin syöttölaite. Käytännössä tämä on kuitenkin harvoin mahdollista mm. sen vuoksi, että useimmat kolmiulotteiseen manipulointiin tarkoitetut syöttölaitteet eivät sovi hyvin kaksiulotteisiin tehtäviin. Käytännössä ainoastaan harvan ihmisen työskentely sisältää pelkästään kuuden vapausasteen hallintaa vaativia tehtäviä. Mikäli haluttaisiin käyttää aina tehtävään parhaiten soveltuvaa syöttölaitetta, jouduttaisiin jatkuvasti vaihtamaan työskentelyvälinettä. Lisäksi useita vapausasteita kontrolloivien laitteiden käytössä on ongelmia silloinkin, kun tehtävä sisältää useiden vapausasteiden hallintaa (esim. vapaasti ilmassa liikuteltavan lepakon epätarkkuus ja rasittavuus). Tässä tutkimuksessa on otettu lähestymistapa, jossa kolmiulotteista maailmaa hallitaan sellaisilla menetelmillä, kuten puheella ja tulevaisuudessa ehkä katseohjauksella, jotka eivät vaadi eksplisiittistä syöttömoda- Sivu 34

42 4 3D-KÄYTTÖLIITTYMÄT liteettien valintaa. Tämä vapauttaa käyttäjän sidoksista laitteistoon ja mahdollistaa näin luonnollisemman kommunikoinnin. Tehtävän ja syöttölaitteiden dimensioiden erosta muodostuvaa ongelmaa on lähestytty kuvaamalla perinteisten syöttölaitteiden antamaa informaatiota tehtävän vaatimaan useampiulotteiseen syöteavaruuteen ja toisaalta rajoittamalla syöttölaitteiden dimensioita tehtävien vaatimusten tasalle. Tehtävään tarvittavia dimensioita määriteltäessä tulee ottaa huomioon dimensioiden integroinnin aste: mikäli dimensiot ovat käsitteellisesti erillisiä, ei vapausasteita integroivasta syöttölaitteesta ole vastaavaa hyötyä [Jacob et al., 1994]. Kaikkein eniten huomiota on kohdistettu erilaisiin virtuaaliohjaimiin, jotka mahdollistavat kolmiulotteisen käyttöliittymän hallinnan normaalia kaksiulotteista hiirtä käyttäen. Näillä ratkaisuilla on melko vähän hyödyntämismahdollisuuksia tämän tutkimuksen kannalta. Puhesyötteiden kannalta on olennaisempaa tarkastella vuorovaikutuksessa tarvittavien dimensioiden rajoittamista, koska tämä auttaa puheen abstraktin luonteen hyödyntämisessä. Asiaa käsitellään tarkemmin kohdassa Virtuaalimaailman luonne Koska virtuaalisen maailman luonne määrää pitkälti millainen käyttöliittymäsuunnittelu tilanteeseen sopii, tulee sovelluksen suunnittelijan olla tarkkaan tietoinen kolmiulotteisen maailman merkittävimmistä ominaisuuksista. Tässä käyttöliittymäsuunnitteluun vaikuttavia tekijöitä lähestytään virtuaalisen tilan esittämisen, sovelluksen käyttötarkoituksen, maailman koon ja sen sisältämien objektien sijoittumisen sekä maailman dynaamisuuden ja realistisuuden kautta. Kaikki nämä seikat vaikuttavat siihen, millaisia vuorovaikutusmenetelmiä käyttäjälle tulisi tarjota erilaisissa tilanteissa. Virtuaalimaailmojen esitystekniikoiden jaotteluperusteena voidaan käyttää tietokoneen esittämän tilan ja käyttäjän tilan välistä suhdetta [Brown, 1994]. Perinteisessä työpöytämallissa katsojan tila ja virtuaalinen tila ovat täysin erillisiä. Uppouttavassa virtuaalitodellisuudessa käyttäjä on kokonaan virtuaalisessa tilassa, laajennetussa todellisuudessa taas joko virtuaalinen tila on tuotu osaksi reaalimaailman tilaa tai päinvastoin. Katsojan tila ja virtuaalinen tila voivat olla näin täysin erillisiä, toisensa poissulkevia Sivu 35

43 4 3D-KÄYTTÖLIITTYMÄT tai yhdistettyjä. Näistä voidaan tarpeen vaatiessa erotella vielä erilaisia variaatioita (esim. puoli-uppouttavat virtuaaliympäristöt). Tässä tutkimuksessa käsitellään kolmiulotteisia käyttöliittymiä perinteisen, kaksiulotteisen näyttölaitteen välityksellä esitetyn virtuaalitodellisuuden näkökulmasta. Tällöin käytännössä huomioonotettavia seikkoja on mm. se, että käyttäjän osallistumisen tunne ei ole niin voimakas kuin esim. uppouttavassa ympäristössä. Kolmiulotteisten käyttöliittymien suosituin käyttötarkoitus on ollut tähän saakka erilaisissa CAD/CAM sovelluksissa. Näiden järjestelmien yleispiirre on syötteiden antamiseen tarvittava tarkkuus. Toisaalta CAD-ohjelmia on käytetty myös mallintamaan kokonaisia kaupunginosia, joissa käyttäjä voi liikkua vapaasti tietoverkkojen välityksellä [Bourdakis, 1996]. Tällöin tärkeimmäksi asiaksi muodostuu navigoinnin joustavuus. Tehtävän tulisikin aina määrätä käytettävät vuorovaikutusmenetelmät [Herndon et al., 1994]. Tässä tutkimuksessa on oletettu tyypilliseksi selaimen käyttötarkoitukseksi virtuaalisen maailman tutkiminen, eikä niinkään objektien manipulointi. Virtuaalisen maailman koko saattaa vaihdella aina pienestä, yksittäisen objektin sisältävästä maailmasta rajattoman kokoiseen universumiin. Darken ja Sibert [1993] esittävät käyttökelpoisen kriteerin virtuaaliympäristöjen luokittelemiseksi. Heidän mukaansa maailma voidaan tulkita pieneksi silloin, kun se voidaan esittää jostakin pisteestä yhdellä kertaa siten, että tärkeät yksityiskohdat ovat näkyvissä. Muutoin se tulkitaan laajaksi. Laajoihin maailmoihin liittyy ongelmia, jotka tässä tutkimuksessa haluttiin välttää. Kaikki käyttäjätestien maailmat olivatkin pieniä. Tulevaisuudessa on kuitenkin tärkeää laajentaa tutkimusta myös suurten maailmojen yhteyteen. Maailmaa voidaan karakterisoida koon lisäksi objektien levittäytymisen ja dynaamisuuden suhteen. Harvassa maailmassa objektien ja objektiryhmien etäisyydet ovat suuria, kun taas tiheässä maailmassa objektien väliset etäisyydet ovat lyhyitä. Objektien jakautuminen voi olla epätasaista; suuri määrä objekteja voi olla jakautunut samalle alueelle peittäen toisensa, mikä tekee maailmasta sekavan. Käyttäjätesteissä maailmat olivat yksinkertaisuuden vuoksi selkeitä ja harvoja. On kuitenkin oletettavaa, että puheohjaus soveltuisi hyvin sekaviin ja tiheisiin maailmoihin, sillä tällöin pystyttäisiin hyödyntämään puheen erityisominaisuuksia, kuten objektien valintaa niiden ominaisuuksien perusteella (ks. kohta 3.1.4). Tämä onkin erittäin mielenkiintoinen jatkotutkimuksen aihe. Sivu 36

44 4 3D-KÄYTTÖLIITTYMÄT Staattisessa maailmassa objektien asema ei muutu ajan kuluessa päinvastoin kuin dynaamisessa maailmassa. Tästä asetelmasta voidaan myös erottaa välimuotoja, puolidynaamisia maailmoja, joissa joko objektien asema tai paikka voi muuttua. Muutokset voivat olla edelleen joko deterministisiä tai epädeterministisiä [Darken & Sibert, 1993]. Merkittävin dynaamisiin maailmoihin liittyvä ongelma puheohjauksen kannalta on virheenkorjaus, joka on huomattavasti kompleksisempaa dynaamisissa maailmoissa kuin staattisissa tilanteissa (ks. kohta 7.4.2). Objektit voivat muodostaa joko fyysistä maailmaa jäljittelevän virtuaaliympäristön tai toisaalta tyystin abstraktin maailman, jossa objektit eivät edes ole fyysisesti mahdollisia. Käyttäjien odotukset maailmassa toimimisen suhteen ovat tällöin hyvinkin erilaisia: esim. reaalimaailmaa muistuttavassa virtuaaliympäristössä oletetaan automaattisesti objektien käyttäytyvän luonnollisesti [Houde, 1992]. Tätä voidaan käyttää hyödyksi objektien vapausasteiden rajoittamisessa. Realistisuus voi muodostaa myös ongelmia, mikä näkyi käyttäjätesteissä siinä, että käteen sopivaa objektia mieluummin käsiteltiin, kuin että sen ympärillä olisi liikuttu. 4.4 Liikkuminen kolmiulotteisessa ympäristössä Tässä tutkimuksessa virtuaalimaailmassa tapahtuvaa vuorovaikutusta tarkastellaan pääasiallisesti liikkumiseen pohjautuen. Liikkumista säätelevät useat eri tekijät, kuten vuorovaikutuksen pohjalla olevat motiivit. Liikkumiseen käytettävä perusmetafora ja käyttäjän suorittamat liikettä kontrolloivat tekijät muodostavat yhdessä erilaisia korkean tason liikkumismetaforia. Nämä kaikki vaikuttavat siihen, millainen vuorovaikutustapahtumasta muodostuu Liikkumisen motiivit Mackinlay kollegoineen [1990] lähestyy kolmiulotteisessa tilassa liikkumista suoritettavan tehtävän vaatimusten näkökulmasta. He erottavat neljä päätyyppiä, yleisen liikkumisen eli tutkimisen, kohteen mukaisen liikkumisen, tarkoin määriteltyyn paikkaan liikkumisen sekä liikerataan perustuvan liikkumisen. Darken ja Sibert [1996] ovat tutkineet laajalti virtuaalimaailmoissa tapahtuvaa navigointia. He esittävät, että päätehtävän mukaiseen tarkoitukseen pohjaava liikkuminen voi olla naiivin haun kaltaista, missä kohteen sijaintia ei tiedetä, päämäärätietoista, jolloin kohteen sijainti tiedetään tai tutkimista, jolloin mitään varsinaista kohdetta ei ole. Sivu 37

45 4 3D-KÄYTTÖLIITTYMÄT Liikkumiseen liittyvät motiivit voidaan jakaa karkeasti kahdentyyppisiin tapauksiin, niihin missä käyttäjällä on selkeä kohde, johon hän haluaa päästä sekä niihin, joissa käyttäjällä ei ole kohdetta, vaan hän pikemminkin haluaa saada käsityksen ympäristöstään. Darken ja Sibert huomauttavat, että paikanhakuun liittyvät tehtävät ovat yleensä toisiinsa liittyneitä, jolloin esimerkiksi päämäärätietoista hakua saattaa edeltää useita naiviin hakuun pohjautuvia vaiheita. Joskus voi olla myös vaikeaa tehdä eroa objektien tutkimisen ja maailmassa liikkumisen välille: tällöin käyttäjän sisäinen malli toiminnoista ja käytännössä suoritettavat toimenpiteet saattavat olla hyvinkin erilaisia. Tämä ilmiö tulikin hyvin esille puheohjatun selaimen käyttäjätesteissä. Tässä tutkimuksessa keskityttiin sellaisiin tehtäviin, joissa käyttäjillä oli aina selkeä kohde. Tulevaisuuden kannalta on mielenkiintoista tutkia myös sellaisia maailmoja, joissa käyttäjä joutuu navigoimaan maailmassa kohteita etsien. On todennäköistä, että puheen käyttämiselle löytyy tällöin menetelmiä, jotka ovat vaikeita toteuttaa muilla tavoin. Esimerkiksi objektien luokse siirtymisessä voidaan käyttää hyväksi perustoimenpiteitä ilmaisuvoimaisempia komentoja. Näitä on hahmoteltu kohdassa Liikkumisen perusmetaforat Ware ja Osborne [1990] esittivät kolme vuorovaikutusmetaforaa, joiden variaatioina voidaan pitää suurinta osaa käytännössä toteutetuista vuorovaikutusmenetelmistä. Heidän esittämiensä metaforien mukaan maailmaa voidaan havainnoida kädessä pidettävän kameran avulla, pitämällä maailmaa kädessä tai ohjaamalla virtuaalista kulkuneuvoa maailmassa. Mikään menetelmistä ei ole heidän mukaansa ylivoimainen kaikkiin tehtäviin, vaan jokaisella on omat heikot ja vahvat alueensa. Tarkasteltaessa maailmaa kädessä pidettävän kameran läpi käyttäjän tarkkailupisteen asema muuttuu suhteessa käden liikkeeseen. Vastaavan liikkeen suorittaminen kädessä pidettävälle maailmalle aiheuttaa maailman aseman muuttumisen käden liikkeen suuntaisesti. Näin ollen sama käden liike näkyy käyttäjälle vastakkaissuuntaisena muutoksena näkymässä eri metaforia käytettäessä. Esimerkkinä metaforien vaikutuksista siirtymä oikealle aiheuttaisi kuvan 4-1 esityksen mukaisessa maailmassa tarkkailupisteen position x-koordinaatin kasvamisen (siirtyminen origosta oikealla) käytettäessä kamera kädessä metaforaa ja vastaa- Sivu 38

46 4 3D-KÄYTTÖLIITTYMÄT vasti käytettäessä maailma kädessä metaforaa tarkkailupisteen x-koordinaatti pienenisi (siirtyminen origosta vasemmalle). Virtuaalista kulkuneuvoa käytettäessä tarkkailija havaitsee maailman kulkuneuvon kautta. Liike on tällöin suhteessa kulkuneuvoon, mikä tekee tästä objektikeskeisen tarkastelutavan. Kulkuneuvon ominaisuuksien kontrollointi saattaa tuottaa lisää vapausasteita, jolloin esim. kulkuneuvon suunta ja kameran suunta saattavat olla erilaiset Liikkeen kontrollointi Liikkumista määräävät käytettävän metaforan lisäksi erilaiset käyttäjän suorittamat liikkeen kontrollointitoimenpiteet. Bowman et al. [1997] esittävät uppouttaviin virtuaaliympäristöihin tarkoitetun taksonomian, jossa liikettä määräävät tekijät jaetaan kolmeen pääluokkaan, liikkeen suunnan tai kohteen valitsemiseen, nopeuden tai kiihtyvyyden kontrolloimiseen sekä liikkeen kestoa määrääviin tekijöihin. Heidän taksonomiansa on esitetty yleistettynä kuvassa 4-2. VXXQQDQÃYDOLQWDDQÃSHUXVWXYDÃRKMDXV NRKWHHQÃGLVNUHHWWLÃYDOLQWD YDNLRDUYRLQHQ HNVSOLVLLWWLVHVWLÃNRQWUROORLWX Nl\WWlMlQÃWDLÃ\PSlULVW QÃVNDDODDPLQHQ DXWRPDDWWLQHQÃWDLÃDGDSWLLYLQHQ YDNLROLLNH MDWNXYDÃNRQWUROORLQWL DORLWWDPLVHQÃMDÃORSHWWDPLVHQÃNRQWUROORLQWL DXWRPDDWWLQHQÃDORLWXVÃWDLÃORSHWXV Kuva 4-2: Liikkeen kontrolloinnin taksonomia. Suunnan valitsemiseen perustuva liike ei riipu maailmassa olevista objekteista. Kohteen valitseminen tapahtuu aina jonkin maailmassa olevan objektin tai ennalta määrätyn paikan mukaisesti. Paikan ei välttämättä tarvitse liittyä mihinkään objektiin. Mielenkiintoinen esimerkki käyttäjän tai ympäristön skaalaamisesta on Stoakleyn ja kollegoiden [1995] kehittämät kädessä pidettävät miniatyyrimaailmat. Sivu 39

47 4 3D-KÄYTTÖLIITTYMÄT Korkean tason liikkumismetaforat Erilaisia perusmetaforien ja liikkeen kontrollointimenetelmien pohjalta muodostuvia korkean tason liikkumismetaforia on käytännössä melkein yhtä paljon kuin sovelluksiakin. Nämä voidaan jakaa melko kattavasti kävelyyn, lentämiseen, kulkuneuvon ohjaamiseen ja kohteen tai paikan mukaiseen siirtymiseen. Mikään menetelmä ei sovellu yleispätevästi kaikkiin tilanteisiin: pelkästään yhden liikkumismuodon käyttäminen saattaa rajoittaa liiaksi käyttäjää [Bourdakis, 1996]. Tämä näkyi hyvin myös puheohjatun selaimen tapauksessa. Nopeimmiksi ja luotettavimmiksi liikkumistavoiksi on todettu erilaiset siirtymismenetelmät, joissa käyttäjä määrittää paikan, jonne siirrytään välittömästi. Haittapuolena välittömässä siirtymisessä on se, että käyttäjän tietoisuus omasta asemastaan maailmassa voi häiriintyä. Lisäksi siirryttävän paikan täytyy olla joko etukäteen tunnettu (listalta valinta tai kuvaileminen) tai sen täytyy olla näkökentässä (valinta kohdistimella). [Bowman et al., 1997] Välitöntä siirtymistä parempaan tulokseen päästään siirtymällä kohteeseen pehmeästi. Useisiin toteutettuihin järjestelmiin sisältyy tällainen kiinnostuksen kohteen mukainen liikkumismekanismi, missä toimenpide tapahtuu kahteen osaan, liikkumiseen ja orientoitumiseen jaettuna. Tämän menetelmän etuna on mm. se, että käyttäjä pystyy kasvattamaan tietoutta ympäristöstä liikkumisen aikana [Mackinlay et al., 1990]. Tämä menetelmä soveltuisi hyvin puheohjauksen yhteyteen. Tässä haluttiin kuitenkin tutkia perustoimenpiteitä, jotka ainakin periaatteessa mahdollistavat yleispätevän liikkumisen. 4.5 Vuorovaikutuksessa tarvittavien vapausasteiden rajoittaminen Liikkumisen lisäksi virtuaalimaailmoissa tarvitaan menetelmiä objektien käsittelyyn. Tähän on kehitetty runsaasti erilaisia menetelmiä varsinkin kolmiulotteisten käyttöliittymien alkuaikoina, jolloin tehtävät koostuivat pääosin objektien manipuloinnista. Suurin osa näistä ratkaisuista olettaa, että tehtävät suoritetaan joko hiiren tai datahansikkaiden välityksellä eli kinestistä syötteidenantomenetelmää käyttäen. Esitän tässä sellaisia menetelmiä, joita on mahdollista hyödyntää puhetta käytettäessä. Esitetyt ratkaisut lähestyvät objektien käsittelyä rajoittamalla tehtävän kannalta epäolennaisia vapausasteita. Paitsi objektien manipulointiin, näitä menetelmiä voidaan Sivu 40

48 4 3D-KÄYTTÖLIITTYMÄT hyödyntää myös liikkumiseen, sillä liikkuminen voidaan nähdä kameran paikan ja orientaation manipulointina. Selaimelle suoritettujen käyttäjätestien pohjalta havaittiin, että näitä menetelmiä voidaan hyödyntää erityisesti tarkassa työskentelyssä (ks. kohta 7.5.2). Erilaisten oletusarvojen käyttö on suosittu tapa poistaa tarpeettomia vapausasteita sellaisissa tapauksissa, joissa objektin käsittelyssä ei tarvita kaikkia dimensioita. Tehtäviä tulee tällöin tarkastella tarpeeksi pienissä osissa, sillä esimerkiksi niinkin perusluonteisen tehtävän kuin kappaleen osoittamisen on todettu jakautuvan erillisiin, peräkkäisiin osiin [Balakrishnan et al., 1997]. Mikäli johonkin osatehtävään tarvitaan vähemmän dimensioita kuin muihin, tulisi vapausasteita rajoittaa tällaista osatehtävää käsiteltäessä sen vaatimusten tasolle. Reaalimaailmassakin kuuden vapausasteen tehtävät jaetaan usein osiin [Hinckley et al., 1994]. Oletusarvojen valinnassa voidaan käyttää hyväksi ihmisten kokemuksia reaalimaailmassa tapahtuvasta objektien käsittelystä. Houden [1992] tutkimuksessa havaittiin, että ihmisillä oli luonnollisen kaltaisessa tilanteessa selkeitä odotuksia sen suhteen, kuinka objektien tuli käyttäytyä. Hänen onnistui jakaa useimmat manipulointitehtävät kolmeen luokkaan, joiden perusteella objektien vapausasteita pystyttiin rajoittamaan tilanteeseen sopivaksi. Houde huomauttaa, että manipulointimahdollisuuksien tulee kuitenkin olla joustavia, sillä ihmiset käsittelivät esineitä eri tavoin. On myös selvää, että tämänkaltaiset ratkaisut toimivat vain hyvin rajoitetuilla virtuaaliympäristöjen osa-alueilla. Reaalimaailman vastaavuudet voivat olla myös vuorovaikutusta rajoittava tekijä, sillä käyttäjien oletukset reaalimaailman objektien käyttäytymisestä vaikuttavat vahvasti vuorovaikutukseen. Oletusarvojen lisäksi käytetään erilaisia yleisluontoisia vetovoimaan pohjautuvia ratkaisuja. Näistä tunnetuin lienee painovoiman hyväksikäyttöön pohjaava menetelmä [Bier, 1990], jota on sittemmin hyödynnetty paljolti sekä itsenäisesti että osana muita ratkaisuja. Tässä mallissa kohdistin kiinnittyy painovoimafunktion vaikutuksesta objektiin saapuessaan objektin vaikutusalueelle. Venolian [1993] ratkaisu on hieman samansuuntainen: siinä käytetään hyväksi magneettimetaforaa, jonka mukaisesti objektit vetävät toisiaan puoleensa ollessaan tarpeeksi lähekkäin. Bukowskin ja Sequinin [1995] menetelmässä objekteja voidaan liikutella ensin vapaasti; käyttäjän lopettaessa siirron objekti asemoidaan uudelleen siihen liittyvien assosiaatiosuhteiden perusteella. Sivu 41

49 4 3D-KÄYTTÖLIITTYMÄT 4.6 Puheen käytöstä kolmiulotteisissa käyttöliittymissä Puhetta on käytetty toistaiseksi hyvin vähän kolmiulotteisten käyttöliittymien syötteidenantomenetelmänä, vaikka sekä puheen että kolmiulotteisten käyttöliittymien nähdäänkin olevan tärkeitä tekijöitä tulevaisuuden käyttöliittymissä [van Dam, 1997]. Tämä johtunee osaksi puheteknologian kehittymättömyydestä, osaksi siitä, että virtuaalitodellisuuden yhteydessä on ollut voimakas suuntautuminen pois komentopohjaisista käyttöliittymistä. Alueella on kuitenkin tehty jonkin verran tutkimusta. Tarkastelen tässä neljää lähestymistapaa, jotka hyödyntävät puhetta luonnollisen kielen yhteydessä, komentopohjaisena, multimodaalisen käyttöliittymän osana sekä avustavana kommunikointimenetelmänä. Karlgren kollegoineen [1995] on tutkinut luonnollisen kielen käyttöä virtuaaliympäristöissä. He ovat ottaneet lähestymistavaksi sen, että puhuttu luonnollinen kieli soveltuu hyvin sellaisten asioiden ilmaisemiseen, joita on vaikeaa tai jopa mahdotonta ilmaista muilla menetelmillä (ks. kohta 3.1.4). Karlgrenin ja kumppaneiden tutkimuksessa esiintyy kaksi puheen käyttöön liittyvää tärkeää näkökulmaa: puhemetaforan muodostuminen eli kenelle puhe on suunnattu ja puheessa esiintyvien viittausten selvittämisen vaikeus. Puhemetaforissa vastaanottaja voidaan kuvitella virtuaaliminäksi, maailmaksi, jumalaksi, objektiksi tai agentiksi. Mikäli käskyjen vastaanottaja on maailma, käyttäjä oletetaan eräänlaiseksi jumalolennoksi. Jumala-metaforassa vastaanottajaa taas pyydetään toteuttamaan annetut komennot. Agentti puolestaan on käyttäjää palveleva henkilö, joka toteuttaa käyttäjän antamia komentoja. Karlgren ja kumppanit ottivat lähtökohdaksi agenttimetaforan; itse näkisin objektilähtöisen näkökohdan paremmaksi, koska agenttimetaforaan liittyy merkittäviä ongelmia, kuten komentojen epäsuoruus. Komentopohjaisen puheen osalta puhemetafora ei ole kovinkaan merkittävä, mutta mitä enemmän lähestytään luonnollista puhekieltä, sitä tärkeämmäksi tämä asia muodostuu. Jatkotutkimuksissa puhemetaforan valintaan tuleekin kiinnittää huomiota. Jälkimmäinen Karlgrenin ja kollegoiden esille ottama näkökohta, puheeseen sisältyvien viittausten (esim. siirrä se tuonne ) selvittäminen, onkin yksi merkittävimmistä kysymyksistä luonnollista kieltä käyttävissä liittymissä. Ongelmia tuottaa mm. objektien nimeäminen, mikä on erityisen vaikeaa abstraktien maailmojen yhteydessä. Käytettävän kielen on kuitenkin todettu olevan melko hyvin hallittavissa: Goderéauxin ja Sivu 42

50 4 3D-KÄYTTÖLIITTYMÄT kumppaneiden [1996] hyvin samankaltaisessa kontekstissa suorittamassa tutkimuksessa havaittiin, että yksittäisten sanojen osuus kommunikoinnissa oli 45% ja negaatiolauseita käytettiin ainoastaan 2%:ssa tapauksista. Käytännössä viittausten selvittämiseen kannattaa käyttää simuloitua koetta, jonka avulla viittauksia pystytään selvittämään ilman työlästä prototyypin rakentamista. Vaikka jotkut tutkijat näkevätkin perinteiset kaksiulotteiset menetelmät, kuten valikot, soveltumattomiksi kolmiulotteisiin käyttöliittymiin, uskotaan näiden käytölle löytyvän perusteltuja tilanteita. Puheen on nähty mm. soveltuvan hyvin perinteisten komentopohjaisten tehtävien ohjaukseen kolmiulotteisten käyttöliittymien yhteydessä. Useita vapausasteita suoraan kontrolloivien laitteiden on todettu olevan huonoja kaksiulotteisissa tehtävissä, eikä vaihtaminen erilaisten laitteiden välillä olisi aina kovinkaan tehokasta [Hinckley et al., 1994]. Darkenin [1994] esittämä puheohjattu valikkojärjestelmä on hyvä esimerkki puheen hyödyntämisestä tilanteessa, jossa yhdistetään kaksi- ja kolmiulotteista käyttöliittymää. Perusideana on tarjota menetelmä niihin tilanteisiin, joissa tarvitaan tarkkoja, diskreettejä syötteitä. Kontekstisidonnaiset, hierarkkiset menut toimivat käyttäjän ja virtuaalimaailman välissä. Ne antavat tarvittavan informaation toimenpiteiden suorittamiseen ja aiheuttavat mahdollisimman vähän ylimääräistä kuormitusta. Menetelmä mahdollistaa syötteiden antamisen ilman käsien käyttöä ja perinteisiä kaksiulotteisten käyttöliittymäkomponenttien ja kolmiulotteisten virtuaalimaailmojen yhdistämisen ongelmia. Se onkin malliesimerkki tehtävän dimensioiden ja syötteidenantomenetelmän dimensioiden kohtaamisesta. Multimodaaliset käyttöliittymät ovat alue, jossa puheesta uskotaan olevan erityisesti hyötyä. Varsinkin kannettavat henkilökohtaiset tietokoneet muodostavat kohteen, jossa käyttäjä hyötyy multimodaalisesta syötteestä. Lähestymistapaa on tutkittu mm. sotilaskäytön sovelluksissa [Pittman et al., 1997] sekä erilaisissa muissa simulaatioissa. Nämä eivät kuitenkaan sisällä puhesyötteitä varsinaisiin kolmiulotteisiin toimintoihin. Tämän asian suhteen tutkimuskentässä onkin selvä aukko, jota tämä tutkimus pyrkii osaltaan selvittämään. Paitsi vuorovaikutukseen virtuaalisen kolmiulotteisen maailman kanssa, voidaan puheentunnistusta käyttää hyväksi myös avustavassa kommunikoinnissa reaalimaailman kolmiulotteisissa tehtävissä [Kazi et al., 1995]. Tulevaisuuden käyttöliittymien tulisikin Sivu 43

51 4 3D-KÄYTTÖLIITTYMÄT ottaa huomioon myös nämä usein unohdetut käyttäjäryhmät, joihin kuuluvat esim. erilaiset vammaiset ja lukutaidottomat [Herndon et al., 1994]. Uskon, että osa virtuaalimaailmassa suoritettavien tutkimuksien tuloksista on siirrettävissä myös reaalimaailman kommunikointiin. 4.7 Lopuksi Kolmiulotteisessa maailmassa tapahtuvaan vuorovaikutukseen ei ole vielä onnistuttu löytämään yhtä hyviä menetelmiä kuin mitä kaksiulotteisiin työpöytäympäristöihin on kehitetty. Usein ratkaisuina esitetään käyttöliittymäkomponentteja, joiden hallitseminen vaatii tarkkaa motorista kontrollointia. Tämä ei ole mahdollista kaikissa tilanteissa eikä kaikille henkilöille. Puhe on merkittävä kommunikointiväline vaihtoehtoisena syötteidenantomenetelmänä, sillä se soveltuu tehtäviin, joissa kädet eivät ole lainkaan käytettävissä. Vaikka toiminta ei olisikaan tällöin maksimaalisen tehokasta, puhe kuitenkin mahdollistaa kolmiulotteisen käyttöliittymän hallitsemisen. Puhetta on tutkittu tähän asti kolmiulotteisten käyttöliittymien yhteydessä lähinnä luonnollisen kielen näkökulmasta ja täydentävänä modaliteettina. Perusvuorovaikutuksen yhteydessä puheohjausta ei sen sijaan ole juurikaan tutkittu. Näen kuitenkin tarpeelliseksi myös perusvuorovaikutuksen tutkimisen, sillä tämä luo pohjan korkeamman tason toiminnallisuuden kehittämiseen ja mahdollistaa virtuaalimaailmojen hallitsemisen myös silloin, kun edistyneemmät menetelmät eivät toimi. Esimerkiksi multimodaalisten käyttöliittymien yhteydessä on tärkeää mahdollistaa kommunikointi myös pelkästään yhtä modaliteettia käyttäen. Seuraavassa luvussa esitetään puheohjattu VRML-selain, joka rakennettiin puheen peruskäytön tutkimiseksi ja jatkotutkimusten koealustaksi. Selain on tässä vaiheessa vielä hyvin yksinkertainen, mutta sitä on tarkoitus kehittää käyttäjätestien pohjalta. Selaimella suoritetut käyttäjätestit muodostavatkin merkittävän osan tätä tutkimusta, samoin kuin jatkokehityksen osalta esitetyt tutkimusideat. Lopullisena tavoitteena on luoda puhetta monipuolisesti hyödyntävä menetelmä virtuaalisten maailmojen täysimittaiseen hallitsemiseen. Sivu 44

52 5 PUHEOHJATTU SELAIN 5 PUHEOHJATTU SELAIN Puheohjauksen tutkimiseksi kolmiulotteisten käyttöliittymien yhteydessä rakennettiin puheohjattu virtuaalimaailmojen selain. Prototyyppi konstruoitiin liittämällä puheentunnistusjärjestelmä VRML 2.0-selaimeen. Kokoonpanon avulla suoritettiin käyttäjätestejä, joilla haluttiin selvittää puheohjauksen mahdollisuuksia ja ongelmia kolmiulotteisissa käyttöliittymissä. Näiden pohjalta hahmotellaan kehittyneempää toiminnallisuutta virtuaalimaailmojen hallintaan. Esitän tässä puheohjatun selaimen rakenteen ja toteutuksen siinä laajuudessa kuin se on tarpeellista jatkon kannalta. Ensimmäiseksi selvitetään suunnittelun lähtökohtia. Pääosa luvusta kohdistuu selaimen toiminnallisuuden kuvaukseen. Toteutuksen kannalta tarkastellaan käytettyjä välineitä sekä toteutusprosessia. Lopuksi esitetään joitakin toteutukseen liittyviä huomioita. 5.1 Lähtökohdat Koska käyttäjätesteissä haluttiin tutkia puheen soveltuvuutta kolmiulotteisten käyttöliittymien hallintaan pelkistetyissä olosuhteissa, lähdettiin toteutuksessa siitä, että käyttäjän tulisi olla mahdollista hallita virtuaalimaailmaa täysin puheohjausta käyttäen. Tällä asetelmalla haluttiin saada ensinnäkin perustietoa siitä, kuinka puheohjaus soveltuu kolmiulotteisen käyttöliittymän täysivaltaiseen hallintaan. Toisekseen näin pystyttiin havainnoimaan puheen vahvoja ja heikkoja puolia multimodaalisia ratkaisuja silmällä pitäen. Selaimelle soveltuvimmiksi käyttökohteiksi ajateltiin erilaisia informaatiopalveluita, joissa käyttäjän ensisijaisena tarkoituksena on saada käsitys esitetystä virtuaaliympäristöstä ja siinä olevista objekteista. Varsinaista objektien manipulointia pidettiin vähemmän tärkeänä toiminnallisuutena. Tutkimalla käytetyn puheentunnistusjärjestelmän (ks. kohta 5.3) suorituskykyä havaittiin, että virhetasojen pitäminen kohtuullisella tasolla eli alle kymmenessä prosentissa edellyttää, ettei komentovalikoima ylittäisi kymmentä komentoa. Lisäksi haluttiin minimoida komentojen muistamiseen liittyvät ongelmat (ks. kohta 3.4). Käytännössä komentovalikoima mahdollistaisi ainoastaan hyvin suppean toiminnallisuuden, jolla tulisi selviytyä useimmissa tilanteissa. Sivu 45

53 5 PUHEOHJATTU SELAIN Koska selaimen tärkeimmäksi kohteeksi määritettiin virtuaalimaailman havainnoiminen, tulisi myös käytettävän komentovalikoiman tukea tätä päämäärää. Erilaisista kohdassa 4.1 esitetyistä kolmiulotteisen maailman toimenpiteistä tärkeimmäksi katsottiin liikkuminen, sillä se tukee parhaiten maailman havainnointia ja on yksinkertaisinta toteuttaa. Lisäksi haluttiin, että toimintovalikoima tukisi jollain tapaa myös objektien tarkastelua, sillä usein maailma koostuu ainoastaan yhdestä varsinaisesta kohteesta. 5.2 Toiminnallisuus Toiminnallisuuden kannalta tärkeitä seikkoja ovat toimintojen määrittäminen, liikkeen kontrollointi, näistä muodostuva metafora sekä toimintojen esittäminen komentoina Toimintojen määrittäminen Liikkuminen on pohjimmiltaan näkökulman eli kameran paikan manipulointia, joten siitä voidaan erottaa kuusi erilaista perusoperaatiota vapausasteiden mukaisesti. Perusliikkumiseen valittiin suuntaan pohjautuva liikkeen kontrollointi (ks ) eli kameran siirto pääakseleiden mukaisesti. Käytännössä tämä tarkoittaa sitä, että liikuttaessa horisontaalisesti vaikutetaan katsojan paikkaan x-koordinaatin mukaisesti, vertikaalisesti y-koordinaatin mukaisesti ja syvyyssuunnassa z-koordinaatin mukaisesti. Suora katselupaikan liikuttaminen ei ole tehokkain mahdollinen menetelmä kaikkiin tilanteisiin, mutta se tarjoaa yleispätevän ratkaisun, joka sopii kaikkiin tilanteisiin sekä kolmi- että kaksiulotteisessa liikkumisessa. Tätä voidaan pitää tärkeänä seikkana, sillä osa varsinkin informaation visualisointiin tarkoitetusta materiaalista on luonteeltaan 2 ½-ulotteista eli yhdistää useita kaksiulotteisia näkymiä samaan kolmiulotteiseen tilaan [Koike, 1993]. Kohteen mukainen liikkuminen olisi erittäin hyvä lisä täydentämään suuntaan pohjautuvaa liikkumista. Ainoana menetelmänä kohteen mukainen liikkuminen ei sen sijaan ole riittävä [Mackinlay et al., 1990]. Koska perusliikkuminen päätettiin toteuttaa suoraviivaisesti katsojan paikan siirtämisenä, olisi ollut luonnollista tarjota vastaavankaltaiset kääntymisoperaatiot orientaation muutoksille. Tämä olisi vastannut mallia, jossa käyttäjä manipuloi kameran asentoa sen pysyessä paikallaan. Tällä lähestymistavalla on kuitenkin ongelmansa: se ei tue maailmassa olevien objektien tarkastelua lainkaan, vaan esim. halutessaan nähdä Sivu 46

54 5 PUHEOHJATTU SELAIN edessään olevan kohteen takaapäin käyttäjän olisi sekä siirryttävä kohteen taakse että muutettava orientaatiotansa 180 astetta. Tutkimalla eri selaimissa esiintyviä vuorovaikutusmenetelmiä havaittiin, että kohteen tarkastelu hoidetaan useimmissa tapauksissa liikkumalla kohteen ympärillä siten, että etäisyys ja fokus kohteeseen säilyvät. Tämä saavutetaan muuttamalla tarkkailupisteen paikkaa kahden koordinaatin mukaisesti ja orientaatiota yhden koordinaatin mukaisesti. Reaalimaailman vastaavuus olisi esimerkiksi näyttelyesineen ympärillä kiertävä katselija. Käyttäjän kannalta sama päämäärä saavutettaisiin muuttamalla kappaleen orientaatiota eli kysymys on tällöin kohdassa esitetyn terminologian mukaisesti kamera kädessä ja maailma kädessä - metaforien välisestä erosta Liikkeiden kontrollointi Toiminnallisuuden osalta oli päätettävä liikkeiden nopeuden ja keston kontrolloinnista. Nopeuden kannalta paras mahdollinen vaihtoehto olisi automaattinen kontrollointi, koska jatkuva kontrollointi on käytännössä liian vaikeaa puheen luonteesta johtuen. Parametrisoitu nopeuden kontrollointi eli nopeuden ilmaiseminen määreen avulla taas on vaikeaa, koska se edellyttää eri parametrien vaikutusten hyvää tuntemusta. Koska automaattinen nopeuden kontrollointi vaatisi kontekstin huomioonottamista, tässä prototyypissä tyydyttiin vakionopeuksiseen liikkumiseen. Erilaisia vaihtoehtoja tilanteen parantamiseen kartoitettiin käyttäjätestien aikana: näitä on esitetty kohdassa Liikkeiden keston kontrolloinnin osalta toteutettiin mahdollisista vaihtoehdoista (ks. kohta 4.4.3) kaksi, vakioliike sekä aloittamis- ja lopettamiskomentoihin perustuva liike. Nämä olivat soveltuvimpia vaihtoehtoja, sillä jatkuva kontrollointi on käytännössä mahdotonta puheohjauksella toteutettavaksi eikä automatiikan käyttäminen ollut realistista tämän projektin puitteissa. Vakioliikkeestä toteutettiin kaksi variaatiota, vakionopeuksinen liike sekä tapa, jossa nopeus on asetettu äärettömäksi eli liike on diskreetti siirtymä lähtöpisteestä maalipisteeseen. Aloittamis- ja lopettamiskomentoihin perustuvassa liikkumisessa liikkeen lopettaa pysähtymiskomento cut. Perustilassa sallittiin vain yksi liike kerrallaan. Kokeiluja varten toteutettiin tila, jossa komentojen vaikutukset yhdistettiin, jolloin oli mahdollista saada aikaan jopa viiden liikkeen kombinaatio. Tämän tilan hyödyntäminen tuottikin mielenkiintoisia tuloksia, Sivu 47

55 5 PUHEOHJATTU SELAIN sillä sen nähtiin mm. parantavan käyttäjän osallistumisen tunnetta (ks. kohta 7.5.1). Lisäksi sallittiin mahdollisuus uuden korvaavan komennon antamiseen ennen edellisen komennon vaikutuksen loppumista. Jatkon kannalta on hyödyllistä tutkia erilaisia lähestymistapoja komentojen suorittamiseen, sillä käyttäjätestien perusteella näillä on merkittävä vaikutus varsinkin käyttäjien tyytyväisyyteen Metafora Vuorovaikutukseen liittyy olennaisesti matalan tason vuorovaikutusmetaforan valinta: halutaanko komentojen vaikutukset toteutettavan kamera kädessä vai maailma kädessä näkökulmasta käsin. Kuten kohdassa todettiin, kumpikaan näistä metaforista ei sovellu kaikkiin tilanteisiin. Kamera kädessä metafora valittiin, koska sen nähtiin tukevan paremmin maailmassa liikkumista. Kamera kädessä metafora on lisäksi aloittelijoille helpommin opittava [Ware & Osborne, 1990]. Kokonaisuutena liikkumis- ja kääntymistoiminnoista syntyy metafora, jossa käyttäjä liikkuu virtuaalisessa tilassa ohjaten itseään ajoneuvolla, joka ei edellytä katsomiskulman vaihtumista liikkumisen aikana. Mahdollisia tulkintoja on muitakin, eräs niistä on täydellinen ulkoistaminen maailman suhteen eli käyttäjä myös ajattelee liikuttavansa virtuaalista kameraa kolmiulotteisessa avaruudessa. Objekteja tarkasteltaessa on luonnollinen tulkinta jo edellä mainittu kiertely objektin ympärillä. Aikaisemmissa tutkimuksissa ohjausmetaforia on tarkasteltu sellaisten syöttölaitteiden yhteydessä, jotka perustuvat käsien käyttöön. Tällöin esim. kinestinen palaute toimii metaforaa tukevana tekijä. Puhetta käytettäessä ollaan pelkästään (audio)visuaalisen informaation varassa. Metaforaa tukemaan lisättiin selaimeen kohdistin. Kohdistin toteutettiin läpinäkyvänä suorakulmiona keskelle kuvaruutua. Tämän toivottiin auttavan käyttäjää metaforan omaksumisessa, sillä kohdistin tarjoaa kiintopisteen, jonka käyttäjä voi hahmottaa joko omana paikkanaan tai maailmassa liikuteltavana objektina. Käyttäjätesteissä kuitenkin havaittiin, ettei tämä keino yksinään ole riittävä Toimintojen esittäminen komentoina Toiminnallisuus täytyy realisoida komennoiksi. Komennot haluttiin pitää mahdollisimman luonnollisina metaforan kannalta, mutta kuitenkin selkeästi toisistaan erotettavina puheentunnistusjärjestelmän näkökulmasta. Nämä kaksi tavoitetta ajautuivatkin Sivu 48

56 5 PUHEOHJATTU SELAIN pian ristiriitaan: sellaisen komentovalikoiman löytäminen, joka olisi tukenut hyvin sekä käytettävää metaforaa että puheentunnistuksen luotettavuutta ei ollut helppoa. Komentojen kokeileminen oli erittäin vaivalloista, sillä yhden komennon muuttaminen vaikutti koko järjestelmän tunnistuskykyyn. Tästä vaiheesta muodostuikin pitkällinen iteratiivinen prosessi. Perusliikkumiskomentojen osalta selkein ratkaisu oli käyttää yksisanaisia, suuntaa osoittavia komentoja. Tunnistuksen kannalta havaittiin parhaiten soveltuviksi ilmansuuntien nimien käyttäminen horisontaaliseen ( east, west ) ja vertikaaliseen ( north, south ) liikkeeseen ja closer sekä away sanojen käyttäminen syvyyssuunnassa tapahtuvaan liikkumiseen. Kuva 5-1 esittää liikkumiskomentojen vaikutuksia. Kuva 5-1: Liikkumiskomentojen vaikutukset. Kääntymistoimintojen osalta komentosanojen valinta ei ollut kovinkaan selkeää: eri vaihtoehtoja kokeiltaessa päädyttiin lopulta käyttämään liikkumiseen tarkoitettuja komentoja, joiden eteen oli liitetty sana turn. Tämän voidaan nähdä viittaavan sekä käyttäjän kääntymiseen maailman suhteen että objektin kääntämiseen sitä tarkasteltaessa. Malli toimiikin hyvin xz- ja yz-tasojen kanssa eli kierrettäessä kohteen ympäri vaakatasossa ja vertikaalisesti; ongelmallista on sen sijaan xy- eli kuvaruudun tasossa tapahtuva operointi: tähän käytettävät z-akselin liikkumiskomennot ( closer, away ) yhdistettynä kääntymistä ilmaisevaan turn -komentoon eivät muodosta mielekästä yhdistelmää. Sivu 49

57 5 PUHEOHJATTU SELAIN Ratkaisuna xy-tason orientointiongelmaan olisi ollut kokonaan erilaisten komentojen käyttäminen. Tämä olisi kuitenkin aiheuttanut ongelmia puheentunnistuksen kanssa, joten xy-tason mukainen orientointi jätettiin kokonaan toteuttamatta. Käytännössä tämä onkin vähiten käytetty toiminto useimmissa tilanteissa. On myös mahdollista saada xy-tason mukainen orientointi aikaan yhdistämällä xz- ja yz-tasojen liikkeitä, joskaan tämä ei ole kovinkaan luonnollista ja vaatii aivan liikaa työtä ja kolmiulotteista ajattelukykyä. Kohdassa on esitetty ratkaisuja ongelmaan jatkokehitystä silmälläpitäen. \ \ D E \]WDVR ] ] [ [ [ ] ] \ Kuva 5-2: Kääntymiskomentojen tasoesitykset. \ ] ] ] [ [ \ ] Kuva 5-3: Kääntymiskomentojen vaikutukset. Sivu 50

58 5 PUHEOHJATTU SELAIN Kuva 5-2 esittää muodostuneiden kääntymistoimintojen liikeratoja. Kohdassa (a) on kysymyksessä xz-tasolla tapahtuva liikkuminen ja y-akselin mukainen orientointi eli turn west ja turn east -komennoilla aikaansaatu toiminnallisuus. Kohdassa (b) on vastaavasti yz-tasolla liikkuminen ja x-akselin mukainen orientointi eli turn north ja turn south -komentojen vaikutus. Kuvassa 5-3 on esitettynä kääntymiskomentojen vaikutukset esimerkkitapauksessa. 5.3 Konstruointiin käytetyt välineet Prototyyppi toteutettiin Sun Solaris ympäristössä 200 Mhz UltraSparc 2- työasemalla. Koneeseen oli liitettynä 21 tuuman värimonitori ja laitteiston mukana toimitettava perusmikrofoni. Koneessa oli lisäksi kolmiulotteisen grafiikan kiihdytin. Sovelluksen pohjana käytettiin vapaasti saatavilla olevaa VRwave VRML 2.0-selainta [Andrews et al., 1998]. Ensin selaimesta käytettiin versiota ja myöhemmin siirryttiin versioon 0.8. VRwave pohjautuu toiminnallisuuden osalta VRML 1.0-kielelle tarkoitettuun VRweb-selaimeen [Pichler et al., 1995]. Selain valittiin, koska se oli ainoa vapaasti levitettävä VRML 2.0-selain, josta oli saatavilla myös lähdekoodi. Lisäksi selain tuki OpenGL rajapintaa, mikä mahdollisti grafiikkakiihdyttimen hyödyntämisen. Puheentunnistukseen käytettiin graphvite-järjestelmää [Entropic, 1998], puhesovellusten konstruointiin tarkoitettua ohjelmistopakettia. GrapHvite sisältää ohjelmointirajapinnan Java-kielelle, minkä ansiosta puheentunnistuksen liittäminen Java-kielellä toteutettuun VRwave-selaimeen oli suoraviivaista. Lisäksi paketti sisältää sanaston ja kieliopin määrittelyyn tarkoitetun graafisen apuohjelman, mikä helpotti huomattavasti sanaston määrittelyvaihetta. Teknisiltä ominaisuuksiltaan graphvite ei ollut kaikkein parhaiten soveltuva ratkaisu. Järjestelmä on puhujasta riippumaton, jatkuvaa puhetta tunnistava, rajoitettua kielioppia käyttävä ja tarkoitettu keskisuuren sanavaraston omaaviin sovelluksiin. Ihanneratkaisu olisi ollut puhujaan mukautuva, pienen sanavaraston omaava ja yksittäisiä sanoja puheesta erottava järjestelmä. Käytännössä tällaista järjestelmää ei kuitenkaan ollut saatavilla, joten kokonaisuuden huomioon ottaen graphvite oli paras mahdollinen kompromissi. Sivu 51

59 5 PUHEOHJATTU SELAIN 5.4 Selaimen toteutus Puheentunnistus pyrittiin liittämään selaimeen mahdollisimman itsenäisenä komponenttina. Kaikkein paras ratkaisu olisi ollut selaimen ohjaaminen EAI-rajapintaa [Marrin, 1997] käyttäen. Valitettavasti VRwave ei tukenut vielä tuossa vaiheessa EAI:ta. Käytännössä jouduttiin turvautumaan lähdekoodin muokkaamiseen. Huolimatta ad-hoc-ratkaisuun ajautumisesta suunniteltiin puhesyötteiden käsittelyä ohjaava komponentti mahdollisimman selainriippumattomaksi. Tavoitteeseen päästiinkin, sillä kokeiluluonteisesti Liquid Reality -selaimeen [Microsoft, 1998] liitettäessä puhekomponenttiin tarvittiin ainoastaan muutaman lähdekoodirivin muutos. Uskonkin, että ratkaisu mahdollistaa puheohjauksen liittämisen suurimpaan osaan VRML selaimia hyvin vähäisellä työllä. Kuvassa 5-4 näkyy puhekomponentin yleisrakenne sekä yhteys VRML-selaimeen ja puheentunnistusjärjestelmään. Toimintojen jakaminen loogisiin osiin mahdollistaa erilaisten ratkaisujen kokeilemisen muita osia muuttamatta. Asetustiedostoilla mahdollistetaan erilaiset käyttäjäprofiilit ja ajonaikaisilla parametreilla voidaan vaikuttaa mm. tunnistuskynnyksiin ja vaihtaa komentojen vaikutuksia. Puheentunnistusjärjestelmä Ajonaikaiset parametrit (GUI) Puheentunnistuksen ohjaus ja syötteiden käsittely Asetukset (tiedosto) = informaation välityssuunta = toiminnan säätely = ulkopuoliset komponentit = järjestelmän moduulit Komentojen muuntaminen toiminnoiksi Toimintojen muuntaminen selainkohtaisiksi VRML-selain Kuva 5-4: Sovelluksen yleisrakenne. Toteutuksessa kiinnitettiin erityisesti huomiota tunnistuksen nopeuteen. Ihmisen on todettu olevan herkkä viiveille, erityisesti virtuaalitodellisuuden yhteydessä [Wloka, 1995]. Koska tämän tekijän aiheuttamista vaikutuksista haluttiin päästä eroon, asetet- Sivu 52

60 5 PUHEOHJATTU SELAIN tiin tavoitteeksi viiveiden minimointi. Tämä johti käytännössä kompromisseihin, joiden seurauksena tunnistustarkkuus kärsi hieman joissakin tapauksissa. Keskimääräinen viive saatiin kuitenkin lyhennettyä kymmenysosiin siitä, mitä se oli ilman optimointia. Käytännössä tämä tarkoitti yli sekunnin mittaisten viiveiden lyhenemistä sekunnin kymmenysosiin. Viiveiden lyhentämistä lähestyttiin useilta suunnilta. Paras tulos saavutettiin, kun puheentunnistusprosessi katkaistiin ennen sen varsinaista loppumista. Tällä oli kahdenlaisia sivuvaikutuksia: havaittiin, että joskus annettu komento tulkittiin aluksi väärin, mutta järjestelmä antoi hetken päästä oikean vastauksen. Katkaisemalla tunnistusprosessi ensimmäiseen vastaukseen päädyttiin väärään tulkintaan. Nämä tapaukset olivat kuitenkin harvinaisia. Toinen sivuvaikutus oli se, että komento saatettiin tulkita jo ennen sen loppumista. Tämäkin tapaus oli melko harvinainen. Tunnistusvirheiden vähentämiseksi sovellukseen lisättiin yksinkertainen tunnistuskynnyksiin perustuva karsintamenetelmä. Tunnistuskynnys on arvo, jonka alittavia tunnistusarvoja ei hyväksytä oikeellisiksi komennoiksi. Tunnistusarvo on puolestaan komentoon liittyvä pisteytys, joka kertoo, kuinka varma järjestelmä on antamastaan vastauksesta. Tunnistuskynnysten asettaminen tapahtui käyttäjäkohtaisesti. 5.5 Huomiota toteutuksesta Ennakkoon oli selvää, että puheen käyttäminen on ongelmallista joissakin tilanteissa. Puhe ei ole erityisen hyvä menetelmä esimerkiksi tarkkuutta vaativaan liikkeen ohjaukseen [Buskirk & LaLomia, 1995]. Ideaalisesti puhe tulisi varata sellaisiin toimintoihin, joihin se soveltuu parhaiten. Näitä ovat esimerkiksi valikkoja ja näppäinoikoteitä korvaavat komennot [Leatherby & Pausch, 1992]. Tämän tutkimuksen kannalta oli kuitenkin oleellista tutkia myös niitä puheen käytöstä aiheutuvia ongelmia, joita tulee esille puheelle epäedullisissa olosuhteissa. Puheohjatun selaimen kehittämisessä jouduttiinkin tekemään runsaasti kompromisseja sekä käsitteellisellä että teknisellä tasolla. On selvää, että toteutettu prototyyppi ei sovi kaikkien kolmiulotteisten virtuaaliympäristöjen tutkimiseen, merkittävimpinä näistä reaalimaailmaa muistuttavat ympäristöt. Kuitenkin toteutuksen uskottiin palvelevan melko hyvin tämän tutkimuksen päätarkoitusta, kolmiulotteisissa ympäristöissä tapahtuvan vuorovaikutuksen tutkimista ja edelleenkehittämistä. Sivu 53

61 6 KÄYTTÄJÄTESTIT 6 KÄYTTÄJÄTESTIT Edellisessä luvussa esitetyllä selaimella suoritettiin kuusitoista käyttäjätestiä. Käyttäjätestien avulla etsittiin erityisesti ongelmia, joita puheohjauksessa voi ilmetä. Testien yksi tarkoitus oli myös käyttäjien tuominen osaksi kehitystyötä. Saatujen havaintojen ja käyttäjien kommenttien pohjalta on tarkoitus muodostaa kehittyneempi malli puheohjauksen toteuttamiseen. Tässä luvussa on kuvattu käyttäjätestien tarkoitus, olosuhteet, koehenkilöt, havaintojen tallentaminen sekä ensivaikutelmien keruu ja alustavat testit. Testeistä on kuvattu tehtävät, käyttäjille esitetyt kysymykset, suoritus sekä analysointimenetelmät. Lopuksi esitetään joitakin tärkeimpiä huomioita testeistä ja koejärjestelyistä. 6.1 Testien tarkoitus Käyttäjätestien tarkoituksena oli kerätä tietoa komentoluonteisen puheen soveltuvuudesta kolmiulotteisen käyttöliittymän hallintaan ainoana syötemodaliteettina. Erityisesti pyrittiin kartoittamaan sekä tilanteita, jotka olisivat puheelle otollisia että puheen ongelmakohtia. Näitä tietoja voitaisiin soveltaa paitsi virheenkorjauksessa niin myös multimodaalisten käyttöliittymien yhteydessä. Puheohjausta haluttiin tutkia mahdollisimman pelkistetyissä olosuhteissa. Tämä tarkoittaa käytännössä sitä, että tilanteet pidettiin hyvin yksinkertaisina käyttäen pieniä, harvoja ja staattisia maailmoja (ks. kohta 4.3). Virheenkorjausmekanismeja ei ollut yksinkertaista tunnistusarvojen suodatusta lukuunottamatta lainkaan. Tämä ratkaisu mahdollistaa perusmateriaalin hankkimisen, mikä on tärkeää korkeamman tasoisen toiminnan kehittämiselle. Ensisijaisesti pyrittiin kartoittamaan erilaisia virhetilanteita ja analysoimaan virheiden syitä. Tunnistusvirheiden lisäksi tutkittiin semanttisia virheitä, jotka aiheutuivat pääasiassa kolmiulotteisen maailman hahmottamisesta ja ohjaukseen käytetystä metaforasta. Tärkeänä tekijänä tässä prosessissa oli käyttäjien haastatteleminen. Haastatteluilla pyrittiin saamaan esiin paitsi virheiden syitä myös niiden vaikutuksia käyttäjien tyytyväisyyteen. Selaimen toiminnallisuuden tarkastelun ohella pidettiin tärkeänä jatkokehitykseen tarvittavien ideoiden keräämistä. Koekäyttäjät esittivätkin useita kallisarvoisia mielipi- Sivu 54

62 6 KÄYTTÄJÄTESTIT teitä ja ehdotuksia toiminnallisuuden lisäämiseksi ja parantamiseksi. Tällainen käyttäjälähtöinen suunnittelu onkin erittäin tärkeä näkökohta puhekäyttöliittymien yhteydessä yleisten suunnitteluperiaatteiden puuttuessa. 6.2 Testiolosuhteet Käyttäjätestit suoritettiin Digitaalisen Median Instituutissa Tampereella. Testitilana toimivassa työhuoneessa (kuva 6-1 vasemmalla) oli neljä tietokonetta, joista lähti jonkin verran enemmän taustamelua kuin mitä normaalissa yhden käyttäjän työasemaympäristössä tavallisesti on. Sekä kehitystyö että käyttäjätestit suoritettiin samassa ympäristössä. Tällä ratkaisulla vältyttiin ylimääräisiltä ongelmilta, joita kehitys ja testaus eri ympäristössä olisi saattanut aiheuttaa. Puhesyötteiden välittämiseen käytettiin halpaa Sound Blaster merkkistä mikrofonia, joka on tyypillinen kotimikron peruslisälaite (kuva 6-1 oikealla). Mikrofoni ei ole taustahälyä vaimentava. Mikrofoni sijoitettiin pöydälle monitorin eteen osoittamaan suoraan käyttäjää kohden. Tämä ratkaisu mahdollisti luonnollisen käyttötilanteen eikä vaatinut käyttäjältä erityistoimenpiteitä. Päähän asetettavan mikrofonin käyttäminen olisi tehnyt tilanteesta epäluonnollisemman ja jäykän. Kuva 6-1: Testiolosuhteet. Kaikkiaan olosuhteet olivat hyvin lähellä luonnollista työympäristöä. Tämä seikka erottaakin suoritetut testit useista muista puhesovellusten evaluoinneista, jotka yleensä tehdään laboratorio-olosuhteissa. Olosuhdetekijöillä oli merkitystä myös testien koh- Sivu 55

63 6 KÄYTTÄJÄTESTIT teena, sillä yksi kiinnostava kysymys oli tutkia, millaisia tunnistustasoja nykyteknologialla pystytään saavuttamaan aidoissa työskentelyolosuhteissa. 6.3 Koehenkilöt Koehenkilöinä käytettiin suomenkielisiä korkeakouluopiskelijoita sekä korkeakoulumaailmassa työskenteleviä henkilöitä. Kaikilla koehenkilöillä oli hyvä tietokoneen käyttötaito ja sujuva englanninkielen hallinta. Koehenkilöt olivat iältään pääosin vuotiaita. Miehiä kuudestatoista osallistujasta oli kolmetoista. Kolmesta naispuolisesta koehenkilöstä ainoastaan yksi osallistui lopullisiin testeihin, muut kaksi olivat alustavissa testeissä. Kokemustasoltaan kaikki käyttäjät voidaan luokitella yleisiltä tietokoneen käyttötaidoiltaan eksperttikäyttäjiksi ja molempien sovellusalueiden kannalta noviisikäyttäjiksi. Perinteistä luokittelua noviisi-, kokenut- ja eksperttikäyttäjiin ei näiden testien puitteissa pystyttykään muodostamaan. Koehenkilöt muodostivat melko homogeenisen ryhmän. Tähän vaikutti osaltaan se, että testihenkilöt oli etsitty pääosin läheisistä työhuoneista. Haluttiin myös, että testeihin osallistuvilla koehenkilöillä on jonkinasteinen perustuntemus tietokoneen käytöstä ja hyvä kielitaito. Vaikka koehenkilöt muodostavatkin melko suppean ryhmän, en usko, että tämä rajaa perushuomioiden arvoa kovinkaan merkittävästi, sillä koehenkilöillä ei ollut tutkittavien asioiden suhteen poikkeavia taitoja tai ominaisuuksia. 6.4 Havaintojen tallentaminen Testien analysoimiseksi oli käyttäjien toimenpiteet ja niiden vaikutukset taltioitava siten, että tilanteet olisivat myöhemmin konstruoitavissa yksikäsitteisesti ja ajallisesti tarkasti. Tähän oli periaatteessa kaksi lähestymistapaa: tallentaa informaatio joko järjestelmän sisältä käsin tai käyttää ulkoisia audio- ja videolaitteita. Kumpikaan vaihtoehto ei ollut yksinään riittävä, joten testien tallentamiseen käytettiin molempia menetelmiä. Digitaalisella videokameralla tallennettiin kuvaruudun tila ja käyttäjän antamat komennot. Tämä olisi ollut mahdollista tehdä suoraan työaseman audio- ja videoulostuloistakin, mutta videokameraa käyttämällä saatiin kuvaan mukaan hieman ympäristöä sekä käyttäjän muita toimenpiteitä. Näiden avulla pystyttiin myöhemmin tekemään Sivu 56

64 6 KÄYTTÄJÄTESTIT päätelmiä mm. mahdollisista virheiden syistä. Lisäksi menetelmä soveltui hyvin testien yhteydessä toteutettujen haastattelujen tallentamiseen. Sovelluksen tulosteet eli tiedot tunnistetuista komennoista tallennettiin tekstitiedostoon. Komennot varustettiin aikamerkinnöillä ja puheentunnistusjärjestelmän antamilla tunnistusarvoilla sekä tunnistustapahtumien ja tunnistettujen komentojen kestoilla. 6.5 Ensivaikutelmien keruu ja alustavat testit Ennen varsinaisia käyttäjätestejä suoritettiin joukko testejä, joissa kerättiin vaikutelmia rakennetusta selaimesta sekä kokeiltiin erilaisia tehtäviä. Kaksi ensimmäistä istuntoa keskittyivät lähinnä käsitteellisten ja teknisten ongelmien etsimiseen. Kolmannella ja neljännellä testikerralla tarkasteltiin muodostettujen tehtävien soveltuvuutta. Viides testikerta koostui pilottitestistä. Ensivaikutelmia ryhdyttiin keräämään heti, kun selain oli saatu toimintakuntoon. Käyttäjille annettiin mahdollisuus selailla vapaasti virtuaalimaailmoissa, jotka oli etukäteen etsitty tietoverkosta. Tässä vaiheessa kiinnitettiin huomiota ongelmien kartoituksen ohella siihen, kuinka ohjausmalli soveltuu reaalimaailmaa muistuttavien virtuaalimaailmojen hallintaan. Mielenkiintoisin havainto kahdesta ensimmäisestä testikerrasta liittyi komentosanojen valintaan. Ensimmäisen testin aikaan käytössä oli komentosanaparit turn north / south ja roll east / west. Koehenkilö koki näiden muistamisen erityisen vaikeaksi ja käytön sekavaksi, minkä vuoksi lopputesteissä käytettiin yhtenäistä muotoa turn north / south / east / west. Myöhemmin kääntymiskomentojen kanssa ei tullut vastaavia ongelmia. Kääntymiskomentoihin liittyvän havainnon perusteella voidaan olettaa, että käyttäjän muodostama malli on samankaltainen suunnittelussa käytetyn metaforan kanssa eli x- ja y-akselien mukainen kääntyminen oletetaan samalla tavalla suoritettaviksi toiminnoiksi. Tällöin erityylisten komentosanojen käyttäminen rikkoo käyttäjän sisäisen mallin ja vaikeuttaa vuorovaikutusta. Lisäksi tuli selväksi, että komentovalikoima oli syytä pitää suppeana. Sivu 57

65 6 KÄYTTÄJÄTESTIT Lisäksi havaittiin, että toimintovalikoima oli riittämätön realistisissa ympäristöissä, kuten rakennuksissa, tapahtuvaan liikkumiseen. Kääntymismallia ei pidetty luonnollisena, mikä olikin etukäteen oletettavaa. Käyttäjät eivät myöskään pitäneet diskreettiä vakioliikettä miellyttävänä, joskin toinen testihenkilöistä kehittyi tämän käyttämisessä tehokkaaksi. Uskonkin, että diskreettiä liikettä voidaan soveltaa menestyksellisesti tilanteissa, joissa tarvitaan paljon yksinkertaisia, nopeita toimintoja. Esimerkiksi CAD sovellukset voivat olla tällainen kohde. 6.6 Tehtävät Varsinaiset testit eli koekerrat 6-16 sisälsivät yhdeksän tehtävää, joista kolme ensimmäistä olivat harjoitustehtäviä. Loput tehtävät käsittelivät perusliikkumista, kääntymistä ja asemointia Harjoitustehtävät (1, 2 ja 3) Kolmen ensimmäisen tehtävän tarkoituksena oli tutustuttaa koehenkilö sovellukseen, komentovalikoimaan ja ohjausmetaforaan. Harjoitustehtävien aikana tarkkailtiin tunnistusarvoja ja säädettiin tarvittaessa tunnistuskynnyksiä, jotta nämä olisivat kohdallaan varsinaisiin testeihin siirryttäessä. Tämä aiheuttikin suurta vaihtelua osuuden pituuteen, sillä tunnistuskynnyksien hienosäätö saattoi olla pitkällinen prosessi. Ensimmäisessä tehtävässä käyttäjälle annettiin ohjeeksi siirtää kohdistin vapaavalintaisessa järjestyksessä kuhunkin kuvassa 6-2 vasemmalla näkyvän maailman objektiin. Puheohjauksen parametrit oli asetettu siten, että vakioliike siirsi kohdistinta aina seuraavaan objektiin x- tai y-akselilla. Ensimmäisen tehtävän maailmaa käytettiin myös toisessa tehtävässä, missä liikkumistyyli vaihdettiin vakioliikkeestä jatkuvaksi. Tehtävän suoritustapa oli muutoin sama, mutta nyt käyttäjän täytyi pysäyttää liike. Kolmannessa tehtävässä käyttäjälle esitettiin kuvassa 6-3 vasemmalla oleva maailma ja ohjeeksi annettiin kokeilla kääntymiskomentoja kunnes käyttäjä osasi ne mielestään riittävän hyvin ja oli samalla oppinut tuntemaan esitetyn kuution. Tehtävä suoritettiin vakioliikkeeseen perustuvassa tilassa siten, että kääntymiskomento aiheutti 90 asteen käännöksen objektin ympärillä. Käytännössä tämä tarkoittaa sitä, että käyttäjä näkee kuutiosta yhden sivun kerrallaan. Kuvassa 6-3 on havainnollisuuden vuoksi esitetty Sivu 58

66 6 KÄYTTÄJÄTESTIT kääntymiseen tarkoitetut maailmat yläviistosta, tehtävissä maailmat esitettiin käyttäjälle aina kohtisuorassa. Kuva 6-2: Liikkumiseen tarkoitetut testimaailmat Liikkumistehtävät (4, 8 ja 9) Neljännen tehtävän tarkoituksena oli tutkia puhekomentojen soveltuvuutta perusliikkumiseen. Tehtävä suoritettiin kuvassa 6-2 oikealla näkyvässä maailmassa. Koehenkilön tehtävänä oli käydä niissä kohteissa, jotka kokeenjohtaja hänelle osoitti. Koe suoritettiin aloitus- ja lopetuskomentoihin perustuvassa tilassa. Kohteita oli 20 ja ne olivat kaikille koehenkilöille samat. Kohteet esitettiin yksi kerrallaan näyttämällä uuden kohteen paikka näyttöpäätteen viereen asetetulla paperilla. Kahdeksannessa ja yhdeksännessä tehtävässä tutkittiin erilaisia liikkumismuotojen variaatioita. Kahdeksannessa tehtävässä käyttäjän oli mahdollista antaa uusi komento ennen edellisen vaikutuksen loppumista eli käytännössä antaa uusi komento ilman välissä olevaa cut komentoa. Yhdeksännessä tehtävässä oli lisäksi mahdollista yhdistää usean komennon vaikutus. Molempien toimintatapojen oletettiin lisäävän käyttäjän tyytyväisyyttä, mutta tuottavan enemmän virheitä Kääntymistehtävät (5 ja 6) Viidennessä ja kuudennessa tehtävässä tutkittiin kääntymiskomentojen soveltuvuutta ohjaukseen ja maailman hahmotuksesta aiheutuvia virheitä. Viides tehtävä suoritettiin kuvassa 6-3 oikealla olevassa maailmassa. Maailma sisälsi kuution, jonka jokainen Sivu 59

67 6 KÄYTTÄJÄTESTIT sivu oli erivärinen. Kuutio oli rakennettu siten, että kuution ollessa kohtisuorassa katsojaa vasten käyttäjä pystyi näkemään kaikkien sivujen värit samanaikaisesti. Käyttäjää pyydettiin siirtymään vuoronperään tietyille kuution sivuille yhteensä 20 kertaa. Kuva 6-3: Kääntymiseen tarkoitetut maailmat. Kuudes tehtävä oli muuten sama kuin tehtävä viisi, nyt vain käytettiin kuvassa 6-3 vasemmalla näkyvää maailmaa. Käyttäjän oli pidettävä yllä mielikuvaa asemastaan suhteessa kuutioon suoriutuakseen annetuista tehtävistä. Tämän oletettiin vaikuttavan huomattavasti tehtävän suoritukseen sekä lisääntyneinä virheinä että päättelemiseen kuluvana aikana. Kuution oletettiin kuitenkin olevan perusrakenteeltaan tuttu kolmannesta tehtävästä. Kuva 6-4: Esimerkki asemointitehtäviin käytetystä maailmasta. Sivu 60