Tarjolla tänään Multimodaaliset käyttöliittymät Saila Ovaska Informaatiotieteiden yksikkö Tampereen yliopisto Multimodaaliset käyttöliittymät Tietokoneen ohjaamiseen on käytössä monta erilaista ohjaustapaa ja tietokoneella on monta eri aistia Moniaistiset käyttöliittymät Multimodaalisuudesta apua etenkin agenteilla voi muistuttaa ihmistä niin paljon, että sillä on älykkyyttä ja oma persoonallisuus Persoonallisuus voidaan tehdään näkyväksi Virtuaalisena hahmona (näytöllä tai johonkin pintaan heijastettuna) Fyysisenä robottina Tuttuja esimerkkejä multimodaalisista järjestelmistä Mitä on multimodaalisuus? Kännykän perustoiminnallisuus (laitteesta riippuen) käyttöön monella tavalla Näppäily näppäimistöltä Kynällä tai sormella valinta ruudulta Puhekomento Esimerkiksi puheteknologia mobiililaitteessa: http://www.cs.uta.fi/hci/spi/pums/sovellukset.html Kukakumma muumaassa Kukakumman (käyttäjän avatar) ohjaus kehon liikkeillä, tulenlieskoja huutamalla (esillä JoVuoT-kurssilla) Esimerkiksi näppäimistön käyttö antaa palautetta käyttäjälle Näköaistin välityksellä (merkki ilmestyy ruutuun) Tuntoaistin välityksellä (näppäin painuu pohjaan) Kuuloaistin välityksellä (näppäimen painaminen saa aikaan äänen) Näppäimistön käyttö ei silti ole esimerkki multimodaalisesta käyttöliittymästä. Miksei? Tarkat rajanvedot vaikeita Multimedia vs. multimodaalinen käyttöliittymä vs. keinotodellisuus (virtual reality) http://www.cs.uta.fi/kukakumma/htmls_en/index.html vs. multimedia saa käyttäjältä syötteen useilla syötelaitteilla ja syötteenantotavoilla Multimedia tarkoittaa, että tuloste esitetään useilla medioilla (grafiikka, teksti, animaatio, ääni, puhe, video ) vs. keinotodellisuus Keinotodellisuus voidaan rakentaa eri tavoin, esimerkiksi CAVE (Cave Automatic Virtual Environment ) Huonetila, jossa osallistujilla voi olla nenällään 3d-lasit ja maailma projisoidaan seinille HMD (Head Mounted Display) Keinotodellisuuden projisointi silmikkonäyttöön Ruudulla esim. Second Life, WoW tai keinotodellisuus lisätään nykyisen maailman päälle Esimerkiksi kännykän näytöllä lisätietoa reaalimaailmassa olevan luettavan tagin kuvaamasta kohteesta Teknologiaa kehittänyt VTT http://eve.hut.fi/ Saila.Ovaska@uta.fi 1
Toinen esimerkki: lisätty todellisuus vs. multimodaalinen käyttöliittymä vs. keinotodellisuus Eriasteista keinotodellisuutta Mixed reality (MR) Fyysinen ympäristö Lisätty todellisuus (AR) Lisätty virtuaalisuus (AV) Virtuaalinen ympäristö Sensoreihin ja kameroihin perustuvaa reaaliaikaista dataa -- mutta ei käyttäjän ohjaamana Kalvo: Eija Kaasinen, http://www.videonet.fi/ttl/rupriikki2008/13/index.html Vrt. multimodaalisuus Tavoitteena saada monta erilaista syötemodaliteettia käyttäjän käyttöön tietokoneen ohjaamiseksi tietyssä tehtävässä käyttäen tavallisia, yleisiä välineitä, toimien jokapäiväisessä käyttöympäristössä Historiaa: MIT:n mediahuone Mediahuoneen osat 1970-luvun puolivälistä tutkimusryhmä Architecture Machine Group, MIT:n Media Laboratory, johtajana Richard Bolt Tavoite: luonnollinen keskustelu Käytettynä samanaikaisesti Puheentunnistus Katseentunnistus Eleiden (kädenliikkeiden) tunnistus Luonnollisen kielen käsittely Tavallisen toimistohuoneen kokoinen tila Etuseinä näyttötaulu, jolle projisoidaan kuva Mikrofoni Ranteeseen kiinnitetty osoitinlaite Pikkukuvissa katseen kohteen seurantalaite Tunnetuin esimerkki mediahuoneen sovelluksista: Put-That-There Put-That-There Keskustelun kulku "Put a large blue tanker there (osoitus)." "Call that the Flying Cloud." "Put the green freighter there." "Create a blue freighter there." Jos komentosana jää tunnistamatta, mutta mahdollisia on vain kaksi (create tai move), oikea komento on voitava päätellä tilanteen perusteella. "Move Flying Cloud Northwest of Haiti." Jos suunta jää tunnistamatta, järjestelmä kysyy lisäkysymyksen: "What direction?" Koko komentoa ei siis tarvitse toistaa "Kuin keskustelisi ystävällisen, puolikuuron hovimestarin kanssa..." Saila.Ovaska@uta.fi 2
Multimodaalisuuden luokittelua Synergiatavoite Eri modaliteettien käyttötavat komentojen antamisessa ja syötteiden määrittämisessä Eri modaliteetteja voidaan käyttää rinnakkain (esim. puhe ja osoitus) vain jos rinnakkaisuus on toteutettu laitetasolla Eri laitteiden antamat syötteet voidaan tulkita ohjelmassa yhdessä, toisiaan tukevina, tai toisistaan riippumattomina Yhdistetty (combined) Riippumaton (independent) Peräkkäin (sequential) vuorottainen poissulkeva Rinnakkain (parallel) synerginen samanaikainen Eri syötelaitteiden kautta ohjelmalle annetut syötteet voidaan tulkita ohjelmassa yhdessä, toisiaan tukevina, tai toisistaan riippumattomina. Vuorottainen käyttö: Esimerkiksi puhepostiohjelmalle joko näppäimistöltä tai puheena annettu komento; modaliteettia ei kiinnitetä vaan käyttäjä voi toimia eri tavoin tilanteen mukaan Poissulkeva: Vaikka komento voidaan antaa eri modaliteetteja hyödyntäen, yhden modaliteetin valinta sulkee muut pois Samanaikainen: Peliohjelmat... Tavoiteltavin vaihtoehto: synerginen käyttö Synergisyyden asteita Hyödyntämättömiä mahdollisuuksia Leksikaalinen: Esim. kontrollinäppäin + hiiren napsautus tapa valita useita kohteita Komennon toteuttamiseksi ainoa tapa Havaitaan helposti laitetasolla Syntaktinen: Esim. Put-That-There Puhe ja osoitus vaaditaan täydelliseen komentoon Semanttinen: Esim. viivan piirtokomento ja värin muutoskomento Jos värin muutoskomento annetaan kesken viivan piirron, tuloksena kaksivärinen viiva Edellyttää eniten ohjelmistolta Yksittäisessä järjestelmässä voi olla luokittelun eri lokeroihin sijoittuvia komentoja Rajoittava kanava kahden tehokkaan tietojenkäsittelijän välillä. Tavoite: kaistanleveyden kasvattaminen Alikäytettyjä mahdollisuuksia: Puheentunnistus Silmät, katseenseuranta Liikkeet ja eleet (muutkin kuin hiirellä tehtävät...), kehon asentoon liittyvät syötteet Tuntoaisti ja koskettaminen Fysiologian kuten stressitasomittausten käyttö syötteenä Mahdollisuuksia on niiden käyttöönoton järkevyys ei ole itsestään selvää Uusien modaliteettien haasteita ja mahdollisuuksia Luonnollisuus Non-command interfaces, Do nothing -käyttöliittymä Käyttäjän luonnollisia liikkeitä ja eleitä hyväksikäyttävä Uusia tapoja toimia, esim. Hiirikäsi- (RSI)-ongelmissa esimerkiksi EyePoint tai puhesyöttö Eri tavoin rajoitteisille käyttäjille tarjotaan sopivampia vuorovaikutustapoja Uusilla vuorovaikutustavoilla haasteena epätarkkuus Hiiren avulla voidaan osoittaa tarkasti Uusilla vuorovaikutustavoilla haasteita tarkkuudessa! Esimerkiksi vain likimääräinen tieto käyttäjän katseen kohteesta Puheentunnistuksessa voi tulla tunnistusvirheitä Laitteiston, syöttölaitteen ja vuorovaikutustavan erottaminen Disaggregated computing Järjestelmä tunnistaa, missä käyttäjä on, ja tekee mahdolliseksi tilanteeseen sopivat vuorovaikutustavat Case: katseenseuranta syötemodaliteettina Osaksi JoVuoT-kurssilta kertausta vrt. JoVuoT näköaistiluennot Katse syötemodaliteettina voi olla joko tarkoituksellisia silmän liikkeitä hyödyntävä spontaaneja silmänliikkeitä hyödyntävä Tietokoneiden näköaistin toteutus Perus-webkameroiden (ns. RGB-kameroiden) avulla tehtävissä monenlaisia konenäköä vaativia sovelluksia Erityisesti katseenseurantaan tarkoitetut katseenseurantalaitteet (kalliita laitteita) kiinteästi integroitu työpisteeseen kiinteästi integroitu esim. silmälasin sankoihin kalibroitava käyttäjäkohtaisesti (ja istuntokohtaisesti) Myös pienissä laitteissa, esim. tulossa Android-kännyköihin: http://thenextweb.com/mobile/2011/12/02/senseye-will-let-youcontrol-your-mobile-phone-with-your-eyes/ Saila.Ovaska@uta.fi 3
Katsedata syötteenä Katseenseurantadata ei koskaan voi olla täysin tarkkaa kahdesta syystä: 1) Ihmisen fysiologia: tarkan näön alue on n. 2 astetta (tyypillisesti tekstiä lukiessa näytöltä 5-9 kirjainta yhden fiksaation aikana) 1 aste Tarkasteltu kohta Tarkan näön alue Katseenseurantalaitteen ilmoittama piste 2) Kalibrointivirhe: katseenseurantalaitteen antama mittaustarkkuus 0.5-1 astetta katsekäyttöliittymissä: Point and click Vrt. valinta hiirikäyttöliittymässä: Point osoita, Click napauta Point Osoittaminen tapahtuu kohdistamalla katse haluttuun kohteeseen Pohdittavaa mm. Tarvitaanko kursoria? Mikä on valinnan tarkkuus (vrt. kosketuskäyttöliittymät)? Click Valinnan tekeminen kenties haasteellisempaa kuin osoittaminen Kehitetty erilaisia käyttöliittymäratkaisuja Yksi ratkaisutapa on dwell-time eli viiveaikaan perustuva valinta: kun katse viipyy riittävän pitkään halutussa kohteessa, kohde tulee valituksi Dwell-timen ongelmana muun muassa virhevalinnat, kun käyttäjä skannaa katsellaan valittavia kohteita ja katsoo vahingossa liian kauan (ns. Midas touch) toisaalta jos viivettä kasvatetaan valintojen tekemisestä tulee hidasta 19 Edellä kuvattuihin ongelmiin voidaan kehittää ratkaisuja huolellisella käyttöliittymäsuunnittelulla ja käyttäjäkokeiden avulla Majaranta kehitti katseella kirjoittamista iteratiivisesti käyttäjäkokein, tuloksina muun muassa Käyttäjän säädettävissä oleva viiveaika Millaista palautetta käyttäjälle tulisi tarjota valinnan etenemisestä Testissä: visuaalinen, auditiivinen (click) ja kirjain puhuttuna Visuaalisen palautteen animointi Kuvan lähde: http://www.cs.uta.fi/~wtpc/ katsekäyttöliittymissä: Point and click Multimodaalista vuorovaikutusta, toisin kuin edellä kuvattu ratkaisu Osoittamista ohjataan katseella Valinta tehdään kasvolihasaktivaatiolla, esimerkiksi kurtistamalla kulmia Käytössä katseenseuranta ja kasvolihasten sähköisen aktiviteetin mittaus Saila.Ovaska@uta.fi 4
katsekäyttöliittymissä: katse-eleet Eleitä käytössä esimerkiksi Snap Clutch työkalussa Moodin vaihto katsomalla näytön ulkopuolelle mm. Second Life, WoW: katseleminen vs. liikkuminen http://www.cogain.org/wiki/snap_clutch Case: katse-eleiden suunnittelu piirtämiseen (Henna Heikkilä) Katse-ele on pala käyttäjän katsepolkua (katsepolun muoto) Eleiden suunnittelun haaste Millainen ele on? Kuinka helppo, nopea, yksikäsitteinen se on tehdä? Mistä tiedetään mikä osa käyttäjän toiminnasta on elettä? Milloin ele alkaa ja milloin se päättyy? Eleitä kehitettäessä on tärkeää testata eleiden toimivuutta käyttäjillä Katse-eleillä voisi ohjata piirtämistä Kokeellisessa tutkimuksessa selvitettiin katse-eleiden nopeutta ja tarkkuutta Tehtävänä esimerkiksi piirrä vihreän ympyrän muoto Isoja ja pieniä eleitä Tuloksia Isot eleet eivät olleet merkittävästi hitaampia kuin pienet Kaarevat muodot olivat vaikeita seurata ja hitaita tehdä Käyttäjälle pitää antaa palautetta eleestä katsekäyttöliittymissä: katse-eleet Katsepolku: nopea ja tarkka käyttäjä. Katsepolku: nopea ja epätarkka käyttäjä. Heikkilä & Räihä (2009). Speed and Accuracy of Gaze Gestures. Journal of Eye Movement Research http://www.jemr.org/online/3/2/1 Tunnistettu katseen kohde Katseenseuranta osaksi normaalia työpistettä: katse + hiiri Katse hiiren kiihdyttimenä: Magic Pointing Näytöllä oleva kohde Katseenseuranta osaksi normaalia työpistettä: katse + näppäimistö Katso kohdetta Paina näppäintä, pidä pohjassa Katso uudelleen suurempana Vapauta näppäin linkki valitaan Ohjelma siirtää hiiriosoittimen automaattisesti katseen kohteeseen s Kynnysetäisyys Zhai, S. Morimoto, C., Ihde, S. Manual And Gaze Input Cascaded (MAGIC) Pointing. Proc. CHI 99, http://www.almaden.ibm.com/u/zhai/papers/magic/magic.pdf Conservative Liberal Hiiren osoitin Kohteen etäisyys http://hci.stanford.edu/research/guide/usingeyepoint.html Modaliteetit tukemassa toisiaan: pieni laite, kynä ja puhe Yhteenveto: multimodaalisten järjestelmien etuja MiPad-projekti, Microsoft Research Puheentunnistus + kynäkäyttöliittymä Tap and Talk myös virheenkorjaus yhdestä kentästä kerrallaan videot: 2000, 2001 http://research.microsoft.com/en-us/projects/mipad/default.aspx Monta samanaikaista syötevirtaa auttaa tietokonetta ymmärtämään paremmin katseen suunta ja kädellä osoittaminen: Put-that-there puhe ja kynällä osoittaminen, mihin puhe kohdistuu: MiPad näppäimistö ja katse yhdessä kohteen tarkentamiseksi: EyePoint Saadaan luonnolliselta tuntuvat syötteenantotavat käyttöön niille sopivissa tehtävissä lentämiseen vs. tulenlieskojen syöksemiseen tarkoitetut toiminnot Joustavuutta lisää, jos käyttäjä voi tilannekohtaisesti valita sopivan syötteenantotavan käyttöön http://research.microsoft.com/en-us/um/redmond/groups/srg/videos/default.aspx Saila.Ovaska@uta.fi 5