Tuntoaisti ja kehollisuus Saila Ovaska Informaatiotieteiden yksikkö, Tampereen yliopisto *) Osan luentokalvoista on laatinut Jenni Anttonen syksyllä 2009. Aiheina Kädellinen vuorovaikutus Keholliset aistit Tuntoaisti ja kosketus Kehon liikeaisti Motoriikka Tuntoaisti teknologian käytössä Tuntoaistin välityksellä saatava palaute Kosketus ja kehon liikkeet tietokoneen syötemodaliteetteina Aihepiiriä voi syventää kurssilla VTEKS213 Haptic user interfaces Saila.Ovaska@uta.fi 1
Tuntoaistimuksena - Barney Microsoft Actimates Barney Tuntoaisti ja kosketus Eri paikoissa kehoa tuntoaistin tarkkuus erilainen Sormenpäissä tarkkaa Kokeile: 2 lyijykynää iholle, etäisyys 12 mm Missä alueissa tunnet kahtena eri pisteenä? Kolmenlaisia tuntoreseptoreja Paine Lämpötila (kuuma/kylmä) Kipu Lähinnä paineen aistimiseen liittyvät tuntohavainnot tärkeitä käyttöliittymissä Saila.Ovaska@uta.fi 2
Tuntoaisti ja kosketus Kosketus on kaksisuuntainen kanava Koskettaessaan ihminen aistii kosketettavasta pinnasta Koskettamalla ihminen voi antaa ohjauskomentoja laitteelle Esimerkiksi näppäimistön käyttö tuntuu sormenpäissä passiivista tuntopalautetta Tällainen tuntopalaute on (yleensä) tiedostamatonta, mutta ilman sitä näppäimistön käyttö olisi hankalampaa Vuorovaikutuksessa voidaan hyödyntää myös aktiivista tuntopalautetta käyttäjälle Esimerkiksi puhelimen värinätoiminto Keholliset aistit Kehollisuuteen liittyy kosketuksen lisäksi myös muita aisteja Somaattiset aistit (somatic) Taktiilit aistit (tactile) Kinesteettiset aistit (kinesthetic) Paine ja värinä Lämpötila Kipu Saila.Ovaska@uta.fi 3
Keholliset aistit Keskeisiä käsitteitä Taktiili (tactile) Kosketusaisti Kutaaninen, iholla havaittava Kinesteettinen Liikeaisti Proprioseptiivinen, sisäisesti havaittava (mm. lihakset) Haptiikka (haptics) Haptinen vuorovaikutus = tuntoaistiin perustuva vuorovaikutus Käsittää sekä manipulaation (syötteet tietokoneelle) että aistimisen (tietokoneen palautteiden havaitseminen) Haptinen laite tuottaa haptista palautetta (tuntopalautetta) Tactile perceptible by touch Kinesthetic a sense mediated by receptors located in muscles, tendons and joints and stimulated by bodily movements and tensions; a sensory experience derived from this sense Haptic relating to or based on the sense of touch Merriam Webster Kosketukseen perustuvat järjestelmät Kosketusnäytöt suhteellisen vanhaa tekniikkaa infokioskeissa ja pienissä (kämmen)laitteissa tavallisia käyttö sormin tai kynän kaltaisen tikun avulla (stylus = piirtotikku) laitteissa, joihin sormi on liian paksu näyttö reagoi käyttäjän tekemiin valintoihin, mutta ei anna erityistä tuntopalautetta (lasi tuntuu viileältä ja tasaiselta) monia erilaisia toteutustekniikoita www.designinginteractions.com Saila.Ovaska@uta.fi 4
Myös mm. pöytäpinnalla: Microsoft Surface Ensimmäiset luonnokset 2001, proto 2003, Versio 1.0: pöytäpinta itsessään ei tunnista kosketusta vaan toteutettu infrapunalla pöydän sisältä Versio 2.0: Samsung SUR40 LCD-näyttö (laitteen paksuus 4 tuumaa) http://www.microsoft.com/surface/ ei myynnissä Suomessa www.youtube.com/watch?v=hmw7pd41cz0 Nikkei Electronics Asia TABLETS ARE NOT PC:S Ja tablet-kokoisissa laitteissa: 9.7 näyttö http://techon.nikkeibp.co.jp/article/honshi/20100830/185288/ Saila.Ovaska@uta.fi 5
TUNTOPALAUTE Tuntopalautetta antavat järjestelmät Milloin tuntopalaute soveltuu? Tuntopalaute vaatii fyysistä kontaktia Tuntopalaute on henkilökohtaista ja yksityistä Haptisen kanavan hyödyntäminen kun näkö- ja kuuloaisti ovat ylikuormitettuja, varattuja muuhun toimintaan Tunto- ja voimapalautetta antava laite voi aikaansaada monenlaista palautetta, esimerkiksi Värinäaistimus, buzz Pintatekstuurin aistimus Esim. hiekkapaperi, tiiliseinä, monttu Kitkan aistimus Kaltevan pinnan ja lisääntyvän taakan työntämisen aistimus Saila.Ovaska@uta.fi 6
Tuntopalautetta kosketusnäyttöihin? Miten kosketusnäytöllä voidaan antaa haptista palautetta käyttäjälle? Ongelma: kosketusnäytön virtuaalinäppäimistöä käytettäessä puuttuu tuntopalaute Tämä voi häiritä käyttäjää, koska näppäimen painalluksesta ei saa vastaavaa palautetta kuin fyysisiä näppäimistöjä käyttäessä Tuntopalaute (ja näppäimen ääni) viestii käyttäjälle, että näppäin on painettu alas Laitteen käyttäminen mahdotonta näkövammaiselle Ratkaisuja Tuntopalautetta näkövammaisille Tuntoaisti on tärkeä kommunikaatiokanava näkövammaisille Kirjaimet esitetään taktiilisti Braille-aakkosilla, jotka ovat koholla olevien pisteiden yhdistelmiä Braille-teknologiaa, esim. Braille-näyttö taktiililaite, joka tulkitsee näytön tekstin braille-merkeillä Samsung Touch Messenger (2006): Braille-tekstiviestien lähettäminen ja vastaanottaminen Yahoo 2010: iphone+bluetooth+braille http://yaccessibilityblog.com/wp/refresh able-braille-display-iphone-4g.html http://www.deafblind.com/display.html http://www.gizmag.com/go/5876/ Saila.Ovaska@uta.fi 7
Nokian ratkaisuehdotus Nokia: Haptikos patenttihakemus heinäkuu 2008 The problem in perfecting the tech codenamed Haptikos, meaning to touch lies in how our fingers experience a key press. We actually feel two movements, in and out, and these movements and the associated audio have to be perfectly attuned to the speed and responsiveness of a real keyboard. Haptikos www.nokia.com/press Lähde: http://www.latest-mobile.com/articles/nokia/nokia-haptikos-is-haptics-feedback-perfected_4184 Applen ratkaisuehdotus Applen patenttihakemus heinäkuu 2009 The display screen can be used to present a visual display which includes a virtual button. A haptic feedback response can be associated with the virtual button. The haptic feedback response can be provided while the virtual button is included in the visual display, or in response to a touch event. For example, the virtual button can vibrate when a touch event occurs in proximity to the virtual button. Lähde: United States Patent Application 20090167704 Saila.Ovaska@uta.fi 8
Senseg E-Sense (elokuu 2010) senseg.com Tixel tactile pixel link Senseg E-Sense (syyskuu 2011) senseg.com Tixel tactile pixel http://www.youtube.com/watch?v=jxitjlurof0 Saila.Ovaska@uta.fi 9
Erilaisia tuntopalautteita Erilaisia tuntopalautteen mahdollistavia laitteita on paljon Passiivinen kokemus (tuntoaistimus) vs. aktiivinen kokeileminen (tunnustelu) Kohde on helpompi tunnistaa aktiivisesti kuin passiivisesti Tuntopalautteen mahdollistavia laitteita kehitetty eri tarkoituksiin Mallinnus, 3D-suunnittelu, näkövammaiset, pelit, Haptiikka tutkii myös erilaisia voimapalauteominaisuuksia (ns. voimatakaisinkytkentä, force feedback) Yleensä toteutettu laitteessa olevina moottoreina, joissa tuotetaan käyttäjän liikettä vastustavaa voimaa Kohdetta "työnnettävä" tai "nostettava", ei vain "kosketettava jotta haluttu toiminto tapahtuu Tuntopalautetta antavia laitteita Datahansikas Kaikissa datahansikkaissa ei ole voimatakaisinkytkentää http://www.immersion.com/ Phantom Kynänkaltainen värisevä laite kädessä, voi esim. tunnustella erilaisia pintoja http://www.sensable.com/ Voimapalautehiiret, -ratit ym. Logitech Wing Man Saila.Ovaska@uta.fi 10
Haptisen palautteen hyötyjä Yhtenä osana multimodaalista järjestelmää Ei kuormita näköaistia Tutkitusti auttaa: tehtävän suoritus nopeutuu ja käyttäjäkokemus paranee Tarjoaa yksityisen palautekanavan (ei visuaalista eikä auditiivista palautetta) http://www.immersion.com/docs/value-of-haptics_jun10-v2.pdf KEHOLLISET KÄYTTÖLIITTYMÄT syötemodaliteettina kehon liikkeet Saila.Ovaska@uta.fi 11
Keholliset käyttöliittymät Järjestelmän ohjaus kehon liikkeiden avulla Tarkoitukselliset Spontaanit Vaatii laitteistoa joka havaitsee käyttäjän liikkeitä Valokennot (liikkeentunnistus) Reaktiiviset kalvot (paineentunnistus) Videokamerat Jne. Lumetila, VTT Tietotekniikka, Tampere. KickAss KungFu Animaatiokone, http://mlab.uiah.fi/animaatiokone/kungfu/en/index.html Saila.Ovaska@uta.fi 12
Kaupallinen esimerkki: Nintendo Wii Nintendo Wiin ohjain muistuttaa kaukosäädintä Liikkeentunnistus Tärinätoiminto Kaiutin Mahdollistaa pelin ohjaamisen kehon (ohjaimen) liikkeen avulla Wii-ohjainta voi käyttää esim. kuin tennismailaa ja tuntea ja kuulla kuinka pallo osuu mailaan Kuvien lähde: www.nintendo.fi Jalat käyttöön Erilaisia tanssimattoja, usein pelikoneissa Myös muunlaiset sovellutukset Sähköpostin lukeminen Valokuvien lajittelu Step User Interface (Step UI) http://research.microsoft.com/vibe/pubs/stepuichi06.pdf Saila.Ovaska@uta.fi 13
Kehon liikkeet kommunikoinnissa Nonverbaali (sanaton) viestintä on keskeistä ihmisten välisessä vuorovaikutuksessa Kommunikatiivisia kehonliikkeitä on luokiteltu Eleillä (emblems) on suora sanallinen vastine Esimerkiksi OK, voitonmerkki Kuvittajat (illustrators) vahvistavat tai täydentävät sanallista viestiä esimerkiksi Sain näin suuren kalan Tunneilmaisut (affect displays) viestivät tunnetilasta, kasvonilmeet keskeisiä Säätelijät (regulators) säätelevät vuorovaikutusta, vuorottelu esimerkiksi katsekäyttäytyminen, nyökkääminen Mukauttajat (adaptors) auttavat mukautumaan ympäristöön, myös tarkoituksellinen kohteiden manipulointi esimerkiksi haukottelu, silmälasien liikuttelu Ekman & Friesen: The repertoire of nonverbal behavior. Categories, origins, usage and coding. Semiotica, 1, 1969, 49-98. Kehon liikkeet kommunikoinnissa Kuvan lähde: Argyle, Bodily communication Saila.Ovaska@uta.fi 14
Elekäyttöliittymät kosketuspinnalla ja ilmassa elehtien Kosketus pinnalla helpompi tunnistaa tietoiseksi eleeksi Minority Report elokuva ja siitä tuotteistettu G-speak Maes & Mistry: SixthSense SixthSense is a wearable gestural interface that augments the physical world around us with digital information and lets us use natural hand gestures to interact with that info Tunnistaa Multi touch laitteissa tavallisia eleitä (A, B, E, F) Free hand eleitä (C, D) Ikonisia eleitä (G) ilmassa http://www.pranavmistry.com/projects/sixthsense/ WUW Wear Ur World A wearable gestural interface, Proc. CHI 09. MOTORIIKKA Saila.Ovaska@uta.fi 15
Mitä on motoriikka? Model Human Processor Motoriikan vaiheet Ärsyke havaitaan ja tieto välittyy aivoihin Tilanne prosessoidaan ja sopiva vaste valitaan Aivoista käsky lihaksille Lihaksista ja iholta palaute (tunto, asento, liike) aivoille Arvioidaan toiminnan seuraus (onnistuiko) Card, Moran & Newell, The psychology of human-computer interaction,1983. Mitä on motoriikka? Motoriikan peruskomponentit Nopeus Reaktioaika, liikkeen suorittamiseen kuluva aika, tehdyn toiminnan arviointiin kuluva aika Tarkkuus Mitä tarkempaa motorista toimintaa vaaditaan, sitä hitaammaksi suoritus yleensä käy Fittsin laki (1954) (Fitts law) Nopeuden ja tarkkuuden kompromissi, speed-accuracy tradeoff Nopeuden kasvattaminen kasvattaa myös virhemäärää lisätietoa: http://www.usabilityfirst.com/glossary/term_475.txl Saila.Ovaska@uta.fi 16
Käyttäjien motoriset taidot vaihtelevat tietokoneen syötelaitteiden käyttö vaatii motorisia taitoja Kuinka tarkkaa motoriikkaa tietty toiminto käyttäjältä vaatii? esim. raahaus pudottamatta kohdetta välillä voi olla vaikeaa Kuluuko vaadittavan motoriikan opetteluun aikaa? Yleensä ei voida olettaa, että käyttäjän on käytettävä aikaa alkuun päästäkseen Sen sijaan joskus voidaan olettaa, että toiminnan tehostamiseksi vaaditaan opettelua esim. 10-sormijärjestelmä, hiiren käyttö, tietokonepelien kontrollit Motoriikka Entä jos käyttäjän motoriikka ei toimikaan keskivertotavalla? Ikääntyminen ja sairaudet voivat heikentää motoriikkaa Myös käyttökonteksti voi vaikuttaa käyttäjän sen hetkiseen motoriikkaan Esim. mobiilikäyttö bussissa mukulakivikadulla Käyttöliittymäsuunnittelijan on huomioitava tehtävään vaadittava motoriikka Erityisesti, jos voidaan olettaa että heikentynyt motoriikka on yleistä käyttäjäryhmällä ja/tai laitteen tyypillisissä käyttökonteksteissa Saila.Ovaska@uta.fi 17
Kännykän käyttö talvella? Ratkaisu 1: Tec Touch gloves -hanskat mobiilikäyttöön Ratkaisu 2: Polar mobile phone concept by Yuta Watanabe http://gizmodo.com/319920/180s-tec-touch-gloves http://designcrack.com/v2/2007/12/19/polar-a-mobile-phone-concept-by-yuta-watanabe/ Yhteenveto Näppäimistön sijaan tai oheen kehitetään muita syötteenantotapoja, esim. Kosketusnäyttöjä, kynäkäyttöliittymiä Kehonliikkeiden ja käsillä & kasvoilla tehtävien eleiden avulla annettavaa syötettä Tuntoaistimuksia myös tulostusmodaliteettina Tarvitaan erityisiä laitteita tuottamaan värinää Kehon kielellä vuorovaikutus vielä alkutekijöissään erityisesti virtuaalisia (animoituja) hahmoja kehitettäessä hahmon eleet ja liikkeet ovat tärkeitä antamaan palautetta käyttäjälle Saila.Ovaska@uta.fi 18