Tuntoaisti ja kehollisuus Saila Ovaska Informaatiotieteiden yksikkö, Tampereen yliopisto Aiheina Kädellinen vuorovaikutus Motoriikkaa käsitelty jo Ihminen teknologian käyttäjänä -luennolla Keholliset aistit Tuntoaisti ja kosketus Kehon liikeaisti Tuntoaisti teknologian käytössä Tuntoaistin välityksellä saatava palaute Kosketus ja kehon liikkeet tietokoneen syötemodaliteetteina Aihepiiriä voi syventää kurssilla TIEVS56 Haptic user interfaces Saila.Ovaska@uta.fi 1
Tuntoaistimuksena - Barney Microsoft Actimates Barney Tuntoaisti ja kosketus Eri paikoissa kehoa tuntoaistin tarkkuus erilainen Sormenpäissä tarkkaa Kokeile: 2 lyijykynää iholle, etäisyys 12 mm Missä alueissa tunnet kahtena eri pisteenä? Kolmenlaisia tuntoreseptoreja Paine Lämpötila (kuuma/kylmä) Kipu Lähinnä paineen aistimiseen liittyvät tuntohavainnot tärkeitä käyttöliittymissä Saila.Ovaska@uta.fi 2
Tuntoaisti ja kosketus Kosketus on kaksisuuntainen kanava Koskettaessaan ihminen aistii kosketettavasta pinnasta Koskettamalla ihminen voi antaa ohjauskomentoja laitteelle Esimerkiksi näppäimistön käyttö tuntuu sormenpäissä passiivista tuntopalautetta Tällainen tuntopalaute on (yleensä) tiedostamatonta, mutta ilman sitä näppäimistön käyttö olisi hankalampaa Vuorovaikutuksessa voidaan hyödyntää myös aktiivista tuntopalautetta käyttäjälle Esimerkiksi puhelimen värinätoiminto Keholliset aistit Kehollisuuteen liittyy kosketuksen lisäksi myös muita aisteja Somaattiset aistit (somatic) Taktiilit aistit (tactile) Kinesteettiset aistit (kinesthetic) Paine ja värinä Lämpötila Kipu Saila.Ovaska@uta.fi 3
Keholliset aistit Keskeisiä käsitteitä Taktiili (tactile) Kosketusaisti Kutaaninen, iholla havaittava Kinesteettinen Liikeaisti Proprioseptiivinen, sisäisesti havaittava (mm. lihakset) Haptiikka (haptics) Haptinen vuorovaikutus = tuntoaistiin perustuva vuorovaikutus Käsittää sekä manipulaation (syötteet tietokoneelle) että aistimisen (tietokoneen palautteiden havaitseminen) Haptinen laite tuottaa haptista palautetta (tuntopalautetta) Tactile perceptible by touch Kinesthetic a sense mediated by receptors located in muscles, tendons and joints and stimulated by bodily movements and tensions; a sensory experience derived from this sense Haptic relating to or based on the sense of touch Merriam Webster Kosketukseen perustuvat järjestelmät Kosketusnäytöt suhteellisen vanhaa tekniikkaa infokioskeissa ja pienissä (kämmen)laitteissa tavallisia käyttö sormin tai kynän kaltaisen tikun avulla (stylus = piirtotikku) laitteissa, joihin sormi on liian paksu näyttö reagoi käyttäjän tekemiin valintoihin, mutta ei anna erityistä tuntopalautetta (lasi tuntuu viileältä ja tasaiselta) monia erilaisia toteutustekniikoita www.designinginteractions.com Saila.Ovaska@uta.fi 4
Myös mm. pöytäpinnalla: Microsoft Surface Pixelsense Ensimmäiset luonnokset 2001, proto 2003, v1.0 2007, v2.0 2011 Versio 1.0: pöytäpinta itsessään ei tunnista kosketusta vaan toteutettu infrapunalla pöydän sisältä Versio 2.0: Samsung SUR40 LCD-näyttö (laitteen paksuus 4 tuumaa) joko vaaka tai pysty (alkaen kesä 2012): http://pixelsense.com/ ei myynnissä Suomessa http://www.youtube.com/watch?v=hmw7pd41cz0 Ja tablet-kokoisissa laitteissa: Nikkei Electronics Asia TABLETS ARE NOT PC:S 9.7 näyttö http://techon.nikkeibp.co.jp/article/honshi/20100830/185288/ Saila.Ovaska@uta.fi 5
TUNTOPALAUTE Tuntopalautetta antavat järjestelmät Milloin tuntopalaute soveltuu? Tuntopalaute vaatii fyysistä kontaktia Tuntopalaute on henkilökohtaista ja yksityistä Haptisen kanavan hyödyntäminen kun näkö- ja kuuloaisti ovat ylikuormitettuja, varattuja muuhun toimintaan Tunto- ja voimapalautetta antava laite voi aikaansaada monenlaista palautetta, esimerkiksi Värinäaistimus, buzz Pintatekstuurin aistimus Esim. hiekkapaperi, tiiliseinä, monttu Kitkan aistimus Kaltevan pinnan ja lisääntyvän taakan työntämisen aistimus Saila.Ovaska@uta.fi 6
Tuntopalautetta kosketusnäyttöihin? Miten kosketusnäytöllä voidaan antaa haptista palautetta käyttäjälle? Ongelma: kosketusnäytön virtuaalinäppäimistöä käytettäessä puuttuu tuntopalaute Tämä voi häiritä käyttäjää, koska näppäimen painalluksesta ei saa vastaavaa palautetta kuin fyysisiä näppäimistöjä käyttäessä Tuntopalaute (ja näppäimen ääni) viestii käyttäjälle, että näppäin on painettu alas Laitteen käyttäminen mahdotonta näkövammaiselle Ratkaisuja Tuntopalautetta näkövammaisille Tuntoaisti on tärkeä kommunikaatiokanava näkövammaisille Kirjaimet esitetään taktiilisti Brailleaakkosilla, jotka ovat koholla olevien pisteiden yhdistelmiä Braille-teknologiaa, esim. http://www.deafblind.com/display.html Braille-näyttö taktiililaite, joka tulkitsee näytön tekstin braille-merkeillä Samsung Touch Messenger (2006): Braille-tekstiviestien lähettäminen ja vastaanottaminen Yahoo 2010: iphone+bluetooth+braille http://yaccessibilityblog.com/wp/refreshablebraille-display-iphone-4g.html http://www.gizmag.com/go/5876/ Saila.Ovaska@uta.fi 7
Nokian ratkaisuehdotus Nokia: Haptikos patenttihakemus heinäkuu 2008 The problem in perfecting the tech codenamed Haptikos, meaning to touch lies in how our fingers experience a key press. We actually feel two movements, in and out, and these movements and the associated audio have to be perfectly attuned to the speed and responsiveness of a real keyboard. Haptikos www.nokia.com/press Lähde: http://www.latest-mobile.com/articles/nokia/nokia-haptikos-is-haptics-feedback-perfected_4184 Applen ratkaisuehdotus Applen patenttihakemus heinäkuu 2009 The display screen can be used to present a visual display which includes a virtual button. A haptic feedback response can be associated with the virtual button. The haptic feedback response can be provided while the virtual button is included in the visual display, or in response to a touch event. For example, the virtual button can vibrate when a touch event occurs in proximity to the virtual button. Lähde: United States Patent Application 20090167704 Saila.Ovaska@uta.fi 8
Senseg E-Sense (syyskuu 2011) http://senseg.com Tixel tactile pixel http://www.youtube.com/watch?v=jxitjlurof0 Erilaisia tuntopalautteita Erilaisia tuntopalautteen mahdollistavia laitteita on paljon Passiivinen kokemus (tuntoaistimus) vs. aktiivinen kokeileminen (tunnustelu) Kohde on helpompi tunnistaa aktiivisesti kuin passiivisesti Tuntopalautteen mahdollistavia laitteita kehitetty eri tarkoituksiin Mallinnus, 3D-suunnittelu, näkövammaiset, pelit, Haptiikka tutkii myös erilaisia voimapalauteominaisuuksia (ns. voimatakaisinkytkentä, force feedback) Yleensä toteutettu laitteessa olevina moottoreina, joissa tuotetaan käyttäjän liikettä vastustavaa voimaa Kohdetta "työnnettävä" tai "nostettava", ei vain "kosketettava jotta haluttu toiminto tapahtuu Saila.Ovaska@uta.fi 9
Tuntopalautetta antavia laitteita Datahansikas Kaikissa datahansikkaissa ei ole voimatakaisinkytkentää http://www.immersion.com/ Phantom Kynänkaltainen värisevä laite kädessä, voi esim. tunnustella erilaisia pintoja http://www.sensable.com/ Voimapalautehiiret, -ratit ym. Logitech Wing Man Haptisen palautteen hyötyjä Yhtenä osana multimodaalista järjestelmää Ei kuormita näköaistia Tutkitusti auttaa: tehtävän suoritus nopeutuu ja käyttäjäkokemus paranee Tarjoaa yksityisen palautekanavan (ei visuaalista eikä auditiivista palautetta) http://www.immersion.com/docs/value-of-haptics_jun10-v2.pdf Saila.Ovaska@uta.fi 10
KEHOLLISET KÄYTTÖLIITTYMÄT syötemodaliteettina kehon liikkeet Keholliset käyttöliittymät Järjestelmän ohjaus kehon liikkeiden avulla Tarkoitukselliset Spontaanit Vaatii laitteistoa joka havaitsee käyttäjän liikkeitä Valokennot (liikkeentunnistus) Reaktiiviset kalvot (paineentunnistus) Videokamerat Jne. Lumetila, VTT Tietotekniikka, Tampere. Saila.Ovaska@uta.fi 11
KickAss KungFu Animaatiokone, http://www.youtube.com/watch?v=xl_vtxunkie Kaupallinen esimerkki: Nintendo Wii Nintendo Wiin ohjain muistuttaa kaukosäädintä Liikkeentunnistus Tärinätoiminto Kaiutin Mahdollistaa pelin ohjaamisen kehon (ohjaimen) liikkeen avulla Wii-ohjainta voi käyttää esim. kuin tennismailaa ja tuntea ja kuulla kuinka pallo osuu mailaan Kuvien lähde: www.nintendo.fi Saila.Ovaska@uta.fi 12
Erilaisia tanssimattoja, usein pelikoneissa Myös muunlaiset sovellutukset Sähköpostin lukeminen Valokuvien lajittelu Jalat käyttöön Step User Interface (Step UI) http://dx.doi.org/10.1145/1125451.1125534 Kehon liikkeet kommunikoinnissa Nonverbaali (sanaton) viestintä on keskeistä ihmisten välisessä vuorovaikutuksessa Kommunikatiivisia kehonliikkeitä on luokiteltu Eleillä (emblems) on suora sanallinen vastine Esimerkiksi OK, voitonmerkki Kuvittajat (illustrators) vahvistavat tai täydentävät sanallista viestiä esimerkiksi Sain näin suuren kalan Tunneilmaisut (affect displays) viestivät tunnetilasta, kasvonilmeet keskeisiä Säätelijät (regulators) säätelevät vuorovaikutusta, vuorottelu esimerkiksi katsekäyttäytyminen, nyökkääminen Mukauttajat (adaptors) auttavat mukautumaan ympäristöön, myös tarkoituksellinen kohteiden manipulointi esimerkiksi haukottelu, silmälasien liikuttelu Ekman & Friesen: The repertoire of nonverbal behavior. Categories, origins, usage and coding. Semiotica, 1, 1969, 49-98. Saila.Ovaska@uta.fi 13
Kehon liikkeet kommunikoinnissa Kuvan lähde: Argyle, Bodily communication Elekäyttöliittymät kosketuspinnalla ja ilmassa elehtien Kosketus pinnalla helpompi tunnistaa tietoiseksi eleeksi Minority Report elokuva ja siitä tuotteistettu G-speak Maes & Mistry: SixthSense SixthSense is a wearable gestural interface that augments the physical world around us with digital information and lets us use natural hand gestures to interact with that info Tunnistaa Multi touch laitteissa tavallisia eleitä (A, B, E, F) Free hand eleitä (C, D) Ikonisia eleitä (G) ilmassa http://www.pranavmistry.com/projects/sixthsense/ WUW Wear Ur World A wearable gestural interface, Proc. CHI 09. Saila.Ovaska@uta.fi 14
Skinput Valinnat suoraan iholla? Tutkijat Carnegie-Mellon University & Microsoft Akustiikkaan perustuva syöttölaite Tunnistaa käsivarren ympärillä olevan pannan avulla, missä kohdassa käsivartta on napautettu. Ultra-low frequency sound detector Pico projector Joissakin mobiililaitemalleissa osana Chris Harrison et al., Skinput: Appropriating the Body as an Input Surface. Proc. CHI 2010. Best paper award. http://research.microsoft.com/en-us/um/redmond/groups/cue/skinput/ Yhteenveto Näppäimistön sijaan tai oheen kehitetään muita syötteenantotapoja, esim. Kosketusnäyttöjä, kynäkäyttöliittymiä Kehonliikkeiden ja käsillä & kasvoilla tehtävien eleiden avulla annettavaa syötettä Tuntoaistimuksia myös tulostusmodaliteettina Tarvitaan erityisiä laitteita tuottamaan värinää tai kitkaa Kehon kielellä vuorovaikutus vielä alkutekijöissään erityisesti virtuaalisia (animoituja) hahmoja kehitettäessä hahmon eleet ja liikkeet ovat tärkeitä antamaan palautetta käyttäjälle Saila.Ovaska@uta.fi 15