Aiheina Tuntoaisti ja kehollisuus Saila Ovaska Informaatiotieteiden yksikkö, Tampereen yliopisto Kädellinen vuorovaikutus Motoriikkaa käsitelty jo Ihminen teknologian käyttäjänä -luennolla Keholliset aistit Tuntoaisti ja kosketus Kehon liikeaisti Tuntoaisti teknologian käytössä Tuntoaistin välityksellä saatava palaute Kosketus ja kehon liikkeet tietokoneen syötemodaliteetteina Aihepiiriä voi syventää kurssilla TIEVS56 Haptic user interfaces Tuntoaistimuksena - Barney Tuntoaisti ja kosketus Eri paikoissa kehoa tuntoaistin tarkkuus erilainen Sormenpäissä tarkkaa Kokeile: 2 lyijykynää iholle, etäisyys 12 mm Missä alueissa tunnet kahtena eri pisteenä? Kolmenlaisia tuntoreseptoreja Paine Lämpötila (kuuma/kylmä) Kipu Lähinnä paineen aistimiseen liittyvät tuntohavainnot tärkeitä käyttöliittymissä Microsoft Actimates Barney Tuntoaisti ja kosketus Kosketus on kaksisuuntainen kanava Koskettaessaan ihminen aistii kosketettavasta pinnasta Koskettamalla ihminen voi antaa ohjauskomentoja laitteelle Esimerkiksi näppäimistön käyttö tuntuu sormenpäissä passiivista tuntopalautetta Tällainen tuntopalaute on (yleensä) tiedostamatonta, mutta ilman sitä näppäimistön käyttö olisi hankalampaa Vuorovaikutuksessa voidaan hyödyntää myös aktiivista tuntopalautetta käyttäjälle Esimerkiksi puhelimen värinätoiminto Keholliset aistit Kehollisuuteen liittyy kosketuksen lisäksi myös muita aisteja Paine ja värinä Taktiilit aistit (tactile) Lämpötila Somaattiset aistit (somatic) Kipu Kinesteettiset aistit (kinesthetic) Saila.Ovaska@uta.fi 1
Keholliset aistit Keskeisiä käsitteitä Taktiili (tactile) Kosketusaisti Kutaaninen, iholla havaittava Kinesteettinen Liikeaisti Proprioseptiivinen, sisäisesti havaittava (mm. lihakset) Haptiikka (haptics) Haptinen vuorovaikutus = tuntoaistiin perustuva vuorovaikutus Käsittää sekä manipulaation (syötteet tietokoneelle) että aistimisen (tietokoneen palautteiden havaitseminen) Haptinen laite tuottaa haptista palautetta (tuntopalautetta) Tactile perceptible by touch Kinesthetic a sense mediated by receptors located in muscles, tendons and joints and stimulated by bodily movements and tensions; a sensory experience derived from this sense Haptic relating to or based on the sense of touch Merriam Webster Kosketukseen perustuvat järjestelmät Kosketusnäytöt suhteellisen vanhaa tekniikkaa infokioskeissa ja pienissä (kämmen)laitteissa tavallisia käyttö sormin tai kynän kaltaisen tikun avulla (stylus = piirtotikku) laitteissa, joihin sormi on liian paksu näyttö reagoi käyttäjän tekemiin valintoihin, mutta ei anna erityistä tuntopalautetta (lasi tuntuu viileältä ja tasaiselta) monia erilaisia toteutustekniikoita www.designinginteractions.com Myös mm. pöytäpinnalla: Microsoft Surface Pixelsense Nikkei Electronics Asia TABLETS ARE NOT PC:S Ja tablet-kokoisissa laitteissa: Ensimmäiset luonnokset 2001, proto 2003, v1.0 2007, v2.0 2011 Versio 1.0: pöytäpinta itsessään ei tunnista kosketusta vaan toteutettu infrapunalla pöydän sisältä Versio 2.0: Samsung SUR40 LCD-näyttö (laitteen paksuus 4 tuumaa) joko vaaka tai pysty (alkaen kesä 2012): http://pixelsense.com/ ei myynnissä Suomessa http://www.youtube.com/watch?v=hmw7pd41cz0 http://techon.nikkeibp.co.jp/article/honshi/20100830/185288/ 9.7 näyttö Tuntopalautetta antavat järjestelmät Milloin tuntopalaute soveltuu? Tuntopalaute vaatii fyysistä kontaktia Tuntopalaute on henkilökohtaista ja yksityistä Haptisen kanavan hyödyntäminen kun näkö- ja kuuloaisti ovat ylikuormitettuja, varattuja muuhun toimintaan TUNTOPALAUTE Tunto- ja voimapalautetta antava laite voi aikaansaada monenlaista palautetta, esimerkiksi Värinäaistimus, buzz Pintatekstuurin aistimus Esim. hiekkapaperi, tiiliseinä, monttu Kitkan aistimus Kaltevan pinnan ja lisääntyvän taakan työntämisen aistimus Saila.Ovaska@uta.fi 2
Tuntopalautetta kosketusnäyttöihin? Miten kosketusnäytöllä voidaan antaa haptista palautetta käyttäjälle? Ongelma: kosketusnäytön virtuaalinäppäimistöä käytettäessä puuttuu tuntopalaute Tämä voi häiritä käyttäjää, koska näppäimen painalluksesta ei saa vastaavaa palautetta kuin fyysisiä näppäimistöjä käyttäessä Tuntopalaute (ja näppäimen ääni) viestii käyttäjälle, että näppäin on painettu alas Laitteen käyttäminen mahdotonta näkövammaiselle Ratkaisuja Tuntopalautetta näkövammaisille Tuntoaisti on tärkeä kommunikaatiokanava näkövammaisille Kirjaimet esitetään taktiilisti Brailleaakkosilla, jotka ovat koholla olevien pisteiden yhdistelmiä Braille-teknologiaa, esim. http://www.deafblind.com/display.html Braille-näyttö taktiililaite, joka tulkitsee näytön tekstin braille-merkeillä Samsung Touch Messenger (2006): Braille-tekstiviestien lähettäminen ja vastaanottaminen Yahoo 2010: iphone+bluetooth+braille http://yaccessibilityblog.com/wp/refreshablebraille-display-iphone-4g.html http://www.gizmag.com/go/5876/ Nokian ratkaisuehdotus Applen ratkaisuehdotus Nokia: Haptikos patenttihakemus heinäkuu 2008 The problem in perfecting the tech codenamed Haptikos, meaning to touch lies in how our fingers experience a key press. We actually feel two movements, in and out, and these movements and the associated audio have to be perfectly attuned to the speed and responsiveness of a real keyboard. Haptikos www.nokia.com/press Applen patenttihakemus heinäkuu 2009 The display screen can be used to present a visual display which includes a virtual button. A haptic feedback response can be associated with the virtual button. The haptic feedback response can be provided while the virtual button is included in the visual display, or in response to a touch event. For example, the virtual button can vibrate when a touch event occurs in proximity to the virtual button. Lähde: http://www.latest-mobile.com/articles/nokia/nokia-haptikos-is-haptics-feedback-perfected_4184 Lähde: United States Patent Application 20090167704 Erilaisia tuntopalautteita Senseg E-Sense (syyskuu 2011) http://senseg.com Tixel tactile pixel http://www.youtube.com/watch?v=jxitjlurof0 Erilaisia tuntopalautteen mahdollistavia laitteita on paljon Passiivinen kokemus (tuntoaistimus) vs. aktiivinen kokeileminen (tunnustelu) Kohde on helpompi tunnistaa aktiivisesti kuin passiivisesti Tuntopalautteen mahdollistavia laitteita kehitetty eri tarkoituksiin Mallinnus, 3D-suunnittelu, näkövammaiset, pelit, Haptiikka tutkii myös erilaisia voimapalauteominaisuuksia (ns. voimatakaisinkytkentä, force feedback) Yleensä toteutettu laitteessa olevina moottoreina, joissa tuotetaan käyttäjän liikettä vastustavaa voimaa Kohdetta "työnnettävä" tai "nostettava", ei vain "kosketettava jotta haluttu toiminto tapahtuu Saila.Ovaska@uta.fi 3
Tuntopalautetta antavia laitteita Datahansikas Kaikissa datahansikkaissa ei ole voimatakaisinkytkentää http://www.immersion.com/ Phantom Kynänkaltainen värisevä laite kädessä, voi esim. tunnustella erilaisia pintoja http://www.sensable.com/ Voimapalautehiiret, -ratit ym. Haptisen palautteen hyötyjä Yhtenä osana multimodaalista järjestelmää Ei kuormita näköaistia Tutkitusti auttaa: tehtävän suoritus nopeutuu ja käyttäjäkokemus paranee Tarjoaa yksityisen palautekanavan (ei visuaalista eikä auditiivista palautetta) http://www.immersion.com/docs/value-of-haptics_jun10-v2.pdf Logitech Wing Man Keholliset käyttöliittymät KEHOLLISET KÄYTTÖLIITTYMÄT syötemodaliteettina kehon liikkeet Järjestelmän ohjaus kehon liikkeiden avulla Tarkoitukselliset Spontaanit Vaatii laitteistoa joka havaitsee käyttäjän liikkeitä Valokennot (liikkeentunnistus) Reaktiiviset kalvot (paineentunnistus) Videokamerat Jne. Lumetila, VTT Tietotekniikka, Tampere. KickAss KungFu Kaupallinen esimerkki: Nintendo Wii Animaatiokone, http://www.youtube.com/watch?v=xl_vtxunkie Nintendo Wiin ohjain muistuttaa kaukosäädintä Liikkeentunnistus Tärinätoiminto Kaiutin Mahdollistaa pelin ohjaamisen kehon (ohjaimen) liikkeen avulla Wii-ohjainta voi käyttää esim. kuin tennismailaa ja tuntea ja kuulla kuinka pallo osuu mailaan Kuvien lähde: www.nintendo.fi Saila.Ovaska@uta.fi 4
Jalat käyttöön Kehon liikkeet kommunikoinnissa Erilaisia tanssimattoja, usein pelikoneissa Myös muunlaiset sovellutukset Sähköpostin lukeminen Valokuvien lajittelu Step User Interface (Step UI) http://dx.doi.org/10.1145/1125451.1125534 Nonverbaali (sanaton) viestintä on keskeistä ihmisten välisessä vuorovaikutuksessa Kommunikatiivisia kehonliikkeitä on luokiteltu Eleillä (emblems) on suora sanallinen vastine Esimerkiksi OK, voitonmerkki Kuvittajat (illustrators) vahvistavat tai täydentävät sanallista viestiä esimerkiksi Sain näin suuren kalan Tunneilmaisut (affect displays) viestivät tunnetilasta, kasvonilmeet keskeisiä Säätelijät (regulators) säätelevät vuorovaikutusta, vuorottelu esimerkiksi katsekäyttäytyminen, nyökkääminen Mukauttajat (adaptors) auttavat mukautumaan ympäristöön, myös tarkoituksellinen kohteiden manipulointi esimerkiksi haukottelu, silmälasien liikuttelu Ekman & Friesen: The repertoire of nonverbal behavior. Categories, origins, usage and coding. Semiotica, 1, 1969, 49-98. Kehon liikkeet kommunikoinnissa Kuvan lähde: Argyle, Bodily communication Elekäyttöliittymät kosketuspinnalla ja ilmassa elehtien Kosketus pinnalla helpompi tunnistaa tietoiseksi eleeksi Minority Report elokuva ja siitä tuotteistettu G-speak Maes & Mistry: SixthSense SixthSense is a wearable gestural interface that augments the physical world around us with digital information and lets us use natural hand gestures to interact with that info Tunnistaa Multi touch laitteissa tavallisia eleitä (A, B, E, F) Free hand eleitä (C, D) Ikonisia eleitä (G) ilmassa http://www.pranavmistry.com/projects/sixthsense/ WUW Wear Ur World A wearable gestural interface, Proc. CHI 09. Skinput Valinnat suoraan iholla? Tutkijat Carnegie-Mellon University & Microsoft Akustiikkaan perustuva syöttölaite Tunnistaa käsivarren ympärillä olevan pannan avulla, missä kohdassa käsivartta on napautettu. Ultra-low frequency sound detector Pico projector Joissakin mobiililaitemalleissa osana Yhteenveto Näppäimistön sijaan tai oheen kehitetään muita syötteenantotapoja, esim. Kosketusnäyttöjä, kynäkäyttöliittymiä Kehonliikkeiden ja käsillä & kasvoilla tehtävien eleiden avulla annettavaa syötettä Tuntoaistimuksia myös tulostusmodaliteettina Tarvitaan erityisiä laitteita tuottamaan värinää tai kitkaa Kehon kielellä vuorovaikutus vielä alkutekijöissään erityisesti virtuaalisia (animoituja) hahmoja kehitettäessä hahmon eleet ja liikkeet ovat tärkeitä antamaan palautetta käyttäjälle Chris Harrison et al., Skinput: Appropriating the Body as an Input Surface. Proc. CHI 2010. Best paper award. http://research.microsoft.com/en-us/um/redmond/groups/cue/skinput/ Saila.Ovaska@uta.fi 5