Havaitseminen, kognitio ja ergonomia Jukka Häkkinen Käyttäytymistieteiden laitos, Helsingin yliopiston 9.9.2015 Institute of Behavioural Sciences / Jukka Häkkinen 9.9.2015 1
Luennon sisältö 1. Keskeisiä asioita havaintokognition tutkimuksessa Sisäinen malli eli representaatio Kuinka näkö poimii tietoa ympäristöstä Havaintokognitiivisten ilmiöiden ymmärtämisen tasot 2. Kuinka visuaalisen kognition ja teknologian tutkimuksen voi yhdistää? 2
Sisäinen malli eli representaatio Havaitsemisen edellytyksenä on sisäinen malli todellisuudesta Kenneth Craik (1943): If the organism carries a small-scale model of external reality and of its own possible actions within its head, it is able to try out various alternatives, conclude which is the best of them, react to future situations before they arise, utilize the knowledge of past events in dealing with the present and future, and in every way to react in a much fuller, safer, and more competent manner to the the emergencies which face it. 3
Australialainen jalokuoriainen Muistiinpanoja esityksistä 4
Sisäinen malli ja todellisuuden hyödyntäminen Jalokuoriaisella on sisäinen malli olennaisesta informaatiosta, kuten kumppanin löytämisestä Sisäisen mallin avulla aistimme ovat käyttöliittymä todellisuuteen. Käyttöliittymän tarkoituksena on edistää selviytymistä. Tehtäviä: Etsi ruokaa Etsi suojaa Vältä saalistajat Löydä parittelukumppani ja jatkaa sukua Aistimme muodostama käyttöliittymä hyödyntää sisäisen mallin sisältämää tietoa Aistimme muodostama käyttöliittymä täydentää sisäistä mallia 5
Muistiinpanoja esityksistä Leopardisammakko Lettvin (1959) What the Frog s Eye Tells the Frog s Brain Proc. Inst. Radio Engr. 1959, vol. 47, 1940-1951
Sisäisen malli auttaa selviämään tietotulvasta Ulkomaailmasta tuleva informaation määrä on suuri Mahdollisten näkymien ja tilanteiden määrä on suuri Kuinka selvitä tästä ja säilyttää kyky toimia? Maailma ei ole satunnainen, joten voidaan hyödyntää tietoa sen rakenteesta Tietyt asiat esiintyvät aina yhdessä Tietyt asiat esiintyvät harvoin yhdessä Tietyt asiat ovat yleensä jossakin tilassa ja harvoin jossain toisessa tilassa Tietoa hyödynnetään tekemällä olettamuksia ja käyttämällä yksinkertaistavia peukalosääntöjä Sisäinen malli ei ole maailman kopio vaan sinne tallentuu vain olennainen tieto 7
Shape from shading eli varjomuoto Ramachandran (1985); van Fieandt (1935) 8
Shape from shading eli varjomuoto Ramachandran (1985); van Fieandt (1935) 9
Sisäinen malli: kaksi olettamusta 1. Valo tulee ylhäältä 2. Valolähteitä on yksi 10
Hai joka yrittää näyttää kuopalta 11
Müller-Lyer-illuusio 12
Müller-Lyer-illuusio 13
Müller-Lyer-illuusio Yksinkertainen viivakuva tulkitaan oletusten pohjalta perspektiivikuvaksi 14
Magneettinen liike Best Illusion of the year contest 2010, First prize: Koukichi Sugihara (Meiji Institute for Advanced Study of Mathematical Sciences, Japan) Impossible motion: magnet-like slopes 15
Sisäiset mallit: Yhteenveto Havaitseminen on käyttöliittymä maailmaan, tarkoituksena selviytyminen, ei suurimman mahdollisen havaintotarkkuuden saavuttaminen Havaitseminen on aktiivinen prosessi, poimimme olennaista tietoa. Olennaisuus määrittyy tehtävästä muodostamamme käsityksen perusteella. Poimintaa ohjaavat sisäiset mallit, jotka nopeuttavat havaitsemista, mutta voivat aiheuttaa illuusioita ja virheitä 16
Kuinka informaatiota poimitaan? 17
Visuaalinen tarkkaavaisuus on tiedon valikointia Näköjärjestelmän tehtävänä on poimia henkilön kannalta olennaista tietoa näkymästä Tietoa tulee kuitenkin valtavasti, joten täytyy tulvasta täytyy poimia olennaiset asiat Olennaista voi olla: Aina olennaiset asiat: jokin ilmestyy, jokin liikahtaa Tehtävän informaatiotarpeiden kannalta olennaiset asiat Tiedon poimintaa suorittavat visuaalisen tarkkaavaisuuden mekanismit
Visuaalisen tarkkaavaisuuden lajit 1. Näkyvä tarkkaavaisuuden siirtäminen (overt attention) 2. Näkymätön tarkkaavaisuuden siirto (covert attention) 3. Sisäisesti ohjautunut tarkkaavaisuus (endogenous attention) 4. Ulkoisesti ohjautunut tarkkaavaisuus (exogenous attention)
Näkyvä tarkkaavaisuuden siirtäminen
Näkyvä tarkkaavaisuuden ohjautuminen silmänliikkeiden avulla Katseen kulkua visualisoidaan katsepolun avulla Fiksaatio = Silmä pysähtyy keräämään tietoa Sakkadi = silmä liikkuu paikasta toiseen
Sakkadit ja fiksaatiot Sakkadi kestää noin 5-80ms ja niitä tapahtuu 3-4 kpl sekunnissa Pitkät sakkadit siirtävät katseen kiinnostavaan paikkaan näkymässä Lyhyet sakkadit siirtelevät katsetta kiinnostavan alueen sisällä Sakkadin aikana silmän kyky vastaanottaa tietoa on alentunut (sakkadinen suppressio). Vastaanotto ei katkea kokonaan, mutta heikkenee paljon. Fiksaatio kestää keskimäärin 250 millisekuntia. Tämä tarkoittaa sitä, että 90% ajasta silmä on paikallaan. Fiksaation aikana: Silmä vastaanottaa tietoa fovealta ja perifeerisestä näöstä. Tietoa prosessoidaan. Prosessoinnin monimutkaisuus vaikuttaa fiksaation kestoon. Seuraavaa sakkadia lasketaan.
Näkymätön tarkkaavaisuuden siirtäminen
Näkymätön tarkkaavaisuus Posner (1980): jos annetaan vihje ilmestyvän objektin paikasta, reaktionopeus kasvaa. Tehtävä: Etsi T-kirjain Silmänliikemittauslaite tarkkailee, että katse pysyy kohdistettuna ristiin keskellä T L L L Annetaan vihje kohteen sijainnista Mitataan reaktioaika Oikea vihje nopeuttaa reaktiota
Näkymätön tarkkaavaisuus Voimme ennakoida tietyssä näkökentän paikassa tapahtuvia kiinnostavia asioita. Tarkkaavaisuuden valokeila Ennakointi tarkoittaa, että voimme tehostaa siellä tapahtuvaa prosessointia Tämä näkyy myös aivojen aktivoitumisessa Paljon keskusteltu kysymys on näkyvän ja näkymättömän tarkkaavaisuuden siirtämisen suhde Ilmeisesti näkymättömällä tarkkaavaisuudella on kaksi funktiota: Asioiden nopea tarkistus Tietyn aivoalueen aktivoiminen hetken kuluttua tulevaa silmänliikettä varten. Eye-Mind-hypoteesi. 25
Endogeeninen tarkkaavaisuus 2
Mihin katse kohdistuu? Ensimmäiset tutkimukset 1960-luvulla osoittivat, että emme katso tyhjiin, tasaisiin ja epäinformatiivisiin alueisiin Katsomme informatiivisiin alueisiin. Mitä ne ovat? Yarbus (1967): tehtävä vaikuttaa silmänliikkeisiin Tämä on sisäisesti ohjautunutta eli endogeenista tarkkaavaisuuden siirtämistä 27
2
Top-down Top-down-lähestymistapa: Tieto, tavoitteet ja semantiikka määrittelevät silmien kohdistumisen. Episodinen näkymätieto (episodic scene knowledge) Lyhytaikainen: Laitoin äsken työpöydän etuosaan ipadin Pitkäaikainen: Säilytän ipadin laturia pöytälaatikossa Näkymäskeematieto (scene schema knowledge) Semanttinen: keittiössä on yleensä ruokailuvälineitä Spatiaalinen: ruokailuvälineitä säilytetään yleensä laatikossa Yleinen: ruokailuvälineet eivät yleensä leiju ilmassa Tehtäväsidonnainen tieto (task-related knowledge) Autoa ajettaessa katsot säännöllisin väliajoin taustapeiliin Jos aiot tehdä voileipiä, katsot eri paikkoihin kun aikoessasi siivota keittiön Jos yrität muistaa kuvan, katsot eri paikkoihin kuin jos arviot sen laatua (=Yarbus) Esimerkkinä koe teen keittämisestä 29
Eksogeeninen tarkkaavaisuus 30
Salientit piirteet (bottom up) Helposti erottuvia piirteitä sanotaan salienteiksi piirteiksi. Puhutaan pop-out ilmiöstä, kun erilainen kohde erottuu välittömästi. Tarkkavaisuus sieppautuu kohteeseen ( attentional capture ) Tämä on ulkoisesti ohjautunutta, eksogeenista tarkkaavaisuuden siirtymistä Voidaan myös sanoa, että tarkkaavaisuuden ohjaus on bottom-up 31
Esimerkkejä erottuvista kuvan ominaisuuksista 32
Silmänliikkeet ja sisäiset mallit 33
Sakkadien aikainen muisti Jos oletetaan, että sakkadeita on kolme sekunnissa, 16-tuntisen päivän aikana teemme 172800 sakkadia Silmänliikkeen aikana ei nähdä juuri mitään: sakkadinen supressio Benno Erdmannin & Raymond Dodge (1898) Jos oletetaan, että sakkadin keskipituus on 30 ms, olemme 86 minuuttia päivästä sokeita Minkälainen malli maailmasta aivoissa on sakkadien aikana? Jotain täytyy representoida jotta meillä säilyy koherentti kokemus maailmasta. Täytyy olla sakkadien aikainen muisti. Voisi olla Kuva maailmasta Abstrakti ja harva representaatio Ei mitään muistia. Ulkomaailma toimii muistina, josta tieto poimitaan. 34
Esimerkki https://www.youtube.com/watch?v=v3iprbrgsjm 35
Esimerkki https://www.youtube.com/watch?v=qppydms97ee 36
Yhteenveto: Tiedon poimiminen Silmänliikkeiden ajaksi tallennetaan vähän tietoa Sisäinen malli on siis erittäin karkea Siellä on tietoa objektien identiteetistä ja paikoista, mutta ei niin paljon tietoa esimerkiksi objektien ominaisuuksista 37
Ilmiöiden ymmärtämisen tasot 38
Havaintoilmiöiden ymmärtämisen tasot Havaitseminen on pohjimmiltaan biologinen prosessi, mutta sitä on vaikea ymmärtää ilman kognitiivisen tason ilmiöiden ymmärtämistä Kognitiivinen taso Laskennallinen taso Neuraalinen taso 39
Kognitiivinen taso Gaetano Kanizsa (1955) Kanizsan kuvio Kognitiivisen tason tutkimus: Ilmiön löytäminen! Millä ehdoilla ilmiö esiintyy? Mitkä asiat heikentävät tai voimistavat ilmiötä? Support ratio Kuinka paljon keskialueen havainto kirkastuu? Indusoivan kuvion muoto. Pitääkö täydentyä symmetriseksi? Pitääkö kuvioiden olla ajallisesti samanaikaisia? Tarvitaanko apukuvioita? Pitääkö indusoivan kuvion täydentyä alle? Onko illusorinen pinta hypoteettinen peittävä pintä? 40
Kognitiivinen taso Kanizsan kuvio Tsen volumetrinen mato 3 Tsen merihirviö 4 Idesawan illusorinen piikkipallo 2 2 Idesawa M. (1991) Perception of Illusory Solid Object with Binocular Viewing. Proceedings IJCNN 3 Tse, P. U. (1998). Illusory volumes from conformation. Perception, 27(8):977 994. 4 Tse, P. U. (1999). Volume Completion. Cognitive Psychology, 39: 37 68. 41
Neuraalinen taso R von der Heydt, E Peterhans, and G Baumgartner (1984) Illusory contours and cortical neuron responses. Science 224, 1260-1262. 42
Neuraalinen taso KT= Kanisa triangle KS = Kanizsa square NS = non-kanizsa square NT = non-kanizsa triangle F. Kruggel, C. S. Herrmann, C. J. Wiggins, and D. Y. von Cramon (2001) Hemodynamic and Electroencephalographic Responses to Illusory Figures: Recording of the Evoked Potentials during Functional MRI. NeuroImage 14, 1327 1336. 43
Miten visuaalisen kognition ja teknologian tutkimisen voi yhdistää? 44
Kasvojen välittämät emootiot ja stereo 3D Hakala, J., Kätsyri, J. & Häkkinen, J. (2015) Stereoscopy amplifies emotions elicited by facial expressions. i-perception, In Press. 45
Käden liikkeet stereoskooppisilla näytöillä 46
Käden liikkeet stereoskooppisilla näytöillä 47
Havaintosuoriutuminen kaareutuvilla näytöillä 48
Havaintosuoriutuminen kaareutuvilla näytöillä T Mustonen, J Kimmel, J Hakala, J Häkkinen (2015) Visual performance with small concave and convex displays Human Factors 57: 6. 1029-1050. 49
Havainto ja toiminta esineiden internetin kanssa 50