Havaitseminen, kognitio ja ergonomia Jukka Häkkinen Käyttäytymistieteiden laitos, Helsingin yliopiston

Transkriptio

1 Havaitseminen, kognitio ja ergonomia Jukka Häkkinen Käyttäytymistieteiden laitos, Helsingin yliopiston Institute of Behavioural Sciences / Jukka Häkkinen

2 Luennon sisältö 1. Keskeisiä asioita havaintokognition tutkimuksessa Sisäinen malli eli representaatio Kuinka näkö poimii tietoa ympäristöstä Havaintokognitiivisten ilmiöiden ymmärtämisen tasot 2. Kuinka visuaalisen kognition ja teknologian tutkimuksen voi yhdistää? 2

3 Sisäinen malli eli representaatio Havaitsemisen edellytyksenä on sisäinen malli todellisuudesta Kenneth Craik (1943): If the organism carries a small-scale model of external reality and of its own possible actions within its head, it is able to try out various alternatives, conclude which is the best of them, react to future situations before they arise, utilize the knowledge of past events in dealing with the present and future, and in every way to react in a much fuller, safer, and more competent manner to the the emergencies which face it. 3

4 Australialainen jalokuoriainen Muistiinpanoja esityksistä 4

5 Sisäinen malli ja todellisuuden hyödyntäminen Jalokuoriaisella on sisäinen malli olennaisesta informaatiosta, kuten kumppanin löytämisestä Sisäisen mallin avulla aistimme ovat käyttöliittymä todellisuuteen. Käyttöliittymän tarkoituksena on edistää selviytymistä. Tehtäviä: Etsi ruokaa Etsi suojaa Vältä saalistajat Löydä parittelukumppani ja jatkaa sukua Aistimme muodostama käyttöliittymä hyödyntää sisäisen mallin sisältämää tietoa Aistimme muodostama käyttöliittymä täydentää sisäistä mallia 5

6 Muistiinpanoja esityksistä Leopardisammakko Lettvin (1959) What the Frog s Eye Tells the Frog s Brain Proc. Inst. Radio Engr. 1959, vol. 47,

7 Sisäisen malli auttaa selviämään tietotulvasta Ulkomaailmasta tuleva informaation määrä on suuri Mahdollisten näkymien ja tilanteiden määrä on suuri Kuinka selvitä tästä ja säilyttää kyky toimia? Maailma ei ole satunnainen, joten voidaan hyödyntää tietoa sen rakenteesta Tietyt asiat esiintyvät aina yhdessä Tietyt asiat esiintyvät harvoin yhdessä Tietyt asiat ovat yleensä jossakin tilassa ja harvoin jossain toisessa tilassa Tietoa hyödynnetään tekemällä olettamuksia ja käyttämällä yksinkertaistavia peukalosääntöjä Sisäinen malli ei ole maailman kopio vaan sinne tallentuu vain olennainen tieto 7

8 Shape from shading eli varjomuoto Ramachandran (1985); van Fieandt (1935) 8

9 Shape from shading eli varjomuoto Ramachandran (1985); van Fieandt (1935) 9

10 Sisäinen malli: kaksi olettamusta 1. Valo tulee ylhäältä 2. Valolähteitä on yksi 10

11 Hai joka yrittää näyttää kuopalta 11

12 Müller-Lyer-illuusio 12

13 Müller-Lyer-illuusio 13

14 Müller-Lyer-illuusio Yksinkertainen viivakuva tulkitaan oletusten pohjalta perspektiivikuvaksi 14

15 Magneettinen liike Best Illusion of the year contest 2010, First prize: Koukichi Sugihara (Meiji Institute for Advanced Study of Mathematical Sciences, Japan) Impossible motion: magnet-like slopes 15

16 Sisäiset mallit: Yhteenveto Havaitseminen on käyttöliittymä maailmaan, tarkoituksena selviytyminen, ei suurimman mahdollisen havaintotarkkuuden saavuttaminen Havaitseminen on aktiivinen prosessi, poimimme olennaista tietoa. Olennaisuus määrittyy tehtävästä muodostamamme käsityksen perusteella. Poimintaa ohjaavat sisäiset mallit, jotka nopeuttavat havaitsemista, mutta voivat aiheuttaa illuusioita ja virheitä 16

17 Kuinka informaatiota poimitaan? 17

18 Visuaalinen tarkkaavaisuus on tiedon valikointia Näköjärjestelmän tehtävänä on poimia henkilön kannalta olennaista tietoa näkymästä Tietoa tulee kuitenkin valtavasti, joten täytyy tulvasta täytyy poimia olennaiset asiat Olennaista voi olla: Aina olennaiset asiat: jokin ilmestyy, jokin liikahtaa Tehtävän informaatiotarpeiden kannalta olennaiset asiat Tiedon poimintaa suorittavat visuaalisen tarkkaavaisuuden mekanismit

19 Visuaalisen tarkkaavaisuuden lajit 1. Näkyvä tarkkaavaisuuden siirtäminen (overt attention) 2. Näkymätön tarkkaavaisuuden siirto (covert attention) 3. Sisäisesti ohjautunut tarkkaavaisuus (endogenous attention) 4. Ulkoisesti ohjautunut tarkkaavaisuus (exogenous attention)

20 Näkyvä tarkkaavaisuuden siirtäminen

21 Näkyvä tarkkaavaisuuden ohjautuminen silmänliikkeiden avulla Katseen kulkua visualisoidaan katsepolun avulla Fiksaatio = Silmä pysähtyy keräämään tietoa Sakkadi = silmä liikkuu paikasta toiseen

22 Sakkadit ja fiksaatiot Sakkadi kestää noin 5-80ms ja niitä tapahtuu 3-4 kpl sekunnissa Pitkät sakkadit siirtävät katseen kiinnostavaan paikkaan näkymässä Lyhyet sakkadit siirtelevät katsetta kiinnostavan alueen sisällä Sakkadin aikana silmän kyky vastaanottaa tietoa on alentunut (sakkadinen suppressio). Vastaanotto ei katkea kokonaan, mutta heikkenee paljon. Fiksaatio kestää keskimäärin 250 millisekuntia. Tämä tarkoittaa sitä, että 90% ajasta silmä on paikallaan. Fiksaation aikana: Silmä vastaanottaa tietoa fovealta ja perifeerisestä näöstä. Tietoa prosessoidaan. Prosessoinnin monimutkaisuus vaikuttaa fiksaation kestoon. Seuraavaa sakkadia lasketaan.

23 Näkymätön tarkkaavaisuuden siirtäminen

24 Näkymätön tarkkaavaisuus Posner (1980): jos annetaan vihje ilmestyvän objektin paikasta, reaktionopeus kasvaa. Tehtävä: Etsi T-kirjain Silmänliikemittauslaite tarkkailee, että katse pysyy kohdistettuna ristiin keskellä T L L L Annetaan vihje kohteen sijainnista Mitataan reaktioaika Oikea vihje nopeuttaa reaktiota

25 Näkymätön tarkkaavaisuus Voimme ennakoida tietyssä näkökentän paikassa tapahtuvia kiinnostavia asioita. Tarkkaavaisuuden valokeila Ennakointi tarkoittaa, että voimme tehostaa siellä tapahtuvaa prosessointia Tämä näkyy myös aivojen aktivoitumisessa Paljon keskusteltu kysymys on näkyvän ja näkymättömän tarkkaavaisuuden siirtämisen suhde Ilmeisesti näkymättömällä tarkkaavaisuudella on kaksi funktiota: Asioiden nopea tarkistus Tietyn aivoalueen aktivoiminen hetken kuluttua tulevaa silmänliikettä varten. Eye-Mind-hypoteesi. 25

26 Endogeeninen tarkkaavaisuus 2

27 Mihin katse kohdistuu? Ensimmäiset tutkimukset 1960-luvulla osoittivat, että emme katso tyhjiin, tasaisiin ja epäinformatiivisiin alueisiin Katsomme informatiivisiin alueisiin. Mitä ne ovat? Yarbus (1967): tehtävä vaikuttaa silmänliikkeisiin Tämä on sisäisesti ohjautunutta eli endogeenista tarkkaavaisuuden siirtämistä 27

28 2

29 Top-down Top-down-lähestymistapa: Tieto, tavoitteet ja semantiikka määrittelevät silmien kohdistumisen. Episodinen näkymätieto (episodic scene knowledge) Lyhytaikainen: Laitoin äsken työpöydän etuosaan ipadin Pitkäaikainen: Säilytän ipadin laturia pöytälaatikossa Näkymäskeematieto (scene schema knowledge) Semanttinen: keittiössä on yleensä ruokailuvälineitä Spatiaalinen: ruokailuvälineitä säilytetään yleensä laatikossa Yleinen: ruokailuvälineet eivät yleensä leiju ilmassa Tehtäväsidonnainen tieto (task-related knowledge) Autoa ajettaessa katsot säännöllisin väliajoin taustapeiliin Jos aiot tehdä voileipiä, katsot eri paikkoihin kun aikoessasi siivota keittiön Jos yrität muistaa kuvan, katsot eri paikkoihin kuin jos arviot sen laatua (=Yarbus) Esimerkkinä koe teen keittämisestä 29

30 Eksogeeninen tarkkaavaisuus 30

31 Salientit piirteet (bottom up) Helposti erottuvia piirteitä sanotaan salienteiksi piirteiksi. Puhutaan pop-out ilmiöstä, kun erilainen kohde erottuu välittömästi. Tarkkavaisuus sieppautuu kohteeseen ( attentional capture ) Tämä on ulkoisesti ohjautunutta, eksogeenista tarkkaavaisuuden siirtymistä Voidaan myös sanoa, että tarkkaavaisuuden ohjaus on bottom-up 31

32 Esimerkkejä erottuvista kuvan ominaisuuksista 32

33 Silmänliikkeet ja sisäiset mallit 33

34 Sakkadien aikainen muisti Jos oletetaan, että sakkadeita on kolme sekunnissa, 16-tuntisen päivän aikana teemme sakkadia Silmänliikkeen aikana ei nähdä juuri mitään: sakkadinen supressio Benno Erdmannin & Raymond Dodge (1898) Jos oletetaan, että sakkadin keskipituus on 30 ms, olemme 86 minuuttia päivästä sokeita Minkälainen malli maailmasta aivoissa on sakkadien aikana? Jotain täytyy representoida jotta meillä säilyy koherentti kokemus maailmasta. Täytyy olla sakkadien aikainen muisti. Voisi olla Kuva maailmasta Abstrakti ja harva representaatio Ei mitään muistia. Ulkomaailma toimii muistina, josta tieto poimitaan. 34

35 Esimerkki 35

36 Esimerkki 36

37 Yhteenveto: Tiedon poimiminen Silmänliikkeiden ajaksi tallennetaan vähän tietoa Sisäinen malli on siis erittäin karkea Siellä on tietoa objektien identiteetistä ja paikoista, mutta ei niin paljon tietoa esimerkiksi objektien ominaisuuksista 37

38 Ilmiöiden ymmärtämisen tasot 38

39 Havaintoilmiöiden ymmärtämisen tasot Havaitseminen on pohjimmiltaan biologinen prosessi, mutta sitä on vaikea ymmärtää ilman kognitiivisen tason ilmiöiden ymmärtämistä Kognitiivinen taso Laskennallinen taso Neuraalinen taso 39

40 Kognitiivinen taso Gaetano Kanizsa (1955) Kanizsan kuvio Kognitiivisen tason tutkimus: Ilmiön löytäminen! Millä ehdoilla ilmiö esiintyy? Mitkä asiat heikentävät tai voimistavat ilmiötä? Support ratio Kuinka paljon keskialueen havainto kirkastuu? Indusoivan kuvion muoto. Pitääkö täydentyä symmetriseksi? Pitääkö kuvioiden olla ajallisesti samanaikaisia? Tarvitaanko apukuvioita? Pitääkö indusoivan kuvion täydentyä alle? Onko illusorinen pinta hypoteettinen peittävä pintä? 40

41 Kognitiivinen taso Kanizsan kuvio Tsen volumetrinen mato 3 Tsen merihirviö 4 Idesawan illusorinen piikkipallo 2 2 Idesawa M. (1991) Perception of Illusory Solid Object with Binocular Viewing. Proceedings IJCNN 3 Tse, P. U. (1998). Illusory volumes from conformation. Perception, 27(8): Tse, P. U. (1999). Volume Completion. Cognitive Psychology, 39:

42 Neuraalinen taso R von der Heydt, E Peterhans, and G Baumgartner (1984) Illusory contours and cortical neuron responses. Science 224,

43 Neuraalinen taso KT= Kanisa triangle KS = Kanizsa square NS = non-kanizsa square NT = non-kanizsa triangle F. Kruggel, C. S. Herrmann, C. J. Wiggins, and D. Y. von Cramon (2001) Hemodynamic and Electroencephalographic Responses to Illusory Figures: Recording of the Evoked Potentials during Functional MRI. NeuroImage 14,

44 Miten visuaalisen kognition ja teknologian tutkimisen voi yhdistää? 44

45 Kasvojen välittämät emootiot ja stereo 3D Hakala, J., Kätsyri, J. & Häkkinen, J. (2015) Stereoscopy amplifies emotions elicited by facial expressions. i-perception, In Press. 45

46 Käden liikkeet stereoskooppisilla näytöillä 46

47 Käden liikkeet stereoskooppisilla näytöillä 47

48 Havaintosuoriutuminen kaareutuvilla näytöillä 48

49 Havaintosuoriutuminen kaareutuvilla näytöillä T Mustonen, J Kimmel, J Hakala, J Häkkinen (2015) Visual performance with small concave and convex displays Human Factors 57:

50 Havainto ja toiminta esineiden internetin kanssa 50