Ihminen havaitsijana: Luento 7. Jukka Häkkinen ME-C2600

Transkriptio

1 Ihminen havaitsijana: Luento 7 Jukka Häkkinen ME-C2600 Kevät

2 Luento 7 Visuaalinen tarkkaavaisuus 2

3 Visuaalinen tarkkaavaisuus on tiedon valikointia Näköjärjestelmän tehtävänä on poimia henkilön kannalta olennaista tietoa näkymästä Tietoa tulee kuitenkin valtavasti, joten täytyy tulvasta täytyy poimia olennaiset asiat Olennaista voi olla: Aina tilanteesta riippumatta olennaiset asiat: jokin ilmestyy, jokin liikahtaa Tehtävän informaatiotarpeiden kannalta olennaiset asiat Tiedon poimintaa suorittavat visuaalisen tarkkaavaisuuden mekanismit

4 Muistiinpanoja esityksistä Leopardisammakko Lettvin (1959) What the Frog s Eye Tells the Frog s Brain Proc. Inst. Radio Engr. 1959, vol. 47,

5 Visuaalisen tarkkaavaisuuden lajit 1. Näkyvä tarkkaavaisuuden siirtäminen (overt attention) 2. Näkymätön tarkkaavaisuuden siirto (covert attention) 3. Sisäisesti ohjautunut tarkkaavaisuus (endogenous attention) 4. Ulkoisesti ohjautunut tarkkaavaisuus (exogenous attention)

6 Näkyvä tarkkaavaisuuden siirtäminen

7 Näkyvä tarkkaavaisuuden ohjautuminen silmänliikkeiden avulla Katseen kulkua visualisoidaan katsepolun avulla Fiksaatio = Silmä pysähtyy keräämään tietoa Sakkadi = silmä liikkuu paikasta toiseen

8 Sakkadit ja fiksaatiot Sakkadi kestää noin 5-80ms ja niitä tapahtuu 3-4 kpl sekunnissa Pitkät sakkadit siirtävät katseen kiinnostavaan paikkaan näkymässä Lyhyet sakkadit siirtelevät katsetta kiinnostavan alueen sisällä

9 Sakkadit ja fiksaatiot Sakkadi kestää noin 5-80ms ja niitä tapahtuu 3-4 kpl sekunnissa Pitkät sakkadit siirtävät katseen kiinnostavaan paikkaan näkymässä Lyhyet sakkadit siirtelevät katsetta kiinnostavan alueen sisällä Sakkadin aikana silmän kyky vastaanottaa tietoa on alentunut (sakkadinen suppressio). Vastaanotto ei katkea kokonaan, mutta heikkenee paljon.

10 Sakkadit ja fiksaatiot Sakkadi kestää noin 5-80ms ja niitä tapahtuu 3-4 kpl sekunnissa Pitkät sakkadit siirtävät katseen kiinnostavaan paikkaan näkymässä Lyhyet sakkadit siirtelevät katsetta kiinnostavan alueen sisällä Sakkadin aikana silmän kyky vastaanottaa tietoa on alentunut (sakkadinen suppressio). Vastaanotto ei katkea kokonaan, mutta heikkenee paljon. Fiksaatio kestää keskimäärin 250 millisekuntia. Tämä tarkoittaa sitä, että 90% ajasta silmä on paikallaan. Fiksaation aikana: Silmä vastaanottaa tietoa fovealta ja perifeerisestä näöstä. Tietoa prosessoidaan. Prosessoinnin monimutkaisuus vaikuttaa fiksaation kestoon. Seuraavaa sakkadia lasketaan.

11 Näkymätön tarkkaavaisuuden siirtäminen

12 Näkymätön tarkkaavaisuus Posner (1980): jos annetaan vihje ilmestyvän objektin paikasta, reaktionopeus kasvaa. Tehtävä: Etsi T-kirjain Silmänliikemittauslaite tarkkailee, että katse pysyy kohdistettuna ristiin keskellä T L L L Annetaan vihje kohteen sijainnista Mitataan reaktioaika Oikea vihje nopeuttaa reaktiota

13 Näkymätön tarkkaavaisuus tilassa Piilotettu tarkkaavaisuus vai aktivoitua myös kolmannessa ulottuvuudessa Tehtävä: etsi kohde, joka voi ilmestyä joko tasolle A tai B Annetaan vihje: Tulee ilmestymään tasolle A tai B Etäisyys havaitsijasta A B Havaitsija

14 Näkymätön tarkkaavaisuus tilassa Jos vihje on B, se parantaa tasolle B ilmestyvän kuvion havaitsemisen reaktionopeutta Jos vihje on A, se parantee reaktionopeutta sekä tasolle A että B Etäisyys havaitsijasta Etäisyys havaitsijasta A A B B Havaitsija Havaitsija

15 Tarkkaavaisuuden valokeila Voimme ennakoida tietyssä näkökentän paikassa tapahtuvia kiinnostavia asioita. Tarkkaavaisuuden valokeila Ennakointi tarkoittaa, että näkökentässä tiettyä aluetta käsittelevän aivoalueen prosessointia tehostetaan = aivot aktivoituvat enemmän = annetaan enemmän laskentakapasiteettia käyttöön 15

16 Eye-mind -hypoteesi Paljon keskusteltu kysymys on näkyvän ja näkymättömän tarkkaavaisuuden siirtämisen suhde Ilmeisesti näkymättömällä tarkkaavaisuudella on kaksi funktiota: Asioiden nopea tarkistus Tietyn aivoalueen aktivoiminen hetken kuluttua tulevaa silmänliikettä varten = Eye-Mind-hypoteesi 16

17 Visuaalisen tarkkaavaisuuden lajit 1. Näkyvä tarkkaavaisuuden siirtäminen (overt attention) 2. Näkymätön tarkkaavaisuuden siirto (covert attention) 3. Sisäisesti ohjautunut tarkkaavaisuus (endogenous attention) 4. Ulkoisesti ohjautunut tarkkaavaisuus (exogenous attention)

18 Endogeeninen tarkkaavaisuus 1

19 Mihin katse kohdistuu? Ensimmäiset tutkimukset 1960-luvulla osoittivat, että emme katso tyhjiin, tasaisiin ja epäinformatiivisiin alueisiin Katsomme informatiivisiin alueisiin. Mitä ne ovat? Yarbus (1967): tehtävä vaikuttaa silmänliikkeisiin Tämä on sisäisesti ohjautunutta eli endogeenista tarkkaavaisuuden siirtämistä 19

20 2

21 Top-down Top-down-lähestymistapa: Tieto, tavoitteet ja semantiikka määrittelevät silmien kohdistumisen. Episodinen näkymätieto (episodic scene knowledge) Lyhytaikainen: Laitoin äsken työpöydän etuosaan ipadin Pitkäaikainen: Säilytän ipadin laturia pöytälaatikossa 21

22 Top-down Top-down-lähestymistapa: Tieto, tavoitteet ja semantiikka määrittelevät silmien kohdistumisen. Episodinen näkymätieto (episodic scene knowledge) Lyhytaikainen: Laitoin äsken työpöydän etuosaan ipadin Pitkäaikainen: Säilytän ipadin laturia pöytälaatikossa Näkymäskeematieto (scene schema knowledge) Semanttinen: keittiössä on yleensä ruokailuvälineitä Spatiaalinen: ruokailuvälineitä säilytetään yleensä laatikossa Yleinen: ruokailuvälineet eivät yleensä leiju ilmassa 22

23 Top-down Top-down-lähestymistapa: Tieto, tavoitteet ja semantiikka määrittelevät silmien kohdistumisen. Episodinen näkymätieto (episodic scene knowledge) Lyhytaikainen: Laitoin äsken työpöydän etuosaan ipadin Pitkäaikainen: Säilytän ipadin laturia pöytälaatikossa Näkymäskeematieto (scene schema knowledge) Semanttinen: keittiössä on yleensä ruokailuvälineitä Spatiaalinen: ruokailuvälineitä säilytetään yleensä laatikossa Yleinen: ruokailuvälineet eivät yleensä leiju ilmassa Tehtäväsidonnainen tieto (task-related knowledge) Autoa ajettaessa katsot säännöllisin väliajoin taustapeiliin Jos aiot tehdä voileipiä, katsot eri paikkoihin kun aikoessasi siivota keittiön Jos yrität muistaa kuvan, katsot eri paikkoihin kuin jos arviot sen laatua (=Yarbus) Esimerkkinä koe teen keittämisestä 23

24 Eksogeeninen tarkkaavaisuus 2

25 Salientit piirteet (bottom up) Helposti erottuvia piirteitä sanotaan salienteiksi piirteiksi. pop-out -ilmiö = erilainen kohde erottuu välittömästi. Tarkkavaisuus sieppautuu kohteeseen ( attentional capture ) Ulkoisesti ohjautunutta, eksogeenista tarkkaavaisuuden siirtymistä = tarkkaavaisuuden ohjaus on bottom-up 25

26 Esimerkkejä erottuvista kuvan ominaisuuksista 26

27 Joitakin piirteitä on vaikeampi erottaa L L L L L L L L L LL L L L L L L L L L L T L L L Monimutkaisemmat piirreyhdistelmät, kuten tietyt kirjaimet Monen piirteen yhdistelmät eli piirrekonjunktiot (kohde on punainen vaakapalkki) Vaatii silmien siirtämistä kuviojoukossa Kun silmien tarkan näön alue osuu erottuvaan ärsykkeeseen ja sitä on hetken aikaa prosessoitu, ärsyke erotetaan joukosta. 27

28 Reaktioaika Visuaalisen haun koe (visual search) Ärsykkeiden erottuvuutta voidaan tutkia visuaalisen haun koeasetelmalla Henkilöille esitetään objektiryhmiä ja mitataan kohteen löytämisen reaktioaika 50% tapauksissa kuvissa ei ole kohdetta Häiriöärsykkkeiden määrä (=punaiset viivat) 28

29 Reaktioaika Tehokas haku Ärsykkeiden erottuvuutta voidaan tutkia visuaalisen haun koeasetelmalla Henkilöille esitetään objektiryhmiä ja mitataan kohteen löytämisen reaktioaika 50% tapauksissa kuvissa ei ole kohdetta Häiriöärsykkkeiden määrä (=punaiset viivat) Jos reaktioaika ei kasva häiriöärsykkeiden määrän kasvaessa, kyseessä on tehokas visuaalinen haku 29

30 Reaktioaika Tehoton haku Muiden piirteiden erottaminen on vaikeampaa, joten häiriöärsykkeiden määrän kasvaessa hakuaika (= reaktioaika kasvaa). L L T L L L L L T L L L L L L L T L L L L L Kulmakerroin kertoo tehtävän vaikeuden (vrt JND) Häiriöärsykkkeiden määrä (=L-kirjaimet) Haun tehokkuus vähenee piirteiden vaikeutuessa. Kun piirteet ovat riittävän vaikeita, täytyy siirtyä käyttämään silmänliikkeitä, mikä hidastaa hakua entisestään. 30

31 Salienssikartta Näkymä Salienssikartta Bottom up piirteet yhdistyvät salienssikartassa Salienssikartta ohjaa silmänliikkeitä 31

32 Mikä silmänliikkeitä ohjaa? 2000-luvun alkuun saakka bottom-up mallit olivat vallitsevia Viime vuosina on kuitenkin julkaistu paljon top-down lähestymistapaa tukevia tuloksia Todennäköisesti kummatkin ovat oikeassa, tarkkaavaisuuden ohjaus muuntuu dynaamisesti tilanteen ja saatavilla olevan informaation mukaan Uudet tulokset viittaavat siihen, että ensimmäisen 100 millisekunnin aikana bottom-up dominoi ja sen jälkeen, tehtävästä riippuen, top-down alkaa vaikuttamaan enemmän 32

33 Silmänliikkeet ja muistit 33

34 Sakkadien aikainen muisti Jos oletetaan, että sakkadeita on kolme sekunnissa, 16-tuntisen päivän aikana teemme sakkadia Silmänliikkeen aikana ei nähdä juuri mitään: sakkadinen supressio Benno Erdmannin & Raymond Dodge (1898) 34

35 Sakkadien aikainen muisti Jos oletetaan, että sakkadeita on kolme sekunnissa, 16-tuntisen päivän aikana teemme sakkadia Silmänliikkeen aikana ei nähdä juuri mitään: sakkadinen supressio Benno Erdmannin & Raymond Dodge (1898) Jos oletetaan, että sakkadin keskipituus on 30 ms, olemme 86 minuuttia päivästä sokeita Minkälainen malli maailmasta aivoissa on sakkadien aikana? Jotain täytyy representoida jotta meillä säilyy koherentti kokemus maailmasta. Täytyy olla sakkadien aikainen muisti. Myös nk. paluun estyminen (Inhibition of return, IOR) viittaa muistiin Voisi olla Kuva maailmasta Abstrakti ja harva representaatio 35

36 McConkie & Zola (1979) Halusivat tutkia sakkadien aikaista muistia Kokeessa teksti muuttui aina kun sakkadi tapahtui Teksti ennen sakkadia: TäMä TeKsTi On HiUkAn HaNkAlAmPi LuKeA kuin normaalisti KiRjOiTeTtU teksti Muutos sakkadin aikana: tämä teksti on hiukan hankalampi lukea KuIn NoRmAaLiStI kirjoitettu TeKsTi. Yllättäen koehenkilöt eivät huomanneet mitään! Sakkadin ajaksi ei siis tallenneta kuvaa näkymästä vaan abstrakti tieto kirjaimesta 36

37 Grimes (1996) Jos valokuvissa tehdään silmänliikkeiden aikana muutoksia, niitä ei huomata Muutos kuvassa Kuinka moni ei huomannut (%) Suuri rakennus kasvaa 25% 100 Kahden miehen hatut vaihtuvat % kuvan linnuista poistetaan 92 Lapsen kokoa kasvatetaan 30% 83 Kahden henkilön päitä vaihdetaan 50 37

38 Esimerkki 38

39 Rensink et al (1997) 39

40 Esimerkki 40

41 Ilmiön taustalla oleva mekanismi Ilman harmaata välikuvaa muutos on helppo havaita Muutos! Harmaan välikuvan lisääminen luo muutosten tulvan Muutos! Muutos! 41

42 Ilmiötä voi itse kokeilla 42

43 Muutossokeus, toinen esimerkki 43

44 Silmänliikkeet videossa 44

45 Tarkkaamattomuussokeus Wisemanin videossa vaikuttaa muutossokeuteen liittyvä ilmiö Tarkkaamattomuussokeus (Inattentional blindness) = emme huomaa sellaisten visuaalisten piirteiden muutoksia, jotka ovat tehtävän kannalta epäolennaisia Nämä piirteet eivät siis ole tallentuneena minnekään, elleivät ne ole olennaisia tehtävän kannalta 45

46 Esimerkki 46

47 Yhteenveto: Muutossokeus ja tarkkaamattomuussokeus Jos kuvia väläytetään vuoron perään ja niiden välillä välähtää harmaa kenttä, nk. maski, muutosten huomaaminen on todella vaikeaa Jos maskin poistaa, tapahtuu abrupt onset, mikä on eksogeenisen tarkkaavaisuuden aktivoiva mekanismi Sama juttu kuin silmänliikkeiden aikana tapahtuva sakkadinen suppressio Tulos viittaa siihen, että sakkadien ajaksi tallennetaan vähän tietoa Samaan viittaavat myös tarkkaamattomuussokeuteen liittyvät ilmiöt, joissa tehtävän kannalta epäolennaista tietoa ei tallenneta mihinkään Näkymärepresentaatio on siis hyvin harva, siellä on tietoa objektien identiteetistä ja paikoista, mutta ei niin paljon tietoa esimerkiksi objektien ominaisuuksista 47