Ihminen havaitsijana: Luento 7 Jukka Häkkinen ME-C2600 Kevät 2016 1
Luento 7 Visuaalinen tarkkaavaisuus 2
Visuaalinen tarkkaavaisuus on tiedon valikointia Näköjärjestelmän tehtävänä on poimia henkilön kannalta olennaista tietoa näkymästä Tietoa tulee kuitenkin valtavasti, joten täytyy tulvasta täytyy poimia olennaiset asiat Olennaista voi olla: Aina tilanteesta riippumatta olennaiset asiat: jokin ilmestyy, jokin liikahtaa Tehtävän informaatiotarpeiden kannalta olennaiset asiat Tiedon poimintaa suorittavat visuaalisen tarkkaavaisuuden mekanismit
Muistiinpanoja esityksistä Leopardisammakko www.helsinki.fi/yliopisto Lettvin (1959) What the Frog s Eye Tells the Frog s Brain Proc. Inst. Radio Engr. 1959, vol. 47, 1940-1951
Visuaalisen tarkkaavaisuuden lajit 1. Näkyvä tarkkaavaisuuden siirtäminen (overt attention) 2. Näkymätön tarkkaavaisuuden siirto (covert attention) 3. Sisäisesti ohjautunut tarkkaavaisuus (endogenous attention) 4. Ulkoisesti ohjautunut tarkkaavaisuus (exogenous attention)
Näkyvä tarkkaavaisuuden siirtäminen
Näkyvä tarkkaavaisuuden ohjautuminen silmänliikkeiden avulla Katseen kulkua visualisoidaan katsepolun avulla Fiksaatio = Silmä pysähtyy keräämään tietoa Sakkadi = silmä liikkuu paikasta toiseen https://www.youtube.com/watch?v=7x5gcc3vfq8
Sakkadit ja fiksaatiot Sakkadi kestää noin 5-80ms ja niitä tapahtuu 3-4 kpl sekunnissa Pitkät sakkadit siirtävät katseen kiinnostavaan paikkaan näkymässä Lyhyet sakkadit siirtelevät katsetta kiinnostavan alueen sisällä
Sakkadit ja fiksaatiot Sakkadi kestää noin 5-80ms ja niitä tapahtuu 3-4 kpl sekunnissa Pitkät sakkadit siirtävät katseen kiinnostavaan paikkaan näkymässä Lyhyet sakkadit siirtelevät katsetta kiinnostavan alueen sisällä Sakkadin aikana silmän kyky vastaanottaa tietoa on alentunut (sakkadinen suppressio). Vastaanotto ei katkea kokonaan, mutta heikkenee paljon.
Sakkadit ja fiksaatiot Sakkadi kestää noin 5-80ms ja niitä tapahtuu 3-4 kpl sekunnissa Pitkät sakkadit siirtävät katseen kiinnostavaan paikkaan näkymässä Lyhyet sakkadit siirtelevät katsetta kiinnostavan alueen sisällä Sakkadin aikana silmän kyky vastaanottaa tietoa on alentunut (sakkadinen suppressio). Vastaanotto ei katkea kokonaan, mutta heikkenee paljon. Fiksaatio kestää keskimäärin 250 millisekuntia. Tämä tarkoittaa sitä, että 90% ajasta silmä on paikallaan. Fiksaation aikana: Silmä vastaanottaa tietoa fovealta ja perifeerisestä näöstä. Tietoa prosessoidaan. Prosessoinnin monimutkaisuus vaikuttaa fiksaation kestoon. Seuraavaa sakkadia lasketaan.
Näkymätön tarkkaavaisuuden siirtäminen
Näkymätön tarkkaavaisuus Posner (1980): jos annetaan vihje ilmestyvän objektin paikasta, reaktionopeus kasvaa. Tehtävä: Etsi T-kirjain Silmänliikemittauslaite tarkkailee, että katse pysyy kohdistettuna ristiin keskellä T L L L Annetaan vihje kohteen sijainnista Mitataan reaktioaika Oikea vihje nopeuttaa reaktiota
Näkymätön tarkkaavaisuus tilassa Piilotettu tarkkaavaisuus vai aktivoitua myös kolmannessa ulottuvuudessa Tehtävä: etsi kohde, joka voi ilmestyä joko tasolle A tai B Annetaan vihje: Tulee ilmestymään tasolle A tai B Etäisyys havaitsijasta A B Havaitsija
Näkymätön tarkkaavaisuus tilassa Jos vihje on B, se parantaa tasolle B ilmestyvän kuvion havaitsemisen reaktionopeutta Jos vihje on A, se parantee reaktionopeutta sekä tasolle A että B Etäisyys havaitsijasta Etäisyys havaitsijasta A A B B Havaitsija Havaitsija
Tarkkaavaisuuden valokeila Voimme ennakoida tietyssä näkökentän paikassa tapahtuvia kiinnostavia asioita. Tarkkaavaisuuden valokeila Ennakointi tarkoittaa, että näkökentässä tiettyä aluetta käsittelevän aivoalueen prosessointia tehostetaan = aivot aktivoituvat enemmän = annetaan enemmän laskentakapasiteettia käyttöön 15
Eye-mind -hypoteesi Paljon keskusteltu kysymys on näkyvän ja näkymättömän tarkkaavaisuuden siirtämisen suhde Ilmeisesti näkymättömällä tarkkaavaisuudella on kaksi funktiota: Asioiden nopea tarkistus Tietyn aivoalueen aktivoiminen hetken kuluttua tulevaa silmänliikettä varten = Eye-Mind-hypoteesi 16
Visuaalisen tarkkaavaisuuden lajit 1. Näkyvä tarkkaavaisuuden siirtäminen (overt attention) 2. Näkymätön tarkkaavaisuuden siirto (covert attention) 3. Sisäisesti ohjautunut tarkkaavaisuus (endogenous attention) 4. Ulkoisesti ohjautunut tarkkaavaisuus (exogenous attention)
Endogeeninen tarkkaavaisuus 1
Mihin katse kohdistuu? Ensimmäiset tutkimukset 1960-luvulla osoittivat, että emme katso tyhjiin, tasaisiin ja epäinformatiivisiin alueisiin Katsomme informatiivisiin alueisiin. Mitä ne ovat? Yarbus (1967): tehtävä vaikuttaa silmänliikkeisiin Tämä on sisäisesti ohjautunutta eli endogeenista tarkkaavaisuuden siirtämistä 19
2
Top-down Top-down-lähestymistapa: Tieto, tavoitteet ja semantiikka määrittelevät silmien kohdistumisen. Episodinen näkymätieto (episodic scene knowledge) Lyhytaikainen: Laitoin äsken työpöydän etuosaan ipadin Pitkäaikainen: Säilytän ipadin laturia pöytälaatikossa 21
Top-down Top-down-lähestymistapa: Tieto, tavoitteet ja semantiikka määrittelevät silmien kohdistumisen. Episodinen näkymätieto (episodic scene knowledge) Lyhytaikainen: Laitoin äsken työpöydän etuosaan ipadin Pitkäaikainen: Säilytän ipadin laturia pöytälaatikossa Näkymäskeematieto (scene schema knowledge) Semanttinen: keittiössä on yleensä ruokailuvälineitä Spatiaalinen: ruokailuvälineitä säilytetään yleensä laatikossa Yleinen: ruokailuvälineet eivät yleensä leiju ilmassa 22
Top-down Top-down-lähestymistapa: Tieto, tavoitteet ja semantiikka määrittelevät silmien kohdistumisen. Episodinen näkymätieto (episodic scene knowledge) Lyhytaikainen: Laitoin äsken työpöydän etuosaan ipadin Pitkäaikainen: Säilytän ipadin laturia pöytälaatikossa Näkymäskeematieto (scene schema knowledge) Semanttinen: keittiössä on yleensä ruokailuvälineitä Spatiaalinen: ruokailuvälineitä säilytetään yleensä laatikossa Yleinen: ruokailuvälineet eivät yleensä leiju ilmassa Tehtäväsidonnainen tieto (task-related knowledge) Autoa ajettaessa katsot säännöllisin väliajoin taustapeiliin Jos aiot tehdä voileipiä, katsot eri paikkoihin kun aikoessasi siivota keittiön Jos yrität muistaa kuvan, katsot eri paikkoihin kuin jos arviot sen laatua (=Yarbus) Esimerkkinä koe teen keittämisestä 23
Eksogeeninen tarkkaavaisuus 2
Salientit piirteet (bottom up) Helposti erottuvia piirteitä sanotaan salienteiksi piirteiksi. pop-out -ilmiö = erilainen kohde erottuu välittömästi. Tarkkavaisuus sieppautuu kohteeseen ( attentional capture ) Ulkoisesti ohjautunutta, eksogeenista tarkkaavaisuuden siirtymistä = tarkkaavaisuuden ohjaus on bottom-up 25
Esimerkkejä erottuvista kuvan ominaisuuksista 26
Joitakin piirteitä on vaikeampi erottaa L L L L L L L L L LL L L L L L L L L L L T L L L Monimutkaisemmat piirreyhdistelmät, kuten tietyt kirjaimet Monen piirteen yhdistelmät eli piirrekonjunktiot (kohde on punainen vaakapalkki) Vaatii silmien siirtämistä kuviojoukossa Kun silmien tarkan näön alue osuu erottuvaan ärsykkeeseen ja sitä on hetken aikaa prosessoitu, ärsyke erotetaan joukosta. 27
Reaktioaika Visuaalisen haun koe (visual search) Ärsykkeiden erottuvuutta voidaan tutkia visuaalisen haun koeasetelmalla Henkilöille esitetään objektiryhmiä ja mitataan kohteen löytämisen reaktioaika 50% tapauksissa kuvissa ei ole kohdetta 3 6 9 Häiriöärsykkkeiden määrä (=punaiset viivat) 28
Reaktioaika Tehokas haku Ärsykkeiden erottuvuutta voidaan tutkia visuaalisen haun koeasetelmalla Henkilöille esitetään objektiryhmiä ja mitataan kohteen löytämisen reaktioaika 50% tapauksissa kuvissa ei ole kohdetta 3 6 9 Häiriöärsykkkeiden määrä (=punaiset viivat) Jos reaktioaika ei kasva häiriöärsykkeiden määrän kasvaessa, kyseessä on tehokas visuaalinen haku 29
Reaktioaika Tehoton haku Muiden piirteiden erottaminen on vaikeampaa, joten häiriöärsykkeiden määrän kasvaessa hakuaika (= reaktioaika kasvaa). L L T L L L L L T L L L L L L L T L L L L L Kulmakerroin kertoo tehtävän vaikeuden (vrt JND) 3 6 9 Häiriöärsykkkeiden määrä (=L-kirjaimet) Haun tehokkuus vähenee piirteiden vaikeutuessa. Kun piirteet ovat riittävän vaikeita, täytyy siirtyä käyttämään silmänliikkeitä, mikä hidastaa hakua entisestään. 30
Salienssikartta Näkymä Salienssikartta Bottom up piirteet yhdistyvät salienssikartassa Salienssikartta ohjaa silmänliikkeitä 31
Mikä silmänliikkeitä ohjaa? 2000-luvun alkuun saakka bottom-up mallit olivat vallitsevia Viime vuosina on kuitenkin julkaistu paljon top-down lähestymistapaa tukevia tuloksia Todennäköisesti kummatkin ovat oikeassa, tarkkaavaisuuden ohjaus muuntuu dynaamisesti tilanteen ja saatavilla olevan informaation mukaan Uudet tulokset viittaavat siihen, että ensimmäisen 100 millisekunnin aikana bottom-up dominoi ja sen jälkeen, tehtävästä riippuen, top-down alkaa vaikuttamaan enemmän 32
Silmänliikkeet ja muistit 33
Sakkadien aikainen muisti Jos oletetaan, että sakkadeita on kolme sekunnissa, 16-tuntisen päivän aikana teemme 172800 sakkadia Silmänliikkeen aikana ei nähdä juuri mitään: sakkadinen supressio Benno Erdmannin & Raymond Dodge (1898) 34
Sakkadien aikainen muisti Jos oletetaan, että sakkadeita on kolme sekunnissa, 16-tuntisen päivän aikana teemme 172800 sakkadia Silmänliikkeen aikana ei nähdä juuri mitään: sakkadinen supressio Benno Erdmannin & Raymond Dodge (1898) Jos oletetaan, että sakkadin keskipituus on 30 ms, olemme 86 minuuttia päivästä sokeita Minkälainen malli maailmasta aivoissa on sakkadien aikana? Jotain täytyy representoida jotta meillä säilyy koherentti kokemus maailmasta. Täytyy olla sakkadien aikainen muisti. Myös nk. paluun estyminen (Inhibition of return, IOR) viittaa muistiin Voisi olla Kuva maailmasta Abstrakti ja harva representaatio 35
McConkie & Zola (1979) Halusivat tutkia sakkadien aikaista muistia Kokeessa teksti muuttui aina kun sakkadi tapahtui Teksti ennen sakkadia: TäMä TeKsTi On HiUkAn HaNkAlAmPi LuKeA kuin normaalisti KiRjOiTeTtU teksti Muutos sakkadin aikana: tämä teksti on hiukan hankalampi lukea KuIn NoRmAaLiStI kirjoitettu TeKsTi. Yllättäen koehenkilöt eivät huomanneet mitään! Sakkadin ajaksi ei siis tallenneta kuvaa näkymästä vaan abstrakti tieto kirjaimesta 36
Grimes (1996) Jos valokuvissa tehdään silmänliikkeiden aikana muutoksia, niitä ei huomata Muutos kuvassa Kuinka moni ei huomannut (%) Suuri rakennus kasvaa 25% 100 Kahden miehen hatut vaihtuvat 100 33% kuvan linnuista poistetaan 92 Lapsen kokoa kasvatetaan 30% 83 Kahden henkilön päitä vaihdetaan 50 37
Esimerkki https://www.youtube.com/watch?v=qppydms97ee 38
Rensink et al (1997) 39
Esimerkki https://www.youtube.com/watch?v=nscliuaqig8 40
Ilmiön taustalla oleva mekanismi Ilman harmaata välikuvaa muutos on helppo havaita Muutos! Harmaan välikuvan lisääminen luo muutosten tulvan Muutos! Muutos! 41
Ilmiötä voi itse kokeilla http://www.gocognitive.net/demo/change-blindness 42
Muutossokeus, toinen esimerkki http://www.quirkology.com/uk/video_colourchangingtrick.shtml 43
Silmänliikkeet videossa https://www.youtube.com/watch?v=8wxbeeugw00 44
Tarkkaamattomuussokeus Wisemanin videossa vaikuttaa muutossokeuteen liittyvä ilmiö Tarkkaamattomuussokeus (Inattentional blindness) = emme huomaa sellaisten visuaalisten piirteiden muutoksia, jotka ovat tehtävän kannalta epäolennaisia Nämä piirteet eivät siis ole tallentuneena minnekään, elleivät ne ole olennaisia tehtävän kannalta 45
Esimerkki https://www.youtube.com/watch?v=bz0l9s8_hmk 46
Yhteenveto: Muutossokeus ja tarkkaamattomuussokeus Jos kuvia väläytetään vuoron perään ja niiden välillä välähtää harmaa kenttä, nk. maski, muutosten huomaaminen on todella vaikeaa Jos maskin poistaa, tapahtuu abrupt onset, mikä on eksogeenisen tarkkaavaisuuden aktivoiva mekanismi Sama juttu kuin silmänliikkeiden aikana tapahtuva sakkadinen suppressio Tulos viittaa siihen, että sakkadien ajaksi tallennetaan vähän tietoa Samaan viittaavat myös tarkkaamattomuussokeuteen liittyvät ilmiöt, joissa tehtävän kannalta epäolennaista tietoa ei tallenneta mihinkään Näkymärepresentaatio on siis hyvin harva, siellä on tietoa objektien identiteetistä ja paikoista, mutta ei niin paljon tietoa esimerkiksi objektien ominaisuuksista 47