Professori Hannu Saarelma

Veli-Matti Saarinen KUVAN SISÄLLÖN TASOJEN TARKASTELUN JA KATSELUTYY- PIN VAIKUTUS SILMÄNLIIKKEISIIN Diplomityö, joka on jätetty opinnäytteenä tarkastettavaksi diplomiinsinöörintutkintoa varten Espoossa 12.1.2006 Valvoja Professori Hannu Saarelma Ohjaaja Diplomi-insinööri Mari Laine-Hernandez

TEKNILLINEN KORKEAKOULU Automaatio- ja systeemitekniikan osasto Tekijä, työn nimi DIPLOMITYÖN TIIVISTELMÄ Veli-Matti Saarinen Kuvan sisällön tasojen tarkastelun ja katselutyypin vaikutus silmänliikkeisiin Päivämäärä: 12.1.2006 Sivumäärä: 89+21 Osasto Automaatio- ja systeemitekniikan osasto Professuuri AS-75 Viestintätekniikka Työn valvoja Professori Hannu Saarelma Työn ohjaaja DI Mari Laine-Hernandez Nykyteknologialla on mahdollista mitata katseen suuntaa ja on olemassa laitteita joilla silmänliikkeitä voidaan seurata reaaliaikaisesti. Silmänliikkeiden mittaamisen avulla voidaan kerätä tietoa mm. katseen kohteesta ja visuaalisen tarkkaavaisuuden prosesseista. Tietoisten prosessien lisäksi silmänliikeseuranta voi paljastaa katsojan tiedostamattomia prosesseja. Silmät liikkuvat eri tavoin katselutyypistä riippuen, esimerkiksi vapaan ja tehtäväsidonnaisen katselun välillä. Kuvan sisältö koostuu semanttisista ja syntaktisista tasoista. Tämän työn tavoitteena oli selvittää kuinka kuvan sisällön tasojen tarkastelu ja katselutyyppi vaikuttavat silmänliikkeisiin katsottaessa kuvia tietokonemonitorilta. Lisäksi työssä perehdyttiin päähän kiinnitettävän silmänliikekameran käyttöönottoon sekä silmänliikkeiden toiminnan mittaukseen ja analysointiin. Silmänliikkeiden tiedetään poikkeavan katselutilanteen ja katseltavan ärsykkeen mukaan yksilöllisesti. Jos tunnettaisiin ihmisten tavat katsella eri kuvaärsykkeitä, olisi kenties mahdollista ennustaa kuvaärsykkeiden katselutapahtuma etukäteen. Tässä työssä koehenkilöille esitettiin kuvaärsykkeitä samalla kysyen heiltä kuvan sisällöllisiä asioita. Silmäliikkeistä mitattiin katseen fiksaatio- ja sakkadiarvoja. Mittaustuloksia vertailtiin eri katselujen väleillä ja saatuja tuloksia analysoitiin kirjallisuudessa tehtyjen havaintojen ja aikaisempien tutkimusten pohjalta. Kuvan sisällön tasojen katselujen väleillä oli havaittavia eroja, mutta ne olivat usein vain kuvakohtaisia. Tulosten perusteella fiksaatiot ovat lyhimmillään tulkinnallisen tason katselulla ja pisimmillään syntaktisen tason katselulla. Fiksaatioiden määrät käyttäytyivät päinvastoin, eli fiksaatioiden määrät olivat suurimmillaan tulkinnallisen tason katselulla ja pienimmillään syntaktisen tason katselulla. Erot olivat suurimmillaan ensimmäisen sekunnin aikana, usein eroja ei havaittu enää tarkasteluaikavälillä 1-5s. Tehtäväsidonnaisen ja vapaan katselun väliltä ei löydetty mittaustulosten perusteella johdonmukaista eroa, koska tehtäväsidonnaiset katselut poikkesivat huomattavasti toisistaan ja eri tehtäväsidonnaisten katselujen saamat mittausarvot sijoittuivat vapaan katselun mittausarvojen ympärille. SMI-iViewX-HED-silmänliikekamera jouduttiin kiinnittämään paikoilleen tulosten analysoinnin mahdollistamiseksi. Silmänliikekameralla onnistuttiin kuitenkin seuraamaan silmänliikkeitä ja määrittelemään luotettavasti katseen kohdistuspisteet. Ongelmia koettiin ympäristön valojen kanssa ja henkilöillä joilla oli tavallista suuremmat pupillit. Tutkimusta varten pystytetty silmänliikekameralaitteisto toimi hyvin ja mahdollistaa luotettavan silmänliikkeiden mittauksen ja analysoinnin myös jatkossa. Avainsanat: silmänliikkeet, silmänliikemittaus, fiksaatio, sakkadi, ROI, kuvan sisällön tasot

HELSINKI UNIVERSITY OF TECHNOLOGY Department of Automation and System Technology Author, Name of the Thesis ABSTRACT OF MASTER S THESIS Veli-Matti Saarinen The influence of image content levels and looking type on eye movements Date: 12.1.2006 Number of pages: 89+21 Department Professorship Department of Automation and System Technology AS-75 Media Technology Supervisor Professor Hannu Saarelma Instructor M.Sc. Mari Laine-Hernandez Current technology enables the measurement of gaze direction and there exists devices which are capable of observing eye movements in real time. Eye tracking can collect data of gaze direction and processes of visual attention. Eye tracking can also reveal a person s unconscious processes. Eye movements differ between the types of looking, for example between spontaneous and taskrelevant looking. Image content consists of semantic and syntactic levels. The purpose of this thesis was to find out, how observing the visual content levels and types of looking effects on eye movement during observing images on computer screen. We examined use of eye tracker, eye movements measuring and analyzing the eye movement data. It is known that eye movements differ both between individuals and depending on the viewing situation and stimulus. If the behaviour during observing the images was known, it could be possible to forecast the way of looking beforehand. In this research we displayed stimuli-images on a computer screen and at the same time we asked questions about the image content. We measured eye movement fixations and saccades and compared eye measurements between different types of looking according to previous researches. There were differences between looking different content levels, but most of the differences did not appear with all of the images. Interpretive-looking had the shortest fixation duration and syntaxlooking had the longest fixation duration. Fixation counts were opposite to fixation duration: interpretive-looking had the most fixations and syntax-looking the least fixations. The results differed most during the first second and usually there were fewer differences between different types of looking after one second. According to the results, there were no consistent differences between spontaneous and task-relevant looking, because different task-relevant looking types differed from each other. We had to mount the SMI eye-tracker iviewx-hed on table to be able to make reliable analyzing. Yet we were able to work with eye tracker and managed to get reliable results. Problems occur with surrounding lights and people with large pupils. The eye tracker worked well and is possible to get reliable results with it also in the future. Keywords: eye movements, eye-tracking, fixation, saccade, Region of Interest, levels of image content

ALKUSANAT Tämä Diplomityö on tehty Teknillisen Korkeakoulun Viestintätekniikan laboratoriossa kesäkuun 2005 ja tammikuun 2006 välisenä aikana. Työ on osa Graafisen Teollisuuden Tutkimussäätiön rahoittamaa hanketta, jonka tarkoituksena on median käytön tutkimuslaboratorion pystyttäminen. Kiitos Professori Pirkko Oittiselle mielenkiintoisen Diplomityöpaikan tarjoamisesta ja Professori Hannu Saarelmalle asiantuntevista kommenteista. Kiitän syvästi työni ohjaajaa Mari Laine- Hernandezia, joka sitkeästi ja ammattimaisesti avusti työni eri vaiheissa. Kiitokset myös kaikille niille jotka olivat tutkimuksessani koehenkilöinä. Kiitän opiskelijaystäviäni sekä Joutomiehiä, jotka toivat suurta piristystä opiskelujeni oheen. Suuret kiitokset kuuluvat Katjalle Diplomityön aikaisesta kannustuksesta ja tuesta sekä elämäni valosta. Lopuksi haluan kiittää vanhempiani ja veljeäni iloisesta lapsuudestani. Espoossa 12.1.2006 Veli-Matti Saarinen

SISÄLLYSLUETTELO 1 JOHDANTO...1 1.1 Tutkimuksen tavoitteet...1 1.2 Tutkimuksen rakenne...2 2 VISUAALINEN HAVAITSEMINEN JA SILMÄNLIIKKEET...3 2.1 Näköjärjestelmän rakenne...3 2.2 Visuaalisen havainnon muodostuminen...3 2.3 Näkökentän alueet...5 2.4 Silmänliikkeet...6 2.4.1 Sakkadi...6 2.4.2 Fiksaatio...7 2.4.3 Pienoisliikkeet...7 2.4.4 Tavoittelevat silmänliikkeet...8 2.4.5 Silmien kääntymisliikkeet...8 2.4.6 Akkommodaatio...8 2.4.7 Pupillivasteet...8 2.4.8 Silmän räpäytys...8 2.5 Tarkkaavaisuuden asteet ja siirtyminen...9 3 KATSELUUN VAIKUTTAVAT TEKIJÄT...11 3.1 Katselutyypit...11 3.2 Kuvan sisällölliset tekijät...13 3.2.1 Kuvan semantiikan tasot...13 3.2.2 Kuvan syntaktisen tason tekijöiden vaikutus katselussa...17 3.2.3 Kuvan semanttisen tason tekijöiden vaikutus katselussa...18 3.3 Katsojien väliset erot...18 4 SILMÄNLIIKKEIDEN SEURANTA...20 4.1 Menetelmät...20 4.1.1 Silmään suunnatun infrapunavalon heijastukseen perustuvat menetelmät...20 4.1.2 Sähköpotentiaalin mittaus iholta...23 4.1.3 Silmään asennettava laite...23 4.2 Seurantalaitteiden ominaisuudet...24 4.3 Mitattavia suureita...24 4.4 Silmänliikesovelluksia...27 5 SILMÄNLIIKEKAMERAN KÄYTTÖÖNOTTO...30 5.1 IviewX-HED laitteisto...30 5.2 IViewX-ohjelma...33 5.3 Alkuvalmistelut...34 5.3.1 Kameran päähän kiinnitys...34 5.3.2 Ympäristö- ja ulkoiset tekijät...35 5.3.3 Kalibrointi...37 5.4 Testitilanteessa huomioitavia asioita...37 5.5 Silmänliikedatan analysointi...38

6 SILMÄNLIIKKEIDEN SEURANTATUTKIMUS...40 6.1 Ärsykkeet...40 6.1.1 Koeaika ja testikuvien määrä...40 6.1.2 Testikuvat...40 6.2 Koehenkilöt...44 6.3 Testilaitteisto...44 6.4 Kokeen kulku...45 6.5 Tulosten analysointi...47 7 TULOKSET...49 7.1 Kiinnostuksen alueet...49 7.1.1 Sisällön tasojen välinen tarkastelu...51 7.1.2 Kohteiden ja taustan kiinnostuksen alueet...54 7.1.3 Kuvakohtaiset esimerkit...56 7.2 Fiksaatio- ja sakkadianalyysit...58 7.2.1 Rakenteiden tasojen katselu...58 7.2.2 Kokonaistarkastelu...61 7.3 Kuvien väliset erot...63 7.3.1 Kuvaryhmäkohtaiset erot...63 7.3.2 Kuvakohtaiset vertailut...66 7.4 Subjektiivisten havainnointien korreloivuus...70 8 LUOTETTAVUUSANALYYSI...71 8.1 Koejärjestely ja esitettävät ärsykkeet...71 8.2 Silmänliikemittaukset...72 8.3 Tulosten analysointi...73 9 POHDINNAT JA JOHTOPÄÄTÖKSET...75 9.1 Käyttöönotto...75 9.2 Datan analysointi...76 9.3 Koe...76 9.3.1 Kiinnostuksen alueet...77 9.3.2 Kuvaryhmät...78 9.3.3 Kuvakohtaiset vertailut...79 9.3.4 Subjektiivisten arviointien korreloivuus...80 9.3.5 Muut tarkastelut...81 9.4 Tulevaisuuden näkymät ja tutkimukset...82 LÄHDELUETTELO...84

LIITTEET LIITE 1: Silmänliikedata LIITE 2: Esitietolomake LIITE 3: ROI-alueiden fiksaatioiden kestot ja määrät sekä T-testien p-arvot LIITE 4: ROI-alueiden fiksaatioiden määrät kohteiden ja taustan alueilla eri katseluilla LIITE 5: Kiinnostuksen alueiden keskimääräiset fiksaatioiden kestot kuvittain LIITE 6: Fiksaatio- ja sakkadiarvot kestoilla 0-1s ja 0-5s eri katseluilla LIITE 7: Fiksaatioiden kestot kuvaryhmittäin syntaktisella katselulla LIITE 8: Katselujen kuvakohtaiset mittaustulokset

1 1 JOHDANTO Kuvien sisältö koostuu useista tasoista. Emme tiedä tarkasti kuinka ja miten ihminen katselee kutakin kuvan sisällöllistä tasoa. Jos saataisiin selville kuinka kutakin sisällön tasoa katsotaan ja kuvan eri sisällön tasot olisivat tiedossa, olisi mahdollista ennustaa koko kuvan katselukäyttäytyminen etukäteen. Katselun tarkkailemiseksi on olemassa silmän liikkeitä seuraavia silmäliikekameroita joiden avulla silmänliikkeitä voidaan mitata reaaliaikaisesti. Silmänliikeseurantalaitteiden pääasiallinen käyttötarkoitus on selvittää katseen suuntaa, eli mihin silmät ja sitä myöten henkilön tarkkaavaisuus ovat kohdistuneina. Silmänliikkeistä voidaan kerätä tietoa mm. katseen kohteesta ja visuaalisen tarkkaavaisuuden prosesseista. Tietoisten prosessien lisäksi silmänliikeseuranta voi paljastaa henkilön tiedostamattomia prosesseja. Silmänliikeseurantatutkimuksia on tehty teknisin välinein jo yli sata vuotta, joten tutkimusalana silmänliikkeet eivät ole mitenkään uusi. Mittauslaitteet ja menetelmät ovat kuitenkin kehittyneet huimasti ajan myötä, joten nykyisillä tutkimuslaitteilla kyetään tarkkoihin mittaustuloksiin keinoin jotka eivät häiritse tutkittavaa henkilöä. Aikaisemmista tutkimuksista poiketen monet nykyiset silmäliikeseurantakokeet tehdään laitteilla, joilla ei ole suoraa kontaktia käyttäjään ja joita käytettäessä sekä vartalon että pään liikkeet ovat mahdollisia kokeen aikana. Tekniikan kehittymisestä huolimatta silmäliikeseurantalaitteiden käyttö ei kuitenkaan ole kovin yleistä, joten laitteiden käyttöönotossa ja käytössä esiintyy vielä erinäisiä ongelmia. Tietokonemonitorilta katsotaan päivittäin lukuisia visuaalisia ärsykkeitä. Yhä suureneva osa näistä ärsykkeistä on aikakausilehdissä esiintyvien kuvien kaltaisia erilaisia tapahtumia ja kohteita esittäviä kuvia, joita luokitellaan monin eri tavoin arkistoinnin, levittämisen sekä haun helpottamiseksi. Yleensä jokainen tietokannan luoja muodostaa omat perustelunsa kuvien luokittelulle. Luokittelun avuksi on olemassa yleisiä kuvien luokittelutapoja, jotka perustuvat sisällön semanttisten ominaisuuksien luokitteluun. Eräs mahdollinen tapa luokitella kuvia on jaotella ne silmänliikkeiden mukaan. 1.1 Tutkimuksen tavoitteet Tutkimuksen tavoitteena on kehittää mediatuotteiden käyttökokemuksen mittaukseen erikoistunutta laboratoriota. Laboratoriota tullaan käyttämään mediatuotteiden rakenneparametrien ja median käyttökokemusten välisten riippuvaisuuksien tutkintaan.

Tutkimuksen pyritään selvittämään kuvan sisällön tasojen tarkastelun sekä katselutyypin vaikutuksia silmänliikkeisiin. Kokeessa mitataan ihmisten silmänliikkeitä kuvien katselussa. Tavoitteena on vastata tehtävän tutkimuksen perusteella seuraaviin tutkimuskysymyksiin: 1. Eroavatko kuvan sisällön tasojen kuten tulkinnallisen, yleisen ja syntaktisen tason tarkastelujen silmänliikkeet toisistaan ja miten? 2. Eroavatko silmänliikkeet eri katselutyyppien, kuten vapaan ja tehtäväsidonnaisen katselun kohdalla ja miten? 3. Vaikuttavatko eri kuvaryhmien sisältöjen katselut silmänliikkeisiin ja miten? 4. Korreloivatko silmänliikkeet ja koehenkilöiden antamat subjektiiviset havainnot keskenään ja miten? Objektiivisia mittauksia suoritetaan käyttäjän silmästä, josta lasketaan käyttäjän katseen kohde kullakin ajan hetkellä ärsykkeen pinnalla. Silmänliikemittausten lisäksi saadaan tietoa koehenkilön subjektiivisista havainnoista, joita verrataan silmänliikeseurannasta saatavaan dataan. 1.2 Tutkimuksen rakenne Työ koostuu kirjallisuusosasta, luvuista 2-4 ja kokeellisesta osasta, luvuista 5-9. Luvussa kaksi perehdytään visuaalisen havainnon muodostumiseen, näkemisen alueisiin, silmän liikkeisiin sekä tarkkaavaisuuteen. Luvussa kolme käydään läpi katseluun vaikuttavia tekijöitä, kuten katselun tyyppejä ja kuvan sisällöllisiä tekijöitä. Neljännessä luvussa kartoitetaan erilaisia silmäseurantamenetelmiä ja selvitetään mittauslaitteistoilla tehtyjä silmäliikesovelluksia ja useimmiten käytettyjä mittaussuureita. Luvussa viisi käsitellään tutkimuksessa käytetyt menetelmät ja silmänliikekameran käyttöönotto, kuudennessa luvussa on tutkimuksen kuvaus, luvussa seitsemän on tulosten tarkastelu, luvussa kahdeksan on luotettavuusanalyysi ja luvussa yhdeksän on johtopäätökset. 2

3 2 VISUAALINEN HAVAITSEMINEN JA SILMÄNLIIKKEET Visuaalinen havaitseminen tapahtuu silmien ja aivojen yhteistyönä. Silmät keräävät visuaalisia ärsykkeitä ympäristöstään, joista aivot muodostavat visuaalisia havaintoja ja tekevät tulkintoja. Silmä kykenee monenlaisiin manöövereihin silmän sisäisillä ja ulkoisilla liikkeillä. Silmän liikkeet ovat usein tietoisia ja niitä ohjaavat tarkkaavaisuuden prosessit apunaan eri näön alueilla tehdyt havainnot ympäristöstä. 2.1 Näköjärjestelmän rakenne Silmä välittää tietoa visuaalisesta näkymästä aivoille toimien ihmisen visuaalisena näköelimenä. Silmä koostuu lasiaisesta koostuvasta silmämunasta sekä aivoja kohti lähtevästä näköhermosta. Silmämunan etupinnassa ovat sarveiskalvo ja iiris, joiden välistä rajapintaa kutsutaan limbukseksi. Näiden takana sijaitsevat pupilli, mykiö sekä kammioneste. Silmämunan takaosassa sijaitsee aistinsoluja sisältävä verkkokalvo, johon näköhermo on kiinnittynyt. /19/ Aistinsoluja on kahdenlaisia, tappi- ja sauvasoluja. Tappisolut ovat tarkkoja ja valonherkkiä aistinsoluja, joita on noin 5 miljoonaa kappaletta verkkokalvolla. 50 000 tappisoluista sijaitsee tarkannäön alueella ja loput ääreisnäön alueella. Sauvasolut ovat värejä aistimattomia, etenkin hämäränäössä käytettäviä herkkiä aistinsoluja, jotka sijaitsevat enimmäkseen ääreisnäön alueella. Silmän verkkokalvolla sauvasoluja on noin 120 miljoonaa kappaletta. Näköhermo on kiinnittynyt verkkokalvolle, jonka kiinnityskohdassa sijaitsee sokea piste. Sokean pisteen kohdalla aistinsoluja ei ole ollenkaan. Sokea pisteen alue ei visuaalisessa kentässämme ole kuitenkaan tyhjä, vaan kuva täydentyy aivoissa, jolloin sokean pisteen kohdalla näemme kuvan jatkuvana. /25/ Visuaalisessa havainnossa valonsäteet kulkevat silmän läpi verkkokalvolle läpäisten sarveiskalvon, etukammion, mykiön ja silmämunan lasiaisen. Sarveiskalvo ja mykiö fokusoivat kuvan verkkokalvolle, josta aistinsolut liipaisevat hermoimpulsseja näköhermoristin kautta, näköjuostetta pitkin sivupolvitumakkeeseen. Sieltä impulssit kulkevat aina aivoissa olevaan visuaaliseen vastaanottoalueeseen jossa vasta lopullinen kuva muodostuu. /25/ 2.2 Visuaalisen havainnon muodostuminen Goldstein /25/ käytti visuaalisen havainnointiprosessin kuvaukseen havaintoympyrää, jossa havainnoinnin osaprosessit seuraavat toisiaan syklisesti kuvan 1 mukaisesti. Tapahtumien sarja saa alkunsa ympäristöstä ja sen luomista visuaalisista ärsykkeistä, josta seuraa prosessien ketju /25/.

4 Kuva 1. Goldsteinin esittämä havaintoympyrä, jossa havainnoinnin osaprosessit sijaitsevat syklisesti /25/ Ympäristön ärsykkeet ovat asioita joita voimme aisteillamme vastaanottaa. Ympäristössä on paljon erilaisia visuaalisia ärsykkeitä joita on mahdotonta vastaanottaa samanaikaisesti, joten huomio keskittyy tarkkailijaa kiinnostaviin kohteisiin. Näitä tarkkailijan valitsemia kohteita kutsutaan suunnatuiksi ärsykkeiksi. Tarkkailijan katsoessa kohdetta muodostuu tästä ärsykkeestä kuva verkkokalvon aistinsoluilla. Aistinsoluilla tapahtuu biokemiallisten tapahtumien ketju transduktio, jossa energia muuttaa muotoaan verkkokalvolle tulleista valokuvioista sähkösignaaleiksi aistinsoluille. Aistinsoluilta sähkösignaalit muodostavat uusia signaaleja kulkiessaan hermosoluihin. Nämä hermosolut eli neuronit koostavat monimutkaisen verkoston silmästä aivoihin ja aivojen sisälle. Signaalit läpikäyvät hermostollisen prosessin kulkiessaan tämän verkoston kautta. Sähkösignaalien kulkiessa hermoverkoston läpi aivoihin signaaleista muodostuu näköhavainto. Havainto itsessään on tietoinen aistikokemus, jossa tarkkailija havaitsee katsomansa kohteen, vaikkei sitä vielä tunnista. Havainnon jälkeen seuraa tunnistamisen prosessi, jossa juuri havaitut kohteet saavat käsitteellisen merkityksen ja ne tunnistetaan kategorisesti aivoissa. Kohteen tunnistuksen jälkeen havainnoija reagoi aina jotenkin havainnointiinsa, mitä kutsutaan toiminnaksi. Toiminta käsittää pään, silmänliikkeiden sekä koko tarkkailijan liikkumisen ympäristössä. Toiminta voi esimerkiksi olla pään kääntymistä, jotta havainnoija saisi paremman näkymän kohteeseensa. Toiminnan seurauksena suoritetaan uusi havainto, sillä tarkkailija on päätynyt edellistä havaintoa poikkeavaan uuteen ympäristöön. Havainnointi jatkuu näin päättymättömänä kehänä. /25/ Jotta ihminen kykenee tunnistamaan asioita ja esineitä, tulee hänellä olla tietoa kyseisestä asiasta muistissaan. Goldstein kutsuu tätä tietoa tietämykseksi. Tietouden taso voi muuttaa pal-

jonkin havainnointia /25/. Aikaisempien tutkimusten mukaan luultiin, että kuvista katsotaan ensin reunoja, linjoja ja kulmia, joista ajan kuluessa muodostetaan havaittava hahmo. Kyseiset teoriat eivät ole kuitenkaan ottaneet huomioon korkeamman tason semanttisia ulottuvuuksia silmänliikkeiden käyttäytymisessä, sillä uuden tiedon mukaan kohteen havainnointiin vaikuttavat myös kognitiiviset strategiat. Kognitiivisia strategioita ovat esimerkiksi tehtäväsidonnaiset katselut, joita tarkastellaan lähemmin kappaleessa 3.1. /15/ Treisman esitti objektien havainnoinnista piirreintegraatioteorian (Feature Integration Theory, FIT). Teorian mukaan näköjärjestelmä toimii piirrekartoilla siten, että kohteiden eri piirteet yhdistyvät yhtenäisiksi kokonaisuuksiksi tarkkaavaisuuden avulla. Tietyt kohteiden piirteet kuten väri, koko sekä kuvioiden suuntautuneisuus saavat kohteensa hyppäämään esiin taustastaan, jos ne on esitetty yksikäsitteisesti ääreisnäön alueella /19, 65/. Piirreintegraatioteoria käsittää rinnakkaisen ja sarjahaun tasot. Rinnakkaishaussa haettavan objektin oletetaan olevan merkittävästi erilainen muista häiritsevistä taustan kohteista. Tällöin kaikki asetelman objektit voidaan prosessoida rinnakkaisesti, jolloin asetelman koko ei vaikuta visuaalisen haun kestoon. Sarjahaussa objektien ollessa piirteiltään hyvin samankaltaisia muiden taustan kohteiden kanssa, joudutaan prosessointi suorittamaan yksitellen kaikille objekteille. Sarjahaun mallissa asetelman koko vaikuttaa etsinnän kestoon /65/. Piirreintegraatioteoria ei ole saanut yksimielistä kannatusta ja on täten vain yksi teoria objektien havainnoinnin teorioista. 2.3 Näkökentän alueet Ihmisen näkö ja sen tarkkuus eivät ole kaikkialla näkökentässä yhtäläisiä. Näön tarkkuus vaihtelee sen mukaan, kuinka lähellä katseen kohdistusta eli fiksaatiopistettä ollaan. Fiksaatiopiste on alue johon silmät katselun aikana kohdistuvat. Näkökyky on tarkimmillaan tarkannäön alueella fovealla, joka on 2 kokoinen alue fiksaatiopisteen ympärillä /47/. Silmät liikuttavat tarkannäön aluetta kohteisiin jotka halutaan nähdä tarkasti. Aina ei ole tarpeellista liikuttaa silmää havaitakseen asioita tarkannäön alueella, vaan katse kykenee havaitsemaan kohteita myös ilman katseen tarkkaa kohdistamista. Fovea-alueen ympärillä on parafovea-alue, joka jatkuu aina 5 päähän fiksaatiopisteestä /57/. Parafovea-alueen näkökyky on heikompi kuin fovean. Fovean ja parafovean ulkopuolelle jäävää loppuosaa kutsutaan periferia eli ääreisnäön alueeksi. Tarkannäön ulkopuolisella ääreisnäöllä emme näe objekteja tarkasti, mutta ääreisnäön alue on erityisen herkkä havaitsemaan välkkyviä objekteja ja äkkinäistä liikettä /32, 47/. Kuvassa 2 on hahmoteltu näkökentän alueita 186mm*149mm kokoisella kuvalla 500mm katseluetäisyydellä siten, että kirkkain alue tytön silmässä kuvaa tarkannäön aluetta, sen ympärillä oleva suurempi ympyrä parafovea-aluetta ja näiden ulkopuolelle jäävä alue ääreisnäön aluetta. 5

6 Kuva 2. Tarkannäön aluen fovea(2 ), sen ulkoinen parafovea(5 ) sekä periferia näön alue 186mm*149mm kokoisella kuvalla, kun katselija katsoo kuvaa 500mm:n etäisyydeltä 2.4 Silmänliikkeet Visuaalista näkymää katsottaessa silmät liikkuvat jatkuvasti tehden skannausliikkeitä ympäristössään. Skannaaminen ei tapahdu tasaisilla silmänliikkeillä, vaan silmämuna siirtyy nykäyksittäin paikasta toiseen tarkentaen haluamiinsa kohdistuspisteisiin. Silmiä liikuttavat kolme paria silmälihaksia, joiden avulla silmät pystyvät kolmeen eri vapausasteeseen. Nämä vapausasteet ovat horisontaali-, vertikaali- ja myötä- sekä vastapäiväkierto /23, 47, 67/. Silmän liikkeiksi lasketaan myös silmän toiminnot joissa itse silmä ei liiku, vaan jokin osa sen sisä- tai ulkopuolella, esimerkiksi silmäluomia liikuttavat silmänräpäykset ja mykiötä supistavat ja laajentavat akkommodaatiot /47/. 2.4.1 Sakkadi Sakkadiliikkeet ovat tahdonalaisia hyppäyksenomaisia silmänliikkeitä, joiden tehtävänä on liikuttaa tarkan näön aluetta kohteesta toiseen /70/. Sakkadit ovat lyhytkestoisia ja hyvin nopeita liikkeitä saavuttaen maksimissaan jopa 600-900 /s nopeuden ja 40000 /s 2 kiihtyvyyden /28, 47, 70/. Keskimäärin sakkadit kestävät 30-120ms /27, 32/. Sakkadin aikana kerättävä näköinformaatio on olematonta, sillä tänä aikana silmät eivät tarkennu mihinkään kohteeseen /47, 57/. Sakkadi on tärkein silmänliike informatiivisissa hakutehtävissä ja niiden aktiivinen skannaus yli visuaalisen näkymän onkin elintärkeää näkökyvyllemme /43, 57, 70/. Sakkadi ei toimiakseen välttämättä tarvitse kohdetta, vaan silmä kykenee tekemään sakkadeja myös pimeässä /4,

7 47/. Tämä osoittaa että ihmisellä on sisäsyntyinen tarve liikuttaa silmiään, eikä se ole riippuvainen visuaalisesta ärsykkeestä /4/. Liikuttaessa alle 30 :n kulmia, silmät liikkuvat lähinnä sakkadiliikkeiden avulla. Tätä suuremmilla kulmilla myös pään liikkeet tulevat avuksi näkymän skannaukseen /70/. 2.4.2 Fiksaatio Sakkadien välillä silmä pysähtyy tarkentamaan kohteeseensa, jolloin tapahtuu fiksaatio /46/. Fiksaation lasketaan tapahtuneen kun silmä on ollut paikallaan 100ms. Tällöin aivot rekisteröivät tapahtuman ja visuaalinen informaatio välittyy näköjärjestelmään /41, 70/. Lähes kaikki näköjärjestelmän saamasta informaatiosta kerätään juuri fiksaatioiden aikana, noin 90 % katselustamme onkin fiksaatioita /19/. Peräkkäiset fiksaatiot voivat sijoittua kauaksikin toisistaan tarkkailtavasta näkymästä ja katsojan mielenkiinnosta riippuen. Vaikka fiksaatioiden etäisyydet ja sakkadien nopeudet ovat toisinaan suuria, emme normaalisti silti havainnoi nykivää poukkoilua fiksaatioiden välillä, vaan aivot prosessoivat katseen kulusta pehmeäliikkeisen /46/. Sakkadien tapaan myös fiksaatioiden kestot vaihtelevat suuresti tehtävän mukaan. Fiksaatioiden keskimääräisiksi kestoiksi on mitattu ääneen lukiessa 275ms, sisäluvussa 225ms, visuaalisessa haussa 275ms ja konekirjoittamisessa 400ms /57/. Tyypillisesti fiksaatioiden kestoiksi on lähteestä riippuen mainittu 130-600ms /32, 43, 47/. 2.4.3 Pienoisliikkeet Silmät eivät juuri koskaan ole paikallaan; fiksaatioiden aikana tapahtuu jatkuvasti pientä liikettä /46, 47/. Silmien jatkuva liike liittyy näköjärjestelmämme kyvyttömyyteen tunnistaa staattisia kohteita, sillä ainoastaan verkkokalvolla liikkeessä olevat kuvat on mahdollista havainnoida visuaalisesti. Jos silmänliike pysähtyisi täysin, häviäisi myös visuaalinen kuva näöstämme. Silmän jatkuva liike luo epätarkkuutta näkemiseemme, mutta on siis itsessään näkemisen edellytys. Eräiden eläinten kuten sammakoiden hermosysteemit ovat kehittyneet tunnistamaan ainoastaan liikettä, mutta ihminen kykenee havaitsemaan myös paikallaan pysyviä objekteja, koska verkkokalvolle projisoituneet kuvat eivät koskaan ole pitkään paikallaan pienoisliikkeiden ansiosta /46/. Visuaalisen kentän havainnot ovat lyhytaikaisia, sillä havaitut kuvat pyyhkiytyvät verkkokalvolta yli 10Hz:n taajuudella /17/. Monissa silmänliikeseurantatutkimuksissa mitataan ainoastaan fiksaatioita ja sakkadeja, jolloin fiksaationaikaiset pienoisliikkeet on poissuljettu tuloksista häiriöinä. Näitä pienoisliikkeitä ovat värinä, ajelehtiminen ja mikrosakkadit /51/. Värinä on epäjaksollinen, aaltomainen silmien liike, jonka taajuus on n. 90Hz. Värinä on pienin havaituista silmänliikkeistä, eikä sen olemassaolon tarkoitus ole täysin selvä. Värinää pidetään silmistä riippumattomana toimintona /46/. Ajelehtiminen on silmän hidasta liikettä ja tapahtuu ajallisesti samanaikaisesti värinän kanssa. Liikettä pidetään nykyisten tutkimusten valossa satunnaisena /46/. Mikrosakkadit ovat nopeita, nykäyksenomaisia pieniä silmänliikkeitä jotka kestävät keskimäärin noin 25ms. Mikrosakkadien aikana silmät konjugoivat keskenään ja

8 mahdollisesti korjaavat ajelehtimisen ja sakkadien aiheuttamia kuvan väärinsijoitteluja verkkokalvolla /11, 16, 46/. 2.4.4 Tavoittelevat silmänliikkeet Tavoittelevat silmänliikkeet ovat tahdosta riippumattomia liikkeitä, jotka mahdollistavat liikkuvan kohteen vakaana pysymisen silmän verkkokalvolla. Liikkeet korjaavat sakkadien nykäyksenomaisia liikkeitä, jotta silmä pystyisi kohdistamaan verkkokalvolle myös liikkuvia objekteja. Tavoittelevat silmänliikkeet eivät ole itsenäisiä liikkeitä, vaan muodostuvat pienoisliikkeiden avulla. /39/ 2.4.5 Silmien kääntymisliikkeet Konvergenssi- ja divergenssiliikkeet ovat silmän kääntymis- eli vergenssiliikkeitä. Kohteen ja tarkkailijan etäisyyden muuttuessa silmät kääntyvät katsomaan kohdetta. Konvergenssissa silmät kiertyvät lähentyen toisiaan, eli mitä lähemmäksi tarkkailijaa kohde tulee, sitä lähemmäksi silmät kohdistuvat toisiaan, muodostaen koko ajan tarkan kuvan verkkokalvolle. Divergenssi on päinvastainen liike kuin konvergenssi, eli silmät liikkuvat näköakselilla kauemmaksi toisistaan katsottavan kohteen etääntyessä silmästä. Silmien kääntymisliikkeet voivat olla tahdonalaisia, mutta normaalisti ne johtuvat liikkuvasta ärsykkeestä. /23, 47/ 2.4.6 Akkommodaatio Akkommodaation avulla havaittava kuva kohdistetaan verkkokalvolle mykiön muodon muutoksilla. Kuvan tarkennuksessa mykiö ohenee ja paksunee kohteen etäisyyden mukaan. Silmien akkommodaation heikkeneminen aiheuttaa lähelle katsomisen hankaloitumista eli kaukonäköä, jota korjataan usein lukulaseilla. Silmämuna itsessään ei liiku akkommodaation aikana, vaan ainoastaan mykiön muoto muuttuu. /47, 67/ 2.4.7 Pupillivasteet Kaikki verkkokalvolle heijastuva valo kulkee pupillin kautta. Pupillin koko määrittää silmään tulevan valon määrän. Pupillia laajentamalla ja supistamalla kyetään säätelemään ympäristöstä tulevaa valoa silmälle sopivaksi. Ympäristön valon määrän ollessa suuri, pupillin koko on yleensä pieni ja päinvastoin. Pupillin koko voi muuttua kognitiivisen tilan mukaan. Tällöin se indikoi katselijan kiinnostuksen määrää kullakin katsottavalla kohteella. Lisäksi pupillit voivat laajeta ihmisen kiihtyessä. /41, 47/ 2.4.8 Silmän räpäytys Silmien räpäytys on silmämunaa liikuttamaton toiminto, joka peittää silmäluomilla silmät joko kokonaan tai osittain. Silmän sulkeminen kostuttaa silmän sarveiskalvoa ja toimii samalla suo-

jana epämiellyttäviä esineitä vastaan. Silmä sulkeutuukin usein refleksinä esimerkiksi esineen äkillisesti lähestyessä kohti silmää. Räpytyksen taajuus on hyvin yksilöllinen ja voi muuttua henkilön kiihtymyksen ja väsymyksen mukaan. Keskimäärin silmänräpäytys on kestoltaan noin 200ms. Ihminen ehtii havainnoimaan silmän räpäytyksen ja näkee tänä aikana vain mustaa. Silmän räpäytys vaikeuttaa silmän seurantaa, sillä tänä aikana silmän asentoa ei ole mahdollista mitata kaikilla seurantalaitteilla. /47, 67/ 2.5 Tarkkaavaisuuden asteet ja siirtyminen Silmän liikkeet ovat usein tiedostamattomia, eivätkä itsessään ole valintaprosesseja tai merkkejä tarkkaavaisuuden siirtymisestä. Koska ihminen havainnoi asioita jo ennen silmänliikkeitä, on oltava olemassa jonkinlainen esi-tarkkaavaisuusaste, jonka aikana ihminen tekee havaintoja lähinnä silmäilemällä ääreisnäön alueella. On osoitettu että ihmisen tarkkaavaisuus siirtyy uuteen paikkaan jo ennen sakkadia. Normaalisti uuden kohteen esiintymisen ja ensimmäisen sakkadin välillä on noin 100-300ms viive, jolloin esitarkkaavaisuus toimii. Tarkkaavaisuuden siirtämiseksi ei siis tarvita silmänliikettä, mutta tarkkaavaisuuden siirtäminen ennen sakkadia on välttämätöntä. Tästä voidaan päätellä, että tarkkaavaisuuden ja silmänliikkeiden välillä on selvästi yhteys toisiinsa. /43/ Tarkkaavaisuuden siirtymää ilman silmän liikkeitä kutsutaan huomion piilosiirtymäksi /43/. Sakkadien avulla tapahtuvaa tarkkaavaisuuden siirtymää puolestaan kutsutaan huomion avoimeksi siirtymäksi /10/. Esitarkkaavaisuusasteen aikana havaittavasta kohteesta rekisteröidään peruspiirteet kuten kuvion suuntautuneisuus ja väri. Tarkkaavaisuusaste yhdistää nämä havaitut piirteet yhteen objekteiksi. Teorian ongelmana on, että myös kompleksiset kohteet voivat hypätä esiin taustastaan, tarkoittaen että myös esitarkkaavaisuusasteella tapahtuisi piirteiden yhdistämistä /43/. Pashlerin /ref. 56/ mukaan tarkkaavaisuutta ei voida osoittaa toiseen suuntaan jos silmä tekee sakkadiliikkeitä samanaikaisesti vastakkaiseen suuntaan. Sakkadin aikana tarkkaavaisuutta ei Pashlerin mukaan siis voida osoittaa muualle, vaikka se olisi visuaalisen haun kannalta hyödyllistä /56/. Justin ja Carpenterin /ref. 23/ silmä-mieli olettamuksen mukaan silmä toimii yhdessä mielen kanssa fiksatoimalla objektia niin kauan kuin kohteen prosessointi on käynnissä. Vaikka katseen keston oletetaan olevan läheisessä yhteydessä kognitiivisen prosessin kestoon, eivät silmänliikkeet ja mielen prosessit ole kuitenkaan täysin identtisiä. Silmänliikkeet voivat toimia itsenäisesti, eikä informaation tarvitse aina olla läsnä edes fiksaatiossa. Justin ja Carpenterin tutkimuksessa fiksatoitiin myös alueita joissa informaatiot sijaitsivat aikaisemmin. Katselijoiden omat havainnot ja silmänliikkemittauksilla tehdyt havainnot eivät myöskään aina ole täysin yhdenmukaisia. Barberin ja Leggen /ref. 23/ tutkimuksessa ilmeni että katsojat luulivat katsovansa kohteita laajemmalla säteellä kuin mitä heidän fiksaatiopisteensä osoittivat. Tämä voi johtua siitä, että tarkannäön havaitsema alue on yksinkertaisesti suurempi alue kuin pelkkä fiksaatiopiste. /23/ 9

Vielä ei tiedetä tarkkaan kuinka tarkkaavaisuus toimii seuraavaa fiksaatiopistettä valittaessa. Fiksaation aikana silmä tekee kuitenkin pieniä silmän mikrosakkadikorjauksia, joten on ehdotettu että juuri tänä aikana aivoissa tehdään päätös seuraavasta fiksaatiosta. Eräs hypoteeseista on, että fiksaation alkuosan aikana silmä kerää informaatiota nykyisestä olinpaikastaan ja loppuosan aikana mahdollisesta tulevasta fiksaatiopaikasta sekä suorittaa samanaikaisesti ennakoivaa suuntautumista seuraavaan kohteeseen. /23, 56/ Loftus huomioi ympäristön valoisuuden vaikuttavan visuaalitehtävien suorittamiseen. Loftuksen tutkimuksen mukaan valon määrän laskiessa lukeminen vaikeutuu, koska kohteesta saatava informaatio vähenee. Ilmiötä voidaan selittää informaatiopisteiden lukumäärän vähenemisellä, jolloin mahdollisten fiksaatiopisteiden alueet vähenevät /44/. Andrewsin ja Coppolan mukaan eri visuaaliympäristöt vaikuttavat silmänliikkeisiin niin temporaalisesti kuin spatiaalisestikin. Esimerkiksi pimeässä ympäristössä fiksaatioiden kestot olivat pidempiä ja sakkadien pituudet lyhyempiä kuin normaaleissa olosuhteissa. /4/ Loftuksen sekä Andrewsin ja Coppolan tekemien havaintojen perusteella voidaan olettaa, että ympäristötekijät vaikuttavat olennaisesti henkilön tarkkaavaisuuteen. Katseen liike ei siis ole satunnaista /6/, vaan silmät pyrkivät aktiivisesti etsimään näkymästään mielenkiintoisia kohteita ja kohdistuvat usein katsomaan reaalisia tai katsojan kannalta hyödyllisiä ja oleellisia alueita /51/. Silmänliikkeet tapahtuvat usein sykleissä; näkymästä tutkitaan ensin mielenkiintoiset alueet, joiden jälkeen katse käy läpi syklisesti uusia kierroksia samoissa kohteissa. Näin vähemmän kiinnostavat alueet jäävät kokonaan huomiotta, eikä niitä katsota edes ensisijaisten kohteiden tutkimisen jälkeenkään /71/. 10

11 3 KATSELUUN VAIKUTTAVAT TEKIJÄT 3.1 Katselutyypit Visuaalista ympäristöä sekä eri henkilöiden katseita tarkkaillaan monista syistä ja eri näkökulmista. Yleensä fiksaatioiden kohteina ovat tarkkailijaa kiinnostavat asiat, esimerkiksi jalokivikauppiaat katselevat tarkasti asiakkaittensa katseita selvittääkseen, mistä koruista kyseinen ostajaehdokas olisi mahdollisesti kiinnostunut. Kävelijän maahan kohdistunut katse taas kertoo ympäristölleen henkilön heikentyneestä havainnointikyvystä, jolloin kyseisen henkilön toimia on syytä seurata tarkasti esimerkiksi yhteentörmäyksen varalta /23/. Ympäristöä katsotaan myös täysin vailla tarkoitusta, jolloin silmäillään näkymää. Silmät liikkuvat eri tavoin katselutilanteesta riippuen. Onkin osoitettu että sakkadi- ja fiksaatioarvot eroavat aktiivisessa visuaalitehtävässä passiivisesta näkymän tarkkailusta ja että sakkadien määrät kasvavat kognitiivisesti vaativissa tehtävissä /4, 41/. Kahneman jaotteli silmän liikkeet katselutilanteen mukaan vapaaseen, tehtäväsidonnaiseen ja ajattelusuuntautuneisuus -katseluun /37/. Vapaa katselu on näkymän katselua ilman mitään tiettyä tai annettua tehtävää mielessä. Vapaan katselun kohteina ovat usein uudet ja monimutkaiset asiat sekä näkymässä ristiriitaa herättävät alueet. Katselun alussa katselijan silmät tekevät visuaalisen kentän yli pitkiä sakkadeja, jotka kuitenkin lyhenevät ajan kuluessa /6, 37/. Fiksaatioihin vaikuttavat informaatio, kohteiden valoisuus ja yksityiskohtien määrä. Mitä enemmän informaatiota alueella sijaitsee, sen todennäköisemmin katse siihen kohdistuu. Valoisuuden määrä vaikuttaa suoraan informaation määrän, eli kirkkailta alueilta havaitaan enemmän informaatiota kuin pimeiltä alueilta /23, 47/. Toisaalta vapaaseen katseluun vaikuttavat myös aikaisemmin opittu ja varastoitu tieto. Esimerkiksi kasvojen katselussa ihmisen katse kiinnittyy eniten silmiin, huuliin ja nenään, koska jo ennestään tiedetään näiden alueiden olevan ilmeikkäimpiä ja ilmaisuvoimaisimpia kasvon osia /71/. Tehtäväriippuvaisessa katselussa katselijalla on tietty kysymys tai tehtävä mielessä /47/. Yksilölliset katseenpolut määräytyvät katsojan etsiessä haluamaansa informaatiota näkymästä /71/. Yarbus esitti kuuluisassa kokeessaan koehenkilöille Repinin maalauksen Odottamaton kotiinpaluu ja pyysi koehenkilöitä arvioimaan mm. kuvassa olevan perheen varakkuutta ja henkilöiden ikiä sekä arvaamaan mitä henkilöt olivat tehneet juuri ennen vieraan saapumista. Kuten kuvasta 3 nähdään, Yarbus osoitti selvästi että katseen polut ovat erilaisia tehtävänannosta riippuen /37, 71/.

12 Kuva 3. Yarbuksen tutkimuksen katseen polkuja saman henkilön tarkkaillessa Odottamaton kotiinpaluu maalausta 3 minuutin ajan eri tehtävänannoilla (1) vapaa katselu (2) arvioi perheen varakkuutta (3) arvioi henkilöiden iät (4) arvaa mitä henkilöt ovat tehneet ennen vieraan saapumista (5) paina mieleesi henkilöiden vaatteiden värit (6) paina mieleesi henkilöiden ja eri kohteiden sijainnit huoneessa (7) arvioi kuinka kauan odottamaton vieras on ollut poissa perheen luota /71/

Ajattelusuuntautuneisuuskatselussa tarkkailijan katse kohdistuu näennäisesti tiettyyn kohteeseen, vaikka hänen tarkkaavaisuutensa ei olisikaan katseen osoittamassa kohteessa. Kyseisessä katselun tyypissä katsoja ei tarkkaile ympäristöään aktiivisesti, vaan hänen huomionsa on keskittynyt johonkin muuhun. Ihmiset visualisoivat usein kuvia mielessään, joita sitten myös katsovat silmillään /23, 37/. Sternin /ref. 23/ raportoi kokeestaan, jossa koehenkilöitä käskettiin tavaamaan sana mother takaperin. Koetilanteessa osalla henkilöistä silmät liikkuivat oikealta vasemmalle aivan kuin he olisivat nähneet sanan mother mielessään ja lukeneet sitä kirjain kirjaimelta oikealta vasemmalle /23/. Glenstrup ja Engell-Nielsen ehdottivat tarkoituksellisen manipuloinnin lisäämistä Kahnemanin katselutyyppien listaan. Tarkoituksellisessa manipulointikatselussa silmät osoittavat tiettyyn kohtaan tarkoituksenaan manipuloida tulevaisuudessa jotain kyseisessä näkymässä. Kyseessä ei ole pelkästään passiivinen ympäristön tarkkailu, sillä katsetta käytetään sisääntulon lisäksi myös ulostulona ympäristöön. Manipulointikatselussa silmät liikkuvat harvoin yksinään, vaan mukana on usein pieniä pään nyökkäysliikkeitä /23/. Kyseisen luokan toimintaan perustuvat esimerkiksi silmänliikkeillä toimivat tietokonerajapinnat kuten eye-typing, eli katseella kirjoittaminen /45/. Vaikka tarkoituksellinen manipulointikatselu ei ole ihmisen luonnollinen tapa tarkastella ympäristöä, on mahdollista että tulevaisuudessa harjoituksen myötä kyseisen kaltaiset sovellukset voivat toimia yhtä luonnollisina osoittamisen välineinä kuin hiiri tietokoneen yhteydessä nykypäivänä /23/. Katseen polkuun vaikuttavat myös opitut tavat. Notonin ja Starkin /ref. 23/ kokeessa huomattiin, että 65 % tarkkailijoista valitsi samat katseen polkunsa katsoessaan kuvia uudemman kerran. Eli jos katsoja on nähnyt ärsykkeen kertaalleen, on hän tällöin jo muodostanut kyseisestä kuvasta jonkinlaisen kuvan muistiinsa, mikä vaikuttaa seuraavan katselun käyttäytymiseen /23/. Tämä ei kuitenkaan tarkoita sitä, että kuvaa katsottaisiin aina samoilla tavoin seuraavilla kerroilla, vaan jo hankittu tieto voi vaikuttaa katseen polkuun päinvastaisesti. Katselija saattaa esimerkiksi löytää alueita joita ei ensimmäisellä katselukerralla havainnut ja keskittää huomionsa jälkimmäisellä katselukerralla näihin alueisiin /51/. Tutut ympäristöt kuitenkin enimmäkseen aktivoivat aikaisemmin tehokkaaksi havaittuja strategioita /64/. 3.2 Kuvan sisällölliset tekijät 3.2.1 Kuvan semantiikan tasot 13 Yksittäinen kuva voi edustaa montaa eri asiaa, joten kuvia voidaan analysoida usein eri tavoin esimerkiksi yhdistämällä mielessämme kuva moniin eri abstrakteihin käsitteisiin. Seuraavaksi luodaan katsaus kuvan rakenteeseen, lähinnä syntaktisiin ja semanttisiin tasoihin. Kuvan syntaktiset tasot ovat yhteydessä visuaaliseen havaintoon ja ne määrittävät visuaalielementtejä kuten värejä ja viivoja tulkitsematta tarkemmin niiden järjestystä tai tarkoitusta. Semantiikan tasot liittyvät visuaaliseen käsitteellisyyteen ja ottavat kantaa visuaalisten elementtien merkityksiin. /34/

14 Kuvan sisällön jaottelua on tutkittu etenkin kuvien luokittelua ja indeksointia tarkastelevissa tutkimuksissa. Panofsky /ref. 54/ käytti kolmea merkityksen tasoa taideteoksien luokittelussa: esi-ikonografista, ikonografista ja ikonologista. Esi-ikonografisella tasolla kuvasta tehdään primaari tulkinta, joka sisältää objektin tai hahmon yleisen kuvauksen. Esimerkkinä olkoon kuvan 4 oikealla oleva kaupunkikuva, jossa sijaitsevat New Yorkin WTC-tornit. Esiikonografisella tasolla kuvan sisältö tunnistetaan kaupungiksi. Ikonografinen taso kuvailee kohteen lisäksi kuvan kulttuurista taustaa, joka edellyttää tietämystä tietyistä aihepiireistä ja konsepteista. Esimerkkikuvan 4 oikealla oleva kaupunki tunnistetaan ikonografisella tasolla tietyksi kaupungiksi, New Yorkiksi. Kolmas, ikonologinen taso käsittää kuvan sisäisen merkityksen tulkinnan sidottuna sen kulttuurilliseen tulkintaan. Esimerkkikuvan 4 pilvenpiirtäjät tunnistetaan WTC-torneiksi ja ymmärretään niihin liittyvät tapahtumat syksyllä 2001 sekä niiden symboliset arvot eri kansakunnille. Ikonologisen tason ymmärtäminen vaatii luontaista asian käsittämistä. /53, 54/ Shatfordin mukaan kuvien sisällöt sisältävät erilaisia fasetteja eli aspekteja, joita voidaan tunnistaa kuvista vastaamalla kysymyksiin: kuka?, mikä?, koska? tai missä?. Armitage ja Enser loivat sisällönkuvailumatriisiin Shatfordin mallin pohjalta, jossa Panofskyn määrittelyt on mukautettu tiettyihin, yleisiin ja abstrakteihin analyysitasoihin. Matriisin vasemmalla laidalla oleviin kysymyksiin vastaamalla saadaan tietoa kunkin tason faseteista, jotka sijaitsevat solussaan kunkin tason kohdalla. /5/ Taulukko 1. Panofsky-Shatford fasettimatriisi -malli /5/ IKONOGRAFINEN (TIETTY) ESI-IKONOGRAFINEN (YLEINEN) IKONOLOGINEN (ABSTRAKTI) Kuka/Mikä? yksilöllisesti nimetty jonkin tyyppinen henkilö tai myyttinen tai fiktiivi- henkilö, ryhmä tai asia asia (Y1) nen hahmo (A1) (T1) Mitä? yksilöllisesti nimetty jonkin tyyppinen tapahtuma emootio tai abstrakti tapahtuma (T2) tai tila (Y2) käsite (A2) Missä? yksilöllisesti nimetty jonkin tyyppinen maantieteel- symbolinen paikka maantieteellinen sijainti linen tai arkkitehtoninen paik- (A3) (T3) ka (Y3) Milloin? lineaarinen aika: päivä syklinen aika, vuodenaika, tai ajan symboloima tunne tai ajanjakso (T4) ajankohta päivästä (Y4) tai ajan käsite (A4)

15 Kuvan sisältöä voidaan tarkastella yleisellä, tietyllä ja abstraktilla tasolla. Yleisellä tasolla tarkasteltaessa havaittava kohde nähdään jonkin luokan yleisenä ilmentymänä, eikä sillä tarkoiteta mitään yksittäistä kohdetta, esimerkkinä yleisestä tasosta on kuvan 4 vasemmanpuoleinen kuva talosta. Kohde on tietty, jos se on tarkasti määritelty ja sillä on esimerkiksi nimi. Tietty kohde voi olla tietty objekti tai tietty näkymä kuten kuvan 4 keskellä oleva kuva Helsingin rautatieasemasta. Abstraktilla tasolla kuvan kohteet saavat abstrakteja merkityksiä jolloin kohteet ilmaisevat muutakin kuin pelkästään yleisiä tai tiettyjä asioita, esimerkiksi kuvan 4 oikealla olevan kuvan WTC-tornit ilmaisevat eri abstrakteja arvoja näkökulmasta riippuen, kuten vapauden häpäisyä tai pahuuden tuhoa /34/. Shatford kritisoi fasettimatriisissakin käytettyä kuvien jaottelua yleisiin ja tiettyihin, sillä hänen mukaansa kaikki kuvat ovat samanaikaisesti sekä yleisiä että tiettyjä. Esimerkkinä toimii kuva mistä tahansa talosta. Kuvassa on Shatfordin mukaan tietty talo, vaikka se olisi kuvitteellinen, eikä sitä edes olisi oikeasti olemassakaan /60/. Kohteiden tiettyyttä, yleisyyttä tai abstraktisuutta on vaikeaa tai jopa mahdotonta määrittää samanaikaisesti kaikille katselijoille, sillä henkilöiden ennakkotiedot kuvan kohteista eivät ole aina samalla tasolla. Toiset henkilöt voivat pitää kohdetta tiettynä, kun se toisille on samaan aikaan vain yleinen kohde. Esimerkiksi kuvan 4 keskimmäinen kuva voi joillekin katselijoille olla vain yleinen kuva rakennuksesta, kun se muille on kuva tietystä rakennuksesta, eli Helsingin rautatieasemasta. Joku taas voi tunnistaa vasemmanpuoleisen kuvan talon, jolloin hänelle kuvan kohde saakin tietyn merkityksen. Abstraktin tason määrittely on tiettyä tasoa vielä vaikeampi määrittää yleisesti, sillä kuvat voivat ilmaista useita eri abstrakteja asioita ja eri henkilöt voivat mieltää samat kuvat täysin eri merkityksiä antavaksi, kuten kuvan 4 WTC-tornit. Kuva 4. Kuvia tulkitaan yksilöllisesti, mutta voidaan yleistää, että vasemmanpuoleinen rakennus nähdään yleisenä, keskimmäinen rakennus tiettynä ja oikeanpuoleiset rakennukset abstraktina kuvana Jaimes ja Chang /34/ jakavat kuvan sisällön syntaktiseen ja semanttiseen osaan. Syntaktinen osa jaetaan edelleen neljään ja semanttinen kuuteen eri tasoon. Jaimes ja Chang kasaavat syntaktiset ja semanttiset tasot päällekkäin pyramidiin, jossa tason leveys ja sen paikka pyramidissa kertoo kyseisen tason ymmärtämiseen tarvittavasta tietämyksen määrän muihin tasoihin verrattuna /kuva 5/. Käsitteiden päällekkäisyydestä huolimatta yksittäinen taso voidaan nähdä itsenäisenä osana, vaikka se koostuu pyramidissa ylempänä olevista tasoista.

16 Kuva 5. Jaimesin ja Changin indeksointipyramidi /34/ Pyramidin ylinnä olevaan syntaksiosaan kuuluvat Jaimesin ja Changin pyramidissa tyyppi ja tekniikka, globaali jakauma, lokaali rakenne ja globaali sommittelu. Tyyppi ja tekniikka -taso ilmaisee kuvan tekotavan, eli kuinka kyseinen kuva on muodostettu ja millä menetelmällä. Tarkasteltava kuva voi esimerkiksi olla maalattu, piirretty tai valokuvattu. Globaali jakauma luokittelee kuvat näiden globaalin sisällön mukaan. Globaalia sisältöä voidaan mitata alemman tason piirteillä, kuten värillä, globaalilla tekstuurilla, globaalilla muodolla tai kameran liikkeellä. Lokaali rakenne ilmaisee alemman tason lokaaleja prosesseja ja määrittää kuvan peruskomponentteja kuten pisteet, viivat, sävyt, värit ja tekstuurit. Syntaktisista tasoista alinna pyramidissa on Globaali sommittelu, mikä määrittää koko kuva-alueen kuvaelementtien sijoittelut. Kohteiden spatiaalisen sijainnin on osoitettu vaikuttavan silmien liikkeisiin, esimerkiksi keskimäärin 25% tarkkailuajasta katsotaan kuva-alueen keskustaa /55/. Globaaliin sommitteluluokkaan kuuluvat peruselementit kuten viivat ja pisteet. Jaimesin ja Changin pyramidin kuusi alinta tasoa ovat semanttisia, joita ovat yleinen objekti, yleinen näkymä, tietty objekti, tietty näkymä, abstrakti objekti ja abstrakti näkymä. Yleinen objekti on yleinen kuvaus yksittäisestä objektista, kuten kuva talosta ilman tarkempaa tietoa sen merkityksestä. Kuten edellä todettiin, taiteessa Panofsky käytti kyseisestä tasosta nimitystä esi-ikonograafinen taso, informaatiotieteissä kyseistä tasoa puolestaan nimitetään yleiseksi tasoksi. Yleinen näkymä on kokonaisen näkymän kuvaus, jonka havainnoimiseksi ei ole tarpeellista tunnistaa yksittäistä paikkaa tai rakennusta. Tällaisia näkymiä voivat olla esimerkiksi erilaiset maisemat ja sisäkuvat. Tietty objekti ilmaisee tunnistettavan ja nimettävän objektin, kuten kuvan 4 WTC-tornit tai Helsingin rautatieasema. Abstrakti objekti on ikonologinen ja se ilmentää abstraktin asian tai tapahtuman, esimerkiksi kuvassa 4 oikealla olevassa kuvassa olevat tornit voivat edustaa edustaa katsojalle rahaa tai kapitalismia. Abstrakti näkymä on näkymän ilmaisema abstrakti käsite, kuten ilmapiiri, surullisuus tai voima. /34/

Jörgensen jaotteli tutkimuksessaan kuvien attribuutteja kolmeen ryhmään, joita olivat havainnolliset, tulkinnalliset ja reaktiiviset attribuutit. Havainnollisia attribuutteja Jörgensenin mukaan ovat esimerkiksi objektit, ihmiset, värit ja sijainnit. Nämä attribuutit ovat suoria vasteita visuaalisesta ärsykkeestä, eli jos kuvassa jokin asia on väriltään sinistä, on sen attribuutti myös sininen. Tulkinnalliset attribuutit tarvitsevat ilmentyäkseen kuvasta saatavia tulkinnallisia vihjeitä sekä havainnoijan ymmärtämystä kuvassa olevista attribuuteista. Tulkinnallisiin attribuutteihin kuuluvat usein esimerkiksi ihmisiin liittyvät ominaisuudet, kuten mieliala, abstraktit käsitteet kuten tunnelma sekä sisällölliset ja tarinalliset elementit kuten toiminnallisuus ja tapahtumat. Reaktiiviset attribuutit luonnehtivat katsojan tekemiä reaktioita kuvia katsellessaan. Kuvien aiheuttamia reaktioita katsojassa voivat esimerkiksi olla epävarmuus, hämmennys tai kuvasta pitäminen. /36/ 3.2.2 Kuvan syntaktisen tason tekijöiden vaikutus katselussa 17 Jaimesin ja Changin indeksointipyramidin huipulla sijaitsevat kuvan syntaktiset tasot. Syntaktisten tasojen prosessointi on tyypillisesti nopeaa johtuen näiden ominaisuuksien suhteellisen yksinkertaisesta rakenteesta. Syntaktisen tason tekijät ja niiden muutokset vaikuttavat vahvasti visuaaliseen havainnointiin eri katselutyypeillä. Osbergerin ja Maederin mukaan näitä havainnointiin vaikuttavia tekijöitä ovat kontrasti, koko, muoto, väri ja liike sekä tarkkaavaisuuteen vaikuttavia tekijöitä valoisuus, orientaatio ja viivojen päät. /55/ Kontrasti, joka ilmaisee pienimpien yksityiskohtien erottuvuuden, on hyvin voimakas tekijä näköjärjestelmän huomion herättäjänä. Korkeakontrastiset alueet ja erilaiset reuna-alueet saavat helposti katsojan huomion puoleensa ja ovat siten todennäköisiä fiksaatiopaikkoja /27, 52/. Kontrastin muuttuessa kuvan visuaalinen ilme muuttuu, minkä johdosta myös silmien liikkeet muuttuvat eri kuvan kontrastiasteilla. Havaittavien kuvien on havaittu selkiintyvän kontrastin kasvaessa, jolloin katsojien reagointiajat lyhenevät visuaalisen havaintokyvyn nopeutuessa /52/. Kontrastin heiketessä fiksaatioiden määrät puolestaan kasvavat, sillä heikkokontrastisia kuvien alueita joudutaan katsomaan tarkemmin. Vuoren et. al. kuvanlaadun tutkimuksessa sakkadien kestot pitenivät kontrastin heikentymisen mukaan /68/. Havaittavan alueen koko ja muoto vaikuttavat merkittävästi alueiden puoleensavetävyyteen. Mitä suurempi alue, sen todennäköisemmin huomio siihen kohdistuu. Pitkät ja kapeat, hyvin rajatut alueet taas ovat yleisesti parempia huomion kohdistajia kuin pyöreät muodot. Värin on sanottu olevan erittäin tärkeä huomion kohdistaja. Kohteen värin merkitys onkin erityisen suuri jos se eroaa merkittävästi taustan väristä /21/. Kuten jo aikaisemmin todettiin, näköjärjestelmämme on kehittynyt tunnistamaan liikettä erittäin herkästi ja sitä havaitaan hyvin myös ääreisnäön alueella.