Tilannekuvan ylläpitäminen keskeytysten ja häirinnän aikana Krista Oinonen (1,2), Lauri Oksama (3), Jukka Hyönä (1) ja Esa Rantanen (4) 1 Turun Yliopisto, Psykologian laitos 2 Sotilaslääketieteen Keskus 3 Maanpuolustuskorkeakoulu, Käyttäytymistieteiden laitos 4 Rochester Institute of Technology, Rochester, NY, USA MATINE:n hankkeelle myöntämä rahoitus 38 598 e 0
Tilannekuvan ylläpitäminen ympäristön liikkuvista kohteista 1
2
Tilannekuvan ylläpitäminen keskeytysten ja häirinnän aikana : johdanto Avaruudellisen tilannekuvan säilyttäminen edellyttää kohteiden paikan havaitsemista kohteiden identiteettien kytkemistä paikkaan kohteiden liikeratojen ennakoimista 3
Tilannekuvan ylläpitäminen keskeytysten ja häirinnän aikana: johdanto Erityisen vaativaksi tehtävä tulee hetkellisten keskeytysten aikana jolloin visuaaliset kohteet katoavat näkökentästä Miten tällöin ylläpidämme tilannekuvaa? Kykenemmekö ennakoimaan usean kohteen kohteiden liikeratoja? 4
Aikaisempi tutkimus Ennakointi keskeytysten aikana perustuu muistitietoon kohteiden paikasta ennen keskeytystä (Keane & Pylyshyn, 2006) Mitä kauemmaksi kohteet liikkuvat keskeytyksen aikana, sitä heikommin kohteet tunnistetaan keskeytyksen jälkeen (ns. siirtymähypoteesi) Ihminen ei siis ennakoi aidosti Mutta epäselvää on Kohteiden määrän vaikutus/ ennakoinnin kapasiteetti / ihmisen rajoitukset ennakoinnissa Kohteiden identiteettitiedon rooli ennakoinnissa Ennakoinnin tarkkuus Silmänliikkeiden rooli 5
Tutkimuskysymykset Ihmisen kyky ennakoida liikkuvia kohteita keskeytysten aikana: Ennakoinnin kapasiteetti? Ennakoinnin tarkkuus? Suuntavektorien vaikutus ennakointiin? Silmänliikkeiden rooli ennakoinnissa 6
Menetelmä Multiple identity tracking (MIT) -tehtävä Näytöllä liikkuu kahdeksan ei-identtistä kohdetta, joista seurataan 1-4 kohdetta (Snowgrass & Vanderwart, 1980) - manipulaatiot: - kohteiden määrä (1-4) - keskeytyksen kesto (1680ms, 2520ms, 3360ms) - keskeytyksen aikainen liike (Move, Non-move) Krista Oinonen, Matine tutkimusseminaari 19.11.2009 7
Menetelmä (Koe 1 ja 2) Kuinka monta kohdetta ihminen kykenee ennakoimaan keskeytysten aikana? Koe1: ennakoinnin onnistumista mitataan vastauksen oikeellisuudella Koe2: ennakoinnin onnistumista mitataan reaktioajalla 8
Koe1: Tulokset 1-4 kohteen ennakoinnista kohteiden liikkuessa (move) ja pysyessä paikallaan (nonmove) - mittausmenetelmä vastauksen oikeellisuus Set size 1 Määrä 1 liike NS kesto NS liike x kesto NS Set size 2 Määrä 2 liike (F(1,19)=40.75, p<.001) kesto (F(2,38)=24.18, p<.001) liike x kesto (F(2,38)=7.71, p<.01) Set size 3 Määrä 3 liike (F(1,19)=17.16, p<.01) kesto (F(2,38)=3.21, p=.052) liike x kesto NS Set size 4 Määrä 4 liike (F(1,19)=63.97, p<.001) kesto F(2,38)=10.15, p<.001) liike x kesto (F(2,38)=14.33, p<.001) Krista Oinonen, Matine tutkimusseminaari 19.11.2009 9
Koe 2: Tulokset 1-4 kohteen ennakoinnista kohteiden liikkuessa (move) ja pysyessä paikallaan (non-move) - mittausmenetelmä vastauksen nopeus (reaktioaika) Set size 1 Määrä 1 liike NS kesto NS liike x kesto NS Set size 2 Määrä 2 liike (F(1,19)=7.92, p<.05) kesto (F(2,38)=12,77, p<.001) liike x kesto NS Set size 3 Määrä 3 Liike (F(1,19)=17.16, p<.01) Kesto (F(2,38)=16.83, p<.001) liike x kesto (F(2,38)=15.14, p<.001) Krista Oinonen, Matine tutkimusseminaari 19.11.2009 Set size 4 Määrä 4 liike (F(1,19)=10.46, p<.01) kesto (F(2,38)=13.49, p<.001) liike x kesto NS 10
Johtopäätökset (Koe 1 ja Koe 2) Ihminen kykenee ennakoimaan vain yhtä tai maksimissaan kahta liikkuvaa kohdetta keskeytyksen aikana 11
Koe 3 Kuinka tarkkaa on liikkuvien kohteiden ennakointi? Kohteen paikan ennakointiin sisältyvän virheen suuruus? Kohteen suunnan arviointivirhe? Uusi koeasetelma > kohteen sijainnin osoittaminen keskeytyksen jälkeen tyhjälle näytölle > vain seurattavat kohteet 1-4 näytöllä 12
Menetelmä (Osakoe 3) DESIGN: kohteiden määrä (1-4) x keskeytyksen kesto (1680ms, 2520ms, 3360ms) x keskeytyksne aikainen liike (Move, Non-move) 13
Osakoe 3 Kohde etenee näkyvissä Kohteen katoamispistea Kohde etenee näkymättömissä Kohteen loppupiste Koehenkilön vastauskohta 14
Osakoe 3 a Kohteen paikan ennakointiin sisältyvä virhe Kohde etenee näkyvissä Kohteen katoamispistea Kohde etenee näkymättömissä Ennakoinnin paikkavirhe Kohteen loppupiste Koehenkilön vastauskohta 15
Koe 3b: kohteen suunnan arviointivirhe 90 90 30 0 16
Koe 3a tulokset: kohteen paikan ennakointivirhe kohteiden liikkuessa (move) ja pysyessä paikallaan (non-move) 140 Location error (pixels) 120 100 80 60 40 Move Non-move movement F(1,11)=78,89, p<.001 set size F(3,33)=17,50, p<.001 occlusion period NS ((F(2,22)=3,03, p>.10) movement x set size F(3,33)=4,52, p<.01 movement x occ NS (F(2,22)=2,58, p>.10) set size x occ F(6,66)=3,59, p<.01 3 way NS 20 0 1 2 3 4 Set size 17
Koe 3b: kohteen suunnan arviointivirhe keskeytyksen keston funktiona Move 180 set size F(3,33)=29,70, p<.001 Trajectory error (angle) 90 Set size 1 Set size 2 Set size 3 Set size 4 occlusion period NS set size x occ NS 0 840 ms 1680 ms 2520 ms Occlusion period 18
Johtopäätökset koe 3 Paikkatiedon ennakoinnissa noin 2,5 näkökulmaasteen epätarkkuus, keskeytyksen kestosta ja kohteiden määrästä riippumatta Liikkumattomien kohteiden siijainti muistetaan erittäin tarkasti Pienillä määrillä ja lyhyillä keskeytyksillä liikkeen ennakointi jopa kohteen ohi (etupuolelle) Liikesuunnan (suuntavektorin) ennakoinnissa epätarkkuuttaa 0 40 ast; epätarkkuus kasvaa kohteiden määrän kasvaessa 19
Koe 4: miten tukea ennakointia ja tilannekuvan ylläpitoa keskeytystilanteissa? Erilaisten suuntavektorien vaikutus ennakointiin Turvallisuuskriittisiin valvomoympäristöihin on kehitetty ns. ennakoivia tutkanäyttöjä vähentämään operaattorin kognitiivista kuormitusta Auttaako visuaalinen vektoritieto liikkeen ennakoimista seurannan keskeytyessä? Ei tutkimustietoa 20
Koe 4 suuntavektorien vaikutus ennakointiin (1) BASELINE No visual vectors were displayed (2) TRACK Only a history trail was displayed movement direction here: north-east (3) CONGRUENT Vectors corresponding to the masking duration 1680 ms (2 deg) 2520 ms (4 deg) 3360 ms (6 deg) (4) HEADING Vectors with constant length in all trials Krista Oinonen, Matine tutkimusseminaari 19.11.2009 21
Koe 4 tulokset: suuntavektorien vaikutus ennakointiin 2 (Set-Size) x 3 (Masking Duration) x 4 (Vector Condition) repeated measures analysis of variance (ANOVA), N=20 kesto (F(2,38)=10.77,p<.001) määrä (F(1,19)=233.53,p<.001) vektori (F(3,57)=4.49, p<.01) ms 1300 1250 1200 1150 Response time Kesto x Määrä (F(2,38)=5.84, p<.05) Vektori x Määrä NS 1100 1050 Baseline Track Congruent Heading Vektori x Kesto NS 3-way NS Vector condition > Planned comparisons: baseline vs. track NS baseline vs. congruent (F(1,19)=6.51, p<.05) baseline vs. heading NS Krista Oinonen, Matine tutkimusseminaari 19.11.2009 22
Koe 4 : suuntavektorien vaikutus ennakointiin Tilannekuvan palauttaminen keskeytyksen jälkeen tukeutuu lyhytkestoisen muistin muistijälkeen keskeytystä edeltäneestä tilanteesta Muistitieto ohjaa visuaalista tarkkaavaisuutta keskeytyksen jälkeen Kohteesta taaksepäin suuntautuva (historia)vektori voi jopa haitata suoritusta(?!) Krista Oinonen, Matine tutkimusseminaari 19.11.2009 23
Koe 5: Silmänliikekoe Silmänliikkeiden rooli kohteiden ennakoinnissa? Seuraavatko ihmiset silmillään näkymättömiä kohteita? Yrittävätkö ihmiset ylläpitää kohteiden paikkaa silmänliikkeitä hyödyntäen? Silmänliikehypoteesi: Silmiä käytetään osoittimena, jota siirretään oletetun liikkeen mukaisesti 24
Silmänliikekokeen koeasetelma Kokeelliset manipulaatiot (4 x 2 x 2): 1. Seurattavien kohteiden määrä: 1-4 2. Kohteiden näkyvyys keskeytyksen aikana: Kohteet näkymättömiä = kohteita on ennakoitava Kohteet näkyviä = kohteita voi seurata suoraan visuaalisesti 3. Kohteiden liike: Nopea vs. hidas (hitaan nopeus 1 pix/frame, nopea 2 pix/frame) Kokeen kulku Alkuseurannan kesto 5s: tällöin kohteet näkyviä Keskeytys: kesto joko 2520 ms (nopea) tai 5040 ms (hidas) Keskeytyksen pituus 6 astetta visuaalista kulmaa, Trialin kokonaiskesto 10 sekuntia 10 koehenkilöä 25
Silmänliikkeiden rekisteröinti ja analysointi Eye-link 1000 Näytteenottotaajuus 1000 Hz Pöytämalli (käyttäjäystävällinen) Analyysi: Fiksaatio, dwell ja pupilli-kohtainen analyysi Analyysi erittäin työläs! Silmänliiikkeiden synkronointi dynaamisten kohteiden kanssa Liikkuvien kohteiden koordinaattien yhdistäminen silmän fiksaatioihin ja sakkadeihin 26
Silmänliiketuloksia 27
Vierailut kohteiden liikeradalla keskeytyksen aikana: näkyvät vs. näkymättömät kohteet 7 Näkyvät kohteet 6 Vierailujen määrä 5 4 3 2 1 0 1 2 3 4 Kohteiden määrä Näkymättömät kohteet -Kaikki määrän, nopeuden ja kohteiden näkyvyyden päävaikutukset ja väliset vuorovaikutukset tilastollisesti erittäin merkitseviä - Vain yhden näkymättömän kohteen seuranta perustuu silmänliikkeisiin 28
Kohteissa vietetty aika: näkyvät vs. näkymättömät kohteet Kohteissa vietetty aika 3500 3000 2500 2000 1500 1000 500 0 Näkyvät kohteet Näkymättömät 1 2 3 4 Kohteiden määrä -Kaikki määrän, nopeuden ja kohteiden näkyvyyden päävaikutukset ja väliset vuorovaikutukset tilastollisesti merkitseviä - Näkymättömissä kohteissa vietetty aika vähenee jyrkästi kun seurattavien kohteiden määrä kasvaa yli yhden 29
Kognitiivinen kuormitus ennakoinnin aikana: pupillin halkaisija koetilanteissa 1500 Näkymättömät kohteet Pupillin koko (mm) 1400 1300 1200 1100 Näkyvät kohteet 1000 1 2 3 4 Kohteiden määrä - Vain määrän päävaikutus ja määrä x näkyvyys interaktio tilastollisesti merkitseviä - Näkymättömien kohteiden seuranta vaatii enemmän ponnistelua kuin näkyvien kohteiden 30
Johtopäätökset, koe 5 Yhden kohteen onnistunut ennakointi edellyttää silmänliikkeitä Kohteen kuviteltua rataa seurataan silmänliikkeillä Silmänliikekokeen tulos yhteensopiva aiempien kokeiden tulosten kanssa 31
Tutkimustiedon hyödyntäminen Tutkimustietoa voidaan hyödyntää Työ- ja laiteympäristön suunnittelussa Operaattoreiden koulutuksessa (mm. tietoisuuden lisääminen inhimillisistä suoritusrajoituksista) Työ/palvelusturvallisuuden kehittämisessä Operaattorien soveltuvuusarvioinnissa 32
Hankkeeseen liittyvät ja valmisteilla olevat julkaisut: Kiitos! Oinonen, K., Oksama, L., & Hyönä, J. (submitted, under review). Movement extrapolation and identity-location binding for invisible objects. Oinonen, K., Oksama, L., Rantanen, E., & Hyönä, J. (2009). Do velocity vectors support multiple object tracking? Proceedings of the Human Factors and Ergonomics Society 53nd Annual Meeting. Oksama, L., & Hyönä, J. (2004). Is multiple object tracking carried out automatically by an early vision mechanism independent of higherorder cognition? An individual difference approach. Visual Cognition, 11, 631-671. Oksama, L. (2004). Dynamic visual attention to multiple moving objects. Doctoral dissertation. Finnish Defence Forces, Education Development Centre, Publications, Serie A/1/2004, Helsinki. Oksama & Hyönä (2008). Dynamic binding of identity and location information: A serial model of multiple identity tracking. Cognitive Psychology, 56, 237-283. Oksama & Hyönä (submitted). Eye movements during tracking of multiple moving objects. Oksama & Hyönä (submitted). Target identity information improves dynamic visual attention. 33