Tilannekuvan ylläpitäminen keskeytysten ja häirinnän aikana

Transkriptio

1 Tilannekuvan ylläpitäminen keskeytysten ja häirinnän aikana Krista Oinonen (1,2), Lauri Oksama (3), Jukka Hyönä (1) ja Esa Rantanen (4) 1 Turun Yliopisto, Psykologian laitos 2 Sotilaslääketieteen Keskus 3 Maanpuolustuskorkeakoulu, Käyttäytymistieteiden laitos 4 Rochester Institute of Technology, Rochester, NY, USA MATINE:n hankkeelle myöntämä rahoitus e 0

2 Tilannekuvan ylläpitäminen ympäristön liikkuvista kohteista 1

3 2

4 Tilannekuvan ylläpitäminen keskeytysten ja häirinnän aikana : johdanto Avaruudellisen tilannekuvan säilyttäminen edellyttää kohteiden paikan havaitsemista kohteiden identiteettien kytkemistä paikkaan kohteiden liikeratojen ennakoimista 3

5 Tilannekuvan ylläpitäminen keskeytysten ja häirinnän aikana: johdanto Erityisen vaativaksi tehtävä tulee hetkellisten keskeytysten aikana jolloin visuaaliset kohteet katoavat näkökentästä Miten tällöin ylläpidämme tilannekuvaa? Kykenemmekö ennakoimaan usean kohteen kohteiden liikeratoja? 4

6 Aikaisempi tutkimus Ennakointi keskeytysten aikana perustuu muistitietoon kohteiden paikasta ennen keskeytystä (Keane & Pylyshyn, 2006) Mitä kauemmaksi kohteet liikkuvat keskeytyksen aikana, sitä heikommin kohteet tunnistetaan keskeytyksen jälkeen (ns. siirtymähypoteesi) Ihminen ei siis ennakoi aidosti Mutta epäselvää on Kohteiden määrän vaikutus/ ennakoinnin kapasiteetti / ihmisen rajoitukset ennakoinnissa Kohteiden identiteettitiedon rooli ennakoinnissa Ennakoinnin tarkkuus Silmänliikkeiden rooli 5

7 Tutkimuskysymykset Ihmisen kyky ennakoida liikkuvia kohteita keskeytysten aikana: Ennakoinnin kapasiteetti? Ennakoinnin tarkkuus? Suuntavektorien vaikutus ennakointiin? Silmänliikkeiden rooli ennakoinnissa 6

8 Menetelmä Multiple identity tracking (MIT) -tehtävä Näytöllä liikkuu kahdeksan ei-identtistä kohdetta, joista seurataan 1-4 kohdetta (Snowgrass & Vanderwart, 1980) - manipulaatiot: - kohteiden määrä (1-4) - keskeytyksen kesto (1680ms, 2520ms, 3360ms) - keskeytyksen aikainen liike (Move, Non-move) Krista Oinonen, Matine tutkimusseminaari

9 Menetelmä (Koe 1 ja 2) Kuinka monta kohdetta ihminen kykenee ennakoimaan keskeytysten aikana? Koe1: ennakoinnin onnistumista mitataan vastauksen oikeellisuudella Koe2: ennakoinnin onnistumista mitataan reaktioajalla 8

10 Koe1: Tulokset 1-4 kohteen ennakoinnista kohteiden liikkuessa (move) ja pysyessä paikallaan (nonmove) - mittausmenetelmä vastauksen oikeellisuus Set size 1 Määrä 1 liike NS kesto NS liike x kesto NS Set size 2 Määrä 2 liike (F(1,19)=40.75, p<.001) kesto (F(2,38)=24.18, p<.001) liike x kesto (F(2,38)=7.71, p<.01) Set size 3 Määrä 3 liike (F(1,19)=17.16, p<.01) kesto (F(2,38)=3.21, p=.052) liike x kesto NS Set size 4 Määrä 4 liike (F(1,19)=63.97, p<.001) kesto F(2,38)=10.15, p<.001) liike x kesto (F(2,38)=14.33, p<.001) Krista Oinonen, Matine tutkimusseminaari

11 Koe 2: Tulokset 1-4 kohteen ennakoinnista kohteiden liikkuessa (move) ja pysyessä paikallaan (non-move) - mittausmenetelmä vastauksen nopeus (reaktioaika) Set size 1 Määrä 1 liike NS kesto NS liike x kesto NS Set size 2 Määrä 2 liike (F(1,19)=7.92, p<.05) kesto (F(2,38)=12,77, p<.001) liike x kesto NS Set size 3 Määrä 3 Liike (F(1,19)=17.16, p<.01) Kesto (F(2,38)=16.83, p<.001) liike x kesto (F(2,38)=15.14, p<.001) Krista Oinonen, Matine tutkimusseminaari Set size 4 Määrä 4 liike (F(1,19)=10.46, p<.01) kesto (F(2,38)=13.49, p<.001) liike x kesto NS 10

12 Johtopäätökset (Koe 1 ja Koe 2) Ihminen kykenee ennakoimaan vain yhtä tai maksimissaan kahta liikkuvaa kohdetta keskeytyksen aikana 11

13 Koe 3 Kuinka tarkkaa on liikkuvien kohteiden ennakointi? Kohteen paikan ennakointiin sisältyvän virheen suuruus? Kohteen suunnan arviointivirhe? Uusi koeasetelma > kohteen sijainnin osoittaminen keskeytyksen jälkeen tyhjälle näytölle > vain seurattavat kohteet 1-4 näytöllä 12

14 Menetelmä (Osakoe 3) DESIGN: kohteiden määrä (1-4) x keskeytyksen kesto (1680ms, 2520ms, 3360ms) x keskeytyksne aikainen liike (Move, Non-move) 13

15 Osakoe 3 Kohde etenee näkyvissä Kohteen katoamispistea Kohde etenee näkymättömissä Kohteen loppupiste Koehenkilön vastauskohta 14

16 Osakoe 3 a Kohteen paikan ennakointiin sisältyvä virhe Kohde etenee näkyvissä Kohteen katoamispistea Kohde etenee näkymättömissä Ennakoinnin paikkavirhe Kohteen loppupiste Koehenkilön vastauskohta 15

17 Koe 3b: kohteen suunnan arviointivirhe

18 Koe 3a tulokset: kohteen paikan ennakointivirhe kohteiden liikkuessa (move) ja pysyessä paikallaan (non-move) 140 Location error (pixels) Move Non-move movement F(1,11)=78,89, p<.001 set size F(3,33)=17,50, p<.001 occlusion period NS ((F(2,22)=3,03, p>.10) movement x set size F(3,33)=4,52, p<.01 movement x occ NS (F(2,22)=2,58, p>.10) set size x occ F(6,66)=3,59, p<.01 3 way NS Set size 17

19 Koe 3b: kohteen suunnan arviointivirhe keskeytyksen keston funktiona Move 180 set size F(3,33)=29,70, p<.001 Trajectory error (angle) 90 Set size 1 Set size 2 Set size 3 Set size 4 occlusion period NS set size x occ NS ms 1680 ms 2520 ms Occlusion period 18

20 Johtopäätökset koe 3 Paikkatiedon ennakoinnissa noin 2,5 näkökulmaasteen epätarkkuus, keskeytyksen kestosta ja kohteiden määrästä riippumatta Liikkumattomien kohteiden siijainti muistetaan erittäin tarkasti Pienillä määrillä ja lyhyillä keskeytyksillä liikkeen ennakointi jopa kohteen ohi (etupuolelle) Liikesuunnan (suuntavektorin) ennakoinnissa epätarkkuuttaa 0 40 ast; epätarkkuus kasvaa kohteiden määrän kasvaessa 19

21 Koe 4: miten tukea ennakointia ja tilannekuvan ylläpitoa keskeytystilanteissa? Erilaisten suuntavektorien vaikutus ennakointiin Turvallisuuskriittisiin valvomoympäristöihin on kehitetty ns. ennakoivia tutkanäyttöjä vähentämään operaattorin kognitiivista kuormitusta Auttaako visuaalinen vektoritieto liikkeen ennakoimista seurannan keskeytyessä? Ei tutkimustietoa 20

22 Koe 4 suuntavektorien vaikutus ennakointiin (1) BASELINE No visual vectors were displayed (2) TRACK Only a history trail was displayed movement direction here: north-east (3) CONGRUENT Vectors corresponding to the masking duration 1680 ms (2 deg) 2520 ms (4 deg) 3360 ms (6 deg) (4) HEADING Vectors with constant length in all trials Krista Oinonen, Matine tutkimusseminaari

23 Koe 4 tulokset: suuntavektorien vaikutus ennakointiin 2 (Set-Size) x 3 (Masking Duration) x 4 (Vector Condition) repeated measures analysis of variance (ANOVA), N=20 kesto (F(2,38)=10.77,p<.001) määrä (F(1,19)=233.53,p<.001) vektori (F(3,57)=4.49, p<.01) ms Response time Kesto x Määrä (F(2,38)=5.84, p<.05) Vektori x Määrä NS Baseline Track Congruent Heading Vektori x Kesto NS 3-way NS Vector condition > Planned comparisons: baseline vs. track NS baseline vs. congruent (F(1,19)=6.51, p<.05) baseline vs. heading NS Krista Oinonen, Matine tutkimusseminaari

24 Koe 4 : suuntavektorien vaikutus ennakointiin Tilannekuvan palauttaminen keskeytyksen jälkeen tukeutuu lyhytkestoisen muistin muistijälkeen keskeytystä edeltäneestä tilanteesta Muistitieto ohjaa visuaalista tarkkaavaisuutta keskeytyksen jälkeen Kohteesta taaksepäin suuntautuva (historia)vektori voi jopa haitata suoritusta(?!) Krista Oinonen, Matine tutkimusseminaari

25 Koe 5: Silmänliikekoe Silmänliikkeiden rooli kohteiden ennakoinnissa? Seuraavatko ihmiset silmillään näkymättömiä kohteita? Yrittävätkö ihmiset ylläpitää kohteiden paikkaa silmänliikkeitä hyödyntäen? Silmänliikehypoteesi: Silmiä käytetään osoittimena, jota siirretään oletetun liikkeen mukaisesti 24

26 Silmänliikekokeen koeasetelma Kokeelliset manipulaatiot (4 x 2 x 2): 1. Seurattavien kohteiden määrä: Kohteiden näkyvyys keskeytyksen aikana: Kohteet näkymättömiä = kohteita on ennakoitava Kohteet näkyviä = kohteita voi seurata suoraan visuaalisesti 3. Kohteiden liike: Nopea vs. hidas (hitaan nopeus 1 pix/frame, nopea 2 pix/frame) Kokeen kulku Alkuseurannan kesto 5s: tällöin kohteet näkyviä Keskeytys: kesto joko 2520 ms (nopea) tai 5040 ms (hidas) Keskeytyksen pituus 6 astetta visuaalista kulmaa, Trialin kokonaiskesto 10 sekuntia 10 koehenkilöä 25

27 Silmänliikkeiden rekisteröinti ja analysointi Eye-link 1000 Näytteenottotaajuus 1000 Hz Pöytämalli (käyttäjäystävällinen) Analyysi: Fiksaatio, dwell ja pupilli-kohtainen analyysi Analyysi erittäin työläs! Silmänliiikkeiden synkronointi dynaamisten kohteiden kanssa Liikkuvien kohteiden koordinaattien yhdistäminen silmän fiksaatioihin ja sakkadeihin 26

28 Silmänliiketuloksia 27

29 Vierailut kohteiden liikeradalla keskeytyksen aikana: näkyvät vs. näkymättömät kohteet 7 Näkyvät kohteet 6 Vierailujen määrä Kohteiden määrä Näkymättömät kohteet -Kaikki määrän, nopeuden ja kohteiden näkyvyyden päävaikutukset ja väliset vuorovaikutukset tilastollisesti erittäin merkitseviä - Vain yhden näkymättömän kohteen seuranta perustuu silmänliikkeisiin 28

30 Kohteissa vietetty aika: näkyvät vs. näkymättömät kohteet Kohteissa vietetty aika Näkyvät kohteet Näkymättömät Kohteiden määrä -Kaikki määrän, nopeuden ja kohteiden näkyvyyden päävaikutukset ja väliset vuorovaikutukset tilastollisesti merkitseviä - Näkymättömissä kohteissa vietetty aika vähenee jyrkästi kun seurattavien kohteiden määrä kasvaa yli yhden 29

31 Kognitiivinen kuormitus ennakoinnin aikana: pupillin halkaisija koetilanteissa 1500 Näkymättömät kohteet Pupillin koko (mm) Näkyvät kohteet Kohteiden määrä - Vain määrän päävaikutus ja määrä x näkyvyys interaktio tilastollisesti merkitseviä - Näkymättömien kohteiden seuranta vaatii enemmän ponnistelua kuin näkyvien kohteiden 30

32 Johtopäätökset, koe 5 Yhden kohteen onnistunut ennakointi edellyttää silmänliikkeitä Kohteen kuviteltua rataa seurataan silmänliikkeillä Silmänliikekokeen tulos yhteensopiva aiempien kokeiden tulosten kanssa 31

33 Tutkimustiedon hyödyntäminen Tutkimustietoa voidaan hyödyntää Työ- ja laiteympäristön suunnittelussa Operaattoreiden koulutuksessa (mm. tietoisuuden lisääminen inhimillisistä suoritusrajoituksista) Työ/palvelusturvallisuuden kehittämisessä Operaattorien soveltuvuusarvioinnissa 32

34 Hankkeeseen liittyvät ja valmisteilla olevat julkaisut: Kiitos! Oinonen, K., Oksama, L., & Hyönä, J. (submitted, under review). Movement extrapolation and identity-location binding for invisible objects. Oinonen, K., Oksama, L., Rantanen, E., & Hyönä, J. (2009). Do velocity vectors support multiple object tracking? Proceedings of the Human Factors and Ergonomics Society 53nd Annual Meeting. Oksama, L., & Hyönä, J. (2004). Is multiple object tracking carried out automatically by an early vision mechanism independent of higherorder cognition? An individual difference approach. Visual Cognition, 11, Oksama, L. (2004). Dynamic visual attention to multiple moving objects. Doctoral dissertation. Finnish Defence Forces, Education Development Centre, Publications, Serie A/1/2004, Helsinki. Oksama & Hyönä (2008). Dynamic binding of identity and location information: A serial model of multiple identity tracking. Cognitive Psychology, 56, Oksama & Hyönä (submitted). Eye movements during tracking of multiple moving objects. Oksama & Hyönä (submitted). Target identity information improves dynamic visual attention. 33