Toiminnan tutkimus systeemikäytettävyyden arvioinnissa. Paula Savioja, Leena Norros, & Leena Salo

Transkriptio

1 Toiminnan tutkimus systeemikäytettävyyden arvioinnissa Paula Savioja, Leena Norros, & Leena Salo

2 Johdantoa aiheeseen, käsitteitä Toimiala: Turvallisuuskriittinen työ, sosiotekniset järjestelmät Esim. ydinsähkön tuotanto, muut teolliset prosessit, luotsaus, liikenteen valvonta, kliininen anestesia, kriisin/onnettomuuksien hallinta Järjestelmiä, joiden toiminta sisältää uhan ihmisten, ympäristön ja omaisuuden kannalta Yhteiskunnan toimivuuden kannalta tärkeitä järjestelmiä Tietoteknisen järjestelmän avulla hallitaan reaalimaailman fysikaalisia ilmiöitä Perustehtävä työn keskeinen sisältö, määräytyy työn tavoitteista, riippumaton sen hetkisistä välineistä ja organisoinnista, ei aina ilmeinen, saattaa muuttua ajassa Systeemikäytettävyys järjestelmä tukee perustehtävän täyttämistä 2

3 3

4 4

5 5

6 Muutoksia ydinvoima-alalla Suomessa Automaation ja Valvomoiden modernisointi ICT ongelmana ja ratkaisuna Joka tapauksessa: Välinemuutos aiheuttaa muutoksia operaattorityössä Tilannetietoisuus, avaimenreikäefekti Sekundääritehtävä Yhteistyö ja kommunikaatio Työnjako Uudet käyttöliittymäratkaisut On varmistettava uusien valvomojärjestelmien käytön turvallisuus 6

7 Tietojärjestelmät osana turvallisuuskriittistä toimintaa Käytettävyys, erilaisia määritelmiä järjestelmän sopivuus suunniteltuun käyttötarkoitukseen tuloksellisuus & tehokkuus & miellyttävyys Turvallisuuskriittisen asiantuntijatyön erityispiirteet Käytön ei tarvitse olla helppoa käyttäjillä jopa vuosien koulutus Järjestelmän avulla hallittava ilmiö on dynaaminen, monimutkainen ja sisältää epävarmuuksia käyttöliittymä ei saa yksinkertaistaa ilmiötä liikaa Käytettävyyden käsitteen kehittäminen, systeemikäytettävyys Erityisesti prosessinohjaustyössä Tehtävä määräytyy prosessitilanteen mukaan tehtävää ei koskaan voida ennalta määritellä täydellisesti, henkilön oma toiminta vaikuttaa prosessin tilaan ja siten tehtävään Tehtävä voi sisältää keskenään ristiriitaisia tavoitteita, esim. turvallisuus ja tuottavuus Tehtäväanalyysin tavan kehittäminen, perustehtäväanalyysi 7

8 Toimintalähtöinen teknologian analyysi Teknologian arvo ilmenee käytössä Tarkastellaan ihmisen ja ympäristön muodostamaa kokonaisuutta Tietojärjestelmän hyvyyden mittarina tarkoituksenmukaisuus toiminnan kannalta Mitä on toiminta, johon järjestelmä on suunniteltu? Mikä on kohde? Mikä on tavoiteltu tulos? Millä keinoilla tulokseen voi päästä? Keitä ovat toimijat, minkälainen kokemus ja koulutus? Mitä on hyvä toimintatapa? Mikä on organisaatio ja työnjako? Mikä on kehitteillä olevan tietojärjestelmän funktio toiminnassa? 8

9 Toimintajärjestelmä toiminnan kuvaajana Välineet: Kohteen hallinta Operaattori: Toimintatavat ja kokemus Prosessi: rajoitteet ja tilannekohtaiset tavoitteet, Tulos, päämäärä, (ei yksin materiaalinen) Säännöt & normit: organisaation rutiinit Yhteisö Adapted from e.g. in Engeström 1994, Norros 2004 Työnjako: koordinaatio, kollaboraatio, kommunikaatio 9

10 Systeemikäytettävyys Instrumentti Psykologinen väline Kommunikatiivinen 10 väline

11 Systeemikäytettävyyden arviointi 11

12 Systeemikäytettävyyden arviointi: Tavoite Selvittää, saavuttaako järjestelmä edellä mainitut funktiot Instrumentti tehtävät saadaan suoritettua Psykologinen väline tilannetietoisuus, kuormittuneisuus, oppiminen, malli prosessin toiminnasta, käsitteistö jne. Kommunikatiivinen väline välittääkö järjestelmä merkityksiä, mikä on tilannekohtaisen toiminnan mieli ja suuntautuneisuus Näitä voidaan selvittää tutkimalla tarkasti käyttötoimintaa ja erityisesti myös toiminnan tapaa 12

13 Miksi toiminnan tapa? Suorituksen mittaaminen: Asiantuntija suoriutuu aina hyvin Korkea automaatioaste tekee suorituksesta osaksi näkymättömän Yleistämisen ongelma Tapa (engl. habit) Toiminnan yleinen kannatteleva taso, ennakoinnin mekanismi Ilmaisee tekojen mieltä Erottelee hyvienkin suoritusten välillä Voidaan tutkia vuoron yhteistoimintaa ja teknologiaa osana sitä Tapaa koskevien päätelmien avulla voidaan tulkita muilla, usein kvantitatiivisilla mittareilla saatuja tuloksia Tapa toimintaa ohjaava mekanismi Havaittavissa oleva suoritus 13

14 Toimintatavan tarkastelu Periaate Observointi: mitä henkilöt tekevät, miten he tulkitsevat ympäristön merkkejä Analyysi: miten henkilöt perustelevat toimintansa (verbaalisti ja toiminnallaan), mikä on toiminnan mieli Merkki Kohde Päätelmät Onko toiminta perustehtäväsuuntautunutta Mikä on kohde Miten merkit toimivat Tulkinta 14

15 Mitä siis käytännössä tehdään? 15

16 Modelling - Criteria and measures to be used in assessment Work Domain Modeling generic models e.g. Abstraction hierarchy Core Task Modeling Psychological demands of the work Scenario Modeling Situational manifestations of generic functions, Modeling of UI informativeness affordances of the user interface Data Collection Conceptions of work, interviews Process performance data, simulator data Behavioral data, video recordings Data concerning experience with new tool, interviews Data Analysis Process performance description Course of action description Work practice (orientation + habit of action) description Elicitation of experiences Assessment Process performance Work practices Experienced appropriateness 16

17 Esimerkki: Systeemikäytettävyys ydinvoimalan päävalvomossa 17

18 18

19 Mallinnus Kuvaus toiminnan yleisistä tavoitteista ja keinoista saavuttaa ne Kuvaus kohteesta nousevista toiminnan yleisistä psykologisista vaatimuksista Kuvaus tutkittavan tilanteen tavoitteista ja keinoista saavuttaa ne Kuvaus ympäristön (käyttöliittymän) merkeistä Modelling - Criteria and measures to be used in assessment Data Collection Data Analysis Assessment 19

20 Toiminnan psykologiset vaatimukset Yhteistyön vaatimukset Dynaamisuus Monimutkaisuus Tehtävien optimaalinen jako Yhteinen tietoisuus Joustavuus Käsitteellinen hallinta, kommunikaatio Valmius toimia ja uudelleen suuntautua Tulkitsevuus Taidolliset vaatimukset Tiedolliset vaatimukset Epävarmuus See more Norros

21 Turvallisuus Tavoitteet Tuottavuus Terveys Tilannemalli Prosessin häiriöitymisen havaitseminen Vuoto luupissa YA16 ~50g/s Paineistimen pinta laskee Primääripiirin massatase Lämmönsiirto YZ36 laukeaa, ei toteudu Suojarakennuksen tiiveys Hätäjärjestelmien voimansaanti Henkilöstön turvallisuus Esittää toiminnan tilannekohtaiset vaatimukset suhteessa yleisiin tavoitteisiin Muodostaa referenssin Suoritukselle Toimintatavan perustehtäväsuuntautuneisuudelle Seurausten rajoittaminen Tilanteen tunnistaminen Laitoksen saattaminen turvalliseen tilaan Lis äveden syöttäminen AZ24- signaali laukeaa TJ- pumput käynnistyvät VP&R&T: A0- Primääripiirin jäähdyttäminen R&T: Pikasulut ja var mistuk - set VP:n päätöksellä VP&R&T: I0 käyttöön ( kriteeristä YZ36, ilmoitus R:n näy tölle) R&T: P ikasul ut ja varmistukset I0- ohjeen mukaan ohje käyttöön (kriteeristä YZ24, ilmoitus R:n näytölle) R&T: Pikasulut ja varmistukset A0- ohjeen mukaan, jos ei ole jo tehty R: Automaattisten toimintojen varmistus R&T: Laitossuojaus - järjestelmän tilan tarkistus VP&R&T: A1 - ohje käyttöön (A0:n ohjaamana ) R: Primääripiirin massataseen hallinta, TJ - ja TH - pumput, YD - tiivisteveden hallinta T: Primääripiirin nopea tai max jäähdytys R: TH- akkujen erotus, mm. kiehumavaran hallinta ja primääripiirin paineen seuranta Suojarak ennuksen eristys T&VP: Aktiivisuus - tarkastukset T&R: Signaalien YZ71-77 ja YZ96 sekä YA13P916 tarkistus T&VP: Tunnistuksen varmistus R: Suojarakennuk - sen tiiveyden hallinta, mm. YZ36 - avaimen kääntäminen asentoon ON 21 Dieselien käynnistyminen Diesel käynnistyy T: Dieselin valvonta Henkilöstön evakuointi VP: Henkilökunnan hälyttäminen VP: Henkilökunnan hälyttäminen

22 Mallien tarkoitus Referenssi toimintaa tutkittaessa Eri mallit yhdessä määrittävät toiminnan perustehtävän Perustehtävä: työn merkitys ja mieli Perustehtävästä seuraa vaatimuksia, jotka: Pitää ottaa huomioon kaikissa tilanteissa Eivät aina ole ilmeisiä Muuttuvat ajan myötä Perustehtävän kuvausta käytetään hyväksi, kun analysoidaan, kuinka ihmiset todellisessa toiminnassaan ymmärtävät toiminnan tavoitteen ja ottavat sen huomioon. 22

23 Kenttätutkimus Haastattelut Täyden mittakaavan tilannesimulaatio Yleiskuva, pääkamerat Prosessin käyttäytyminen Asiantuntija-arvio suorituksesta Subjektiiviset arviot Suoriutuminen, kuormitus, käyttöliittymä Tilanteen rekonstruktio Modelling - Criteria and measures to be used in assessment Data Collection Data Analysis Assessment 23

24 Analyysi Kvantitatiivinen analyysi suoritukselle, kuormitukselle yms. Toiminnan kulun kuvaus Toimintatavan analyysi Modelling - Criteria and measures to be used in assessment Data Collection Data Analysis Assessment 24

25 Toiminnan kulun kuvaus: Episodi 1 - Pikasulku aika Havainnot, Kommunikaatiot lähde Teko 0:00:01 Vuoropäällikkö Reaktorimestari Turpiiniteknikko 0:00:12 0:00:21 0:00:28 25

26 EPISODI 2: A0-ohjeen käyttöönotto Aika Havainto Lähde Teko Vuoropäällikkö Reaktorimestari Turpiiniteknikko 26

27 Tapa-analyysi eräässä hätätilanne-episodissa Merkki - TJ pumppu käy - A0-kriteeri näytöllä Kohde - Massatase vaarantunut - A0-tilanne Tavan luonnehdinta: Tulkitsevuus Valmius uudelleensuuntautumiseen Joustavuus Tehtävien optimointi Yhteisen tietoisuuden muodostuminen Kommunikaation luonne Tulkinta - Primääripiirissä on vuoto - A0-ohjeen käyttöönotto 27

28 Päätelmät koskien systeemikäytettävyyttä Instrumentaalinen funktio Suoritus saatiinko tehtävät tehtyä Aikakriteerit Virheet Psykologinen funktio Käsitys prosessitilanteesta Käsitys prosessin dynamiikasta Kuormittuneisuus Kommunikatiivinen funktio Toimintatapa, perustehtäväsuuntautuneisuus Toiminnan mieli Modelling - Criteria and measures to be used in assessment Data Collection Data Analysis Assessment 28

29 Lopuksi Systeemikäytettävyys kertoo järjestelmän sopivuudesta suunniteltuun toimintaan kolmen funktion avulla Koulutuksesta: Paljon toimintatavasta määräytyy koulutuksen ja yhteisön arvojen kautta. Kattavalla koulutuksella voidaan korjata puutteita käytettävyydessä Tietojärjestelmien suunnittelusta: Tietojärjestelmät ovat osa organisaation kulttuuria ja ilmaisevat vallitsevia käsityksiä työstä 29