Verkkopalvelun käyttökelpoisuus ja arviointi

Transkriptio

1 Verkkopalvelun käyttökelpoisuus ja arviointi 4. luento erikoistutkija Kirsi Silius & tutkija Anne-Maritta Tervakari Hypermedialaboratorio Tampereen teknillinen yliopisto Hypermedialaboratorio 1

2 Teemat: Arviointityö käytännössä Case 1: Vakuutuksen verkkopalveluiden arvioiminen Case 2: TTY:n virtuaaliyliopiston verkkokurssien arviointi Case 3: avustajaportaali Useimmiten esiin nousseita ongelmakohtia Hypermedialaboratorio 2

3 Kolme erilaista tapausta Esimerkkitapauksia, joiden arviointitulokset ovat pääsääntöisesti julkisia. Case 1: Vakuutuksen verkkopalveluiden arvioiminen Viiden vakuutusyhtiön verkkosivustojen käyttökelpoisuuden asiantuntija-arviointi osana einsurance -hanketta Case 2: TTY:n virtuaaliyliopiston kurssit - esimerkki laajasta arviointihankkeesta, jossa tavoitteena on ollut koko organisaation verkko-opetukseen liittyvän toiminnan kehittäminen. Case 3: Tre@Validia avustajaportaali esimerkki käyttöönottovaihetta tukevasta arvioinnista Hypermedialaboratorio 3

4 Case 1: Vakuutuksen verkkopalveluiden arvioiminen Hypermedialaboratorio

5 Case 1: Käyttökelpoisuuden arvioiminen Arvioinnin kohteina ovat seuraavat verkkopalvelut More Than: Online yhtiö, perinteisen vakuutusyhtiön sähköinen jakelukanava Chubb Insurance: Perinteinen vakuutusyhtiö, joka tarjoaa palveluitaan myös yrityksille ja meklareille Tesco: Vähittäiskauppaketju, joka myy ja markkinoi sopimusvakuutusyhtiönsä tuotteita ainoastaan verkon välityksellä. Norwich Union: Niin sanottu perinteinen vakuutusyhtiö. Sainsbury's Bank: Vähittäiskaupparyhmä, jolla on myös oma pankki. Myy ja markkinoi vakuutuksia ainoastaan verkon välityksellä. (Ahonen 2006.) Hypermedialaboratorio 5

6 Case 1: Asiantuntija-arvioinnin näkökulmat Käytettävyys informaatioarkkitehtuuriset ratkaisut (informaation luokittelu, navigoinnin toteutus, nimeämiskäytännöt, hakutoiminnot) sivuston tekninen toimivuus informaation laadukkuus (Informaation esitystapa, tekstin luettavuus, erilaisten mediaelementtien käyttö visuaalinen ulkoasu Saavutettavuus käyttäjien erilaiset toimintarajoitteet, erilaiset käyttötilanteet ja erilaiset päätelaitteet. Asiointiprosessien tarkoituksenmukaisuus ja kattavuus Lisäarvot Hypermedialaboratorio 6

7 Case 1: Arviointimenetelmät Erilaiset tarkistuslistat ARVO- arviointityöväline WCAG -Web Content Accessibility Guidelines tarkistuslistat Automaattitarkistimet HTML-merkkauksen ja CSS-syntaksin validius WebXACT-työväline Eläytymismenetelmä soveltaen ns. skenaariopohjaisen arvioinnin ideaa keskeisten asiointiprosessien läpikäyminen tavoitteena oli testata onnistuuko tehtävän sujuva suorittaminen sekä kiinnittää huomiota niihin tekijöihin, jotka mahdollisesti voivat osoittautua ongelmallisiksi käyttäjille. Hypermedialaboratorio 7

8 Case 1: Tuloksia 1/5 Navigoinnin tukeminen (More Than ja Chubb Insurance Company) JavaScriptit sivuston käytön kannalta kriittisissä toiminnoissa (-) hankaluuksia ruudunlukuohjelmia ja mobiililaitteita käyttäville Epätyypillisiä navigointiratkaisuja (-) Kahden erillisen sivuston integroiminen Puutteellisesti toteutettu käyttäjän sijainnin osoittaminen navigointirakenteessa Avattujen ja avaamattomien linkkien esitystapa (More Than) Sivujen kauko-ohjainten käyttö (linkistä avautuu pop-up ikkuna, jossa olevista linkeistä valitsemalla siirrytään eteenpäin Linkkien totutusta tavasta eroava esitystapa (-) käyttäjät eivät löydä linkkejä Uusien sivujen avaaminen uuteen ikkunaan (-) useiden ikkunoiden hallinta noviisikäyttäjälle haasteellista Informaation perusluokittelu vakuutustyyppien mukaan (+) käyttäjille tuttu nimeämiskäytäntö suhteellisen onnistunutta Hypermedialaboratorio 8

9 Case 1: Tuloksia 2/5 Visuaalinen ulkoasu (Tesco ja Chubb Insurance Company) Johdonmukaisuus visuaalisessa suunnittelussa (+) Yleisilme selkeä ja ilmava (+) Yleisilme suhteellisen raikas (Tesco) Yleisvaikutelma taas raskas, jopa tunkkainen (Chubb) Toimivuus ilman värejä (+/-) Kontekstuaalisia linkkejä vaikea erottaa Paikoin riittämätön kontrasti Avainsanojen korostaminen (-) Käytetty ns. kuvituskuvia Tesco: lastenkirjamaiset kuvat todennäköisesti jakavat mielipiteitä (+/-) Chubb: sekä animaation että kuvien merkitys kyseenalainen (-) Hypermedialaboratorio 9

10 Case 1: Tuloksia 3/5 Saavutettavuus Riippuvuus JavaScriptistä (-) ja uusien sivujen avaaminen uuteen ikkunaan (-) ongelmia ruudunlukulaitteiden ja mobiililaitteiden käyttäjille Tekstin koon suurentaminen (-) seurauksena lukukelvottomia sivuja Kontrasti tekstin ja taustan välillä heikko (-) Ongelmia ikääntyville henkilöille, heikkonäköisille, heikkolaatuista näyttöä käyttäville Oikopolkujen tarjoaminen keskeisiin toimintoihin (-/+) Lomakkeiden toimivuus (-/+)) Hypermedialaboratorio 10

11 Case 1: Tuloksia 4/5 Asiointiprosessien tukeminen Käyttötarkoituksen selviäminen jo etusivulla (+) Erillinen palveluosio nykyisille asiakkaille (+/-) Käyttäjän ohjaaminen läpi prosessin Lomakkeen avaaminen uuteen ikkunaan (-) Vaiheistettu lomake (+) Ohjeiden tarjoaminen (+) Erilliset ohjetekstit, mahdollisuus kysyä ohjeita chatin välityksellä (+) Vaihtoehtoiset asiointikanavat Mahdollisuus ottaa yhteyttä puhelimitse, s-postilla, tekstipuhelimella Informaation tarjoaminen oikeassa asiayhteydessä (+/-) Hypermedialaboratorio 11

12 Case 1: Tuloksia 5/5 Lisäarvojen toteutuminen Ajasta ja paikasta riippumattomuus tarjouspyynnön tekemisen suhteen Vain yksittäistapauksissa muiden asiointiprosesseihin liittyen Yleensä tarjolla puhelinnumero, johon voi soittaa Perusinformaatiota eri yritysten vakuutuksista Mahdollistaa karkean tason vertailun eri yritysten välillä Palvelun tuottajan näkökulmasta merkittävä lisäarvo digitaalisessa muodossa olevan sisältö toimintoja voidaan siirtää asiakaan itsensä tehtäväksi Hypermedialaboratorio 12

13 Case 2: TTY:n virtuaaliyliopston kurssit Hypermedialaboratorio

14 Case 2: TTY:n virtuaalyliopiston kurssit Miksi? Laaja toimintatutkimus, missä tavoitteena organisaation toiminnan kehittäminen Tavoitteena selvittää millaisia opiskelijaryhmiä oli tunnistettavissa millaisia odotuksia opiskelijoilla oli verkkopohjaista opetusta kohtaan millaisiksi opiskelijat kokivat verkkopohjaisen opetuksen laadukkuuden mitä lisäarvoa opiskelijat kokivat verkkopohjaisen opetuksen tarjonneen mitä ovat ne ns. merkitykselliset tekijät, jotka muotoutuvat kontekstista riippuen verkkopohjaisen opetuksen edistäviksi ja estäviksi tekijöiksi Aineisto koottu vuosina TTY:n virtuaali-yliopiston pilottikursseilta (25 kpl) keskim. 70 opiskelijaa kurssilla verkkopohjaisen opetuksen osuus 53% Hypermedialaboratorio 14

15 Case 2: Keneltä/mistä tietoa koottiin ja miten Tietoa koottiin opiskelijoilta, opettajilta, toteutukseen osallistuvilta henkilöiltä sekä asiantuntijoiden toimesta verkkototeutuksen ominaisuuksista Aineisto luonteeltaan etnografista Otos kyselyt opiskelijoille kyselyt opettajille (ohjattu lomakkeentäyttö) asiantuntija-arvioinnin tulokset arviointilistat, heuristiset listat ominaisuuksien katsastus erityisesti pedagogisen käytettävyyden näkökulmasta ohjelmallisen arvioinnin tulokset erilaiset dokumentit, jotka on koottu esim. ohjauskäynneiltä opettajia yhdeksän harkinnanvarainen näyte opiskelijoita alkukyselyssä 578 (34%) ja loppukyselyssä 222 (13%) Hypermedialaboratorio 15

16 Case 2: Mitä tietoa koottiin Esimerkiksi opiskelija henkilökohtainen konteksti oppimistavoitteet, opiskelumotivaatio, suhtautuminen verkkoopiskeluun ja panostaminen opiskeluun, oma rooli oppijana, odotukset oppimisen siirtovaikutuksesta, aiemmat verkkoopiskelukokemukset kuten myös sellaiset tekijät kuin tietotekniset valmiudet, opintojen vaihe, aiempi opiskelumenestys, työssä käynti opintojen ohella jne opintojakson laadukkuus opiskelun ja oppimisen näkökulmasta toteutuksen vaikutus oppimiseen, kurssin vaikutus verkkoopiskeluun suhtautumiseen jne. käytettävyys lisäarvot Hypermedialaboratorio 16

17 Case 2: Mitä tietoa koottiin Verkkototeutuksen käytön sujuvuus (toiminnallinen laadukkuus - miten asiointiprosessi sujuu) käytettävyys ja saavutettavuus (esteettömyys) näytöllä esitetyn informaation lukemisen tukeminen multimediaelementtien käyttö tekninen toteutus visuaalinen suunnittelu navigoinnin tukeminen virheistä toipuminen saavutettavuus (esteettömyys) Verkkototeutuksen hyödyllisyys (utility) = soveltuvuus tiettyyn käyttötarkoitukseen (osa verkkopalvelun teknisen laadun eli mitä asiakas saa palveluprosessin lopputuloksena). Pedagoginen käytettävyys Informaation (sisällön) laadukkuus (informaatioarkkitehtuuri, esitystapa, luotettavuus). Hypermedialaboratorio 17

18 Tietojen analysointi Laajan tilastollisen aineiston analysoinnissa käytettiin tilastollisia menetelmiä pääkomponenttianalyysia, K-Means Cluster klusterointimenetelmää neuroverkkoja esim. SOM (self organized maps) Kyselylomakkeiden avointen vastausten sekä erilaisten dokumenttien analysointiin laadullisen tutkimuksen menetelmiä (tekstianalyysi - sisällönanalyysi) Tuloksena laaja aineisto kaikkea ei vieläkään analysoitu Hypermedialaboratorio 18

19 Opiskelijoiden ryhmittyminen laadun kokemuksen perusteella 1. verkko-opiskelijat (22%) 2. tietoteknistä tukea tarvitsevat (20%) 3. passiiviset(9%) 4. pettyneet (22%) 5. tunnolliset (27%) Opiskelijat täyttivät verkkolomakkeen opintojakson lopussa (N=157) Hypermedialaboratorio 19

20 Ryhmien ominaisuuksia 1. verkko-opiskelijat - suhtautuivat positiivisesti verkkoopiskeluun - tietotekniset taidot melko hyvät - yhteisöllisyydellä ei merkitystä - saavuttivat opiskelutavoitteensa hyvin - oppivat syvällisesti tiedot - opiskelivat mieluiten yksin - opintojakso oli melko helppo - eivät osallistuneet lähiopetukseen, mutta osallistuvat verkko-opetukseen - työmäärä pieni verrattuna perinteiseen - oppimateriaalin laatu parani - oppimateriaalin sisältö vaikutti motivaatioon positiivisesti - kokivat opintojakson soveltuvan parhaiten itseopiskeluun N=34 N=157 k-means klusterointi p < tietoteknistä tukea tarvitsevat - suhtautuivat hieman negatiivisesti verkko-opiskeluun - muita opiskelijoita heikommat tietotekniset taidot - yhteisöllisyys melko merkittävässä roolissa - opiskelutavoitteiden saavuttaminen heikkoa - oppivat lähinnä irrallisia asioita - kokivat saaneensa heikosti tietoa opintojaksosta ennen sen alkamista - opintojakso oli melko vaikea - osallistuivat paljon lähiopetukseen N=31 3. passiiviset - suhtautuivat negatiivisesti verkko-opiskeluun - yhteisöllisyydellä ei merkitystä - eivät saavuttaneet opiskelutavoitettaan - oppivat hajanaisia yksityiskohtia - opiskelivat mieluiten opettajan ohjaamana - opintojakso oli vaikeahako - eivät osallistuneet lähi- eivätkä verkko-opetukseen - kokivat saaneensa palautetta opettajalta vähemmän kuin perinteisessä - oppimateriaalin laatu heikkeni - oppimateriaalin sisältö vaikutti motivaatiota heikentävästi - kokivat opintojakson soveltuvan parhaiten opettajan ohjaamaksi N=15 Hypermedialaboratorio 20

21 Ryhmien ominaisuuksia 4. pettyneet - suhtautuivat negatiivisesti verkkoopiskeluun - tietotekniset taidot hyvät - yhteisöllisyydellä positiivinen merkitys - saavuttavat opiskelutavoitteensa melko hyvin - oppivat sisällön pääpiirteittäin - opintojakso oli helpohko - opiskelivat mieluiten opettajan ohjaamina - osallistuivat aktiivisesti lähiopetukseen, mutta eivät niinkään verkko-opiskeluun - opettajalta saatu palaute vähäistä verrattuna perinteiseen opetukseen - oppimateriaalin laatu heikkeni voimakkaasti -oppimateriaalin sisältö vaikutti motivaatioon negatiivisesti -opintojakso soveltuu parhaiten opettajan ohjaamaksi N=157 k-means klusterointi p < 0.05 N=34 5. tunnolliset - suhtautuivat positiivisesti verkko-opiskeluun - tietotekniset taidot melko hyvät - yhteisöllisyydellä positiivinen merkitys - saavuttivat melko hyvin opiskelutavoitteensa - oppivat sisällön melko syvällisesti - saivat melko riittävästi tietoa opintojaksosta ennen sen alkamista - osallistuivat aktiivisesti lähiopetukseen, mutta myös verkko-opetukseen - työmäärä suurempi kuin perinteisessä opetuksessa - kokivat saaneensa palautetta opettajalta enemmän kuin perinteisessä - oppimateriaalin laatu parani - oppimateriaalin sisältö vaikutti motivaatioon positiivisesti N=43 Hypermedialaboratorio 21

22 Yleisimmät lisäarvot Montako % ko. ryhmästä valitsi kunkin lisäarvon. Kukin vastaaja saattoi valita useamman kuin yhden lisäarvon. Lisäarvo joustavuus ajan suhteen joustavuus paikan suhteen joustava pääsy materiaaleihin vastuu omasta oppimisesta enemmän materiaalia havannollisempi materiaali Kaikki vastaajat Verkkoopiskelijat ATKtukea Passiivis et Pettyneet Tunnolliset Hypermedialaboratorio 22

23 Eri ryhmien kokemuksia verkko-opiskelusta Verkko-opiskelijat Oppimateriaalin laatu parani verkko-opetuksen myötä vaikutti positiivisesti opiskelumotivaatioon ja tuki opiskelua. Kokivat käytettyjen opetustapojen, opintojakson ajankäytön vaikuttaneen positiivisesti opiskeluun. Verkossa olevat harjoitustehtävät tukivat melko paljon opiskelua. Tärkeimmät lisäarvot: joustavuus paikan suhteen, materiaalin saatavuus ja mahdollisuus syventyä itsenäisesti opittavaan asiaan. Laadukas verkkomateriaali, itsenäisen verkkotyöskentelyn tukeminen merkittäviä tekijöitä Jatkossa 88% vastaajista valitsisi mieluiten verkkopohjaisen opintojakson. "Webbidemot erittäin hyvä "Laskuharjoitukset olivat todella hyvät koska siellä joutui laskemaan itse ja porkkanapisteet kannustivat yrittämään". Hypermedialaboratorio 23

24 Eri ryhmien kokemuksia verkko-opiskelusta Tietoteknistä tukea tarvitsevat Tiedon saaminen opintojaksosta ennen sen alkamista puutteellista. Opiskelutavoitteiden saavuttaminen onnistui heikohkosti. Muista ryhmistä poiketen tämän ryhmän edustajista yli puolet sijoittui pakolliselle verkkokurssille. Kokivat verkossa olevien harjoitustehtävien tukeneen opiskeluaan. Noin 33% ryhmästä koki verkko-oppimateriaalin tukevan omaa opiskeluaan. Melko neutraaleja arvioita opetuksen laadukkuudesta. Tärkeimmät lisäarvot: joustavuus ajan ja paikan suhteen, oppimisympäristön laajeneminen. (Valitsivat vain vähän lisäarvoja). >> Opiskelurutiinien tukeminen verkon välityksellä. >> Jatkossa 50% vastaajista valitsisi mieluiten verkkopohjaisen. opintojakson....verkon tärkein tehtävä on toimia keskustelukanavana ongelmatilanteissa ja tarjota kurssimateriaali. Hypermedialaboratorio 24

25 Eri ryhmien kokemuksia verkko-opiskelusta Passiiviset Suhtautuivat varsin negatiivisesti verkko-opiskeluun ja eivätkä osallistuneet lähi- tai verkko-opetukseen Oppimateriaalin laatu heikkeni verkkopohjaisen opetuksen myötä vaikutti heikentävästi opiskelumotivaatioon. Samaten opintojakson toteutunut ajankäyttö. Yksikään ei kokenut käytettyjen opetustapojen tukeneen opiskeluaan. Palautetta opettajalta vähemmän kuin perinteisellä opintojaksolla. Eivät kokeneet oppivansa verkko-opintojaksolla. Tärkeimmät lisäarvot: oppimateriaalin parempaan saatavuus, suurempi määrä, mahdollisuus syventyä itsenäisesti. Ongelmat tuntuvat liittyvän opintojaksolla opiskelun motivaatioon ja ajankäyttöön. Jatkossa 73% ryhmästä valitsisi mieluiten perinteisen opintojakson. Oma motivaatio ja ajankäyttö olivat ratkaisevia. Valitettavasti huonoon suuntaan tällä kertaa. Hypermedialaboratorio 25

26 Eri ryhmien kokemuksia verkko-opiskelusta Pettyneet (tietoteknisesti vahvoja) Oppimateriaalin laadun heikentyminen verkkopohjaisen opetuksen myötä vaikutti heikentävästi opiskelumotivaatioon ja vaikutti negatiivisesti opiskeluun (esim. päivitysten viivästyminen). Palautteen ja opastuksen saaminen opettajalta vähäisempää kuin perinteisellä opintojaksolla. Lähiopetus tuki parhaiten opiskelua, verkossa käytetyt opetustavat vaikuttivat negatiivisesti omaan opiskeluun (50%). Tärkeimmät lisäarvot: oman materiaalin tekeminen, joustavuus paikan suhteen, ryhmätyötaitojen kehittyminen. Verkko-toteutuksen käytettävyys ja esteettömyys sekä merkittäviä tekijöitä sekä oppimisen ohjaus ja opettajan antama palaute. Jatkossa 79% vastaajista valitsisi mieluiten perinteisen opintojakson. Toimiva portaali, jota kurssinpitäjät eivät käyttäneet Verkko-opinnot sinänsä voi tehdä myös erittäin toimivasti, mutta tällä kurssilla verkon kanssa pelleilystä ei ollut muuta kuin haittaa. Hypermedialaboratorio 26

27 Eri ryhmien kokemuksia verkko-opiskelusta Tunnolliset Oppimateriaalin laadun parantuminen verkkopohjaisen opetuksen myötä vaikutti positiivisesti opiskelumotivaatioon. Käytetyt opetustavat ja toteutunut ajankäyttö vaikuttivat opiskeluun positiivisesti. Lähiopetus, verkkomateriaali, harjoitustehtävät tukivat oppimista. Työmäärä suurempi kuin perinteisellä opintojaksolla. Opiskelutavoitteiden saavuttaminen onnistui hyvin. Palautetta enemmän opettajilta verrattuna perinteiseen. Tärkeimmät lisäarvot: joustavuus ajan ja paikan suhteen, oppimateriaalin saatavuus, tietokoneen käyttötaitojen oppiminen. Laadukas verkkomateriaali, vuorovaikutteisen työskentelyn tukeminen sekä opettajan antama palaute merkittäviä tekijöitä. Jatkossa 85% valitsisi mieluiten verkkopohjaisen opintojakson. "Opetustavasta oli hyötyä" "Lisäksi minulle merkitsi paljon mukava opettaja ja muut kurssilaiset." Hypermedialaboratorio 27

28 Case 2: Opetuksen laadukkuuden merkityksellisiä tekijöitä Verkko-opiskelun jatkossa valitsevat kokivat löytäneensä enemmän lisäarvoja kuin perinteisen opintojakson jatkossa valitsevilla verkko-opiskelun valinneet keskimäärin 7,7 lisäarvoa perinteisen opiskelun valinneet keskimäärin 4,7 lisäarvoa Merkitykselliset tekijät, jotka vaikuttavat korostuvan jatkossa verkkopohjaisen opintojakson valinneilla, liittyvät mm. verkko-opiskelumateriaaliin toteutuneeseen ajankäyttöön käytettyihin opiskelu- ja opetustapoihin opiskelumotivaatioon. Merkitykselliset tekijät, jotka vaikuttavat korostuvan jatkossa perinteisen opintojakson valinneilla, liittyvät mm. opiskelijoiden aikaisempiin tietoihin ja taitoihin opiskeluprosessia tukevat ohjeistukset ja opastukset verkkototeutuksen käytettävyyteen ja esteettömyyteen (esim. päivitys, tekniset ongelmat) Hypermedialaboratorio 28

29 Case 3: Käyttäjäkokemuksen kvantitatiivinen analyysi/ avustajaportaali Hypermedialaboratorio

30 Taustaa Tutkimus liittyy Invalidiliitto ry:n avustajaportaalin suunnittelu- ja toteutushankkeeseen toteutus rahoitus Raha-automaattiyhdistys ry. Hankkeessa toteutetaan henkilökohtaisten avustajien välitys- ja informaatiopalvelu vaikeavammaisten henkilöiden käyttöön. uudentyyppinen verkkopalvelu, jonka avulla voidaan ohjelmallisesti kohdentaa oikeantyyppisiä avustajaresursseja vaikeavammaisten henkilöiden tarpeisiin oikea-aikaisesti tukee vaikeavammaisia henkilöitä löytämään omana palvelutarpeeseensa sopivan henkilökohtaisen avustajan tai avustajan sijaisen (oikeantyyppisten avustajaresurssien kohdentaminen ohjelmallisesti) auttaa henkilökohtaisia avustajia sopivien työtilaisuuksien löytämisessä keskeiset toiminnallisuudet ovat käytettävissä kämmentietokoneilla osa toiminnoista on saavutettavissa myös tekstiviestien välityksellä Hypermedialaboratorio 30

31 Käyttöönottovaiheen ensimmäinen selvitys Kysymyksessä esitutkimus, jota seuraa tutkimus syksyllä 2007 käyttöönoton yhteydessä Avustajaportaalin suunnittelu- ja toteutusvaiheessa tehtiin kaksivaiheinen arviointitutkimus tutkittiin havainnoimalla mahdolliset käytettävyys- ja saavutettavuusongelmat (avustajat, työnantajat, virkamiehet) -> seuraavassa kuvaillaan prosessi, tulokset on jo hyödynnetty toteutuksessa selvitettiin lomakekyselyllä, millaisin ehdoin potentiaaliset käyttäjät ottaisivat portaalin käyttöönsä sekä millainen käsitys heillä on portaalin imagosta -> seuraavassa esitellään tutkimuksen teko ja tulokset Hypermedialaboratorio 31

32 Testaus havainnoimalla ja kyselyllä Varsinaisessa testaustilanteen aloitusvaiheessa käyttäjiltä (avustajat, työnantajat, virkamiehet) koottiin tietoa strukturoidun haastattelun avulla henkilökohtaisista tietokoneen käyttötavoista henkilökohtaisen avustajan tai työtilaisuuksien löytymiseen liittyvistä ongelmista Avustajaportaalin testauksessa käytettiin yhteisläpikäynnin menetelmää eli keskustelevaa havainnointia, johon oli yhdistetty teemahaastattelu (vrt. Routio 2005a; Sinkkonen 2002, 310) Menetelmä on eräs Contextual Iquiry -menetelmän muoto, joka soveltuu varsin hyvin arvioitaessa jonkin sovelluksen soveltuvuutta tiettyyn käyttökontekstiin. Olennaista on käyttäjän havainnointi ja haastattelu todellisessa käyttötilanteessa suorittamassa todellisia tehtäviä. Erityisen hedelmälliseksi menetelmän tekee se, että käyttäjä ja havainnoija voivat yhdessä saada selville jotakin sellaista, mitä käyttäjä ei välttämättä osaa ääneen kertoakaan. (Esim. Holzblatt & Beyer 1993; Preece ym. 1994, 661.) Toisin sanoen testin ohjaajalle tarjoutuu mahdollisuus kysyä käyttäjältä esim. toiminnan syitä, esteitä, vaihtoehtoja sekä selvittää samalla käyttäjän mielipiteitä termien osuvuudesta, informaatiosisällön tarkoituksenmukaisuudesta sekä käyttäjän näkemyksiä verkkopalvelun tuomista lisäarvoista. Kukin testi-henkilö suoritti testitarinan mukaiset tehtävät ja testin ohjaaja esitti käyttäjälle aktiivisesti kysymyksiä, joista hän laati samalla muistiinpanot. Hypermedialaboratorio 32

33 Testaus havainnoimalla ja kyselyllä Avustajaportaalin testauksen päätyttyä testin ohjaaja keräsi tietoa strukturoitua haastattelua hyödyntäen käyttäjien käyttökokemuksista sekä avustajaportaalin käyttöön ja käyttöönottoon liittyvistä näkemyksistä. Välittömästi loppuhaastattelun päätyttyä testinohjaajat kokoontuivat keskustelemaan keskeisistä testin kuluessa tekemistään havainnoistaan. Tilanne tarjosi myös testinohjaajalle mahdollisuuden täydentää muistiinpanojaan heti tuoreeltaan. Testaustilanteen jälkeisessä vaiheessa sovellettiin jälkikäteen tapahtuvan kyselyn -menetelmää (vrt. Sinkkonen 2002, 310). Testikäyttäjät saivat kokeilla verkkopalvelua vapaasti ja tehdä tehtäviä itsekseen, jonka jälkeen he vastasivat verkkopalvelun käyttöön liittyviin kysymyksiin www-lomakkeen avulla. Hypermedialaboratorio 33

34 Lomakekyselyn hypoteesit Ovatko henkilöt, joilla on vähäisempi tietokoneen ja Internetinkäyttökokemus, muita haluttomampia käyttämään avustajaportaalia tulevaisuudessa? H 1 : Käyttäjä, joka ei ole tottunut käyttämään tietokonetta, ei ole halukas käyttämään avustajaportaalia. Onko haluttomuus käyttää avustajaportaalia tulevaisuudessa yhteydessä siihen, että käyttäjä tarvitsee erityisiä apuvälineitä tietokoneen käytössä? H 2 : Käyttäjä, joka käyttää apuvälineitä tietokoneen käytössä, ei ole halukas käyttämään avustajaportaalia. Onko haluttomuus käyttää avustajaportaalia tulevaisuudessa yhteydessä siihen, että käyttäjä kokee avustajaportaalin käytön hankalaksi? H 3 : Käyttäjä, joka kokee avustajaportaalin ominaispiirteet negatiivisina, ei ole halukas käyttämään avustajaportaalia. Ovatko potentiaaliset käyttäjät valmiita maksamaan palvelun käytöstä? H 4 : Käyttäjä, joka on haluton maksamaan avustajaportaalin käytöstä, pitää avustajaportaalia tarpeettomana. Hypermedialaboratorio 34

35 Aineiston hankinta Tutkimuksen aineisto koottiin kyselylomakkeen avulla. Kyselylomake postitettiin kaikille Tampereen kaupungin avustajapäätöksen saaneille vammaisille henkilöille sekä heidän ensisijaisille henkilökohtaisille avustajille tammikuussa kysymyksessä harkinnanvarainen näyte (ei otantamenetelmää) havaintoyksiköitä yksiköitä on 220 (110 vammaista henkilöä ja 110 henkilökohtaista avustajaa) Miksi näyte? perusjoukko = Suomessa asuvat vaikeavammaiset henkilökohtaista avustajaa käyttävät henkilöt ja heidän henkilökohtaiset avustajat tavoitteena ei ollut yleistäminen perusjoukkoon (otoksen edustavuus ei tässä mielessä tärkeässä roolissa) perusjoukon ominaisuuksia vaikea selvittää (Suomessa kerätty vain vähän tietoa) edustavuutta vaikea arvioida Hypermedialaboratorio 35

36 Analysointimenetelmät Käytetty ei-parametrisiä testejä johtuen muuttujien mitta-asteikosta ja havaintojen määrästä Aineistossa pääsääntöisesti luokittelu- ja järjestysasteikollisia muuttujia Likert-asteikollinen tulkitaan usein välimatka-asteikolliseksi tarvittaessa viisiluokkainen Likert-asteikko voidaan muuttaa kolmiluokkaiseksi Aineisto kahdessa osassa Aineisto 1: vastaajia 66 kpl ristiintaulukointi, χ 2 -testi, gamma- tai lambda suure sekä Goodmannin ja Kruskalin tau Aineisto 2: vastaajia 18 kpl Spearmannin järjestyskorrelaatiokerroin sekä Mannin- Whitneyn U-testi Hypermedialaboratorio 36

37 Taustatieto vastaajista kyselyyn vastasi 66 henkilöä vastausprosentti 30 työnantajia 56 %, avustajia 44 % binomitestin mukaan jakautuminen on satunnaista naisia 79 %, miehiä 21 % ikäjakauma suurin ryhmä (39 %) vuotiaat vastaajat pienin ryhmä (3 %) yli 65 vuotiaat vastaajat muut ikäryhmät (18 25, 26 35, 36 45, 56 65) osuus % työnantajista (N=37) 47 % tarvitsee apuvälinettä tietokoneen käytössä, 41% ei tarvitse apuvälinettä, 12 % ei osannut sanoa tarvitseeko vai ei apuvälinettä. Hypermedialaboratorio 37

38 Tietokoneen käyttökokemus Suurin osa (87 %) käyttää tietokonetta ainakin silloin tällöin vain 13 % ei ollut käyttänyt tietokonetta koskaan yli puolet (53 %) vastaajista käytti tietokonetta päivittäin vastaajan iällä, sukupuolella, roolilla, apuvälineiden käytöllä ei tilastollisesti merkitsevää yhteyttä tietokoneen käytön tiheyteen Suurimmalle osalle (63 %) Internetin käyttö oli tuttua Internetin käyttö vierasta 14 %:lle vastaajista vastaajan sukupuolella, roolilla, apuvälineiden käytöllä ei tilastollisesti merkitsevää yhteyttä tietokoneen käytön tiheyteen vaikuttaa siltä, että vastaajan iällä ja Internetin käytön tuttuudella voisi olla yhteys: yli 35 vuotiaille Internetin käyttö vieraampaa χ 2 -testin edellytykset eivät voimassa, 25% frekvensseistä alle 5, p.05 Hypermedialaboratorio 38

39 Tietokoneen käyttökokemus Suurin osa (60 %) vastaajista oli sitä mieltä, etteivät tarvitse tietokoneen käyttökoulutusta 25 % vastaajista koki tarvitsevansa käyttökoulutusta vastaajan sukupuolella tai apuvälineiden käytöllä ei tilastollisesti merkitsevää yhteyttä tietokoneen käyttökoulutuksen tarpeeseen vastaajan roolilla (työnantaja vai avustaja) tilastollisesti erittäin merkitsevä yhteys (p.001) taun mukaan vastaajan rooli selittäisi 21,4 % käyttökoulutuksen tarpeesta työnantajat kokevat avustajia useammin tarvitsevansa tietokoneen käyttökoulutusta lambdan tulkinta tässä yhteydessä ongelmallista johtuen pienestä aineistosta vastaajan iällä tilastollisesti merkitsevä yhteys (p.01) taun mukaan vastaajan ikä selittäisi 12,4 % käyttökoulutuksen tarpeesta iältään vanhemmat kokevat nuorempia useammin tarvitsevansa tietokoneen käyttökoulutusta lambdan tulkinta tässä yhteydessä ongelmallista johtuen pienestä aineistosta Hypermedialaboratorio 39

40 Käsitykset avustajaportaalista Avustajaportaalin ominaispiirre Keskiarvo Keskihajo nta N Yleisvaikutelma portaalista: erittäin negatiivinen erittäin positiivinen 3, Yleisvaikutelma portaalin käytöstä: erittäin vaikea erittäin helppo 4, Portaalin käyttö ensimmäisen kokeilukerran jälkeen: erittäin vaikeaa erittäin helppoa 4, Portaalin käyttö: erittäin vaikeaa erittäin helppoa Portaalissa käytettyjen tekstien ymmärrettävyys: vaikeasti ymmärrettäviä erittäin helppotajuisia 4, Portaalissa liikkuminen: erittäin vaikeaa erittäin helppoa Haluamani toiminnon löytäminen: erittäin vaikeaa erittäin helppoa Portaalin ulkoasu: erittäin sekava erittäin selkeä 3, Käyttö on niin helppoa, etten tarvitse ohjeita: täysin eri mieltä täysin samaa mieltä. Hypermedialaboratorio 40 3,44 1,55 16

41 Käsitykset avustajaportaalista Hieman yli puolet (56 %) avustajaportaalin testiversioon tutustuneista piti portaalia melko tarpeellisena tai erittäin tarpeellisena (N=18) 33 % piti tarpeettomana tai melko tarpeettomana Yli puolet (61 %) avustajaportaalin testiversioon tutustuneista käyttäisi portaalia aivan varmasti tai melko varmasti (N=18) 11 % ei todennäköisesti tai ei varmasti käyttäisi Kaikista vastaajista ainoastaan 15 % olisi valmis maksamaan portaalin käytöstä (N=66) suuri osa (57%) ei ole valmis maksamaan käytöstä Hieman yli puolet (58%) vastaajista ei katsonut tarvitsevansa avustajaportaalin käyttökoulutusta (N=38) Hypermedialaboratorio 41

42 Hypoteesi 1 hylätään H 1 : Käyttäjä, joka ei ole tottunut käyttämään tietokonetta, ei ole halukas käyttämään avustajaportaalia. vastaajat jaettiin kahteen ryhmään tietokoneen käytön tiheyden (joskus, päivittäin) Internetin tuttuuden (tuttua, vierasta) tietokoneen käyttökoulutuksen tarpeen (tarvitsee koulutusta, ei tarvitse koulutusta) mukaan ryhmien vertailu U-testin avulla sen suhteen käyttäisikö avustajaportaalia tulevaisuudessa ei tilastollisesti merkitsevää eroa Hypermedialaboratorio 42

43 Hypoteesi 2 hylätään H 2 : Käyttäjä, joka käyttää apuvälineitä tietokoneen käytössä, ei ole halukas käyttämään avustajaportaalia. vastaajat jaettiin kahteen ryhmään apuvälineen tarve tietokoneen käytössä (kyllä, ei) ryhmien vertailu U-testin avulla sen suhteen käyttäisikö avustajaportaalia tulevaisuudessa ei tilastollisesti merkitsevää eroa Hypermedialaboratorio 43

44 Hypoteesi 3 hylätään H 3 : Käyttäjä, joka kokee avustajaportaalin ominaispiirteet negatiivisina, ei ole halukas käyttämään avustajaportaalia. Spearmannin järjestyskorrelaatiokerroin käyttäjän käsitykset avustajaportaalin ominaispiirteistä eivät ole tilastollisesti merkitsevässä yhteydessä halukkuuteen käyttää avustajaportaalia jatkossa Hypermedialaboratorio 44

45 Käsitykset avustajaportaalista ja halukkuus käyttää avustajaportaalia (Spearmannin järjestyskorrelaatiokerroin) Käyttäisi avustajaportaalia Yleisvaikutelma portaalista Yleisvaikutelma portaalin käytöstä Portaalin käyttö ensimmäisen kokeilukerran jälkeen Portaalin käyttö Portaalissa käytettyjen tekstien ymmärrettävyys Portaalissa liikuminen Halutun toiminnon löytäminen Portaalin ulkoasu Käyttöohjeiden tarve Portaalin tarpeellisuus.799** (**merkitsevä tasolla.01) Hypermedialaboratorio 45

46 Hypoteesi 4 hylätään H 4 : Käyttäjä, joka on haluton maksamaan avustajaportaalin käytöstä, pitää avustajaportaalia tarpeettomana. vastaajat jaettiin kahteen ryhmään ikä (35-vuotiaat ja nuoremmat, yli 35-vuotiaat), sukupuoli (nainen, mies), rooli (avustaja, työnantaja), Internetin tuttuuden (tuttua, vierasta), tietokoneen käyttökoulutuksen tarpeen (tarvitsee koulutusta, ei tarvitse koulutusta) mukaan. ryhmien vertailu U-testin avulla sen suhteen käyttäisikö avustajaportaalia tulevaisuudessa ei tilastollisesti merkitsevää eroa Hypermedialaboratorio 46

47 Johtopäätöksiä 1 Tietokoneen vähäinen käyttökokemus ei vaikuttaisi olevan yhteydessä halukkuuteen käyttää avustajaportaalia tulevaisuudessa. Ne, joilla on vähemmän tietokoneen käyttökokemusta, haluavat kuitenkin koulutusta sen käyttöön. Toive saada avustajaportaalin käyttökoulutusta liittynee halukkuuteen saada ylipäätään tietokoneen käyttökoulutusta etenkin iältään vanhempien työnantajien ollessa kysymyksessä. Hypermedialaboratorio 47

48 Johtopäätöksiä 2 Apuvälineen tarve tietokoneen käytössä ei vaikuttaisi olevan yhteydessä halukkuuteen käyttää avustajaportaalia tulevaisuudessa. Apuvälineitä käyttävät henkilöt eivät näyttäisi eroavan millään tavalla muista vastaajista tietokoneen käyttötiheyden, Internetin tuttuuden tai tietokoneenkäyttökoulutustarpeen suhteen Ovatko apuvälineitä käyttävät henkilöt ovat niin rutinoituneita tietokoneenkäyttäjiä, ettei niiden käyttö sinällään ole esteenä avustajaportaalin käytölle? Hypermedialaboratorio 48

49 Johtopäätöksiä 3 Mielipiteet avustajaportaalin testiversiosta eivät vaikuttaisi olevan yhteydessä halukkuuteen käyttää avustajaportaalia tulevaisuudessa. Halukkuus käyttää portaalia vaikuttaisi siis ennen kaikkea olevan yhteydessä vastaajien käsitykseen portaalin tarpeellisuudesta. Verkkopalvelu, joka auttaa etsimään itselleen sopivan avustajan, koetaan lisäarvoltaan suureksi ja sitä ollaan valmiita käyttämään jo pelkästään tällä perusteella. Jos avustajaportaalin avulla voi löytää itselleen esim. uuden avustajan, se on tärkeää. Henkilökohtaisille avustajille perusteena portaalin käytölle jatkossa on työn saannin helpottuminen. Avustajan työtä voisi portaalin kautta löytyä helpommin kuin esim. työvoimatoimiston kautta. Hypermedialaboratorio 49

50 Johtopäätöksiä 4 Halukkuus maksaa avustajaportaalin käytöstä ei vaikuttaisi olevan yhteydessä siihen, miten tarpeelliseksi tai tarpeettomaksi henkilö kokee avustajaportaalin tai onko hän halukas käyttämään avustajaportaalia jatkossa vai ei. Riippuvainen enemmänkin asenteista Taustalla on löydettävissä ajatus yhteiskunnan vastuusta vammaisten henkilöiden tasa-arvon turvaamisessa Avustukseen liittyvä vammaisille ilmainen, koska avustuksen saanti luo tasa-arvon inhimilliseen elämään verrattuna muihin ihmisiin. Hypermedialaboratorio 50

51 Kritiikkiä Pienien otoskokojen ollessa kyseessä tulee tilastolliseen merkitsevyyteen suhtautua varovasti tulokset voivat johtua sattumastakin tukea laadullisesta analyysista (käynnissä) Kysely tuo esiin ainoastaan käyttäjien mielipiteitä tässä tapauksessa avustajaportaalista ja sen toimivuudesta käytettävyys- tai saavutettavuusongelmat esiin testeissä Summa summarum toimi hyvin esitutkimuksena auttaa suunnittelemaan laajempaa tutkimusta Hypermedialaboratorio 51

52 Ongelmakohtia yleensä Näytöltä lukemisen tukeminen ja olennaisen korostaminen kontrasti, fontit, avainsanojen korostaminen otsikoinnin ja tiivistelmän käyttö Informaation jäsentäminen käyttötarkoituksen kannalta järkevä ja käyttäjälle tuttu informaation pirstoutumisen välttäminen Kokonaiskäsityksen muodostamisen tukeminen (ja sen myötä navigoinnin tukeminen) selkeä navigointi ja kuvaavat linkkitekstit kuva käyttäjälle mitä voi tehdä ja mitkä ovat lisäarvot Toimintoprosessien tukeminen riittävän kattavasti ja riittävän pitkälle miten käyttäjää tuetaan hahmottamaan prosessin eteneminen verkkopalvelun ulkopuolella. Tuki erilaisille päätelaitteille Esimerkiksi mobiililaitteiden tukeminen Hypermedialaboratorio 52