Arviointisuunnitelma Tampereen joukkoliikenteen verkkopalvelu (joukkoliikenne.tampere.fi)

Transkriptio

1 Tampereen teknillinen yliopisto MATHM Verkkopalvelun käyttökelpoisuus ja arviointi Ryhmän nimi: Vampulat Jäsenet: Iita Aho, Antti Kaunisto, Alex Peltonen, Tero Taipale, Pekko Vilpola Arviointisuunnitelma Tampereen joukkoliikenteen verkkopalvelu (joukkoliikenne.tampere.fi)

2 Sisällysluettelo 1 Kuvaus arvioitavasta verkkopalvelusta 1 2 Arvioinnin tavoitteet 2 3 Valitut arviointimallit Käyttäjätestaus Quality Model for Web Sites -malli 4 4 Arvioinnin osa-alueet 5 5 Valitut arviointimenetelmät Käytettävyystesti Quality Model for Web Sites -mallin mukainen arviointi 8 6 Arvioinnin luotettavuuden arviointi 9 7 Ryhmän jäsenten työnjako 10 Lähdeluettelo

3 1 Kuvaus arvioitavasta verkkopalvelusta Arvioinnin kohteena on Tampereen joukkoliikenteen verkkopalvelu, joka löytyy osoitteesta joukkoliikenne.tampere.fi. Verkkopalvelu on jaettu neljään kategoriaan, jotka ovat Matkustaminen, Asiakaspalvelu, Ympäristö ja E-Palvelut. Osiossa Matkustaminen on saatavilla tietoa muun muassa hinnastosta, lipputyypeistä, linjakartoista, esteettömästä liikkumisesta, internet-latauksesta ja aikatauluista. Asiakaspalvelu-osiosta löytyy tietoa matkakorttien latauksesta ja lippujen myyntipisteistä, Tampereen joukkoliikenteen yhteystiedot sekä palvelukuvaus. Tästä osiosta löytyy lisäksi palaute-, kysymys- ja löytötavaraosio sekä ajankohtaiset asiat. Kategoriassa Ympäristö käsitellään joukkoliikenteen vaikutusta ympäristöön ja Tampereen Joukkoliikenteen arvoja ja pyrkimystä ympäristöhaittojen vähentämiseen. E-Palveluihin lukeutuvat verkkoaikataulut, Repa Reittiopas, Nella nettitilaus, Lissu Liikenteenseuranta, Linjakartta, ja Kevyen liikenteen reittiopas. Reittioppaan tarkoitus on nimensä mukaisesti etsiä reitti tiettynä ajankohtana käyttäjän antamasta lähtöpaikasta kohteeseen. Nella nettitilauksen tarkoitus on mahdollistaa matkakortin verkkolataus. Lissu liikenteenseurannan tarkoitus on linjanumerolla merkittyjen linja-autojen sijainnen seuranta reaaliajassa. Linjakartan tarkoitus on Tampereen joukkoliikenteen linjakartan esittäminen graafisesti pysäkkeineen. Kevyen liikenteen reittiopas vastaa idealtaan Repa reittiopasta, mutta huomioi myös matkustusmukavuuteen vaikuttavia tekijöitä, kuten esimerkiksi jyrkät mäet. Verkkopalvelun etusivulta löytyy ajankohtaisia tiedotteita, säätiedot, linkit esimerkiksi aikatauluihin, sekä Repa Reittioppaan pikakäyttöliittymä. Verkkopalvelu on tyypiltään viestinnällinen verkkopalvelu, mutta kirjautumista ei vaadita, eikä siihen ole mahdollisuutta. Verkkopalvelun kohderyhmä ovat kaikki joukkoliikenteen käyttäjät Tampereen joukkoliikenteen toimialueella

4 2 Arvioinnin tavoitteet Arvioinnin tavoitteena on tuottaa tietoa, jonka avulla pystymme arvioimaan Tampereen joukkoliikenteen web-sivujen laadukkuutta. Arviointi kohdistuu pääasiallisesti kahteen palvelun ominaisuuteen, Repa Reittioppaaseen ja pysäkkiaikatauluihin. Valitsimme kyseiset osatoiminnot, koska uskomme niiden olevan relevanteimmat osat palvelua suurimmalle osalle käyttäjistä. Lisäksi toiminnoissa arvioidaan niiden käytettävyyttä ja saavutettavuutta, sillä ne ovat yleisesti ottaen verkkopalvelun kannalta olennaisessa asemassa mahdollistamassa sujuvaa käyttäjäkokemusta. Varsinkin em. laadukkuuden osa-alueet ovat erityisen tärkeitä osia valitsemiemme palvelun ominaisuuksien kannalta, koska niiden kohderyhmä on erittäin heterogeeninen. Käyttöliittymän tulee luonnollisesti palvella sitä tarkoitusta, jonka vuoksi käyttäjä palvelua käyttää. Tavoitteenamme arvioinnissa on siis edelleen varmistaa, että käyttäjät saavat palveluista käyttöliittymän ja saavutettavuuden osalta irti sen mitä heidän pitääkin. Niinpä jätimme muut ominaisuudet huomiotta sillä nähdäksemme ne eivät ole niin merkityksellisiä ajatellen verkkopalvelua kokonaisuutena. Lisäksi kohderyhmä näille toiminnoille on luultavasti marginaalinen tai ainakin ko. toimintoja ei käytetä säännöllisesti toisin kuin Repa Reittiopasta ja pysäkkiaikatauluja, joten tästäkin näkökulmasta ajatellen valintamme tuntuu perustellulta. Arviointia voidaan suorittaa erilaisista näkökulmista käsin. Sitä voidaan lähestyä joko kontrolli- tai tutkimusaspektin suunnasta (Tervakari, ). Hyödynnämme lähinnä tutkimuksellista aspektia, sillä tutkimus ja arviointi tukevat toiminnan kehittämisen tarpeita. Arviointiin liittyy aina välttämättä jonkinlaisen arvon antaminen ilmiölle, oli tämä sitten tietoinen tai tiedostamaton valinta (Tervakari, ). Arviointitieto voi olla luonteeltaan informatiivista, jolloin tarkoituksena on tuottaa tietoa kohteesta tai käytännöllistä, jolloin tavoitteena on kehittää toimintaa (Tervakari, ). Toisaalta arviointitieto sisältää aina piirteitä molemmista, mutta arviointimme luonne on enemmänkin informatiivinen. Tämä on jossain määrin ristiriidassa em. tutkimusaspektin kanssa, mutta yhteenvetona voidaan sanoa, että teoreettisesti tietoa tuotetaan kuitenkin toiminnan kehittämistä varten

5 3 Valitut arviointimallit Arviointiin on valittu käyttäjätestaus matkustajan näkökulmasta ja Quality Model for Web Sites -laatumalli. Näiden arviointimallien avulla saadaan hyvä kokonaiskuva verkkopalvelun perustoimintojen käytettävyydestä ja yleisestä laadukkuudesta. 3.1 Käyttäjätestaus Käytettävyyden arviointiin käytetään käytettävyystestausta, jolla kerätään dataa palvelun todellisilta käyttäjiltä. Käytettävyystesti valittiin, jotta saamme tietoa palvelusta sen todellisilta käyttäjiltä ja emme rajoittuisi käyttämään arvioinnissa vain omaa osaamistamme ja mielipiteitämme. Joukkoliikenne.tampere.fi voidaan laskea julkiseksi palveluksi, joiden käytettävyys on ensiarvoisen tärkeää. HS 129 Julkishallinnon verkkopalvelun suunnittelun ja toteuttamisen periaatteet painottaa verkkopalvelujen käytettävyyden ja saavutettavuuden varmistamista julkisissa palveluissa. Mielestämme on tärkeää tietää miten tavallinen matkustaja selviytyy aikataulun ja reitinhaussa Tampereen joukkoliikenteen tarjoamien palvelujen avulla. Käytettävä joukkoliikenteen verkkopalvelu lisää joukkoliikenteen käytön miellyttävyyttä. Tyytyväiset matkustajat valitsevat jatkossa useamminkin joukkoliikenteen, mikä on ekologinen ja kestävä valinta. Käytettävyystestaukseen valittiin joukkoliikenne.tampere.fi sivuston aikataulu (aikataulut.tampere.fi) ja reittiopas (reittiopas.tampere.fi/) palvelut. Matkustajien päätehtävä on matkustaa ja päätehtävän oleellisimpia sivutehtäviä on linja-auton aikataulujen sekä reittien haku. Testiin osallistuvien käyttäjien tulee olla yli 18-vuotiaita, jottemme tarvitse vanhempien lupaa osallistua tutkimukseen. Käyttäjien tulee asua tai työskennellä Tampereen alueella ja heidän tulee matkustaa TKL:n linja-autoilla vähintään neljä kertaa vuosittain ja edellisestä matkasta ei ole saanut kulua enempää kuin kuusi kuukautta. Käyttäjien tulee puhua suomea äidinkielenään, koska arvioimme Tampereen joukkoliikenteen suomenkielisiä palveluja. Lisäksi käyttäjät valikoidaan siten, että he jakautuvat seuraaviin ryhmiin tasaisesti kunkin kriteerin mukaan Alle ja yli 30-vuotiaat Matkustaa TKL:n busseilla viikoittain tai harvemmin Kriteerien täyttyminen tarkastetaan testiin osallistujilta taustatietokyselyllä. Yleistä käyttäjien jaottelukriteeriä, sukupuolta ei oteta tässä testissä valikoivaksi kriteeriksi, koska bussilla matkustamisen ei yleensä katsota olevan sukupuolisidonnaista. Käyttäjät jaotellaan iän mukaan kahteen kategoriaan: nuoriin ja työikäisiin. Nuorten verkonkäyttötottumukset ovat erilaiset kuin yli 30-vuotiaiden ja uskomme saavamme hajontaa tuloksiin jakamalla testihenkilöt iän mukaan ryhmiin. Kussakin ikäluokassa käyttäjät jaetaan vielä kahteen ryhmään: vakioasiakkaat ja satunnaismatkustajat. Viikoittain matkustavat henkilöt ovat vakioasiakkaita, jotka matkustavat yleensä jonkin tietyn syyn vuoksi tiettyä reittiä. Syitä ovat esimerkiksi koulu- tai työmatka ja harrastuksiin meno. Harvemmin kuin viikoittain matkustavat ovat satunnaismatkustajia, joiden oletamme matkustavan joukkoliikenteen busseilla satunnaisesti ja vaihtelevampia reittejä. On hyvin yleistä, että käytettävyystutkimuksissa käyttäjät jaotellaan teho- ja satunnaiskäyttäjäryhmiin. Tästä syystä mekin olemme kiinnostuneet siitä miten tämä jako 3 1 0

6 näkyy tuloksissa. Tässä testitapauksessa jako on hieman epätavallinen, koska me tutkimme verkkosivua, mutta jaottelemme käyttäjät matkustustottumuksen mukaan. Matkustustottumus on oikeampi jakokriteeri, koska aikataulujen ja reitin etsiminen ei ole käyttäjän päätehtävä. Testattavan verkkopalvelun käyttäjän päätavoite on matkustaa joukkoliikenteen bussilla. Matkustustottumukset saattavat jopa keikauttaa jaon verkkopalvelun kannalta päinvastoin. Vakioreitillä matkustavat saattavat katsoa aikatauluja hyvinkin satunnaisesti ja harvoin, koska he tietävät oman aikataulunsa ja matkareittinsä. Toisaalta ne, jotka matkustavat harvoin saattavat katsoa reitti- ja aikataulutietoa jokaista matkaansa varten. Tämä on mielenkiintoinen seikka, joka tullee ilmi taustatietoja analysoidessa. Meillä on siis kaksi käyttäjäryhmää, yli ja alle 30-vuotiaat, jotka jaetaan vielä kahteen ryhmään, vakio- ja satunnaismatkustajiin. Testiin otetaan yhteensä neljä ryhmää, jotka koostuvat kukin kolmesta käyttäjästä. Nielsenin mukaan testattaessa yli kolme eri ryhmää, kuhunkin ryhmään riittää kolme käyttäjää. Käyttäjiä pitää olla kussakin ryhmässä vähintään kolme, koska kolmella käyttäjällä nähdään ryhmän sisäisen käyttäytymisen erot.[nielsen, 2000] Näin ollen tässä testissä käyttäjien kokonaismäärä on 12 käyttäjää, jolla Nielsenin [Nielsen 2000] mukaan meidän pitäisi löytää lähestulkoon 100% palvelun testattavien ominaisuuksien käytettävyysongelmista. 3.2 Quality Model for Web Sites -malli Quality Model for Web Sites on laaja-alainen malli verkkopalveluiden laadun arvioimiseen, joka koostuu viidestä arviointikriteeristä (Signore, 2005). Mallissa arvioidaan teknisen toteutuksen toimivuutta, esitystapaa, sisältöä, navigointia ja vuorovaikutusta. Tämä soveltuu verkkopalvelujen arviointiin alasta riippumatta (Tervakari, ). Valitsimme tämän mallin, koska se on tarpeeksi yksinkertainen arviointimalli tehtäväksi käyttäjätestien lisäksi. Verrattuna esimerkiksi 2QCV3Q-malliin on Quality Model for Web Sites -malli paljon karsitumpi, koska siinä ei keskitytä niin syvällisesti verkkopalvelun piirteisiin, moniulotteisuuteen ja toimijaryhmien tarpeiden analysointiin (Tervakari, ). Tällä mallilla on tarkoitus arvioida Tampereen joukkoliikenteen verkkopalvelua ( yleisellä tasolla painottaen käyttäjän (asiakkaan) näkökulmaa, eikä syventyä tiettyyn osaan tai sivuun. Tällä tavoin yritetään saada kattava yleiskuva verkkopalvelun laadukkuudesta. Arvioinnin lopputulokseen vaikuttaa paljon itse arvioijat ja heidän kokemuksensa ja näkemyksensä. Pyrimme suorittamaan arvioinnin kahden arvioijan voimin, koska tällöin saamme paremman lopputuloksen ja voimme ottaa huomioon arvioijien mahdolliset tulkintaerot. Malli ei ole täydellinen, mutta sen avulla pystytään löytämään mahdolliset suuret ongelmat tai puutteet verkkopalvelusta

7 4 Arvioinnin osa-alueet Arviointiprosessi koostuu kahdesta eri osasta, käyttäjätestaus matkustajan näkökulmasta ja Quality Model for Web Sites -laatumallin mukaisesta arvioinnista. Osat voidaan suorittaa rinnakkain ja ne ovat toisistaan riippumattomat. Käyttäjätestausprosessi koostuu käyttäjille annettavien tehtävien suunnittelusta, tehtävien pilotoinnista ja tarvittaessa korjaamisesta, käyttäjien rekrytoinnista, tulosten keräämisestä sekä tulosten analysoimisesta. Lisäksi käyttäjille annetaan pienimuotoinen kysely tehtävien lisäksi. Lopuksi arvioidaan tulosten kattavuus ja luotettavuus. Arvioinnin suorittaa kolme ryhmän jäsentä ja sen suorittamiseen on varattu aikaa kolme viikkoa. Quality Model for Web Sites -laatumallin mukainen arviointi sisältää sovelluksen arvioinnin viiden arviointikriteerin perusteella. Saatujen tulosten luotettavuus ja kattavuus arvioidaan. Arviointiin osallistuu kaksi ryhmän jäsentä ja sen suorittamiseen on varattu aikaa kolme viikkoa. Arviointiprosessin lopuksi annetaan verkkopalvelulle kokonaisarvio palvelun laadukkuudesta ja tarkoituksenmukaisuudesta, sekä tuodaan esille mahdolliset parannusehdotukset. Prosessin kattavuus ja luotettavuus arvioidaan

8 5 Valitut arviointimenetelmät Arviointiprosessi koostuu kahden arviointimenetelmän soveltamisesta. Valitsemamme menetelmät eivät välttämättä ole kovinkaan perusteellisia, mutta käytettävissä olevien resurssien puitteissa niillä päästään suhteellisen hyvään kattavuuteen. 5.1 Käytettävyystesti Käytettävyystesti suoritetaan tässä harjoitustyössä etätestauksena. Käytettävyystestin menetelmä on sama kuin perinteisessä käytettävyystestissä, jossa testihenkilö ja testin suorittaja, moderaattori, ovat samassa tilassa ja suorassa vuorovaikutuksessa. Etätestauksessa käyttäjä ja testin suorittaja eivät ole suorassa vuorovaikutuksessa. Etätestauksessa käytettään jonkinlaista tai useampaa työkalua, jolla käyttäjälle voidaan antaa tehtäviä ja observoida hänen toimintaansa. Etätestauksen etuna on sen taloudellisuus, hajautettavuus sekä testin suorittaminen verkkosivuille käyttäjän omassa ympäristössä. (What is Remote Usability Research 2008) Etätestaus voidaan suorittaa moderoiduilla tai moderoimattomilla työkaluilla. Moderoiduilla työkaluilla testihenkilö ja moderaattori ovat realliaiakisessa yhteydessä toisiinsa testin aikana. Moderoimattomilla työkaluilla käyttäjä suorittaa testiä itsenäisesti ja työkalu tallentaa käyttäjän toimet. (Remote Usability and UX Research Tools). Tässä harjoitustyössä käytettävää etätestaustyökalua ei ole vielä valittu, mutta voi olla että käytämme mahdollisesti molempaa tyyppiä saadaksemme kokemusta erilaisista etätestaustyökaluista. Etätestaus valittiin työkaluksi, jotta meillä olisi mahdollista suorittaa käytettävyystesti suuremmalle määrälle kuin viisi henkilöä ja testataksemme palvelun käyttöä käyttäjän omassa ympäristössä ja omalla laitteella. Tehtävät, joita testissä suoritetaan on testitehtäviä eivätkä käyttäjän luonnollista käyttöä, mutta tämä on menetelmällinen, ei työkalusta riippuva ominaisuus. Käytettävyystestiin kuuluu vakioitujen tehtävien suoritus, mikä parantaa tulosten vertailtavuutta. Jos tekisimme havainnointitutkimuksen voisimme käyttää etätestaustyökaluja havainnoimaan käyttäjän luonnollista käyttöä. Varsinaiset testitehtävät tulevat vielä tarkentumaan, mutta käyttäjille annetaan ainakin seuraavanlaisia tehtäviä: Aikataulu-tehtävät: Olet TTY:llä ja sinun pitäisi päästä Tampereen keskustaan. Etsi seuraavan bussin aikataulu. o Tarkoitus on etsiä pysäkki ja linja, jolla TTY:ltä pääsee keskustaan o Aikataulusivuilla on pysäkkihakukenttä, jolla hakemalla käyttäjä löytää pysäkin nimeltä TTY ja joista hänen pitää osata valita keskustaa kohti menevä ja katsoa sen pysäkin aikataulua. o Pysäkin voi etsiä myös kartalta. o Käyttäjä saattaa myös tietää jonkin linjan, joka kulkee TTY:ltä keskustaa kohti ja katsoa suoraan sitä 6 1 0

9 Monelta lähtee seuraava linjan 30 linja-auto keskustorilta? o Testataan löytääkö käyttäjä sivulta linjan 30 ja osaako hän hahmottaa pysäkkiaikataulut linja-sivulta. o Testataan myös huomaako käyttäjä kohdan Seuraavat kolme lähtöä, josta seuraavan bussin näkee suoraan vai selaako hän pysäkkiaikataulua. Kulkeeko linja 20 Hikivuoresta Keskustorille sunnuntaisin? o Emme tule suorittamaan testejä sunnuntaina, jolloin Seuraavat kolme lähtöä ei kerro käyttäjälle liikennöikö linja 20 vaan hänen täytyy selata linjan 20 Hikivuoren pysäkin aikataulua loppuun asti nähdäkseen, että linja 20 ei liikennöi sunnuntaisin. Reittiopas-tehtävät: Olet menossa käymään kaverillasi huomenna päivällä ja sinun pitäisi ehtiä kello viideksi hammaslääkäriin Tampereen hammaslääkäriasemalle. Kaverisi asuu osoitteessa Insinöörinkatu 19 ja hammaslääkäri on osoitteessa Hämeenkatu 14. Mitä reittiä sinun kannattaisi käyttää? o Testataan huomaako käyttäjä käyttää reitin hakuun osoitetta eikä tiettyä pysäkkiä Hervannassa. Käytettäessä osoitetta palvelu antaa kaikki mahdolliset reittivaihtoehdot ja tarjoaa useampia pysäkkejä. o Testataan osaako käyttäjä vaihtaa lähtöajan haussa perillä oloajaksi. Tulosta reitti varmuudeksi mukaan, ettet eksy matkalla hammaslääkäriin ja myöhästy. o Reittioppaassa on oma tulostustoiminto kahdessa eri kohtaa, mutta käyttäjä saattaa silti käyttää suoratulostusta, joka tulostaa verkkosivun näkymän sellaisenaan. Reittioppaan tulostussivu antaa toisenlaisen listauksen reitistä. Tarkasta palvelusta maps.google.fi antaako reittiopas sinulle oikean sijainnin hammaslääkärille o Ei anna. Reittiopas sijoittaa Hämeenkatu 14 Tampereen teatterin kohdalle. Aloitat uuden harrastuksen. Etsi sekä tallenna reitti kotoasi Ahjolan kansanopistoon. Ahjola on muuttanut ja sijaitsee nykyään osoitteessa Pyynikintie 25. o Testataan löytääkö käyttäjä valinnan reitin tallentamiseen ja huomaako hän, että reitti tallentuu Omiin reitteihin vaikkei omien reittien ikkuna laajenekaan, kun sinne tallentaa reitin. Tarkasta mitä pysäkkejä reitillä on, jotta tiedät jäädä pois oikealla pysäkillä linjaautosta. o Löytääkö käyttäjä valinnan Näytä tarkka reittikuvaus ja vaihtokartat Jotta pääset Ahjolasta kotiinkin, hae paluureitti ja tallenna se. o Löytääkö käyttäjä suoran valinnan paluureitin hakemiseen ja kokeillaan tallennusta uudelleen

10 Käyttäjiltä kysellään taustatietojen lisäksi lisätietoa heidän aikataulujen ja reittien haun tottumuksista. Ainakin seuraavanlaiset kysymykset tullaan esittämään: Mistä pääosin hankit aikataulutiedot? Mistä pääosin hankit reittitiedot? Oletko aiemmin käyttänyt aikataulut.tampere.fi sivuja? o Milloin viimeksi? o Miksi? o Vastasiko hakusi tarvettasi? Oletko aiemmin käyttänyt Repa reittiopasta? o Milloin viimeksi? o Miksi? o Vastasiko hakusi tarvettasi? Kuinka usein haet aikataulutietoja? Kuinka usein haet reittitietoja? Testiasetelma ja työkalut tullaan testaamaan pilottitesteillä ennen varsinaisia testejä. Iita toimii testien moderoijana ja ryhmän muut jäsenet ovat pilottikäyttäjiä. Testitehtäviä ja käytettäviä työkaluja voidaan muokata pilottien perusteella. Verkkopalvelun käytettävyystestillä emme pääse arvioimaan matkustamisen koko kokemusta kuten esimerkiksi havainnoimalla käyttäjää todellisessa aikataulunhaku ja matkustamistilanteessa pääsisimme. Aikataulujen ja reittiopastuksen oikeellisuus on oleellinen osa kokonaiskokemusta ja sitä emme valitulla menetelmällä pääse todentamaan. 5.2 Quality Model for Web Sites -mallin mukainen arviointi Yhtenä arviointimenetelmänä tullaan käyttämään Quality Model for Web Sites -mallin kohtaa Teknisen toteutuksen toimivuus, jossa tarkastellaan ohjelmallisesti HTMLmerkkauksen ja CSS-tyylitiedostojen syntaksien oikeellisuutta W3C-validaattorien avulla ( Validaattori tarkistaa noudattaako HTML-sivut ja CSS-tyylit oikeaa kielioppia sekä onko merkkauksessa puutteita. Tämä menetelmä ei ota kantaa sivustolla esiintyviin linkkeihin tai sivuston sisältöön vaan vain siihen, onko tarkasteltavan verkkosivuston merkkaus validia. Virheellinen merkkaus aiheuttaa pahimmassa tapauksessa sivujen näkymisen väärin tai saattaa hidastaa niiden latautumista. Kokonaiskuva verkkopalvelun laadukkuudesta saadaan soveltamalla mallin arviointikriteereitä (ks. luku 3.2), ja arvioimalla niiden toteutumista arvoasteikolla yhdestä viiteen. Arvioinnin suorittaa kaksi henkilöä erikseen, ja tuloksien pohjalta luodaan lopullinen konkluusio. Menetelmän hyvät ja huonot puolet ovat samat kuin mallin (ks. luku 3.2)

11 6 Arvioinnin luotettavuuden arviointi Suurimmat ongelmat arvioinnin luotettavuudelle aiheuttavat ryhmän rajalliset resurssit arvioinnin suorittamiseen, laadun kokemisen subjektiivinen luonne, käytettävien arviointiprosessien rajallinen kattavuus sekä käytettävyystestaukseen rekrytoitavien mahdollinen homogeenisyys käyttäjäkokemusten arviointia ajatellen. Näiden ongelmien tiedostaminen jo arviointiprosessin alkuvaiheessa parantaa tutkimuksen luotettavuutta ja auttaa oman tutkimuksen ongelmakohtien löytämisessä. Täysin objektiivista ja kattavaa tutkimusta on lähes mahdotonta tehdä, mutta järkevyyden sekä saatavilla olevien resurssien puitteissa siihen voidaan pyrkiä. Toisenlainen ongelma aiheutuu käytettävien kriteerien luotettavuudesta, eli reliabiliteetista. Ryhmän osaamispohjalta on vaikea lähteä arvioimaan kriteerien luotettavuutta, koska pitkäaikaista kokemusta arviointiprosessien läpivienneistä ei ole. Kriteerien antamat tulokset saattavat vaihdella eri mittaajien välillä johtuen kriteerien määrittelyn epämääräisyydestä, tai arviojien keskinäisistä eroista (Tervakari, ). Luotettavuutta voidaan yrittää parantaa tekemällä arviointeja useamman hengen voimin, mutta tämän mittakaavan tutkimus ei voi antaa kovinkaan syvällistä analyysiä tutkimuskohteena olevan verkkopalvelun laadukkuudesta

12 7 Ryhmän jäsenten työnjako Iita Aho Käytettävyystestauksen pääasiallinen koordinointi, tulosten analysointi ja dokumentointi. Antti Kaunisto Käyttäjien rekrytointi käytettävyystestaukseen, avustus käytettävyystestauksessa ja dokumentointi. Alex Peltonen Quality Model for Web Sites-mallin mukainen arviointi, aikataulutus ja dokumentointi. Tero Taipale Käyttäjien rekrytointi käytettävyystestaukseen, avustus käytettävyystestauksessa ja dokumentointi. Pekko Vilpola Quality Model for Web Sites-mallin mukainen arviointi, arvioinnin luotettavuuden arviointi, dokumentointi ja dokumenttien lopputarkastus

13 Lähdeluettelo Nielsen, Jakob Why You Only Need to Test with 5 Users [WWW]. [viitattu ]. Saatavissa: Signore, O Towards a Quality Model for Web Sites. Varsova: CMG Poland, [viitattu ]. First CMG Poland Conference on 9-10 May 2005, in Warsaw, Poland. Saatavissa pdf-muodossa: Remote Usability and UX Research Tools [WWW]. [viitattu ]. Saatavissa: Tervakari, A-M., Silius, K. & Koro, J Verkkopalvelun käyttökelpoisuuden arvioiminen [online]. Oppimateriaali. Tampere: Tampereen teknillisen yliopiston hypermedialaboratorio, päivitetty [viitattu: ]. Saatavissa: What is Remote Usability Research? [WWW]. [viitattu ]. Saatavissa: