Niku Husu, Iiro Kaisla, Marko Nyby, Anssi Puustinen, Eetu Rasi

MAT-81100 Verkkopalvelun laadukkuus ja arviointi Työryhmä Hyperkuutio Kohdeyritys: Gigantti VERKKOPALVELUN ARVIOINTISUUNNITELMA / LUONNOS v3 2013-10-01 Niku Husu, Iiro Kaisla, Marko Nyby, Anssi Puustinen, Eetu Rasi

SISÄLLYS 1. KOHDEYRITYS, KOHDERYHMÄ JA RAJAUKSET...3 1.1. VALINTAPERUSTEET JA KOHDERYHMÄ RAJAUKSINEEN...3 1.2. TARKASTELU JA SEN RAJAUKSET...3 2. ARVIOINNIN YLEISET TAVOITTEET...4 3. 2QCV3Q-MALLI...4 4. ARVIOINNIN OSA-ALUEET...6 5. MENETELMÄT...6 5.1. OHJELMALLISET MENETELMÄT...6 5.1.1. W3C:n HTML ja CSS validaattorit sekä mobileok Checker...7 5.1.2. Sivuston suorituskykytesti...8 5.2. ASIANTUNTIJAMENETELMÄT...8 5.2.1. User Effect: 25-point Website Usability Checklist...9 5.2.2. Web Content Accessibility Guidelines (WCAG) 2.0...10 5.2.3. Eläytymismenetelmät (skenaario)...10 5.3. KÄYTTÄJÄLÄHTÖISET MENETELMÄT...11 5.3.1. Käyttäjien havainnointi...11 6. ARVIOINNIN LUOTETTAVUUDEN ARVIOINTI...12 7. RYHMÄN TYÖNJAKO...13

1. KOHDEYRITYS, KOHDERYHMÄ JA RAJAUKSET Valitsimme kohdeyritykseksemme kodinkoneketju Gigantin. Gigantti on osa Norjassa toimivaa Elkjøp-konsernia, joka kuuluu edelleen englantilaisen DSG International Oyj:n omistukseen. Gigantti myy kodinelektroniikkaa sekä siihen liittyviä tele- ja datatuotteita sekä kuluttajille että yrityksille. Gigantti ilmoittaa liikeideansa perustaksi sujuvan logistiikan. Tuotteiden päävarasto on Jönköpingissä Keski-Ruotsissa, josta on sujuvat yhteydet Pohjoismaihin. Gigantilla on Suomessa 41 myymälää sekä verkkokauppa. (Anon. 2013a) 1.1. Valintaperusteet ja kohderyhmä rajauksineen Gigantti valittiin tutkimuksen kohteeksi, koska ketju tavoittelee laajaa asiakaskuntaa ja siten monenlaisia kohderyhmiä. Lisäksi tekijöillä on jo ennakkokäsitys siitä, että sivustosta löytyy todennäköisesti parannettavaa. Tutkimus tehdään kuluttajanäkökulmasta. Lähtökohtaisesti sivuston kohderyhmänä ovat kaikki kuluttajat, mutta tässä tutkimuksessa on rajauduttu seuraaviin kohderyhmiin: tekniikasta kiinnostuneet ja rahoistaan tarkat nuoret ihmiset, ikäryhmä 22-30 tekniikasta kiinnostuneet ja ostovoimaiset ihmiset, ikäryhmä 30-40 hajonneen laitteen korvaajat ja samalla paremman ostavat, yleensä miehiä, ikäryhmä 40-60 hajonneen laitteen korvaajat, suorituskyky toissijainen, yleensä naisia, ikäryhmä 50+ näkövammainen käyttäjä Kohderyhmistä kaksi ensimmäistä löytyy työryhmästä. Kolmeen seuraavaan pyritään eläytymään. 1.2. Tarkastelu ja sen rajaukset Itse sivuston tarkastelu rajataan kolmeen tasoon: etusivu, tuotekategoria Puhelimet ja GPS sekä yksittäinen puhelin.

Tuoteryhmävalinta on satunnainen. Sivuston rakenne toistuu samankaltaisena eri tuoteryhmissä, joten useiden tuoteryhmien läpikäyminen ei tuottaisi merkittävää lisäarvoa. Sivustosta arvioidaan tuotetiedon saatavuutta ja selkeyttä, eri tuotteiden vertailtavuutta sekä suoraan sivustolta ostamisen helppoutta. Mahdollisiin käyttäjätesteihin laaditaan etukäteisskenaariot ja -tehtävät. 2. ARVIOINNIN YLEISET TAVOITTEET Arviointimme tavoitteena on kartoittaa Gigantin verkkosivujen laadukkuus niin teknisistä kuin inhimillisistäkin näkökulmista. Gigantin kaltaisen kauppaketjun sivujen on tärkeä vastata mahdollisimman laajaan kirjoon asiakastarpeita mahdollisimman tehokkaasti ja vaivattomasti. Työmme tavoitteena on määrittää tärkeimmät kriteerit sivuston laadun toteamiseksi sekä toteuttaa näiden ominaisuuksien arviointi näitä kriteerejä mahdollisimman laadukkailla ja hyödyllistä informaatiota tuottavien menetelmien ja mallien avulla. Yleisellä tasolla tutkimuskysymyksemme voisi tiivistää muotoon Mitkä ovat tärkeimmät laadulliset kriteerit, joilla Gigantin verkkosivuja voidaan arvioida ja vastaavatko sivut kyseisiin tarpeisiin?. Lisäksi tavoitteena on esittää mahdollisia parannusehdotuksia havaittujen puutteiden ja/tai ongelmakohtien pohjalta. 3. 2QCV3Q-MALLI Ennen varsinaista 2QCV3Q-mallin kuvausta on paikallaan lyhyt katsaus malleihin. March ja Smith (1995) käsittelevät suunnittelutieteitä (design science), joiden ajatuksena on luoda ihmisiä palvelevia asioita usein teknisin keinoin (vs. luonnontieteet, joissa ajatuksena on todellisuuden ymmärtäminen). Suunnittelutieteiden aikaansaannoksia arvioidaan arvon ja hyödyn näkökulmasta: ovatko ne parannuksia ja/tai toimivatko ne (March & Smith 1995). March ja Smith (1995) toteavat suunnittelutieteiden tuotosten olevan joko käsitteitä (constructs), malleja (models), menetelmiä (methods) tai toteutuksia (implementations). Näistä käsitteet tarkoittavat ilmiöitä kuvaavia peruskäsitteitä. Mallit ovat korkeamman tason tulkintoja, joilla kuvataan tehtäviä, tilanteita ja muita ihmisen laatimia rakennelmia (artifacts). Menetelmät ovat tavoitehakuisia suorituskeinoja ja toteutusten tuloksena saadaan tiettyihin tehtäviin pystyviä fyysisiä tuotteita. March ja Smith korostavat, ettei suunnittelutieteissä pyritä teorioihin, vaan malleihin, menetelmiin ja sovelluksiin, jotka ovat innovatiivisia ja arvokkaita.

Marchin ja Smithin sinänsä erinomaisen artikkelin ikä näkyy siinä, että päämääränä vaikuttaa olevan fyysinen tuote eikä digitaalisen maailman palvelu. Jos tämä unohdetaan, niin vaikuttaa kuitenkin siltä, että myös käsillä oleva arviointisuunnitelma ja sen toteutus noudattavat suunnittelutieteiden periaatteita. Toinen näkemys malleista on Routiolla (2007), joka näkee mallin lopputuloksena reaalimaailman empirian viemisestä ajattelun, käsitteiden ja teorian maailmaan. Routio jakaa mallit edelleen yhtä empiiristä kohdetta tai tapausta koskeviin sekä samantapaista kohteiden tai tapausten perusjoukkoa koskeviin. Tämä arviointisuunnitelma on selvästi yksittäistä kohdetta koskeva, joten kyseessä on tapaustutkimus. Tapaustutkimuksen alalajeista tilanteeseen sopinee parhaiten Cunninghamin (1997) intensiivimetodeihin kuuluva selittävä case-metodi. Intensiivimetodien tavoitteena on yhden henkilön, ryhmän tai organisaation tapahtumien ja käytäntöjen hyvin intensiivinen ymmärtäminen todistusaineistojen (evidence) perusteella (Järvinen & Järvinen 2004). Vaikka nyt ei todennäköisesti saavutetakaan intensiivistä ymmärrystä Gigantin toiminnasta, selittävä case-metodi vaikuttaa muutoin sopivalta. Kyseisessä metodissa tutkija kerää tosiasioita ja tekee niistä johtopäätöksiä sanomalehtitoimittajan tai lakimiehen tapaan (Cunningham 1997). Jokaiseen selitykseen liitetään sekä teksti että sitä tukeva (ja ainoastaan tukeva) tulkinta (Cunningham 1997). 2QCV3Q-malli on verkkosivuston laadun arviointimalli. Mallin laatijoiden mukaan se kokoaa yhteen sekä sivuston omistajan, käyttäjien että kehittäjien näkökulman. Tämä on tärkeää, koska esim. markkinointimateriaalin tuottajilla, ohjelmistosuunnittelijoilla ja graafisilla suunnittelijoilla on erilaiset taustat, osaamispohjat ja kehittämisprioriteetit. (Mich et al. 2003) Mallin seitsemän dimensiota ovat (Mich et al. 2003): 1. Identity (kuka tai mikä organisaatio/brändi on kyseessä), 2. Content (sisällön kattavuus sekä sivuston omistajan että käyttäjän näkökulmasta; tiedon laatu), 3. Services (mm. toiminnallisuus, tietoturva, yksityisyys), 4. Location (saavutettavuus ja saatavilla olo, esim. helppo URL sekä vuorovaikutus käyttäjien kanssa), 5. Management (sivuston ajantasaisuus ja sen ylläpito), 6. Usability (saavutettavuus, navigoitavuus, ymmärrettävyys) ja 7. Feasibility (tarvittavat resurssit sekä softa- ja rautakysymykset). Edellämainitut jaottelut on joiltakin osin nimetty erikoisesti, mutta paperin selittävä osuus kuvaa tarkemmin, miten tutkijat ovat soveltaneet mallin eri osioita. Seuraavaksi paperissa esitetään arviointiprosessi, johon kuuluu arviointisuunnitelma ja sen toteuttaminen. Lopuksi tutkijat toteavat laaditun mallin toimivan varsin hyvin ja mallin

olevan toimialariippumaton, eri tyyppisille sivustoille sopiva, skaalautuva ja käytettävä. Mallin käytännön sovelluksia tai sen arviointia ei kuitenkaan löytynyt yleisestä Internetistä tai ACM:n digitaalikirjastosta. Mallin arvioinnin puute voi johtua siitä, että malli on Marchin ja Smithin (1995) kuvaamien suunnittelutieteiden hengessä helppo soveltaa eikä siten tarjoa "tieteellistä uutta". Toisaalta malli on osoittanut jo alkuperäisessä paperissa olevansa hyvä useiden erityyppisten sivuston analyysissä. Päädyimme käyttämään 2QCV3Q-mallia suunnittelutieteiden tapaan siten, että 2QCV3Q-malli on korkeamman tason käsite ja luvussa 5 kuvatut menetelmät sitä soveltavia metodeja. 2QCV3Q-mallia käytetään tässä työssä myös tarkistustyökaluna siten, että lopuksi havainnoidaan, mitkä sen osatekijät saatiin kiinni työssä käytetyillä menetelmillä ja mitkä taas ei. 4. ARVIOINNIN OSA-ALUEET 2QCV3Q-mallin teoreettiselta pohjalta ryhmämme eteni valitsemaan erilaisia työkaluja, joilla sivuston laadullisia ja täten mallin eri osa-alueihin vastaavia ominaisuuksia voidaan tarkastella. Nämä menetelmät on jaoteltu ohjelmallisiin eli tietokoneavusteisiin, helposti kvantifoitavaa informaatiota tuottaviin menetelmiin sekä asiantuntijamenetelmiin, jotka ottavat kvalitatiivisemman ja kokonaisvaltaisemman lähestymistavan sivuston arviointiin. Kunkin käytetyn menetelmän kohdalla tutkittiin ensin kriittisesti sen relevanssia ja menetelmän vahvuuksia sekä heikkouksia; kunkin menetelmän toimintaperiaatteet, valintaperusteet ja ominaisuudet esitellään seuraavassa luvussa. 5. MENETELMÄT 5.1. Ohjelmalliset menetelmät Ohjelmalliset menetelmät soveltuvat hyvin tämän mallin kanssa käytettäväksi, koska näin saadaan nopeasti tarkistettua sivuston tekninen toteutus. Valitsimme ohjelmallisiksi menetelemiksi W3C:n HTML ja CSS validaattorit, mobileok Checker sekä suorituskykytesti Pingdom Toolsin, koska näiden avulla pystymme käymään vaaditut kohdat läpi eli sivuston lähdekoodin oikeellisuuden, soveltuvuuden ja käytettävyyden mobiililaitteilla sekä yleisen suorituskyvyn lisäksi luvussa 5.1.1.esitettyjä menetelmiä voidaan käyttää hyväksi kohdassa 5.2.2.. Näiden menetelmien tulokset ovat aika yksiselitteisiä, mutta samalla pystyvät antamaan yllättävän paljon informaatiota sivuston teknisestä toteutuksesta. Toisaalta nämä valitut menetelmät eivät ota kantaa sisällön oikeellisuudesta eikä kohtien arvoihin vaan vain siihen että kaikki ovat omalla paikallaan ja oikein teknisesti.

5.1.1. W3C:n HTML ja CSS validaattorit sekä mobileok Checker Kuvaus Nämä kaikki menetelmät ovat saman tyyppisiä, mutta tutkivat eri asioita. HTMLvalidaattori (W3C 2012) tutkii, onko sivuston HTML-merkkaus standardin mukaista ja oikein kirjoitettua. CSS-validaattori (W3C 2009) sen sijaan tarkastaa CSS-tiedoston eli tyylitiedoston oikeellisuuden. Näissä kummassakin pystyy valitsemaan minkä version mukaista merkkauksen tulisi olla tai vaihtoehtoisesti voi antaa ohjelman itse tunnistaa version. Lähdekoodin voi syöttää URL-osoitteena, josta validaattori hakee itse tarvitsemansa tiedostot, ladata tiedoston tai syöttää suoraan tekstinä. Tarkistamisen jälkeen validaattori ilmoittaa, onko sivu läpäissyt testin. Jos sivu ei läpäissyt testiä, niin validaattori ilmoitta virheet (mitä ja mistä löytyi sekä virheen vakavuus). MobileOK Checker tarkistaa sivuston soveltuvuutta mobiililaitteille käymällä läpi sivun merkkauksen mobileok Basic Test 1.0 (W3C 2008) -tarkistuslistan mukaan. Testin ajon jälkeen tulossivulla on prosentteina kuinka hyvin sivusto soveltuu mobiililaitteelle sekä virheet ja huomautukset kategorioituna alla. Jokaisella virheellä ja huomautuksella on vakavuusasteensa, mikä virhe on, missä se on ja miten sen saisi mahdollisesti korjattua. Valintaperusteet Nämä W3C:n tarkistusohjelmat valitsimme, koska niitä pystytään hyödyntämään myös WCAG 2.0 -listan läpikäynnissä. Nämä ovat myös helppoja ja luotettavia testejä sekä yleisesti tunnettuja. Testien tulokset ovat selkeitä ja yksiselitteisiä, koska mahdolliset virheet on eritelty ja virheiden syyt on myös selitetty. Yksi syy valintaan oli myös se, että ryhmän kaikki jäsenet tunsivat nämä ainakin jollain tasolla ja lähes kaikki olivat käyttäneet niitä useamminkin. Vahvuudet ja heikkoudet Vahvuuksina näillä testeillä on selkeys ja luotettavuus. Testit ovat lisäksi kattavia ja tarkkoja. Ne ovat myös hyvin dokumentoituja ja niissä kerrotaan selvästi, mitä testi tutkii. Heikkoutena on se, että jokaikinen sivu tarvitsee tarkistaa erikseen eikä voi antaa vain sivustoa, josta testi käy jokaisen alasivun läpi. Myös se haittaa, että jos on jokin virhe niin se voi vaikuttaa myös alapuoliseen merkkaukseen jolloin virheitä voi tulla todella paljon vaikka vain yksi kohta on väärin. MobileOK Checkerissä on myös kohta joka haittaa, nimittäin osa virheistä johtuu palvelimesta ja sen verkkoyhteystavasta, joihin ei välttämättä pysty vaikuttamaan.

5.1.2. Sivuston suorituskykytesti Kuvaus Sivuston suorituskykyä ja eritoten sen latautumista testaamme Pingdom Tools (Anon. 2013b) -sivuston testien avulla. Sivustolla on monta eri testiä: sivuston latautumistesti, analyysiä edellisestä, DNS-kysely ja terveystesti sekä ping ja traceroute. Sivustolle pystyy myös kirjautumaan sisään jolloin testit pystyy automatisoimaan ja jos tulee virheitä niin siitä voidaan ilmoittaa tekstiviestillä tai sähköpostilla. Tämä ominaisuus on lähinnä tarkoitettu sivuston ylläpitäjille eikä testeihin soveltuva, mutta muut ominaisuudet ovat erittäin hyvin tähän soveltuvia. Sivusto kerää myös testien perusteella historiaa lataus ajoista ja piirtää niistä graafia. Testi tulemme käyttämään niin että vertaamme gigantti.fi sivuston suorituskykyä muihin palveluihin. Valintaperusteet Valitsimme tämän tyyppisen testin, koska mallimme vaatii jonkin näköistä suorituskyvyn testaamista. Tähän palveluun päädyimme, koska se on luotettavan oloinen ja myös kattava. Myös jatkossa tästä voi olla hyötyä joillekin ryhmän jäsenistä, sillä sitä voi käyttää hyväkseen palvelimien ja sivustojen ylläpidossa. Tämä oli myös helpoimman ja parhaimman oloinen vastaava testi jota tutkimme. Vahvuudet ja heikkoudet Testin ehdottomasti suurimpana vahvuutena on laajuus, sillä muissa palveluissa on vain yksi tai kaksi ominaisuutta, jota tässä on. Toisena asiana, joka on ehdottomasti vahvuus, on tulosten analyysi sivu. Siinä on koottu tiedot selkeästi ja paremmin ihmisen luettavaan muotoon. Heikkoutena pidämme sitä että testaava palvelimet sijaitsevat ulkomailla, jolloin meidän tapauksessa testin tulokset ovat hieman virheellisiä, johtuen etäisyydestä johtuvasta viiveestä. Sivusto on myös ensimmäisellä kerralla hieman sekavan oloinen, mutta palvelun opettelun jälkeen sitä pystyy kyllä helposti käyttämään. 5.2. Asiantuntijamenetelmät Asiantuntijamenetelmät tulevat luvussa 5.1 esiteltyjen ohjelmallisten menetelmien ohella olemaan tärkeässä osassa harjoitustyönä tehtävää Gigantin verkkokaupan laadukkuuden arviointia. Ryhmämme soveltuu poikkitieteellisyytensä vuoksi hyvin asiantuntijaryhmäksi (Tervakari et al. 5.3 Asiantuntijamenetelmiä, 2013). Teknisen toteutuksen arvioinnissa hyödyllisen hypermediataustan lisäksi ryhmämme pystyy myös arvioimaan sivuston informaatiosisältöä kattavan tietotekniikkataustansa ansiosta. Suurimmat puutteet ryhmässämme liittyvät käytettävyyden sekä palvelun visuaalisen puolen arviointiin.

Lukujen 5.2.1 ja 5.2.2 menetelmät edustavat tarkistuslistoihin perustuvaa läpikäyntiä. Tarkistuslistojen parhaita puolia on niiden resurssitehokkuus (Tervakari et al. 5.3.4 Muita menetelmiä, 2013). Menetelmien tarkkuus ja niillä saatujen tulosten merkitys riippuvat kuitenkin valitusta listasta jolloin myös listojen valintavaiheeseen on kiinnitettävä huomiota. Käytämme tarkistuslistojen lisäksi myös luvussa 5.2.3 esiteltyä eläytymismenetelmää jonka työkaluna toimivat erilaiset skenaariot. Näitä skenaarioita voidaan hyödyntää myös käyttäjälähtöisissä arvioinnin menetelmissä (luku 5.3) jos sellasiai otetaan työhön mukaan. Eläytymismenetelmien käytöllä pyritään muodostamaan palvelun laadusta eräänlainen yleiskatsaus (Tervakari et al. 5.3.3 Eläytymismenetelmä, 2013), jota voidaan sitten tarkentaa käyttäen esimerkiksi edellä mainittuja tarkistuslistoja. 5.2.1. User Effect: 25-point Website Usability Checklist Kuvaus 25-point Website Usability Checklist (Meyers 2009) on erityisesti yritysten verkkopalveluiden käytettävyyden arviointia varten tehty tarkastuslista. Lista pyrkii esittämään yritysten näkökulmasta oleellisimpia käytettävyystekijöitä tiiviissä ja helposti lähestyttävässä muodossa. Lista on jaettu neljään osaan: saavutettavuus (accessibility), identiteetti (identity), navigaatio (navigation) sekä sisältö (content). Listassa käytetty saavutettavuuden termi eroaa hieman luvussa 3.2.3 esitellystä saavutettavuuden termistä jolloin listojen päällekkäisyydet jäävät melko pieniksi. Valintaperusteet Tärkein syy listan valintaa oli se, että se on suunniteltu erityisesti yritysten verkkopalveluja silmällä pitäen. Se sisältääkin monia kohtia, joihin muissa laatua ja etenkin käytettävyyttä käsittelevissä lähteissä ei kiinnitetä huomiota. Esimerkkinä tästä ovat kohdat 7 ja 15, jotka käsittelevät yksinomaan yrityksen logoa. Listan hyvänä puolena on myös se, että se on luotu käytännön kokemuksen pohjalta. Tällöin se sisältää tärkeimmät asiat tiiviissä muodossa. Vahvuudet ja heikkoudet Listan pääasiallinen heikkous on sen kohtien monitulkintaisuudessa. Vaikka listan käyttö verkkopalvelun arvioinnissa onkin periaatteessa helppoa koska jokaiseen 25:stä kohdasta valitaan yksi kolmesta onnistumisen tasosta, voi oikean vaihtoehdon valinta olla kohdan kuvauksen epämääräisyydestä johtuen hankalaa. Lista on kuitenkin todella tarkasti rakenteistettu läpikäynnin muoto jolloin käytön pitäisi epämääräisyydestä johtuen olla melko yksinkertaista.

5.2.2. Web Content Accessibility Guidelines (WCAG) 2.0 Kuvaus Web Content Accessibility Guidelines (WCAG) 2.0 (Caldwell et al. 2008) sisältää ohjeistuksen verkkosisällön saavutettavuuden arviointiin. Saavutettavuuden arvioinnissa keskitytään palvelun käytön helppouteen jollain tapaa rajoittuneiden henkilöiden kannalta. Saavutettavuutta on esimerkiksi se että kaikelle verkkopalvelun kannalta oleelliselle kuvamateriaalille on tekstivastineet jotta myös sokeat henkilöt voisivat käyttää palvelua. Valintaperusteet Koska Gigantin asiakkaiden joukkoon kuuluu myös henkilöitä joilla on erityisiä tarpeita saavutettavuuden kannalta, on saavutettavuus tärkeä tekijä Gigantin verkkokaupan laadukkuuden arvioinnissa. Vaikka WCAG 2.0 keskittyykin lähinnä saavutettavuuden arviointiin voidaan sen sisältämiä ohjeita noudattamalla parantaa myös sivuston laatuvaikutelmaa normaalin käyttäjän kannalta. Esimerkki tällaisesta ohjeesta voisi olla ohje 1.4.2 Audion kontrollointi joka suosittelee automaattisesti toistettaville yli kolme sekuntia kestäville äänille joko pysäytys- tai keskeytysmahdollisuutta tai vaihtoehtoisesti säätömahdollisuutta äänenvoimakkuudelle. Jos verkkopalvelu ei ole palvelun käyttäjien saavutettavissa niin muita laadun tekijöitä on turha edes arvioida. Vahvuudet ja heikkoudet WCAG:in suurimpana heikkoutena harjoitustyömme kannalta on se että se sisältää melko paljon työtä siitä saatuun hyötyy verrattuna. WCAG 2.0 ohjeistus sisältää yli 60 kohtaa joiden laajuus vaihtelee arvioinnin tarkkuudesta riippuen (Caldwell et al. 2008). Kun otetaan huomioon että Suomessa on näkövammaisia arviolta 80 000 henkilöä joista noin 10 000 on täysin sokeita (Näkövammaisten Keskusliitto Ry, n.d.) jää erikoistarpeita omaavien Gigantin asiakkaiden käyttäjäryhmä luultavasti melko pieneksi. Tämän takia onkin tärkeää miettiä millä tasolla (A, AA vaiko AAA) arviointi tehdään, sekä myös sitä, onko perusteltua suorittaa arviointi kaikille luvussa 1.2 esitellyille sivuille vai riittääkö esimerkiksi pelkkä etusivun arviointi. 5.2.3. Eläytymismenetelmät (skenaario) Kuvaus Eläytymismenetelmässä tutkimukseen osallistuvia henkilöitä pyydetään kirjoittamaan tarina tutkimuksen laatijoiden kirjoittaman johdatuksen pohjalta. Formaatti ei ole yleensä sidottu, vaan tarina voidaan kirjoittaa vapaasti. Kirjoituksen pituus voidaan kuitenkin esim. rajoittaa yhteen A4-sivuun. Vastauksiin saadaan variaatiota ja

tutkittavaa asiaa analysoitua muokkaamalla ja varioimalla johdatusta kunkin henkilön kohdalla. Valintaperusteet Menetelmä valittiin erikoisuutensa ja käyttäjäkeskeisyytensä vuoksi vastapainoksi listamaisien ja ohjelmallisten menetelmien rinnalle. Lisäksi ks. vahvuudet. Vahvuudet ja heikkoudet Vahvuutena menetelmällä on mahdollisuus saada syvempää tietoa ongelmista, jotka muuten voisivat jäädä huomaamatta. Menetelmä on lisäksi melko vaivaton toteuttaa. (Saaranen-Kauppinen & Puusniekka 2006) Heikkoutena on mahdollinen tarinoiden analysoimisen vaikeus tai ei-toivotun aineiston saaminen. Johdanto ja sen variointi on valittava tarkoin. (Saaranen-Kauppinen & Puusniekka 2006) 5.3. Käyttäjälähtöiset menetelmät Käyttäjälähtöisissä menetelmissä tietoa kerätään oikeilta tai oletetuilta käyttäjiltä esimerkiksi lomakkein, haastatteluin, ryhmäläpikäynnein, prototyyppien avulla, analysoimalla lokitiedostoja jne. Tietoa voidaan kerätä laboratorio-olosuhteissa tai esim. oletetulla käyttöpaikalla. Menetelmä päätettiin jättää ainakin alustavasti valitsematta ryhmän riittämättömien käytettävissä olevien resurssien ja käytettävyysosaamisen vuoksi. Lisäksi käytössä ei ole tarpeeksi isoa kohderyhmää, jotta analyysi olisi järkevää. Jos tilaisuus käyttäjälähtöisten menetelmien käyttöön kuitenkin ilmenee otetaan käyttöön luultavasti luvussa 5.3.1 kuvattu käyttäjien havainnointi. Vahvuutena käyttäjälähtöisissä menetelmissä on aineiston laajuus, monipuolisuus ja laatu. Heikkoutena on resurssi-intensiivisyys. 5.3.1. Käyttäjien havainnointi Kuvaus Käyttäjien havainnointi sisältää samoja piirteitä kuin luvun 5.2.3 eläytymismenetelmä. Siinä voidaan myös käyttää samanlaisia skenaarioita kuin eläytymismenetelmissä jolloin havainnointia voidaan rajata tiettyyn palvelun osa-alueeseen ja / tai toiminnallisuuteen. Havainnoinnissa tietoa kerätään menetelmän nimen mukaisesti tarkkailemalla käyttäjiä palvelun käytön yhteydessä. Käyttäjiä voidaan myös pyytää ajattelemaan ääneen jolloin käyttäjiltä saadaan syvällisempää tietoa vaikuttamatta kovinkaan paljon käyttäjien toimintaan (Tervakari et al. 5.4.1 Havainnointi 2013).

Käyttäjiä havainnoimalla saadaan yleistason tietoa palvelun laadukkuudesta, sekä käyttäjistä riippuen myös tarkempaa laatutietoa, esimerkiksi värimaailmaan ja vastaaviin liittyen. Valintaperusteet Seuraavaksi esiteltyjen vahvuuksien lisäksi mahdollisena valintaperusteena on myös se, että käyttäjien havainnointi on hieman vapaampi tiedon keräämisen muoto kuin kyselyt ja haastattelut. Tämän ansiosta se voikin olla kyselyihin ja haastatteluihin verrattuna sopivampi vaihtoehto ryhmällemme, jossa ei ole varsinaista käytettävyysasiantuntijaa. Vahvuudet ja heikkoudet Kuten kaikissa käyttäjälähtöisissä menetelmissä, on havainnoinnissakin vahvuutena se, että tieto tulee suoraan käyttäjiltä. Ryhmämme kannalta suurin heikkous on kuitenkin havainnoinnin resurssi-intensiivisyys, sekä se, ettei ryhmästämme löydy kovinkaan kattavaa osaamista tältä osa-alueelta. Myös kohderyhmän koko jäisi luultavasti liian pieneksi, sillä vapaaehtoisia osallistujia voi olla hankala löytää. 6. ARVIOINNIN LUOTETTAVUUDEN ARVIOINTI Ryhmämme käyttää monipuolisesti erilaisia menetelmiä, mikä itsessään on arvioinnin luotettavuutta lisäävä tekijä. Erityisesti ohjelmallisten menetelmien tapauksessa arviointia voi perustellusti pitää objektiivisena ja luotettavana, vaikka tuloksien tulkinnassa voikin esiintyä tietynasteista subjektiivisuutta. Asiantuntijamenetelmien käytön validiutta ja näillä hankitun tiedon uskottavuutta kasvattaa ryhmän suhteellinen asiantuntijuus melko edistyneiden hypermediaopintojen sekä yleisen teknistaloudellisen valveutuneisuuden vuoksi, mutta ohjelmallisiin menetelmiin verrattuna ns. inhimillinen virhemarginaali ja subjektiivisuuden riski on kuitenkin suurempi. Ryhmällä ei ole merkittäviä sidoksia Giganttiin tai sen kilpailijoihin, eikä muitakaan intressejä esittää sivuston laadukkuudesta vääristettyä kuvaa. Ryhmä ei myöskään ole tutkimuksen aikana tai lähiaikoina kontaktissa Gigantin edustajiin muuten kuin tavallisen asiakkaan ja sivuston käyttäjän ominaisuudessa. Arvioinnissa käytetyt mallit ovat yleisesti hyväksyttyjä, läpinäkyviä ja ryhmän löydökset niiden perusteella on argumentoitu tieteellisesti. Merkittävin arvioinnin luotettavuutta horjuttava tekijä on toteuttavan tiimin pienehkö koko ja muutenkin rajalliset resurssit. Esimerkiksi asiakaslähtöisen arvioinnin tulokset ovat riippuvaisia ryhmäläisten eläytymiskyvystä ja saattavat näin tuottaa vääristynyttä tietoa. Lisäksi on otettava huomioon, että arvioijat ovat opiskelijoita, joten aihealueen

tietämys ei verrattaisesta asiantuntijuudesta huolimatta ole akateemisella tasolla erityisen syvä. 7. RYHMÄN TYÖNJAKO Malleille ja menetelmille on määrätty omat päävastuuhenkilönsä jotka voivat tarpeen mukaan jakaa aluettaan edelleen ryhmän sisällä. Tällä pyritään siihen että työmäärä jakautuisi mahdollisimman tasaisesti luonnollisella tavalla. Vastuualueet on pyritty jakamaan osaamisen sekä mielenkiinnon mukaan. Niku Husu: WCAG-päävastaava. Osallistuu eläytymismenetelmään eläytyjänä. Iiro Kaisla: ohjelmalliset menetelmät (päävastaava) Osallistuu eläytymismenetelmään eläytyjänä. Marko Nyby: Vastaa dokumentoinnista ja dokumenttien julkaisemisesta Piirissä. Osallistuu eläytymismenetelmään eläytyjänä. 2QCV3Q-mallin päävastuuhenkilö. Anssi Puustinen: 25-kohdan checklist päävastaava. Osallistuu eläytymismenetelmään eläytyjänä. Eetu Rasi: Eläytymismenetelmien päävastaava. Koska käyttäjälähtöisten arviointimenetelmien käyttö ei ole vielä varmaa, niille ei ole määrätty erityistä vastuuhenkilöä.

LÄHTEET Anon. 2013a. Gigantti tietoa meistä. http://www.gigantti.fi/cms/cbcakequvgleaaaen8bb94ogl/tietoa-meista Viitattu 2013-09-20. Anon. 2013b. Pingdom Website Speed Test. http://tools.pingdom.com/fpt/ Viitattu 2013-09-26. Caldwell, B.; Cooper, M.; Reid, L., G. & Vanderheiden, G. Web Content Accessibility Guidelines (WCAG) 2.0. Saatavissa vapaasti: http://www.w3.org/tr/2008/rec-wcag20-20081211/ Julkaistu: 2008-12-11. Viitattu: 2013-09-25. Cunningham, J.B. 1997. Case study principles for different types of cases. Quality and Quantity 31, 401-423. http://search.proquest.com/docview/787405493/fulltextpdf/140d01a126b3fa 9CE6/6?accountid=27303 Viitattu: 2013-09-29. Järvinen, P. Järvinen, A. 2004. Tutkimustyön metodeista. Opinpajan kirja, Tampere. March, S.T. Smith, G.F. 1995. Design and natural science research on information technology. Decision Support Systems 15, 251-266. http://ac.els- cdn.com/0167923694000412/1-s2.0-0167923694000412- main.pdf?_tid=1c6f8d7c-29a7-11e3-ac04-00000aacb362&acdnat=1380528526_c8afde2d424bc9c00c26d352c227c68b Viitattu: 2013-09-29 Meyers, P. J. 2009. 25-point Website Usability Checklist. Saatavissa vapaasti: http://www.usereffect.com/topic/25-point-website-usability-checklist Julkaistu 2009-02-10. Viitattu: 2013-09-25. Näkövammaisten Keskusliitto ry. Näkeminen ja näkövammaisuus. Saatavissa vapaasti: http://www.nkl.fi/fi/etusivu/nakeminen Viitattu: 2013-09-25. Routio, P. 2007. Mallit. http://www2.uiah.fi/projects/metodi/05b.htm Viitattu: 2013-09-29. Saaranen-Kauppinen, A. Puusniekka, A. 2006. KvaliMOTV - Menetelmäopetuksen tietovaranto [verkkojulkaisu]. Tampere: Yhteiskuntatieteellinen tietoarkisto. http://www.fsd.uta.fi/menetelmaopetus/ Viitattu 2013-09-29. Tervakari, A-M., Silius, K. & Koro, J. 2005-2013. Verkkopalvelun käyttökelpoisuuden arvioiminen. Oppimateriaali. 5.3 Asiantuntijamenetelmiä. Saatavissa osoitteessa: http://hlab.ee.tut.fi/piiri/content/53-asiantuntijamenetelmia Julkaistu: 2013-07-19. Viitattu: 2013-09-26. Tervakari, A-M., Silius, K. & Koro, J. 2005-2013. Verkkopalvelun käyttökelpoisuuden arvioiminen. Oppimateriaali. 5.3.4 Muita menetelmiä. Saatavissa osoitteessa: http://hlab.ee.tut.fi/piiri/content/534-muita-menetelmia

Julkaistu: 2013-07-19. Viitattu: 2013-09-30. Tervakari, A-M., Silius, K. & Koro, J. 2005-2013. Verkkopalvelun käyttökelpoisuuden arvioiminen. Oppimateriaali. 5.3.3 Eläytymismenetelmä. Saatavissa osoitteessa: http://hlab.ee.tut.fi/piiri/content/533-elaytymismenetelma Julkaistu: 2013-07-19. Viitattu: 2013-09-30. Tervakari, A-M., Silius, K. & Koro, J. 2005-2013. Verkkopalvelun käyttökelpoisuuden arvioiminen. Oppimateriaali. 5.4.1 Havainnointi. Saatavissa osoitteessa: http://hlab.ee.tut.fi/piiri/content/541-havainnointi Julkaistu: 2013-07-19. Viitattu: 2013-09-30. W3C 2008. W3C mobileok Basic Tests 1.0. W3C Recommendation 08 December 2008. http://www.w3.org/tr/mobileok-basic10-tests/ Viitattu: 2013-09-23. W3C 2009. W3C CSS Validation Service. http://jigsaw.w3.org/css-validator/ Viitattu: 2013-09-28. W3C 2012. W3C Markup Validation Service. http://validator.w3.org Viitattu: 2013-09- 28.