MAT Verkkopalvelun laadukkuus ja arviointi. Työryhmä Hyperkuutio. Kohdeyritys: Gigantti VERKKOPALVELUN ARVIOINTIRAPORTTI

Transkriptio

1 MAT Verkkopalvelun laadukkuus ja arviointi Työryhmä Hyperkuutio Kohdeyritys: Gigantti VERKKOPALVELUN ARVIOINTIRAPORTTI Niku Husu, Iiro Kaisla, Marko Nyby, Anssi Puustinen

2 SISÄLLYS 1. JOHDANTO ARVIOITAVA VERKKOPALVELU ARVIOINTIPROJEKTIN TAVOITTEET ARVIOINTIPROJEKTIN ETENEMINEN JA RYHMÄN TYÖNJAKO ARVIOINTIRAPORTIN RAKENNE MALLIT MALLEISTA JA MENETELMISTÄ TYÖHÖN VALITTU 2QCV3Q-MALLI JA SEN OSATEKIJÄT Identiteetti (Identity) Sisältö (Content) Palvelut (Services) Saavutettavuus (Location) Sivuston ajantasaisuus ja ylläpito (Management) Käytettävyys (Usability) Resursointi (Feasibility) MENETELMÄT OHJELMALLISET MENETELMÄT W3C:n HTML- ja CSS-validaattorit ja mobileok Checker Sivuston suorituskykytesti ASIANTUNTIJAMENETELMÄT User Effect: 25-point Website Usability Checklist Kuluttajaoikeuden linjaus: Verkkokaupan perustaminen Eläytymismenetelmät (skenaario) KÄYTTÄJÄLÄHTÖISET MENETELMÄT ARVIOINNIN TULOKSET W3C:N HTML- JA CSS-VALIDAATTORIT JA MOBILEOK CHECKER Miten käytettiin Tulokset SIVUSTON SUORITUSKYKYTESTI (IIRO) Miten käytettiin Tulokset USER EFFECT: 25-POINT WEBSITE USABILITY CHECKLIST Miten käytettiin Tulokset KULUTTAJAOIKEUDEN LINJAUS: VERKKOKAUPAN PERUSTAMINEN Miten käytettiin Tulokset ELÄYTYMISMENETELMÄT (SKENAARIO) Miten käytettiin Eläytymistarinat Eläytymisen tulokset TULOKSET JA JOHTOPÄÄTÖKSET KESKEISET TULOKSET JA KEHITYSKOHTEET Identiteetti (Identity)...34

3 Sisältö (Content) Palvelut (Services) Saavutettavuus (Location) Sivuston ajantasaisuus ja ylläpito (Management) Käytettävyys (Usability) Resursointi (Feasibility) ARVIOINNIN LAADUKKUUDEN ARVIOINTI Yleistä QCV3Q-mallin ja menetelmien vertaaminen sekä mallin kritiikki ARVIO TYÖN MERKITYKSESTÄ...39 LIITTEET...42 LIITE 1: ETUSIVUN OSITTAINEN RUUDUNKAAPPAUS...42 LIITE 2: PUHELIMET JA GPS -TUOTERYHMÄN OSITTAINEN RUUDUNKAAPPAUS...43 LIITE 3: TUOTESIVUN OSITTAINEN RUUDUNKAAPPAUS...44

4 1. JOHDANTO 1.1. Arvioitava verkkopalvelu Valitsimme kohdeyritykseksemme kodinkoneketju Gigantin. Gigantti on osa Norjassa toimivaa Elkjøp-konsernia, joka kuuluu edelleen englantilaisen DSG International Oyj:n omistukseen. Gigantti myy kodinelektroniikkaa sekä siihen liittyviä tele- ja datatuotteita sekä kuluttajille että yrityksille. Gigantti ilmoittaa liikeideansa perustaksi sujuvan logistiikan. Tuotteiden päävarasto on Jönköpingissä Keski-Ruotsissa, josta on sujuvat yhteydet Pohjoismaihin. Gigantilla on Suomessa 41 myymälää sekä verkkokauppa, jonka laadukkuuden arviointiin työ keskittyy. (Anon. 2013a) Gigantti valittiin tutkimuksen kohteeksi, sillä ketju tavoittelee laajaa asiakaskuntaa ja siten monenlaisia kohderyhmiä. Lisäksi tekijöillä on jo ennakkokäsitys siitä, että verkkokaupasta löytyy todennäköisesti parannettavaa. Tutkimus tehdään kuluttajanäkökulmasta. Lähtökohtaisesti sivuston kohderyhmänä ovat kaikki kuluttajat, mutta tässä tutkimuksessa on rajauduttu seuraaviin kohderyhmiin: tekniikasta kiinnostuneet ja rahoistaan tarkat nuoret ihmiset, ikäryhmä tekniikasta kiinnostuneet ja ostovoimaiset ihmiset, ikäryhmä hajonneen laitteen korvaajat ja samalla paremman ostavat, yleensä miehiä, ikäryhmä hajonneen laitteen korvaajat, samanlainen tilalle, yleensä naisia, ikäryhmä 50+ Kohderyhmistä kaksi ensimmäistä löytyy työryhmästä. Kahteen seuraavaan pyritään eläytymään Arviointiprojektin tavoitteet Gigantin verkkokaupan laadukkuutta lähestyttiin verkkokaupoille ominaisten prosessien kannalta. Gigantin kannalta tärkeimmät prosessit ovat: tuotteen ja tuotetietojen haku, erilaisten tuotteiden vertailu, verkkokauppaan liittyvän tiedon haku sekä tuotteen ostaminen.

5 Prosesseissa esiinnousseet sivuston osat olivat etusivu, tuotekategoriasivu sekä yksittäinen tuotesivu. Sivuston rakenne toistuu samankaltaisena eri tuoteryhmissä, joten useiden tuoteryhmien läpikäyminen ei tuottaisi merkittävää lisäarvoa. Edellä mainittuihin sivuston osiin liittyvät ruudunkaappaukset ovat liitteissä 1-3. Arvioinnin tavoitteena on kartoittaa Gigantin verkkosivujen laadukkuutta niin teknisistä kuin inhimillisistäkin näkökulmista. Gigantin kaltaisen kauppaketjun sivujen on tärkeä vastata mahdollisimman laajaan kirjoon asiakastarpeita mahdollisimman tehokkaasti ja vaivattomasti. Työssä määritetään tärkeimmät kriteerit sivuston laadun toteamiseksi sekä arvioidaan näiden kriteerien toteutumista mahdollisimman laadukkaiden ja hyödyllistä informaatiota tuottavien menetelmien ja mallien avulla. Lisäksi esitetään mahdollisia parannusehdotuksia havaittujen puutteiden ja/tai ongelmakohtien pohjalta Arviointiprojektin eteneminen ja ryhmän työnjako Projekti aloitettiin hyvissä ajoin arviointisuunnitelman laatimisella. Välinäytön perusteella arviointityötä täydennettiin ja menetelmiä täsmennettiin. Malleille ja menetelmille oli määrätty omat päävastuuhenkilönsä, jotka pystyivät tarpeen mukaan jakamaan menetelmään liittyviä tehtäviä edelleen ryhmän sisällä. Tällä toimintatavalla varmistettiin työmäärän mahdollisimman tasainen jakautuminen. Työn osa-alueet jaettiin osaamisen sekä mielenkiinnon mukaan. Niku Husu: Eläytymismenetelmien päävastaava. Osallistui eläytymismenetelmään eläytyjänä. Iiro Kaisla: Ohjelmallisten menetelmien päävastaava. Osallistui eläytymismenetelmään eläytyjänä. Marko Nyby: 2QCV3Q-mallin päävastuuhenkilö. Osallistui eläytymismenetelmään eläytyjänä. Vastasi dokumenttien muotoseikoista ja julkaisemisesta Piirissä. Anssi Puustinen: Tarkistuslistojen päävastaava. Osallistui eläytymismenetelmään eläytyjänä.

6 1.4. Arviointiraportin rakenne Luvussa 2 esitellään työssä käytetty 2QCV3Q-malli sekä sen esittelemät laadun osaalueet. Luvun 2 yhteydessä perehdytään myös laadun osa-alueiden merkitykseen Gigantin kannalta sekä siihen, kuinka käytetyt menetelmät vastaavat näitä osa-alueita. Luvussa 3 esitellään tarkemmin työssä käytetyt menetelmät ja käydään läpi menetelmiin liittyviä vahvuuksia ja heikkouksia. Luvussa 4 kerrotaan, kuinka menetelmiä hyödynnettiin arviointiprojektissa ja listataan niillä saadut tulokset. Lukuun 5 on tulosten pohjalta koottu Gigantin onnistumiset sekä epäonnistumiset ja niihin liittyvät kehitysideat. Luvussa 5 myös arvioidaan suoritetun arvioinnin laadukkuutta ja työn merkitystä. 2. MALLIT 2.1. Malleista ja menetelmistä Arviointi perustuu 2QCV3Q-malliin ja sen osatekijöihin (Mich et al. 2003). Ennen varsinaista 2QCV3Q-mallin kuvausta käsitellään lyhyesti malleja. March ja Smith (1995) kuvaavat suunnittelutieteitä (design science), joiden tuotokset ovat joko käsitteitä (constructs), malleja (models), menetelmiä (methods) tai toteutuksia (implementations). Näistä käsitteet tarkoittavat ilmiöitä kuvaavia peruskäsitteitä. Mallit ovat korkeamman tason tulkintoja, joilla kuvataan tehtäviä, tilanteita ja muita ihmisen laatimia rakennelmia (artifacts). Menetelmät ovat tavoitehakuisia suorituskeinoja ja toteutusten tuloksena saadaan tiettyihin tehtäviin pystyviä fyysisiä tuotteita. March ja Smith korostavat, ettei suunnittelutieteissä pyritä teorioihin, vaan malleihin, menetelmiin ja sovelluksiin, jotka ovat innovatiivisia ja arvokkaita. Routio (2007) jakaa mallit edelleen yhtä empiiristä kohdetta tai tapausta koskeviin sekä samantapaista kohteiden tai tapausten perusjoukkoa koskeviin. Arviointiraportti liittyy yksittäiseen nettisivustoon, joten kyseessä on tapaustutkimus. Tapaustutkimuksen alalajeista tilanteeseen sopinee parhaiten Cunninghamin (1997) intensiivimetodeihin kuuluva selittävä case-metodi. Intensiivimetodien tavoitteena on yhden henkilön, ryhmän tai organisaation tapahtumien ja käytäntöjen hyvin intensiivinen ymmärtäminen todistusaineistojen (evidence) perusteella (Järvinen & Järvinen 2004). Vaikka nyt ei todennäköisesti saavutetakaan intensiivistä ymmärrystä Gigantin toiminnasta, selittävä case-metodi vaikuttaa muutoin sopivalta. Kyseisessä metodissa tutkija kerää tosiasioita ja tekee niistä johtopäätöksiä sanomalehtitoimittajan tai lakimiehen tapaan teoriaa tukevalla tavalla (Cunningham 1997).

7 2.2. Työhön valittu 2QCV3Q-malli ja sen osatekijät 2QCV3Q-malli on verkkosivuston laadun arviointimalli. Mallin laatijoiden mukaan se kokoaa yhteen sekä sivuston omistajan, käyttäjien että kehittäjien näkökulman. Tämä on tärkeää, koska esim. markkinointimateriaalin tuottajilla, ohjelmistosuunnittelijoilla ja graafisilla suunnittelijoilla on erilaiset taustat, osaamispohjat ja kehittämisprioriteetit. (Mich et al. 2003) Päädyimme käyttämään 2QCV3Q-mallia suunnittelutieteiden tapaan siten, että 2QCV3Q-malli on korkeamman tason käsite. Jäljempänä kuvatut menetelmät ovat mallin osatekijöitä soveltavia metodeja. 2QCV3Q-mallin avulla myös tarkistetaan se, mitkä mallin osatekijät voitiin arvioida työssä käytetyillä menetelmillä ja mitkä taas ei. Mallin seitsemän osatekijää ovat (Mich et al. 2003): 1. Identiteetti (Identity), 2. Sisältö (Content), 3. Palvelut (Services), 4. Saavutettavuus (Location) 5. Sivuston ajantasaisuus ja ylläpito (Management), 6. Käytettävyys (Usability) ja 7. Resursointi (Feasibility). Mallin osatekijät on nimetty hieman erikoisesti, mutta niiden sisältö ja soveltaminen on selitetty tarkemmin. Osatekijät on avattu tarkemmin alempana kohdissa Tutkijat toteavat laaditun mallin toimivan varsin hyvin ja mallin olevan toimialariippumaton, eri tyyppisille sivustoille sopiva, skaalautuva ja käytettävä. Mallin käytännön sovelluksia tai sen arviointia ei kuitenkaan löytynyt yleisestä Internetistä tai ACM:n digitaalikirjastosta. Mallin arvioinnin puute voi johtua siitä, että malli on Marchin ja Smithin (1995) kuvaamien suunnittelutieteiden hengessä helppo soveltaa eikä siten tarjoa "tieteellistä uutta". Toisaalta malli on osoittanut jo alkuperäisessä paperissa olevansa hyvä useiden erityyppisten sivuston analyysissä. Seuraavassa käsitellään tarkemmin mallin eri osatekijät ja kuvataan käytetyt menetelmät osana mallia. Menetelmät on tässä kohtaa vain esitelty ja ne on kuvattu tarkemmin luvussa Identiteetti (Identity) Mich et al. (2003) toteavat identiteetin tarkoittavan joko brändin tai henkilön identiteettiä, jota verkkosivusto vahvistaa. Saman lähteen mukaan sivuston tulisi olla houkutteleva käyttää, ja sen tulisi lisätä käyttäjän luottamusta sivuston omistajaan.

8 Gigantin näkökulmasta sivuston tulee olla sellainen, että sen tunnistaa heti Gigantin sivuksi ja että se tukee muuta viestintää. Esimerkiksi sivustolla tulee käyttää samoja värejä ja samantyyppistä taittoa kuin printtimainonnassa. Luottamusta lisäävät myös mahdollisuus vertailla ja arvostella tuotteita sekä kysymys-vastaus- tai foorumityyppiset toiminnot, joiden avulla ainakin pyritään luomaan sellainen kuva, että Gigantin tarjoama tieto olisi puolueetonta ja siten luotettavampaa. Asiantuntijamenetelmiin kuuluva 25-point Website Usability Checklist sisältää "Identiteetti"-osuuden, joka keskittyy pitkälti samoihin asioihin kuin mallin samanniminen osa-alue. Myös kuluttajaoikeuden linjaus verkkokaupan perustamisesta liittyy tähän mallin osa-alueeseen luottamuksen rakentamisen osalta. Ohjelmallisilla menetelmillä tutkitaan tätä osatekijää, sillä ne kertovat, toimiiko sivusto halutulla tavalla ja tarpeeksi nopeasti. Jos sivusto ei toimi oikein tai on liian hidas, on sillä negatiivinen vaikutus yrityksen identiteetille. Asiantuntijamenetelmistä myös eläytymismenetelmällä voidaan tehdä pintapuolisia arvioita sivuston identiteetistä Sisältö (Content) Sisällön kohdalla tulee kyseeseen sen kattavuus, eli kattaako tarjottu tietosisältö käyttäjän (ja sivun omistajan) vaatimukset. Esimerkiksi verkkokaupan suhteen sivuston tulee tarjota kaikki sellainen tuotteeseen ja sen ostamiseen liittyvä tieto, jonka perusteella käyttäjä voi tehdä ostopäätöksen. Tarjottavien linkkien takana olevien sivujen tulee tarjota käyttäjälle hyödyllistä tietoa. Sivuston ulkopuolelle johtavien linkkien kohdalla on arvioitava, johtaako niissä tarjottu tieto siihen, ettei käyttäjä enää palaakaan lähtösivulle. Myös tiedon tarkkuutta ja luotettavuutta tulee arvioida. (Mich et al ) Edellä luottamuksen yhteydessä mainitut mahdollisuudet vertailla ja arvostella tuotteita sekä kysymys-vastaus- tai foorumityyppiset toiminnot toimivat myös siten, että niiden avulla vaativampikin asiakas pyritään pitämään Gigantin sivuilla vastauksia hakiessaan. Gigantille esitetty eksakti kysymys ja siihen saatu vastaus rohkaisevat myös muita käyttäjiä tekemään "tyhmiä kysymyksiä". Tämä on tärkeää etenkin sellaiselle kohderyhmälle, joilla ei ole riittävästi kielitaitoa, osaamista tai aikaa selvittää asiaa Googlen avulla. Tarjotun tiedon, esimerkiksi tuotetietojen, kattavuus, tarkkuus ja luotettavuus ovat kuluttajaviraston verkkokaupan perustajan linjauksen tärkeimpiä osa-alueita. 25-point Website Usability Checklist puolestaan liittyy tähän mallin osa-alueeseen navigaatiota käsittelevän osuutensa sekä "Sisältö"-osuutensa kautta. osalta sekä "Sisältö"-kohtansa kautta. Eläytymismenetelmän avulla sisällön tutkiminen on mahdollista hyvin konkreettisella, joskin omaksutun perspektiivin vuoksi mahdollisesti epätarkalla tavalla.

9 Palvelut (Services) Palvelut tarkoittavat tässä riittävää toiminnallisuutta sekä käyttäjän että sivuston omistajan näkökulmasta. Sivuston omistajalla voi olla liiketoiminta- tai henkilökohtaisia tavoitteita, kun taas käyttäjät tulevat hakemaan tietoa tai sopivia toimintoja suorittaakseen jonkin tehtävän. (Mich et al. 2003) Gigantin kannalta tärkein tavoite on saada verkkokaupassa kävijät ostamaan tuotteita. Tämä tarkoittaa verkkokaupan osalta sitä, että ostamiseen ja siihen liittyviin osatehtäviin kuuluvat toiminnot tulee hioa mahdollisimman helppokäyttöisiksi. Tämä ilmenee esimerkiksi suurikokoisina hintanappeina, joita painamalla tuote lisätään suoraan ostoskoriin. Sivuston kehittäjän tekninen osaaminen ja visionäärisyys mahdollistaa uudet palvelut (emt.). Tämä voisi Gigantin tapauksessa tarkoittaa palveluja, joita muilla nettisivustoilla ei ole. Tämän osa-alueen kannalta on tärkeää myös se, että palvelu toimii oikein ja tietoturvallisesti (emt.). Gigantin vahvuutena muihin verkkokauppoihin verrattuna on paikallisuus: sivustolta voi ostamisen ja maksamisen yhteydessä esimerkiksi varata tuotteen, jonka varastosaldo päivittyy lähes reaaliaikaisesti ja itse tuotteen voi käydä myös hakemassa paikallisesta Gigantista erilliseltä noutotiskiltä. Etuina tässä toimintatavassa ovat seuraavat: 1) lisätietohakuja on helppo tehdä kaikessa rauhassa kotona, 2) valittu tuote muuttuu heti ostajalle varatuksi, 3) sen saa "heti käteen", 4) vältytään mahdollisista kuljetusvaurioilta ja 5) noutopisteen jonokin voi olla lyhyempi kuin liikkeessä. Esimerkiksi Verkkokauppa tarjoaa mahdollisuuden toimia samoin, mutta sen myymäläverkosto on huomattavasti harvempi kuin Gigantilla. Verkkokaupan perustajan linjaus liittyy tähän osa-alueeseen tietoturvallisuuden kautta sekä käyttäjän tavoitteiden näkökulmasta. 25-point Website Usability Checklist puolestaan ottaa kantaa sisältöön ja saavutettavuuteen, jotka tulevat mallin tässä osassa ilmi käyttäjän tavoitteiden ja palvelujen teknisen toteutuksen, esimerkiksi tietoturvallisuuden kautta. Ohjelmallisista menetelmistä sivuston suorituskykytesti ottaa osittain kantaa tähän osatekijään, sillä jos palvelu on todella hidas, se vaikuttaa käyttäjän käyttökokemukseen ja täten mahdollisesti myös palveluntarjoajan tavoitteiden toteutumiseen. Eläytymismenetelmän avulla pureudutaan suoraan palveluiden arviointiin antamalla kuviteltujen asiakassegmenttien edustajille tehtävä, jonka onnistuminen on pitkälti sivuston palveluista kiinni Saavutettavuus (Location) Saavutettavuus tarkoittaa tässä ensinnäkin sitä, että sivusto on olemassa ja sen URL helposti löydettävissä. Saavutettavuus tarkoittaa myös sitä, että käyttäjä voi olla vuorovaikutuksessa sivuston ylläpitäjän ja muiden käyttäjien kanssa. Vuorovaikutusta

10 voidaan lisätä esim. foorumien tai sähköpostilistojen avulla. Sivuston ylläpitäjä voi olla saavutettavissa tavanomaisen lomakkeen lisäksi esim. sähköpostitse tai jopa puhelimitse. (Mich et al ) Gigantin kannalta tämä on tärkeää etenkin siksi, että verkkokaupan tulee olla helposti löydettävissä myös ilman hakukonetta. Hakukoneen käytössä on riski, että käyttäjä voi päätyä myös jonkin muun verkkokaupan sivuille tai löytää jonkin tyytymättömän asiakkaan perustaman blogin. Yhteydenottomahdollisuus sivuston ylläpitäjään (tai ehkä nykyisin tehtävään määrättyyn asiakaspalvelijaan) sekä tuotteisiin että sivuston tekniikkaan liittyvissä asioissa ja myös pikainen vastaaminen yhteydenottoihin on perusedellytys kielteisen nettijulkisuuden välttämiseksi. Vuorovaikutus on nykyisin myös osa palvelua, jonka ansiosta käyttäjä sitoutuu jatkossakin käyttämään nimenomaan Gigantin sivustoa eikä hae niin aktiivisesti tietoa muualta (vrt. kohta 2.2.2). 25-point Website Usability Checklistissä "Saavutettavuus" on omana osionaan, mutta menetelmän yhteydessä saavutettavuudella viitataan accessibility-termiin locationtermin sijaan. Sekä tarkistuslista että kuluttajaviraston verkkokaupan perustamisen linjaus ottavat kantaa ylläpitäjän ja käyttäjän väliseen vuorovaikutukseen, liittyen täten tähän mallin osa-alueeseen. Ohjelmallisista menetelmistä HTML- ja CSS-validaattorit sekä mobileok Checker tutkivat tähän osatekijään liittyviä kohtia. MobileOK tarkistaa mobiililaitteilla saavutettavuutta ja validaattorit yleistä saavutettavuutta ja oikeintoimivuutta. Eläytymismenetelmien avulla on mahdollista testata, ovatko kommunikointikanavat riittävän selkeästi esillä ja helppoja käyttää valituille asiakassegmenteille, mutta syvälliseen saavutettavuuden arviointiin eläytymisestä ei ole Sivuston ajantasaisuus ja ylläpito (Management) Sivuston ajantasaisuus ja ylläpito viittaavat tiedon ajantasaisuuteen, päivitystiheyteen, varapalvelinten olemassaoloon ja toiminnallisuuden eheyden varmistamiseen, eli siihen, ettei palvelussa ole esimerkiksi rikkinäisiä linkkejä. (Mich et al. 2003) Nykyaikaisen verkkokaupan osalta on luonnollista, että sivusto ja sen linkit toimivat. Tietojen ajantasaisuutta voidaan lähestyä ainakin kahdesta näkökulmasta: 1) tuotetietojen oikeellisuus (esim. ohjelmistopäivitysten myötä puhelimiin tulevat uudet ominaisuudet; onko paketissa olevassa puhelimessa jo uusi käyttöjärjestelmäversio vai ei) ja 2) suoraan ostoprosessiin liittyvien tietojen kuten varastosaldojen, liikkeiden yhteystietojen ja aukioloaikojen oikeellisuus, päivitys ja viestintä asiakkaalle. Näistä kohdan 2) tiedot ja prosessit ovat sellaisia, joiden virheellisyys on vaikeampi hyväksyä, koska ne vaikuttavat suoraan asiakkaan ostokokemukseen. Työssä ei luonnollisestikaan ole jo liikesalaisuussyistä ollut käytettävissä Gigantin palvelinlokeja, joten mallin tätä kohtaa ei voida analysoida kovinkaan syvällisesti.

11 Esimerkiksi tuotteiden varastosaldojen päivittyminen on kuitenkin nähtävissä muttei välttämättä reaaliaikaisesti, kuten kuvasta 1 havaitaan. Kuva 1. Esimerkkikuva Gigantin varastotietojen ajantasaisuudesta. Vaikka ajantasaisuus on verkkokauppojen, ja siten myös Gigantin, kannalta tärkeä laatutekijä, ei mikään työssä käytetyistä menetelmistä ota erityisesti kantaa tähän mallin osa-alueeseen. Ajantasaisuuden tutkiminen voisikin toimia eräänä jatkotutkimuksen lähtökohtana Käytettävyys (Usability) Käytettävyys on laaja käsite. 2QC3VQ-mallissa sitä lähestytään seuraavilla kriteereillä: 1) millaisella laitteistolla sivulle pääsee (ihannetapauksessa mitään liitännäisiä (plugins) ei tarvitse asentaa), 2) sivusto on ymmärrettävä myös mobiililaitteilla, 3) sivusto on helposti navigoitava (selkeä layout), 4) nopeat latausajat sekä 5) monikielinen käyttöliittymä ja helposti hahmotettavat termit ja symbolit. (Mich et al. 2003) Mallin ikä näkyy erityisesti tässä kohtaa, koska pöytäkoneiden ja kannettavien laskentateho ja resoluutio ovat nykyisin riittäviä ja erityisesti HTML 5:tä tukevat selaimet niin kehittyneitä, ettei erillisiä liitännäisiä yleensä tarvita. Toisaalta mobiililaitteiden ja liikkuvan laajakaistan yleistymisen myötä nämä tekijät on jälleen syytä ottaa huomioon. Gigantin tapauksessa käytettävyys on olennaista, jotta ostoprosessi pystytään viemään alusta loppuun sujuvasti Gigantin sivuilla pysyen. Sivustossa vaikuttaa kuitenkin olevan jo ennen tarkempaa analyysiä paljonkin kehitettävää. PC-koneilla pääsee sivustolle varsin helposti, mutta se vaikuttaa raskaalta sekä konetehon että tarvittavan nettiyhteyden nopeuden suhteen. Erillistä mobiililaitteille suunnattua sivustoa ei ole. Myös layout on ongelmallinen: monet sivun teksteistä ovat hyvin pieniä, toissijaiselta tuntuvat elementit on sijoitettu suurikokoisina keskeisille paikoille ja yleisvaikutelma on sekava. Itse ostoprosessi sujuu melko helposti, mutta esimerkiksi Amazoniin verrattuna

12 Gigantti vaikuttaa suunnatun enemmän heräteostajalle, joka ei tuotetiedoista juurikaan perusta. 25-point Website Usability Checklist liittyy tämän osa-alueen kohtiin 3 ja 4. Se siis ottaa kantaa sivuston tekniseen toteutukseen sekä layoutin selkeyteen ja siitä seuraavaan navigoinnin helppouteen. Ohjelmalliset menetelmät liittyvät tähän mobiililaitteille sopivuuden, koodauksen oikeellisuuden ja latausaikojen myötä Resursointi (Feasibility) Työhön valittu käännös "resursointi" kuvaa mallin laatijoiden tarkoitusta, koska termi "feasibility" voidaan ymmärtää myös muilla tavoin. Tässä sillä on selkeästi haettu (taloudellista) toteuttamiskelpoisuutta. Resursointi tarkoittaa tässä sivuston suunnitteluun, toteutukseen ja ylläpitoon varattavia resursseja sekä työn että pääoman näkökulmasta. Sivuston omistajan investointihalukkuus asettaa reunaehdot syntyvälle sivustolle. Resursointiin liittyy myös teknisiä valintoja, kuten kaupallisten tai open source-ohjelmistojen valinta sivuston pohjaksi. Tämän työn tekijöillä ei ole ollut käytettävissään tietoa Gigantin sivustoinvestoinneista tai niihin liittyvistä prosesseista. Tieto on vahvasti liikesalaisuuden piiriin kuuluvaa, joten mallin tätä kohtaa ei tässä työssä voida analysoida. 3. MENETELMÄT 2QCV3Q-mallin pohjalta ryhmämme valitsi erilaisia menetelmiä, joilla sivuston laadullisia ja täten mallin eri osa-alueiden vastaavia ominaisuuksia voidaan tarkastella. Menetelmät on seuraavassa jaoteltu ohjelmallisiin eli tietokoneavusteisiin, lähinnä kvantitatiivistä tietoa tuottaviin menetelmiin sekä asiantuntijamenetelmiin, jotka ottavat kvalitatiivisemman ja kokonaisvaltaisemman lähestymistavan sivuston arviointiin. Kunkin käytetyn menetelmän kohdalla tutkittiin ensin kriittisesti sen relevanssia sekä menetelmän vahvuuksia ja heikkouksia. Menetelmien toimintaperiaatteet, valintaperusteet (tai perusteet valitsematta jättämiselle) ja ominaisuudet esitellään seuraavassa Ohjelmalliset menetelmät Ohjelmalliset menetelmät soveltuvat hyvin tämän mallin kanssa käytettäväksi, koska näin saadaan nopeasti tarkistettua sivuston tekninen toteutus. Valitsimme ohjelmallisiksi menetelmiksi W3C:n HTML- ja CSS-validaattorit, mobileok Checkerin sekä suorituskykytesti Pingdom Toolsin, koska näiden avulla pystymme käymään vaaditut kohdat läpi eli sivuston lähdekoodin oikeellisuuden, soveltuvuuden ja käytettävyyden mobiililaitteilla sekä yleisen suorituskyvyn. Näiden menetelmien tulokset ovat usein

13 yksiselitteisiä, mutta samalla ne pystyvät antamaan yllättävän paljon informaatiota sivuston teknisestä toteutuksesta. Toisaalta valitut menetelmät eivät ota kantaa sisällön oikeellisuuteen vaan ainoastaan siihen, että kaikki elementit ovat omalla paikallaan ja teknisesti oikein W3C:n HTML- ja CSS-validaattorit ja mobileok Checker Kuvaus Nämä kaikki menetelmät ovat saman tyyppisiä, mutta tutkivat eri asioita. HTMLvalidaattori (W3C 2012) tutkii, onko sivuston HTML-merkkaus standardin mukaista ja oikein kirjoitettua. CSS-validaattori (W3C 2009) sen sijaan tarkastaa CSS-tiedoston eli tyylitiedoston oikeellisuuden. Näissä kummassakin pystyy valitsemaan, minkä version mukaista merkkauksen tulisi olla tai vaihtoehtoisesti voi antaa ohjelman itse tunnistaa version. Lähdekoodin voi syöttää URL-osoitteena, josta validaattori hakee itse tarvitsemansa tiedostot, ladata tiedoston tai syöttää suoraan tekstinä. Tarkistamisen jälkeen validaattori ilmoittaa, onko sivu läpäissyt testin. Jos sivu ei läpäissyt testiä, niin validaattori ilmoittaa virheet (mitä ja mistä löytyi sekä virheen vakavuus). MobileOK Checker (W3C 2010) tarkistaa sivuston soveltuvuutta mobiililaitteille käymällä läpi sivun merkkauksen mobileok Basic Test 1.0 (W3C 2008) -tarkistuslistan mukaan. Testin ajon jälkeen tulossivulla ilmoitetaan prosentteina, kuinka hyvin sivusto soveltuu mobiililaitteelle sekä virheet ja huomautukset kategorioituna alla. Jokaisella virheellä ja huomautuksella on vakavuusasteensa, mikä virhe on, missä se on ja miten sen saisi mahdollisesti korjattua. Valintaperusteet Valitut tarkistusohjelmat ovat helppoja ja luotettavia testejä sekä yleisesti tunnettuja. Testien tulokset ovat selkeitä ja yksiselitteisiä, koska mahdolliset virheet on eritelty ja virheiden syyt on myös selitetty. Yksi syy valintaan oli myös se, että ryhmän kaikki jäsenet tunsivat nämä ainakin jollain tasolla ja lähes kaikki olivat käyttäneet niitä useamminkin. Vahvuudet ja heikkoudet Vahvuuksina näillä testeillä on selkeys ja luotettavuus. Testit ovat lisäksi kattavia ja tarkkoja. Ne ovat myös hyvin dokumentoituja ja niissä kerrotaan selvästi, mitä testi tutkii. Heikkoutena on se, että jokaikinen sivu tarvitsee tarkistaa erikseen eikä voi antaa vain sivustoa, jonka jokainen alasivu käydään automaattisesti läpi. Myös se haittaa, että osa virheistä voi vaikuttaa myös alapuoliseen merkkaukseen, jolloin virheitä voi tulla todella paljon, vaikka vain yksi kohta on väärin. Myös MobileOK Checkerissä on ongelmallista se, että osa virheistä johtuu palvelimesta ja sen verkkoyhteystavasta, joihin ei välttämättä pysty vaikuttamaan.

14 Sivuston suorituskykytesti Kuvaus Sivuston suorituskykyä ja eritoten sen latautumista testaamme Pingdom Tools (Anon. 2013b) -sivuston testien avulla. Sivustolla on monta eri testiä: sivuston latautumistesti, analyysiä edellisestä, DNS-kysely ja terveystesti sekä ping ja traceroute. Sivustolle pystyy myös kirjautumaan sisään jolloin testit pystyy automatisoimaan ja jos tulee virheitä niin siitä voidaan ilmoittaa tekstiviestillä tai sähköpostilla. Tämä ominaisuus on lähinnä tarkoitettu sivuston ylläpitäjille eikä tämän työn testeihin soveltuva, mutta muut ominaisuudet ovat erittäin hyvin tähän soveltuvia. Sivusto kerää myös testien perusteella historiaa lataus ajoista ja piirtää niistä graavia. Työkalua tulemme käyttämään niin että vertaamme gigantti.fi sivuston suorituskykyä muihin palveluihin palvelun tarjoaman vertailuluvun avulla. Valintaperusteet Valitsimme tämän tyyppisen testin, koska mallimme vaatii jonkin näköistä suorituskyvyn testaamista. Tähän palveluun päädyimme, koska se on luotettavan oloinen ja myös kattava. Työkalusta voi olla hyötyä myös jatkossa, sillä sitä voi käyttää hyväkseen palvelimien ja sivustojen ylläpidossa. Tämä oli myös helpoimman ja parhaimman oloinen vastaava testi, jota tutkimme. Vahvuudet ja heikkoudet Testin ehdottomasti suurin vahvuus on sen laajuus, sillä muissa palveluissa on vain yksi tai kaksi sellaista ominaisuutta, joita tässä on. Toisena asiana, joka on ehdottomasti vahvuus, on tulosten analyysisivu. Siinä on koottu tiedot selkeästi ja paremmin ihmisen luettavaan muotoon. Heikkoutena pidämme sitä että testaavat palvelimet sijaitsevat ulkomailla, jolloin meidän tapauksessamme testin tulokset ovat hieman virheellisiä johtuen etäisyysviiveestä. Sivusto on myös ensimmäisellä kerralla hieman sekavan oloinen, mutta palvelun opettelun jälkeen sitä pystyy kyllä helposti käyttämään Asiantuntijamenetelmät Asiantuntijamenetelmät tulevat luvussa 3.1 esiteltyjen ohjelmallisten menetelmien ohella olemaan tärkeässä osassa harjoitustyönä tehtävää Gigantin verkkokaupan laadukkuuden arviointia. Ryhmämme soveltuu poikkitieteellisyytensä vuoksi hyvin asiantuntijaryhmäksi (Tervakari et al. 5.3 Asiantuntijamenetelmiä, 2013). Teknisen toteutuksen arvioinnissa hyödyllisen hypermediataustan lisäksi ryhmämme pystyy arvioimaan sivuston informaatiosisältöä kattavan tietotekniikkataustansa ansiosta.

15 Suurimmat puutteet ryhmässämme liittyvät käytettävyyden sekä palvelun visuaalisen puolen arviointiin. Lukujen ja menetelmät edustavat tarkistuslistoihin perustuvaa läpikäyntiä. Tarkistuslistojen parhaita puolia on niiden resurssitehokkuus (Tervakari et al Muita menetelmiä, 2013). Menetelmien tarkkuus ja niillä saatujen tulosten merkitys riippuvat kuitenkin valitusta listasta, jolloin myös listojen valintavaiheeseen on kiinnitettävä huomiota. Käytämme tarkistuslistojen lisäksi myös luvussa esiteltyä eläytymismenetelmää, jonka työkaluna toimivat erilaiset skenaariot. Eläytymismenetelmien käytöllä pyritään muodostamaan palvelun laadusta eräänlainen yleiskatsaus (Tervakari et al Eläytymismenetelmä, 2013), jota voidaan sitten tarkentaa käyttäen esimerkiksi edellä mainittuja tarkistuslistoja User Effect: 25-point Website Usability Checklist Kuvaus 25-point Website Usability Checklist (Meyers 2009) on erityisesti yritysten verkkopalveluiden käytettävyyden arviointia varten kehitetty tarkastuslista. Lista pyrkii esittämään yritysten näkökulmasta oleellisimpia käytettävyystekijöitä tiiviissä, helposti lähestyttävässä muodossa. Lista on jaettu neljään osaan: saavutettavuus (accessibility), identiteetti (identity), navigaatio (navigation) sekä sisältö (content). Listassa käytetty saavutettavuuden termi eroaa hieman luvussa esitellystä saavutettavuuden termistä jolloin listojen päällekkäisyydet jäävät melko pieniksi. Valintaperusteet Tärkein syy listan valintaa oli se, että se on suunniteltu erityisesti yritysten verkkopalveluja silmällä pitäen. Se sisältääkin monia kohtia, joihin muissa laatua ja etenkin käytettävyyttä käsittelevissä lähteissä ei kiinnitetä huomiota. Esimerkkinä tästä ovat kohdat 7 ja 15, jotka käsittelevät yksinomaan yrityksen logoa. Listan hyvänä puolena on myös se, että se on luotu käytännön kokemuksen pohjalta. Tällöin se sisältää tärkeimmät asiat tiiviissä muodossa. Vahvuudet ja heikkoudet Listan pääasiallinen heikkous on sen kohtien monitulkintaisuudessa. Vaikka listan käyttö verkkopalvelun arvioinnissa onkin periaatteessa helppoa, koska jokaiseen 25 kohdasta valitaan yksi kolmesta onnistumisen tasosta, voi oikean vaihtoehdon valinta olla kohdan kuvauksen epämääräisyydestä johtuen hankalaa. Lista on kuitenkin todella tarkasti rakenteistettu läpikäynnin muoto, jolloin käytön pitäisi epämääräisyydestä huolimatta olla melko yksinkertaista.

16 Kuluttajaoikeuden linjaus: Verkkokaupan perustaminen Kuvaus Kuluttajaviraston verkkokaupan perustamiseen liittyvä linjaus on tarkistuslistamainen verkkopalvelu, joka perustuu lainsäädäntöön, ohjeisiin, suosituksiin sekä ratkaisukäytäntöön (Kuluttajavirasto 2012). Linjaus (emt.) jakaa ostoprosessin viiteen vaiheeseen, joista kaksi ensimmäistä liittyvät sivuston käyttöön ja tuotteen valintaan, kaksi seuraavaa varsinaiseen tuotteen ostoon ja viimeinen onnistuneen ostotapahtuman jälkeisiin asioihin. Tarkistuslista on jaettu edelleen tarkempiin kohtiin kyseisten vaiheiden mukaisesti. Se sisältää myös kohtia, jotka tarkastelevat ostoprosessia kokonaisuutena; esimerkiksi myyjän identiteetin selvittäminen pitää olla mahdollista jokaisessa kaupankäynnin vaiheessa (emt.). Valintaperusteet Koska tarkastelun kohteena oleva verkkopalvelu on tyypiltään verkkokauppa, liittyy siihen lainsäädännön ja muiden tahojen asettamia vaatimuksia. Verkkokaupan laadukkuuden ja mahdollisesti myös laillisuuden kannalta onkin tärkeää, että verkkopalveluille yhteisten laatutekijöiden lisäksi myös kyseiset vaatimukset täyttyvät. Esimerkiksi kaupantekoon liittyvien sopimusehtojen tai myyjänä toimivan tahon nimen puuttuminen ovat yleensä merkkejä siitä, että palvelu on epäluotettava ja siten käyttäjän kannalta kokonaisuutena laaduton, vaikka esimerkiksi palvelun tekninen laatu olisi kuinka hyvä tahansa. Vahvuudet ja heikkoudet Listan tärkeimmät vahvuudet ovat sen auktoriteettipohjaisuus ja sovellusalueen tarkka rajaus. Toisin kuin muut arvioinnissa käytettävät menetelmät, keskittyy tämä erityisesti verkkokauppoihin, jolloin se sisältää lähinnä kohtia, joita muista menetelmistä ei löydy. Listan sisältämät kohdat ovat myös pääosin selkeitä ja kattavasti selitettyjä. Listan heikkoutena voitaisiin työn kannalta pitää sitä, että se ottaa kantaa vain pieneen osaan laadun kokonaiskäsitteestä. Tämä ei kuitenkaan muodostu ongelmaksi, sillä listan lisäksi käytetään myös muita laadukkuuden arvioinnin menetelmiä Eläytymismenetelmät (skenaario) Kuvaus Eläytymismenetelmässä tutkimukseen osallistuvia henkilöitä pyydetään kirjoittamaan tarina tutkimuksen laatijoiden kirjoittaman johdatuksen pohjalta. Formaatti ei ole yleensä sidottu, vaan tarina voidaan kirjoittaa vapaasti. Kirjoituksen pituus voidaan kuitenkin esim. rajoittaa yhteen A4-sivuun. Vastauksiin saadaan variaatiota ja

17 tutkittavaa asiaa analysoitua muokkaamalla ja varioimalla johdatusta kunkin henkilön kohdalla. Valintaperusteet Menetelmä valittiin erikoisuutensa ja käyttäjäkeskeisyytensä vuoksi vastapainoksi listamaisten ja ohjelmallisten menetelmien rinnalle. Eräs menetelmän valintaan vaikuttaneista tekijöistä oli resurssisyistä johtunut käyttäjälähtöisten menetelmien puute. Eläytymismenetelmillä pyrittiin keräämään käyttäjälähtöisille menetelmillä ominaista, laaja-alaista dataa, jotta laatua voitaisiin tarkastella yksittäisten osa-alueiden sijaan myös laajempana kokonaisuutena. Toisaalta eläytymismenetelmällä voidaan löytää tärkeitäkin yksityiskohtia, jotka vähemmän vapaamuotoisilla menetelmillä jäisivät huomaamatta. Vahvuudet ja heikkoudet Vahvuutena menetelmällä on mahdollisuus saada syvempää tietoa ongelmista, jotka muuten voisivat jäädä huomaamatta. Menetelmä on lisäksi melko vaivaton toteuttaa. (Saaranen-Kauppinen & Puusniekka 2006) Heikkoutena on mahdollinen tarinoiden analysoimisen vaikeus tai ei-toivotun aineiston saaminen. Johdanto ja sen variointi on valittava tarkoin. (Saaranen-Kauppinen & Puusniekka 2006) 3.3. Käyttäjälähtöiset menetelmät Käyttäjälähtöisissä menetelmissä tietoa kerätään oikeilta tai oletetuilta käyttäjiltä esimerkiksi lomakkein, haastatteluin, ryhmäläpikäynnein, prototyyppien avulla ja analysoimalla lokitiedostoja. Tietoa voidaan kerätä laboratorio-olosuhteissa tai esimerkiksi oletetulla käyttöpaikalla. Käyttäjälähtöiset menetelmät jätettiin työn ulkopuolelle riittämättömien resurssien sekä käytettävyysosaamisen puutteen vuoksi. Käytettävissä ei myöskään ollut tarpeeksi suurta testiryhmää, jotta analyysi olisi järkevää. Vaikka käyttäjälähtöisten menetelmien puutetta paikataan osittain luvussa esitellyllä eläytymismenetelmällä, vaatisi esimerkiksi jatkotutkimuksena suoritettu kokonaisvaltaisempi laadukkuuden arviointi myös käyttäjälähtöisten menetelmien hyödyntämistä. Vahvuutena käyttäjälähtöisissä menetelmissä on aineiston laajuus, monipuolisuus ja laatu. Heikkoutena käyttäjälähtöisissä menetelmissä on aineiston keräämiseen ja tulkitsemiseen liittyvä resurssi-intensiivisyys.

18 4. ARVIOINNIN TULOKSET Tässä luvussa kerrotaan, kuinka menetelmiä käytettiin verkkopalvelun laadukkuuden arvioinnissa ja esitellään menetelmillä saadut tulokset. Tulosten tarkempi analyysi sekä arvioinnin laadukkuuden arviointi on erotettu omaksi kokonaisuudekseen lukuun W3C:n HTML- ja CSS-validaattorit ja mobileok Checker Miten käytettiin W3C:n ohjelmallisia työkaluja käytettiin jokaiselle analyysin kohteeksi valitulle sivulle (etusivu, kategoriasivu ja tuotesivu) erikseen. Vaikka sivut vaikuttavat pintapuoleisesti samannäköisiltä, ne ovat toteutukseltaan jonkin verran poikkeavia. Testit ajettiin perusasetuksilla eli automaattitunnistuksella. Täten saatiin HTML-validaattorin asetuksiksi: dokumentin tyyli XHTML 1.0 Transitional ja koodaukseksi UTF-8, CSSvalidaattorin asetukseksi CSS level 3. mobileok:ssa ei ollut erikseen valittavia asetuksia Tulokset HTML-validaattori Mikään sivuista ei läpäissyt testiä virheettömästi. Siten ne eivät ole standardin mukaista, koska läpäisy vaatii virheettömyyttä, mutta varoituksia saa olla. Sivuilla oli yhteneviä virheitä mutta kuitenkin niin vähän, että on järkevämpää käydä jokaisen sivun tulokset erikseen läpi. Virheet tarkoittavat standardin vastaista merkkausta, varoitukset taas merkkausta joka voidaan tulkita väärin ja informatiiviset huomautukset kertovat jotain yllä olevasta virheestä tai varoituksesta. Etusivulla oli neljä virhettä ja yksi varoitus. Virheet olivat tyyppiä: "dokumentin tyyppi ei salli elementtiä X tässä", "attribuutin X arvo virheellinen: Y (tässä tapauksessa numero) ei voi aloittaa nimeä" (kaksi kertaa), "attribuutin X arvo ei voi olla Y". Varoitus oli tyyppiä: "merkki X on ensimmäinen erotinmerkki, mutta se esiintyy datana". Kategoriasivulla oli myös neljä virhettä ja yksi varoitus. Virheet olivat tässä tyyppiä: "attribuutin X arvo virheellinen: Y (tässä tapauksessa numero) ei voi aloittaa nimeä" (kolme kertaa) ja "attribuutin X arvo ei voi olla Y". Varoitus oli sama kuin etusivulla eli "merkki X on ensimmäinen erotinmerkki, mutta se esiintyy datana".

19 Tuotesivulla oli jo enemmän virheitä, jotka jakautuivat useampiin luokkiin. Niitä oli yhteensä 25, varoituksia oli 5 ja informatiivisia huomautuksia oli yksi. Virheet olivat tyyppiä: "ei ole olemassa attribuuttia X" (yhdeksän kertaa), "X ei kuulu mihinkään ryhmään joka esittelee jonkin attribuutin", "dokumentin tyyppi ei salli X elementtiä tässä" (kahdeksan kertaa), "attribuutin X arvo virheellinen: Y (tässä tapauksessa numero) ei voi aloittaa nimeä" (neljä kertaa), "yleistä kokonaisuutta X ei esitelty ja se ei ole oletus kokonaisuus", "viittaus kokonaisuuteen X, jolle ei voida luoda järjestelmän tunnistetta" ja "attribuutin X arvo ei voi olla Y". Varoitukset olivat: "merkki X on ensimmäinen erotinmerkki, mutta se esiintyy datana" (kolme kertaa), "ei voida luoda järjestelmän tunnistetta kokonaisuudelle X" ja "viittausta ei ole päätetty REFCerottimella". Informatiivinen huomautus liittyi kokonaisuuden X esittelyyn. Osa näistä virheistä näyttäisi olevan JavaScript- ja Flash-koodin osia, joten ne eivät ole kovinkaan vakavia, sillä validaattori ei tunne kaikkia näiden kielten osia. Lisäksi vaikuttaisi siltä, että sivustot on tehty jotain sisällönhallintaohjelmaa ja sivumoottoria hyväksi käyttäen, joten osa virheistä johtuu niistä. Kuitenkaan virheet eivät ole kovinkaan vakavia ainakaan nykyselaimilla, sillä ne osaavat tulkita hyvin myös eivalidia merkkausta. CSS-validaattori Gigantin jokaisella käsittelemällämme sivulla käytetään samoja CSS- eli tyylitiedostoja. Siksi tulokset olivat yhteneväiset jokaisen sivun kohdalla. Ainoa muutos oli tiedostojen arviointijärjestys. Työkalu käsitteli yhteensä kuusi tiedostoa ja niissä oli yhteensä 71 virhettä ja 127 varoitusta, joten palvelu ei läpäissyt tätää, eikä näin ollen ole standardin mukainen. Virheiden lukumäärät tyypeittäin olivat: jäsennysvirhe (35 kappaletta), ominaisuutta X ei ole olemassa (31 kappaletta), sanastollinen virhe ja arvovirhe (neljä kappaletta). Varoitukset olivat: ominaisuus X on tuntemattoman toimittajan laajennus (125 kappaletta) ja sama väri X:llä ja Y:llä (kaksi kappaletta). Nämä virheet eivät ole todennäköisesti kovinkaan vakavia, sillä ne eivät ainakaan selvästi vaikuta sivujen ulkoasuihin. Tässäkin tapauksessa nykyselaimet osaavat tulkita hyvin virheellistä merkkausta, mutta vanhemmilla ja yksinkertaisemmilla selaimilla nämäkin virheet voivat vaikuttaa olennaisesti sivuston ulkonäköön. Ne johtuvat myös todennäköisesti sisällönhallintaohjelmasta ja sivumoottorista. mobileok Checker Tulokset vaihtelivat sivusta riippuen, joten ne käsitellään yksitellen. Kuitenkin mikään sivuista ei ole mobiililaitteelle sopiva eli mobiililaitteella saavutettava, sillä mikään sivuista ei saanut yhtään pistettä sadasta. Tämä pystyttiin myös todentamaan melko hyvin kokeilemalla sivustoa nopeasti tabletilla, sillä sivut olivat melko hitaat ja vaikeasti selattavat.

20 Etusivun koko oli 1,4 megatavua, josta itse HTML-dokumentti oli 351,4 kilotavua, tyylitiedostot 33,3 kilotavua ja kuvat 1,1 megatavua. Sen lataamiseksi palvelimelle täytyi tehdä 106 kyselyä, joista yksi dokumentille, 5 tyylitiedostoille ja 99 kuville. Mobiililaitteella saavutettavuutta häiritseviä virheitä oli 15 kappaletta, joista kriittisiä kolme, korkeita kuusi, kohtalaisia yksi ja matalia viisi. Lisäksi työkalu havaitsi 15 varoituksen arvoista kohtaa ja antoi viisi informatiivista huomautusta. Kategoriasivun koko oli etusivua huomattavasti pienempi eli 608,9 kilotavua, josta itse HTML-dokumentti on 333 kilotavua, tyylitiedostot 33,3 kilotavua ja kuvat 242,6 kilotavua. Tämän sivun lataamiseksi täytyi tehdä palvelimelle 88 kyselyä, joista yksi dokumentille, 5 tyylitiedostoille ja 82 kuville. Kategoriasivu sai samat virheet ja varoitukset kuin etusivukin. Tuotesivu oli kaikista pienin ja vain viidesosa etusivusta eli 282,8 kilotavua. Tästä itse HTML-tiedosto vei 176,6 kilotavua, tyylitiedostot olivat samat jotka aiemminkin eli 33,3 kilotavua ja kuvat vain 73 kilotavua. Palvelinkyselyjä oli vain 25 eli yksi dokumentille, viisi CSS-tiedostoille ja loput kuville. Virheitä oli tällä sivulla 12 kappaletta, joista kriittisiä kaksi, korkeita viisi, kohtalaisia yksi ja matalia neljä sekä 13 varoitusta ja viisi informatiivista huomautusta Sivuston suorituskykytesti (Iiro) Miten käytettiin Käytimme Pingdom Tools testejä jokaiselle sivulle erikseen ja useaan otteeseen, jotta arvot olivat mahdollisimman luotettavat, sillä latausajat vaihtelevat riippuen verkon ja palvelimien kuormasta. Ajoimme sivuille täydellisen sivutestin sekä koko palvelulle ja domain nimelle DNS:n tila -testin. Täydellisen tarkastuksen aseukseksi ja samalla suorittavaksi palvelimeksi asetimme Amsterdamin palvelimen, koska se oli maantieteellisesti lähimpänä Suomea ja Gigantin palvelimia. Muut palvelimet olisivat sijainneet Yhdysvalloissa, joten pelkästä palvelinten sijainnista olisi tullut useamman sekunnin tuloksia vääristävä muutos latausaikoihin Tulokset Tuloksissa latausajat vaihtelivat välillä paljonkin, joten tässä on esitetty normalisoitu arvo, joka ei ole keskiarvo vaan yhden testin tulos, joka vaikuttaa useiden testien perusteella normaalilta arvolta. Myös suorituskyvyn kiteyttävä tunnusluku, joka on laskettu testin muiden osien ja Googlen PageSpeed toolsin (Google 2013) asettamien ohjeiden mukaan prosentteina, muuttui todennäköisesti latausnopeudesta ja latausnopeuteen vaikuttaneista seikoista johtuen. Etusivu sai yhteensä 81/100 pistettä, mikä oli sivujen paras arvo. Kyselyjä palvelin joutui tekemään yhteensä 158 kappaletta ja näiden tekemiseen sekä tiedostojen