2. Arviointimalleja ja -kriteerejä

2. Arviointimalleja ja -kriteerejä Arviointimalli ja sen tarkoitus Verkkopalvelun arvioinnissa voidaan erottaa selkeästi kaksi eri näkökulmaa. Arviointi voidaan kohdentaa verkkopalvelun tuotantoprojektin laadukkuuden arvioimiseen tai lopputuotteen eli syntyvän verkkopalvelun laadukkuuden arvioimiseen. Arvioitaessa tuotantoprojektin laadukkuutta arvioinnin tavoitteena voi olla mm. tuotantoprosessin tehostaminen, tuotantoprojektin hallinnan parantaminen, pyrkimys ratkaista erilaisia mm. aikatauluihin ja resursointiin liittyviä ongelmia. Usein hyödynnetään erilaisia projektinarviointimalleja tai ohjelmistoprosessien arviointimalleja kuten esim. ISO :n SPICE (Software Process Improvement and Capability determination). SPICE -mallin tavoitteena on mm. prosessien nykytilan (peruskäytäntöjen, työtulosten ja niiden ominaisuuksien) arvioiminen suhteessa organisaation liiketoiminnan tarpeisiin sekä prosessien kyvykkyyden (aikataulut, resursointi, vastuut ja valtuudet, dokumentointi, kommunikointi, työtulosten ja välitavoitteiden määrittely jne.) arvioiminen. (esim. Saastamoinen 2001; SPICE 2005.) Toinen näkökulma arviointiin on verkkopalvelun tuotantoprojektin lopputuotteen eli varsinaisen verkkopalvelun laadukkuuden arvioiminen. Tällä tietenkin voidaan nähdä tiettyjä yhtymäkohtia myös tuotantoprojektin laadukkuuden arvioinnin kanssa. Tällä kurssilla mielenkiintomme kohdentuu erityisesti juuri verkkopalveluiden laadukkuuden ja käyttökelpoisuuden arvioimiseen. Verkkopalvelu laadukkuus on moniulotteinen ilmiö, jonka määritteleminen on (kuten aiemmin todettiin) vähintäänkin haastavaa. Vastaavasti arvioimiseen liittyy lukuisia haasteita ja ongelmia. Mistä ja miten voi koota pätevää tietoa verkkopalvelun laadukkuudesta? Miten tietoa pitäisi analysoida? Kuinka luotettavaa arviointitieto on ja mitä sen perusteella voidaan päätellä? Kysymykset ovat tärkeitä. Jos ja kun verkkopalvelun kehittämispäätökset pohjataan arviointitiedolle, tulee tiedon olla riittävän laaja-alaista ja pätevää. Muutoinhan päätökset voivat johtaa täysin puutteellisiin, jopa virheellisiin ratkaisuihin. Mikä on malli? Malli (model) on yksinkertaistettu kuva todellisuudesta. Tällä tarkoitetaan sitä, että mallin avulla tarkasteltavasta ilmiöstä esitetään ilmiöstä tarkastelun tai tässä tapauksessa arvioinnin kannalta olennaiset asiat. Mallin tarkoituksena ei siis ole kertoa ilmiöstä kaikkea mitä siitä tiedetään. Mallin avulla pyritään yleensä yleispätevään esitykseen ilmiöstä. Toisin sanoen malli pitää paikkansa myös muiden vastaavien ilmiöiden kohdalla. (Routio 2005.) Yleispätevät mallit muodostuvat yleensä käsitteistä ja niiden välisistä suhteista. Käsitteet määritellään käyttäen hyväksi teorian toisia käsitteitä. Mallin käsitteillä tulee olla yhtymäkohtia myös reaalimaailman määrityksiin. (Routio 2005.) Mallin avulla teoriaa siis sovelletaan käytäntöön. Toisin sanonen mallin avulla teoria operationalisoidaan. Asiaa voitaneen havainnollistaa esimerkin avulla. Nielsen kuvaa Järjestelmän hyväksyttävyyttä (System acceptability) kaavion avulla (vrt. kuva 3 s. 10), jossa hän esittää joukon käsitteitä ja niiden välisiä suhteita. Hänen mukaansa Järjestelmän hyväksyttävyyden muodostuu sosiaalisesta hyväksyttävyydestä (social acceptability) ja käytännöllisestä hyväksyttävyydestä (practical accep- 16

tability), jonka yksi osa on käyttökelpoisuus (usefulness). Käyttökelpoisuuden yksi komponentti on käytettävyys (usability), joka muodostuu mm. käytön tehokkuudesta (efficient to use). (Nielsen 1993, 24 37.) Hän selittää käyttämiään käsitteitä toisten käsitteiden avulla. Esimerkiksi: The system should be efficient to use, so that once the user has learned the system, a high level of productivity is possible (ibid., 26). Ja edelleen [e]fficiency refers to the experts user s steadystate level of performance at the time when the learning curve flattens out (ibid., 30). Käsitteet myös operationalisoidaan, esimerkiksi käytön tehokkuutta arvioitaessa mitataan missä ajassa kokenut käyttäjä suorittaa annetut tehtävät. Käsitteiden välisiä suhteita voidaan kuvata usealla eri mallikielellä, joita ovat sanalliset ja kuvalliset esitykset tai topologiset mallit, joissa elementtien sijoittelu kuvaa kohteen rakennetta. Muita mallikieliä ovat mm. aritmeettiset ja analogiset mallit. (Routio 2005.) Mallin tarkoituksena on siis auttaa arvioijaa (tai tutkijaa) ymmärtämään mistä asioista tarkasteltava ilmiö muodostuu, ymmärtämään miten ilmiön osa-alueet liittyvät toisiinsa, jäsentämään tarkasteltava ilmiö helpommin hallittaviin osa-alueisiin, empiirisen aineiston kokoamisessa (esim. keneltä kysytään ja mitä kysytään), tulosten esittämisessä käytännössä ymmärrettävässä muodossa jne. Malleja verkkopalveluiden laadukkuuden arvioimiseen Erityyppisiä arviointimalleja Arviointimalleja on olemassa lukuisia. Michin, Franchin ja Gaion (2003, 35) mukaan arviointimallit voidaan jaotella niiden tarkastelun painopisteen mukaan karkealla tasolla kolmeen ryhmään: 1. Ohjelmistojen laadukkuuden arviointimallit (models for evaluating software quality) kuten ISO 9126 (product quality: functionality, reliability, efficiency, usability, maintainability, portability) ja ISO 14598, joka käsittelee ohjelmistotuotteiden validointia tarkoituksena selvittää tuotteen soveltuvuus käyttötarkoitukseensa. 2. Mallit, jotka keskittyvät käytettävyyden (HCI) arvioimiseen (usability-focused approaches). 3. Tietyntyyppisten verkkopalveluiden arvioimiseen kehitetyt mallit. Yleisimmin kaupallisen alan verkkopalveluiden kuten verkkokauppojen ja kaupallisten portaalien arvioimiseen laaditut mallit. Myös tiedonhaku- ja kirjastopalveluiden sekä opetuskäyttöön suunnattujen verkkopalveluiden arviointimallit. Kritiikkiä Arviointimallien yhtenä keskeisenä ongelmana voidaan nähdä niiden kapea-alaisuus. Esimerkiksi ensimmäiseen ryhmään kuuluvat mallit tarkastelevat laadukkuutta voimakkaasti tuotannon näkökulmasta. On kuitenkin huomattava, että arvioitaessa verkkopalveluiden kokonaislaadukkuutta myös muiden toimijoiden kuten käyttäjien, tuottajien ja erilaisten sidosryhmien näkökulmat ovat tärkeä. (Mich, Franch & Gaio 2003, 35; Signore 2005.) 17

Toiseen ryhmään kuuluvat mallit painottavat käyttöliittymän merkitystä informaation omaksumisen kannalta ja tarkastelevat laadukkuutta ennen kaikkea loppukäyttäjän näkökulmasta (ibid.). Arvioitaessa verkkopalveluiden laadukkuutta pelkästään käytettävyyden (saavutettavuuden/esteettömyyden) näkökulmasta on pidetty liian suppeana näkökulmasta (vrt. Albion 1999; Mich, Franch & Gaio 2003, 35; Quinn 1996; Signore 2005; Silius ym. 2003; Squires 1997). Toisekseen myös näitä malleja on kritisoitu siitä, että ne eivät juurikaan ota huomioon muiden toimijoiden kuin asiakkaiden (käyttäjien) näkemyksiä (Mich, Franch & Gaio 2003, 35). Kolmannen ryhmän mallit saattavat olla hyvinkin räätälöityjä tietyntyyppisten tai jopa tietyn verkkopalvelun arvioimista varten. Arviointimallia tulisi kuitenkin voida soveltaa laaja-alaisemmin eri tyyppisten verkkopalveluiden laadukkuuden arvioimiseen. Kuitenkin huomioon ottaen arvioinnin kontekstisidonnaisuus. (Mich, Franch & Gaio 2003, 35; Signore 2005.) Kritiikkiä on myös esitetty liittyen niin laadullisten kuin tilastollisten menetelmien käyttöön arvioinnissa. Laadullisen tiedon käyttämistä on pidetty ongelmallisena, koska analysointi ja tulkinta on aikaa vievää ja vaativaa sekä tulosten yleisteettävyydellä on rajoituksena.. Tilastolliset menetelmät taas edellyttävät huolellista käsitteiden operationalisoimista, jotta voidaan varmistua mittarin luotettavuudesta. Toisin sanoen siitä, että mittari mittaa juuri sitä mitä pitääkin. Tosin näiltä ongelmilta voidaan välttyä resursoimalla analysointivaiheeseen riittävästi aikaa ja perehtymällä niin laadullisen kuin tilastollisenkin tutkimuksen menetelmiin. (Vrt. Signore 2005.) Laaja-alaisempia arviointimalleja Verkkopalvelun laadukkuus tunnustetaan yhä useammin merkittäväksi tekijäksi verkkopalvelun menestymisen kannalta. Pettynyt asiakas (käyttäjä) voi helposti siirtyä jonkin toisen palveluntuottajan verkkopalvelun käyttäjäksi ja/tai kertoa huonoista kokemuksistaan muutamalla hiiren napsautuksella suurelle joukolle muita asiakkaita (käyttäjiä). Huolimatta laadun merkityksen tunnustamisesta on alan tieteellinen tutkimus vielä varsin vähäistä. (Bauer & Hammerschmidt 2004.) Viime aikaisissa tutkimuksissa on kuitenkin pyritty kehittämään laaja-alaisempia arviointimalleja, joita voidaan hyödyntää verkkopalveluiden laadukkuuden arvioimisessa riippumatta siitä minkä tyyppisiä palveluja ne ovat. malleille yhteistä on mm. se, että niissä pyritään kiinnittämään huomiota verkkopalvelun laadukkuuteen paitsi asiakkaan (käyttäjän) näkökulmasta (external quality) myös palvelun tuottajien ja keittäjien näkökulmasta (internal quality). Esimerkkinä mainittakoon Quality Model for Web Sites, 2QCV3Q-malli ja Verkkopalveluiden käyttökelpoisuuden arviointimalli (a Multidisciplinary Evaluation Model for Evaluation of Web-Based Services). Quality Model for Web Sites Quality Model for Web Sites mallin tavoitteena on laatia malli ja määritellä joukko ominaispiirteitä, joiden arvioimisessa voitaisiin hyödyntää mahdollisimman pitkälle automatisoituja prosesseja ja käytänteitä. Manuaalista arviointia ja käyttäjien paneeleja käytetään täydentämään arviointia. (Signore 2005.) Paneelilla tarkoitetaan tutkimusta, jossa samat henkilöt osallistuvat useamman kerran tutkimukseen sen eri vaiheissa. Keskeiset arvioinnin ulottuvuudet: Teknisen toteutuksen toimivuus (correctness): tekninen aspekti, jonka arvioimisessa voidaan hyödyntää erilaisia työkaluja esim. ohjelmistokoodin, HTML -merkkauksen ja CSStiedostojen syntaksin oikeellisuus. 18

Esitystapa (presentation): yksittäisen sivun ja koko sivuston esitystavan arvioiminen, mm. sivun asettelu, tekstin ulkoasu, multimediaelementtien ominaisuudet ja käyttö, linkkien määrä ja toimivuus, lomakkeiden saavutettavuus (esteettömyys). Sisältö (content): luettavuus (visuaalinen ja kielellinen), informaatioarkkitehtuuri (tässä: tietämykseltään eritasoisten käyttäjien tukeminen informaation omaksumisessa), informaation rakenne (otsikointi yms.), ajantasaisuus. Navigointi (navigation): sivuston rakenne, horisontaalinen ja vertikaalinen navigointi, navigointipalkki. Vuorovaikutus (interaction): erityisesti lomakkeiden yhteydessä läpinäkyvyys, toiminnon peruuttaminen (undo), kohdentaminen. Muut tekijät (additional considerations): kuten tuotteen tai palvelun imago, karisma, graafiset ominaispiirteet, toimivuus erilaisilla päätelaitteilla, personoitavuus, laillisuus (tekijänoikeuksien kunnioittaminen) jne. Lisää aiheesta: Signore, O. Towards a Quality Model for Web Sites [online]. Varsova: CMG Poland, 2005 [viitattu 4.9.2005]. "First CMG Poland Conference" on 9-10 May 2005, in Warsaw, Poland. Saatavissa pdf-muodossa: <URL: http://www.w3c.it/papers/cmg2005poland-quality.pdf >. 2QCV3Q-malli Mallin mukaan peruslähtökohtana arvioinnissa on se, että verkkopalvelu on kommunikointiin keskittyvä hypermediajärjestelmä. Arvioinnissa pyritään ottamaan huomioon eri toimijoiden (stakesholders) näkökulmat: palvelun tuottajat (omistajat), käyttäjät, suunnittelijat ja kehittäjät. Arviointimallissa huomioidaan myös eri alojen asiantuntijoiden kuten graafisen suunnittelijan, markkinointihenkilön ja ohjelmistosuunnittelijan näkemykset ja asenteet. (Mich, Franch & Gaio 2003.) Arvioinnissa kiinnitetään huomiota mm. seuraaviin verkkopalvelun piirteisiin (Mich, Franch & Gaio 2003): Identity (Quis): Verkkopalvelun kyky välittää tuotteen/palveluntuottajan imagoa. Graafisen ja taiteelliseen ilmeen sekä tuotteen toiminnallisuuden yhteenliittymä. Arvioidaan graafista ulkoasua, persoonallisuutta, puoleensavetävyyttä. Toisaalta myös luotettavuutta. Esimerkiksi Ferrarin verkkosivusto http://www.ferrari.com. (Ennen kuin katsot sivustoa, niin arvaa mikä on sivuston pääväri. Todennäköisesti osut oikeaan.) Content (Quid): Missä määrin verkkopalvelun sisältö ja sen luotettavuus vastaa eri käyttäjäryhmien tarpeita. Esimerkiksi verkkokaupan tulee tarjota asiakkaalle riittävästi informaatiota ostopäätöksen tekemiseksi. Services (Cur): Verkkopalvelun toiminnallisuudet palvelun tuottajan ja käyttäjän näkökulmasta. Palveluiden saatavuus, kattavuus ja tavoitteiden saavuttamisen tukeminen. Oleellista on myös tietoturvaan ja tietosuojaan liittyvät asiat. Location (Ubi): Verkkopalvelun saatavuus ja löydettävyys (URL -osoitteen kuvaavuus ja löytyminen hakukoneiden avulla). Verkkopalvelun tulisi tarjota myös selkeät yhteystiedot palvelun tuottajiin sekä tarjota tukea virtuaaliyhteisöjen toiminnalle (vieraskirjat, keskustelupalstat, postituslistat, uutiskirjeet jne.) Management (Quando): informaatiosisältöjen päivitettävyys, tietoa perustamisajankohdasta, linkkien toimivuus jne. 19

Usability (Quomodo): Verkkopalvelun käytön edellytykset: kustannukset, kognitiiviset vaatimukset jne. Esimerkiksi tarvittavat laitteet, ohjelmistot, yhteydet, päätelaiteet, saavutettavuus, navigoinnin tukeminen jne. Feasbility (Quibus auxiliis): Verkkopalvelun kehittämiseen liittyvät tekijät ja reunaehdot kuten taloudelliset ja inhimilliset resurssit sekä infrastruktuuri. Mallissa otetaan huomioon arvioinnin moniulotteisuus ja korostetaan käyttökontekstin ja eri toimijaryhmien tarpeiden analysoinnin sekä arvioinnin tavoitteiden määrittämisen tärkeyttä kokonaisvaltaisemman ja luotettavamman arviointituloksen saavuttamiseksi. (Ibid.) Arviointimenetelmiä suositellaan käytettäväksi useita riippuen käyttäjien profiileista, tarvittavasta tiedosta, käytettävissä olevista asiantuntijoista tai käyttäjistä ym. resursseista. On lisäksi hyvä käyttää useampaa menetelmää. Varsinainen arviointi suoritetaan hyödyntämällä erilaisia kyselyitä, verkkopalveluiden läpikäyntejä sekä tarjolla olevia työkaluja kuten erilaisia validaattoreita. (Ibid.) Arviointimallin vahvuutena mainitaan seuraavat tekijät: Riippumattomuus verkkopalvelun tuottajatyypistä (julkinen sektori, yritykset, kolmas sektori, yksityinen henkilö). Yleispätevyys: Soveltuu eri tyyppisten verkkopalveluiden arvioimiseen (opetuskäyttö, verkkokauppa jne.). Skaalautuvuus: Soveltuu eri toimijaryhmien näkökulmista tapahtuvaan arvioimiseen (tuottajat, toteuttajat, käyttäjät). Käytettävyys: Mallin käyttö ei edellytä erityistä osaamista tai koulutusta. (Ibid.) Verkkopalveluiden käyttökelpoisuuden arviointimalli Mallin mukaan arvioinnissa kiinnitetään huomiota sekä verkkopalvelun käytön sujuvuuteen ja verkkopalvelun hyödyllisyyteen (Silius ym. 2003). Toisin sanoen tarkastellaan verkkopalvelun toiminnallista ja teknistä laadukkuutta mitä asiakas saa ja miten. Arvioinnissa hyödynnetään monitieteistä lähestymistapaa ts. luotettava arvioiminen edellyttää eri (tieteen)alojen kuten esimerkiksi ohjelmistotuotannon, käytettävyyden, informaatiotieteiden, kasvatustieteiden, yhteiskuntatieteiden, markkinoinnin, viestinnän, psykologian, sosiaalipsykologian ja taiteiden asiantuntijoiden toteuttamaa arviointia eri toimijaryhmien näkökulmasta tehtyjen arviointien ohella. Käyttökelpoisuuden arviointimallissa perusajatuksena on se, että kokonaisvaltaisen käsityksen saaminen verkkopalvelu laadukkuudesta edellyttää laadukkuuden tarkastelemista eri toimijoiden näkökulmasta (ks. kuva 5, sivu 12). Lisäksi arvioinnissa tulee hyödyntää useita eri menetelmiä, joiden valinta riippuu arvioitavasta verkkopalvelusta, arvioinnin tavoitteista, käytettävissä olevista resursseista ja saatavilla olevista asiantuntijoista. Tärkeätä kuitenkin on käyttää useampia menetelmiä arviointituloksen luotettavuuden parantamiseksi. Verkkopalvelun käytön sujuvuuden voidaan ajatella muodostavan keskeisen osan verkkopalvelun toiminnallista laadukkuutta (miten asiointiprosessi sujuu), Se voidaan jakaa tässä yhteydessä käytettävyyteen ja saavutettavuuteen: Käytettävyys (usability): Ymmärretään osin universaalina (liittyy ihmisen psykologisiin ja fysiologisiin piirteisiin, jotka ovat tiettyyn rajaan ominaisia kaikille ihmisille sekä tiettyihin kulttuurisiin tekijöihin, jotka ovat yhteisiä saman kulttuurin jäsenille kuten kieli, tavat, normit). 20

Toisaalta käytettävyys muodostuu ainutkertaisista tekijöistä, jotka riippuvat katsotaan yksilön ominaisuuksista, käyttötilanteesta, tehtävästä ja tavoitteista, käyttötilasta ja sen olosuhteista jne. Liittyy verkkopalvelun käyttöön ja käyttäjän kokemuksiin. Saavutettavuus (accessibility): Rajanveto käytettävyys- ja saavutettavuusongelmien välille on vaikeaa. Laajasti ajatellen saavutettavuus voidaan ymmärtää mahdollisuutena käyttää verkkopalvelua. (Esim. Turkki & Sinkkonen 2004.) Toinen tarkastelunnäkökulma on verkkopalvelun hyödyllisyys (utility), jolla tarkoitetaan palvelun soveltuvuutta tiettyyn käyttötarkoitukseen. Tämän voidaan ajatella muodostavan osan verkkopalvelun teknisen laadun eli mitä asiakas saa palveluprosessin lopputuloksena. Käyttäjän tavoitteiden saavuttamisen tukeminen (tarpeisiin vastaaminen) Merkityksellisten toiminto- ja asiointiprosessien kattavuus ja niiden lopputulema (mitä asiakas tai käyttäjä saa). Tähän liittyy myös verkossa tapahtuvien prosessien integroituminen verkon ulkopuolisiin prosesseihin. Verkkopalvelun käytön tuottama hyöty eli lisäarvo (added value) verrattuna perinteiseen palveluun (esim. Forsblom & Silius 2002a; Forsblom & Silius 2002b). Informaation (sisällön) laadukkuus (informaatioarkkitehtuuri, esitystapa, luotettavuus). Arvioinnin tueksi on laadittu verkkopohjainen arviointityökalu ARVO, jonka ensimmäinen kehitysversio on saatavissa verkko-osoitteesta http://matriisi.ee.tut.fi/arvo/. Tällä hetkellä arviointityökalun avulla voidaan arvioida verkkomateriaaleja käytettävyyden, pedagogisen käytettävyyden, graafisen suunnittelun, saavutettavuuden ja teknisen toteutuksen aihealueiden arvioinnissa. Lisätietoja: Luku 3 seuraavasta julkaisusta (sivut 17 33) Silius, K., Tervakari, A-M., Kaartokallio, H. & Yritys, K. Tieto- ja viestintätekniikka-avusteisen opetuksen käyttökelpoisuuden arviointimalli [online]. Espoo: Suomen virtuaaliyliopiston kehittämisyksikkö, 2003 [viitattu 25.1.2005]. Suomen virtuaaliyliopiston e-julkaisuja nro 9. Saatavissa pdf-muodossa: <URL: http://www.virtuaaliyliopisto.fi/data/files/svy-julkaisut/julkaisu009.pdf > ISBN 951-22-6623-7. Lisää arviointikriteerejä- ja suosituksia Edellä esitetyt arviointimallit pitävät sisällään omat kriteeristönsä verkkopalveluiden laadukkuuden arvioimiseksi. Näiden lisäksi on olemassa lukuisa joukko erilaisia ja eritasoisia kriteeristöjä ja suosituksia. Valtiovalta, organisaatiot ja järjestöt pyrkivät edistämään verkkopalveluiden laadukkuutta laatimalla ja ottamalla käyttöön erilaisia normeja. Normeilla tarkoitetaan tässä lakeja ja säädöksiä sekä erilaisia kannanottoja, ohjeita, suosituksia, kriteeristöjä ja standardeja. Näiden ohella verkkopalveluiden laadukkuuden toteutumista voidaan edistää myös strategisin linjauksin Verkkopalveluiden toteuttamista voidaan ohjata lainsäädännöllä. Tosin Euroopan unionissa tai Suomessa ei ole lainsäädäntöä, joka suoraan asettaisi vaatimuksia verkkopalveluiden laadukkuudelle. Kuitenkin esimerkiksi julkisen sektorin verkkopalveluiden tarjoamista ohjataan monin tavoin 21

epäsuorasti lainsäädännön avulla. Varsinkin sähköistä asiointia ja hallintomenettelyä ohjaavilla säädöksillä on merkitystä verkkopalveluiden laadukkuuden näkökulmasta. Myös ihmisoikeuksien ja perusoikeuksien toteutumiseen liittyvillä säädöksillä on liittymäkohtia verkkopalveluiden laadukkuuteen. (Tuomela 2005.) Saavutettavuus (esteettömyys) on eräs verkkopalveluiden laadukkuuden osatekijä, jota useissa maissa on pyritty edistämään lainsäädännön avulla. Tunnetuin lienee Yhdysvaltojen kuntoutuslain (Rehabilitation Act) Section 508 -vaatimukset (Section 508). Eurooppalaisista maista Saksassa, Italiassa, Portugalissa, Espanjassa sekä Isossa-Britanniassa on etenkin julkisten verkkopalveluiden saavutettavuudesta säädetty laissa. (Policies Relating... 2004.) Verkkopalveluiden laadukkuuden arvioimiseksi on laadittu erilaisia kriteeristöjä. Monissa maissa on omat laatukriteeristönsä erityisesti hallinnon verkkopalvelujen arviointia varten: Ruotsin 24 timmarswebben, Tanskan Bedst på Nettet, Norjan Kvalitet på nett, Kanadan Common look and feel for the Interne, UK:n The Guidelines for UK Government websites ja Suomen Laatukriteerit. (Muita verkkopalvelujen arviointikriteeristöjä 2005). Lisäksi laadukkuuden arvioimisessa voidaan hyödyntää laadukkuuden osa-alueiden arvioimiseksi laadittuja kriteerejä kuten saavutettavuuden arviointikriteeristöjä esim. Checklist for Web Content Accessibility Guidelines 1.0. (Web-sisällön...2003.) Myös standardeja voidaan hyödyntää arvioinnissa eräänlaisina kriteereinä. Jo yksistään käytettävyyteen tavalla tai toisella liittyviä standardeja on lukuisia (International standards...2003). Säädösten, kriteeristöjen ja standardien ohella verkkopalveluiden laadukkuuteen voidaan pyrkiä vaikuttamaan suosituksilla ja ohjeistuksilla. Ohjeet voivat liittyä esimerkiksi yleisesti verkkopalveluiden suunnitteluun kuten JHS 129 - Julkishallinnon verkkopalvelun suunnittelun ja toteuttamisen periaatteet. Lisäksi ohjeita on julkaistu liittyen verkkopalveluiden saavutettavuuteen, viestintään, metatietojen käyttöön, tietoturvallisuuteen jne. Valtiohallinnon ohella monilla yrityksillä ja muilla organisaatioilla on omat suosituksena ja ohjeistuksena liittyen verkkopalveluiden toteuttamiseen. (Lisää laadusta 2005). Julkisten verkkopalveluiden laatukriteeristö Kriteeristö on tarkoitettu ennen kaikkea julkisten verkkopalveluiden arvioimiseen ja kehittämiseen, mutta sen on katsottu soveltuvan myös kaupallisten verkkopalveluiden arvioimiseen. Kriteeristön tarkoituksena on toimia mm. verkkopalveluidentoteuttamisen, arvioimisen, kehittämisen välineenä, toimia laatukilpailujen arviointikriteereinä ja parantaa verkkopalveluiden laadukkuutta erityisesti käyttäjien näkökulmasta. (Laatukriteerit 2004.) Arvioinnissa kiinnitetään huomiota seuraaviin verkkopalvelun ulottuvuuksiin: Käyttö: Palvelun saatavuus, käytön helppous ja sujuvuus sekä palvelun ilmaisun ja rakenteen viestinnällisyys. Sisältö: Tietosisällön ja vuorovaikutuksen tasokkuus. Johtaminen: Palvelun strateginen suunnittelu sekä palvelutuotannon organisointi ja seuranta. Tuottaminen: Palvelun rakentaminen käyttäjäkeskeisyyden, sisällöntuotannon hallinnan sekä turvallisuuden ja toimivuuden näkökulmista. 22

Hyödyt: käyttäjän ja organisaation saamat hyödyt. (Laatukriteerit 2004.) Laatua verkkoon.fi sivustolta on ladattavissa myös arviointityökalu omalle koneelle. Kysymyksessä on excel-taulukko. Lisätietoja: Laatua verkkoon -kriteeristön sekä ARVO -arviointityökalun kriteeristön pohjalta on laadittu laatukriteerit virtuaalikorkeakoulujen portaaleissa julkaistavien aineistojen arvioimiseksi. Portaalissa julkaistavien aineistojen laatukriteerit [online]. Helsinki: Suomen virtuaaliyliopisto, 2005, [viitattu 6.9.05]. Saatavissa <URL: http://www.virtuaaliyliopisto.fi/index.php?node=vp_viestinta_palvelut_fin >. Laatukriteerit [online]. Helsinki: Valtiovarainministeriö, 2004, [viitattu 4.9.2005]. Laatua verkkoon.fi. Saatavissa www-muodossa: <URL: http://www.laatuaverkkoon.fi/laatuaverkkoon/laatukriteerit/ >. Saavutettavuus-opintojakso [online]. Tampere: Tampereen teknillinen yliopisto, 2005. Saavutettavuus opintojakson kotisivut. <URL: http://matriisi.ee.tut.fi/hmopetus/saav/index.html >. Lähteet: Albion, P.R. 2001. Heuristic evaluation of educational multimedia: from theory to practice. 16th Annual conference of the Australasian Society for Computers in Learning in Tertiry Education, ASCILITE. Bauer, H.H. & Hammerschmidt, M. Developing and validating a quality assessment scale for Web portals [online].mannheim: University of Mannheim. Institue for Market-Oriented Management, 2004, luotu 4.2.2004, [viitattu 4.9.2005]. Working paper. Saatavissa pdf-muodossa: <URL: http://econwpa.wustl.edu/eps/mic/papers/0402/0402007.pdf >. Forsblom, N. & Silius, K. 2002a. Value Added on Web-based Learning Environments. In E.Pantzar (Eds.), Perspectives on the Age of the Information Society. Tampere University Press., 103-113. Forsblom, N. & Silius, K. 2002b. What is the Added Value of Web-based Learning and Teaching? The Case of Tampere University of Technology. In A.J.Kallenberg & M.J.J.M. van der Ven (Eds.), The New Educational Benefits of ICT in Higher Education: Proceedings, 18-25. International standards for HCI and usability [online]. 2003, [viitattu 4.9.2005]. Usability net. Tools and methods: Reference material. Saatavissa www-muodossa: <URL: http://www.usabilitynet.org/tools/r_international.htm >. Laatukriteerit [online]. Helsinki: Valtiovarainministeriö, 2004, [viitattu 4.9.2005]. Laatua verkkoon.fi. Saatavissa www-muodossa: <URL: http://www.laatuaverkkoon.fi/laatuaverkkoon/laatukriteerit/ > 23

Lisää laadusta [online]. Helsinki: Valtiovarainministeriö, päivitetty 16.8.2005, [viitattu 4.9.2005]. Laatua verkkoon.fi. Saatavissa www-muodossa: <URL: http://www.laatuaverkkoon.fi/laatuaverkkoon/lisaa_laadusta/ >. Mich, L., Franch, M. & Gaio, L. 2003. Evaluating and Designin Web Site Quality. IEEE Multimedia 10(1), 34 43. Muita verkkopalvelujen arviointikriteeristöjä [online]. Helsinki: Valtiovarainministeriö, päivitetty 10.3.2005, [viitattu 4.9.2005]. Laatua verkkoon.fi: Lisää laadusta. Saatavissa www-muodossa: <URL: http://www.laatuaverkkoon.fi/laatuaverkkoon/lisaa_laadusta/muita_verkkopalvelujen_arviointikrite eristoja/>. Nielsen, J. 1993. Usability Engineering. San Diego (CA.): Morgan Kaufmann. Policies Relating to Web Accessibility [online]. he World Wide Web Consortium (W3C), päivitetty 14.2.2005, [viitattu 5.9.2005]. Saatavissa www-muodossa: <URL: http://www.w3.org/wai/policy/. >. Quinn, C.N. 1996. Pragmatic Evaluation: Lessons from Usability. 13th Annual conference of the Australasian Society for Computers in Learning in Tertiry Education, ASCILITE. Rehabilitation Act, Section 508 [online] Washington D.C.: U.S. General Services Administration, 1998, [viitattu 5.9.2005]. Saatavissa www-muodossa: <URL: http://www.section508.gov/>. Routio, P. Tutkimuksen ja kehittämisen metodiikka: Mallit [online]. Helsinki: Taideteollinen korkeakoulu, päivitetty 21.1.2005 [viitattu 4.9.2005]. Saatavissa www-muodossa: <URL: http://www2.uiah.fi/projects/metodi/05b.htm >. Saastamoinen, I. Ohjelmistotuotannon kannattavien kehityskohteiden löytäminen [online]. Joensuu: Joensuun yliopisto, 2001, päivitetty 15.5.2001 [viitattu 4.9.2005]. tsoft - Ohjelmistotuotannon tietokeskus. Saatavissa www-muodossa: <URL: http://www.cs.joensuu.fi/tsoft/20010515_saastamoinen.htm >. Signore, O. Towards a Quality Model for Web Sites [online]. Varsova: CMG Poland, 2005 [viitattu 4.9.2005]. "First CMG Poland Conference" on 9-10 May 2005, in Warsaw, Poland. Saatavissa pdf-muodossa: <URL: http://www.w3c.it/papers/cmg2005poland-quality.pdf >. Silius, K., Tervakari, A-M., Kaartokallio, H. & Yritys, K. Tieto- ja viestintätekniikka-avusteisen opetuksen käyttökelpoisuuden arviointimalli [online]. Espoo: Suomen virtuaaliyliopiston kehittämisyksikkö, 2003 [viitattu 25.1.2005]. Suomen virtuaaliyliopiston e-julkaisuja nro 9. Saatavissa pdf-muodossa: <URL: http://www.virtuaaliyliopisto.fi/data/files/svy-julkaisut/julkaisu009.pdf > ISBN 951-22-6623-7. SPICE Software Process Improvement and Capability determination [online]. Nathan: Griffith University. [viitattu 4.9.2005]. Organisaation virallinen kotisivu. Saatavissa www-muodossa: <URL: http://www.sqi.gu.edu.au/spice/ >. 24

Squires, D. An heuristic approach to the evaluation of educational multimedia software [online]. Oxford: Elsevier Science Ltd, 1997, [viitattu 4.9.2005]. Proceedings of Computer Assisted Learning Conference, University of Exeter on 23 26 March, 1997 in Exeter, United Kingdom. Saatavissa www-muodossa: <URL: http://www.media.uwe.ac.uk/masoud/cal-97/papers/squires.htm >. Tuomela, J. Julkiset verkkopalvelut ja lainsäädäntö [online]. Helsinki: valtiovarainministeriö, 2005, luotu 10.1.2005, päivitetty 11.3.2005 [viitattu 4.9.2005]. Laatua verkkoon.fi: Lisää laadusta. Saatavissa www-muodossa <URL: http://www.laatuaverkkoon.fi/laatuaverkkoon/lisaa_laadusta/julkiset_verkkopalvelut_ja_lainsaadant o/>. Turkki,L. & Sinkkonen, I. Esteetön vai käytettävä? [online] Helsinki: Adage Oy, 2004, päivitetty 20.2.2004 [viitattu 4.9.2005]. Saatavilla www-muodossa: <URL: http://www.adage.fi/artikkelit/esteeton_vai_kaytettava.html >. Web-sisällön saavutettavuusohje 1.0: tarkistuslista [online]. Tampere: W3C:n Suomen toimisto, 2003, [viitattu 5.9.2005]. Suomenkielinen käännös. Suom. Ossi Nykänen. Saatavissa wwwmuodossa: <URL: http://www.w3c.tut.fi/translations/wai/wcag10-checklist/>. 25