Verkkopalvelun käyttökelpoisuus ja arviointi 2. luento 6.9.2005 erikoistutkija Kirsi Silius & tutkija Anne-Maritta Tervakari Hypermedialaboratorio Digitaalisen median instituutti Tampereen teknillinen yliopisto 1 Teemat: Palvelun laatu ja sen kokeminen Mallit ja niiden tarkoitus Eri tyyppisiä arviointimalleja Quality Model for Web Sites 2QCV3Q-malli Verkkopalvelun käyttökelpoisuuden arviointimalli Arviointikriteeristöjä ja suosituksia 2 1
Palvelun laadukkuus Asiakkaan (käyttäjän) näkemys palvelun laadusta riippuu useasta eri tekijästä (Grönroos 1990.): Asiakkaan (käyttäjän) kokemuksista miten palvelu vastaa hänen tarpeisiinsa eli mitä hän saa (palvelun tekninen laatu) millä tavalla (palvelun toiminnallinen laatu) Asiakkaan (käyttäjän) ennakko-odotuksista palvelun (ja sen tuottajan) imago asiakkaan tarpeet markkinaviestit asiakkaan lähipiirin mahdolliset kokemukset ko. palvelusta. 3 Laadun kokeminen Laadun kokeminen on subjektiivista ja kontekstisidonnaista mm. omat tarpeet, lähipiirin kokemukset, markkinaviestit, palvelun ja sen tuottajan imago > virittävät ennakko-odotuksia odotetun ja koetun laadukkuuden välinen kuilu vaikuttaa käyttäjän näkemykseen kokonaislaadusta käyttäjän ennakko-odotukset vertailu käyttäjän kokemukset käyttäjän käsitys laadusta koettu laadukkuus (Vrt. Grönroos 1990; James 2001; Tricker 2003.) 4 2
Koettuun laatuun liittyviä ulottuvuuksia Perinteisen palvelun koettuun laatuun liittyvät tekijät toimivat edelleen etenkin kun tarkastellaan palvelun fyysisen ulottuvuuden (physical quality) laadukkuutta luotettavuus, reagointialttius, pätevyys, saavutettavuus (saatavuus), kohteliaisuus, viestintä, uskottavuus, turvallisuus, asiakkaan ymmärtäminen ja fyysinen ympäristö Verkkosivuston laadukkuus (virtual quality) käytettävyys, esteettömyys, esteettisyys, tehokkuus, luotettavuus jne. Virtuaalisen ja fyysisen (integration quality) ulottuvuuksien asiointi- ja palveluprosessien integroiminen (Sousa & Voss 2004) 5 Mallit ja niiden tarkoitus 1/2 Malli on yksinkertaistettu kuvaus todellisuudesta esitetään ainoastaan olennaiset asiat ilmiöstä yleispätevä esitys voidaan soveltaa muihin vastaavankaltaisiin tapauksiin Yleispätevä malli muodostuu käsitteistä ja niiden välisistä suhteista käsitteiden yhtymäkohdista reaalimaailmaan (käsitteiden operationalisointi) Voidaan kuvata eri mallikielillä sanallinen, kuvallinen, topologinen, matemaattinen, analoginen malli (Routio 2005) 6 3
Mallit ja niiden tarkoitus 2/2 Malli yhdistää teorian käytäntöön Malli auttaa myös ymmärtämään millaisista asioista tarkasteltava ilmiö muodostuu ymmärtämään osa-alueiden välisiä suhteita jäsentämään tarkasteltava ilmiö helpommin hallittaviin osiin empiirisen aineiston kokomaisessa (suuntaviivoja sille keneltä kysytään, mitä kysytään) arviointitulosten esittämisessä reaalimaailman ymmärtämässä muodossa (Routio 2005) 7 Tarvitaanko mallia? Pitäisikö arvioinnin tueksi valita jokin malli? Riippuu siitä mitä arvioidaan ja mitä arvioinnilla tavoitellaan Jos on perusteltua olettaa, että jotakin yksittäistä, hyvin rajattua verkkopalvelun ominaisuutta täytyy kehittää ei mallia välttämättä tarvita. Tällöin arviointi tehdään tämän yksittäisen asian varmentamiseksi. Muussa tapauksessa mallin käyttö on perusteltua etenkin jos halutaan perustella teoriaa hyväksi käyttäen arviointitulosten pohjalta tehtyjä päätöksiä argumentoinnin pätevyys. Mikä malli pitäisi valita? Kohdentuuko arviointi tuotantoprojektin arvioimiseen vai lopputuotteen eli verkkopalvelun arvioimiseen Riippuu siitä mitä arvioidaan ja mitä arvioinnilla tavoitellaan: arvioidaanko teknisen toteutuksen laadukkuutta ohjelmistojen laadukkuuden arviointimallit keskitytäänkö käytettävyyden arvioimiseen arvioidaanko tietyn tyyppistä verkkopalvelua esim. opetuskäyttöön suunnattu verkkopalvelu, verkkokauppa, tiedonhakupalvelu (Mich, Franch & Gaio 2003, 35; Signore 2005.) 8 4
Esitettyä kritiikkiä verkkopalveluiden laadukkuuden arviointimalleja kohtaan Yleisimpänä ongelmana on mallien kapea-alaisuus Asioita tarkastellaan usein vain yhden toimijaryhmän näkökulmasta = käyttäjä. Tärkeätä arvioida myös palvelun tuottajien, toteuttajien ja kehittäjien sekä sidosryhmien näkökulmasta. Arvioidaan ainoastaan jonkin tietyn ominaispiirteen näkökulmasta: useimmiten käytettävyys, saavutettavuus (esteettömyys), tekninen toteutus. Mallin soveltuminen ainoastaan tietyntyyppisten tai peräti tietyn verkkopalveluiden arvioimiseen. Kysymyksessä ei enää ole yleispätevä malli, vaan lähinnä holistinen malli (kuvaa arvioitavaa kohdetta). Arvioinnin pätevyys? Kritiikkiä esitetty niin tilastollisten kuin laadullistenkin menetelmien käyttöön liittyen Laadullinen aineisto: analysoinnin työläys ja vaativuus sekä yleistettävyys Tilastollinen aineisto: käsitteiden operationalisoimisen ja mittarin luomisen vaikeus mittaako mittari sitä mitä pitääkin. (Mich, Franch & Gaio 2003, 35; Signore 2005.) 9 Laaja-alaisempia arviointimalleja Varsin vähän laaja-alaisia arviointimalleja, joissa otetaan huomioon eri toimijoiden näkökulmat, joissa tarkastellaan laadukkuutta usean ulottuvuuden kautta ja jotka soveltuvat eri tyyppisten verkkopalveluiden arvioimiseen. Quality Model for Web Sites (Signore 2005) 2QCV3Q-malli (Mich, Franch & Gaio 2003) Verkkopalvelun käyttökelpoisuuden arviointimalli (Silius ym. 2003) 10 5
Quality Model for Web Sites Teknisen toteutuksen toimivuus (correctness): tekninen aspekti esim. ohjelmistokoodin, HTML -merkkauksen ja CSS- tiedostojen syntaksin oikeellisuus. Esitystapa (presentation): esim. sivun asettelu, tekstin ulkoasu, multimediaelementtien ominaisuudet ja käyttö, linkkien määrä ja toimivuus, lomakkeiden saavutettavuus (esteettömyys). Sisältö (content): luettavuus (visuaalinen ja kielellinen), informaatioarkkitehtuuri,informaation rakenne (otsikointi yms.), ajantasaisuus. Navigointi (navigation): sivuston rakenne, horisontaalinen ja vertikaalinen navigointi, navigointipalkki Vuorovaikutus (interaction): erityisesti lomakkeiden yhteydessä läpinäkyvyys, toiminnon peruuttaminen (undo), kohdentaminen. Muut tekijät (additional considerations): kuten tuotteen tai palvelun imago, karisma, graafiset ominaispiirteet, toimivuus erilaisilla päätelaitteilla, personoitavuus, laillisuus (tekijänoikeuksien kunnioittaminen) jne. (Signore 2005) 11 2QCV3Q-malli Identity (Quis): Verkkopalvelun kyky välittää tuotteen/palveluntuottajan imagoa. Graafisen ja taiteelliseen ilmeen sekä tuotteen toiminnallisuuden yhteenliittymä. Arvioidaan graafista ulkoasua, persoonallisuutta, puoleensavetävyyttä. Toisaalta myös luotettavuutta. Esim. www.ferrari.com Content (Quid): Missä määrin verkkopalvelun sisältö ja sen luotettavuus vastaa eri käyttäjäryhmien tarpeita. Services (Cur): Verkkopalvelun toiminnallisuudet palvelun tuottajan ja käyttäjän näkökulmasta. Palveluiden saatavuus, kattavuus ja tavoitteiden saavuttamisen tukeminen. Oleellista on myös tietoturvaan ja tietosuojaan liittyvät asiat. Location (Ubi): Verkkopalvelun saatavuus ja löydettävyys (URL -osoitteen kuvaavuus ja löytyminen hakukoneiden avulla). Yhteystiedot palvelun tuottajiin, virtuaaliyhteisöjen toiminnan tukeminen (vieraskirjat, keskustelupalstat, postituslistat, uutiskirjeet jne.) Management (Quando): informaatiosisältöjen päivitettävyys, tietoa perustamisajankohdasta, linkkien toimivuus jne. Usability (Quomodo): Verkkopalvelun käytön edellytykset: kustannukset, kognitiiviset vaatimukset jne. Esimerkiksi tarvittavat laitteet, ohjelmistot, yhteydet, päätelaiteet, saavutettavuus, navigoinnin tukeminen jne. Feasbility (Quibus auxiliis): Verkkopalvelun kehittämiseen liittyvät tekijät ja reunaehdot kuten taloudelliset ja inhimilliset resurssit sekä infrastruktuuri. (Mich, Franch & Gaio 2003.) 12 6
Käyttökelpoisuus 13 kohderyhmä Verkkopalveluiden arvioinnin näkökulmia kohderyhmä asiantuntijat esteettömyys saavutettavuus käytettävyys käytön sujuvuus informaation esitystapa informaation luotettavuus kohderyhmä riippuu riippuu käyttötarkoituksesta käyttö- informaation laadukkuus asiantuntijat tarpeisiin vastaaminen hyödyt lisäarvot lisäarvot kohderyhmä asiantuntijat Tervakari ym. 2002 14 7
Yleinen käyttökelpoisuus yhteiskunta, kulttuuri jne. arvioijat käyttäjäryhmät (luokiteltu hlökohtaisten kontekstitekijöiden mukaan) verkkototeutuksen arviointi ARVO työkalun avulla kontekstista riippumattomat tekijät Käyttökelpoisuus käyttökontekstissa organisaatio, palvelukonsepti, toimijat jne. tuottajat hlökohtainen konteksti verkkopalvelun toteutus palvelun käyttö palvelun verkkototeutus Toteutuksen yleinen käyttökelpoisuus Käyttökelpoisuus tuottajan näkökulmasta Käyttökelpoisuus käyttäjäryhmien näkökulmasta toteutuksen käyttökelpoisuus tietyssä käyttökontekstissa Tutkimuskysymykset: lisäarvot? edistävät tekijät? estävät tekijät? vrt. Silius, Tervakari, Kaartokallio & Yritys 2003 15 Käyttökelpoisuuden arvioiminen Verkkopalvelun käytön sujuvuus (toiminnallinen laadukkuus - miten asiointiprosessi sujuu), Käytettävyys (usability): Liittyy verkkopalvelun käyttöön ja käyttäjän kokemuksiin. Universaalit ja ainutkertaiset tekijät Saavutettavuus (accessibility): mahdollisuus käyttää verkkopalvelua Verkkopalvelun hyödyllisyys (utility) = palvelun soveltuvuutta tiettyyn käyttötarkoitukseen (osa verkkopalvelun teknisen laadun eli mitä asiakas saa palveluprosessin lopputuloksena). Käyttäjän tavoitteiden saavuttamisen tukeminen (tarpeisiin vastaaminen) Merkityksellisten toiminto- ja asiointiprosessien kattavuus ja niiden lopputulema. Myös verkossa tapahtuvien prosessien integroituminen verkon ulkopuolisiin prosesseihin. Verkkopalvelun käytön tuottama hyöty eli lisäarvo (added value) verrattuna perinteiseen palveluun. Informaation (sisällön) laadukkuus (informaatioarkkitehtuuri, esitystapa, luotettavuus). 16 8
Erilaisia arviointikriteerejä ja suosituksia Lainsäädäntö Suomessa ei suoraan ohjaa. Julkisten verkkopalveluiden tarjoamista ja sitä kautta laadukkuutta säätelevät osaltaan hallintomenettelylaki ja laki sähköisestä asioinnista. Muualla maailmassa erityisesti saavutettavuuteen liittyviä asioita määritelty lainsäädännössä Laatukriteeristöt Useissa maissa laadittu erityisesti julkisten verkkopalveluiden arvioimiseen laatukriteeristöjä Saavutettavuuden arvioimiseen laadittu omat kriteeristöt. 17 Laatua verkkoon.fi Kriteeristön tarkoituksena on toimia mm. verkkopalveluidentoteuttamisen, arvioimisen, kehittämisen välineenä, toimia laatukilpailujen arviointikriteereinä ja parantaa verkkopalveluiden laadukkuutta erityisesti käyttäjien näkökulmasta. (Laatukriteerit 2004.) Arvioinnissa kiinnitetään huomiota seuraaviin verkkopalvelun ulottuvuuksiin: Käyttö: Palvelun saatavuus, käytön helppous ja sujuvuus sekä palvelun ilmaisun ja rakenteen viestinnällisyys. Sisältö: Tietosisällön ja vuorovaikutuksen tasokkuus. Johtaminen: Palvelun strateginen suunnittelu sekä palvelutuotannon organisointi ja seuranta. Tuottaminen: Palvelun rakentaminen käyttäjäkeskeisyyden, sisällöntuotannon hallinnan sekä turvallisuuden ja toimivuuden näkökulmista. Hyödyt: käyttäjän ja organisaation saamat hyödyt. (Laatukriteerit 2004.) 18 9
Erilaisia arviointikriteerejä ja suosituksia Standardit Lukuisia joukko ergonomiaan ja käytettävyyteen liittyvä kansainvälisiä ISO standardeja. Suosituksia ja ohjeita esimerkiksi yleisesti verkkopalveluiden suunnitteluun kuten JHS 129 - Julkishallinnon verkkopalvelun suunnittelun ja toteuttamisen periaatteet myös liittyen saavutettavuuteen, viestintään, metatietojen käyttöön, tietoturvallisuuteen jne. monilla organisaatioilla on omat ohjeensa (sisällytetty esim. viestintäohjeisiin tai palveluiden laatukriteereihin) 19 Lähteet Grönroos, C. 1990. Nyt kilpaillaan palveluilla. 2. painos. Suom. M. Tillman. Helsinki: Weilin+Göös. James, R. 2001. Students' changing expectations of higher education and the consequences of mismatches with the reality [online]. OECD-IMHE Conference of Management Responses to Changing Student Expectations, 24 September 2001 in Brisbane, Australia. Teoksessa: Coaldrake P. & Stedman L. (toim.) Responding to student expectations. Paris: OECD, 71-83. <http://www.cshe.unimelb.edu.au/pdfs/oecd_imhe.pdf> Laatukriteerit [online]. Helsinki: Valtiovarainministeriö, 2004, [viitattu 4.9.2005]. Laatua verkkoon.fi. Saatavissa www-muodossa: <URL: http://www.laatuaverkkoon.fi/laatuaverkkoon/laatukriteerit/ > Mich, L., Franch, M. & Gaio, L. 2003. Evaluating and Designin Web Site Quality. IEEE Multimedia 10(1), 34 43. Nielsen, J. 1993. Usability Engineering. San Diego (CA.): Morgan Kaufmann. 20 10
Lähteet Routio, P. Tutkimuksen ja kehittämisen metodiikka: Mallit [online]. Helsinki: Taideteollinen korkeakoulu, päivitetty 21.1.2005 [viitattu 4.9.2005]. Saatavissa www-muodossa: <URL: http://www2.uiah.fi/projects/metodi/05b.htm > Signore, O. Towards a Quality Model for Web Sites [online]. Varsova: CMG Poland, 2005 [viitattu 4.9.2005]. "First CMG Poland Conference" on 9-10 May 2005, in Warsaw, Poland. Saatavissa pdf-muodossa: <URL: http://www.w3c.it/papers/cmg2005polandquality.pdf >. Silius, K., Tervakari, A-M., Kaartokallio, H. & Yritys, K. Tieto- ja viestintätekniikkaavusteisen opetuksen käyttökelpoisuuden arviointimalli [online]. Espoo: Suomen virtuaaliyliopiston kehittämisyksikkö, 2003 [viitattu 25.1.2005]. Suomen virtuaaliyliopiston e-julkaisuja nro 9. Saatavissa pdf-muodossa: <URL: http://www.virtuaaliyliopisto.fi/data/files/svy-julkaisut/julkaisu009.pdf > ISBN 951-22-6623-7. Sousa, R. & Voss, C. A. Service quality in multi-channel services employing virtual channels [online]. London: London Business School, 2004, [viitattu 29.8.2005]. Operations and Technology Management Working Paper Series OTM-04-023. Saatavissa pdf-muodossa: <URL: http://www.london.edu/assets/documents/2.3.3.7.14ruivossservqualmultichannel.pdf >. Tricker, T. 2003. Student expectations How do we measure up?[online] 2nd Global Conference of the Idea of Education, 4 5 July 2003 in Oxford, United Kingdom. Oxford: Inter Disciplinary.Net. http://www.inter-disciplinary.net/tricker%20paper.pdf 21 11