1. Johdanto aiheeseen verkkopalvelut ja niiden arvioiminen



Samankaltaiset tiedostot
Verkkopalvelun käyttökelpoisuus ja arviointi

Verkkopalvelun käyttökelpoisuus ja arviointi

Verkkopalvelun käyttökelpoisuus ja arviointi

Verkkopalvelun käyttökelpoisuus ja arviointi

Verkkopalvelun käyttökelpoisuus ja arviointi

Asiakasmarkkinoinnin määritelmä

1. luento

Käytettävyyslaatumallin rakentaminen web-sivustolle. Oulun yliopisto tietojenkäsittelytieteiden laitos pro gradu -suunnitelma Timo Laapotti 28.9.

Verkko-oppiminen: Teoriasta malleihin ja hyviin käytäntöihin. Marleena Ahonen. TieVie-koulutus Jyväskylän lähiseminaari

Tieto- ja viestintätekniikkaa opetustyön tueksi

Miksi käytettävyys on tärkeää

Perussurffaajat: Tiia Tirkkonen, Teppo Porkka, Janne Tuomisto. Verkkopalvelun arviointisuunnitelma Spotify

SVY:n palvelut yliopistojen laadunedistämistyössä onko niitä?

Tietokantapohjaisen arviointijärjestelmän kehittäminen: kohti mielekästä oppimista ja opetusta

Käyttökokemuksen evaluoinnista käyttökokemuksen ohjaamaan suunnitteluun. ecommunication & UX SUMMIT Eija Kaasinen, VTT

Opetussuunnitelmasta oppimisprosessiin

TERVETULOA! Järjestörallin kehittämismalli Koillis-Savosta hanke Tapahtuman järjestäminen / Asiakaspalvelu Tiina Kuosmanen

JULKISTEN VERKKOPALVELUJEN LAATUKRITEERISTÖN KONSEPTI

ARVIOINTISUUNNITELMA HSL REITTIOPAS

Orientaatio verkko-opetuksen laadunhallintaan

Yksilöllistä, puhuroi, suorita - Mitä käyttöliittymien termien taakse kätkeytyy?


Kuntasektorin asianhallinnan viitearkkitehtuuri 1.0. Kuntamarkkinat Tuula Seppo, erityisasiantuntija


Käyttöliittymän suunnittelu tilastotieteen verkko-opetukseen. Jouni Nevalainen

Verkkopalvelun sisällöntuotanto

Julkisen ja yksityisen sektorin kumppanuus innovatiivisten palveluiden mahdollistajana

STEAM PALVELUN ARVIOINTISUUNNITELMA. MAT Verkkopalvelun laadukkuus ja arviointi

Mobiilit käyttöliittymät lääkitystietoon

Verkkopalveluiden saavutettavuus

Tekijän nimi

Digi pienissä kunnissa ja maaseudulla

Visualisointi informaatioverkostojen Opintoneuvoja Pekka Siika-aho (päivitys mm. Janne Käen visualisoinnin pohjalta)

Tehostettu kisällioppiminen tietojenkäsittelytieteen ja matematiikan opetuksessa yliopistossa Thomas Vikberg

Innostavaa vuorovaikutusta vai jäätävää puhetta?

Verkkokurssin suunnitteluprosessi

DOB-Datasta oivalluksia ja bisnestä valmennuskurssi. Palvelu- ja asiakaslogiikkaan perustuva liiketoimintamalli

Oppijan polku - kohti eoppijaa. Mika Tammilehto

Digitaalisuus palvelumuotoilussa. Annemari Auvinen Digipolku

Käytettävyyslaatumallin rakentaminen verkkosivustolle

SFS, STANDARDIEHDOTUKSEN ISO/DIS ESITTELY

EKSOTE Sähköisen asioinnin seminaari

Opetuksen ja opiskelun tehokas ja laadukas havainnointi verkkooppimisympäristössä

Opetusteknologian standardoinnin tilanne. Antti Auer

Käyttäjäkeskeisen suunnittelun periaatteet ja prosessit

Verkkopalvelun käyttökelpoisuus ja arviointi

Oppimisen vaikuttavuus ja opetus miten niitä voisi arvioida virtuaaliyliopistossa?

Miten hyödynnän tietoa johtamisessa ja toiminnan kehittämisessä? Ermo Haavisto johtajaylilääkäri

SOME opetuskäytössä blogin käyttö opetuksessa

Parempaa liiketoimintaa henkilöstöjohtamisen uusilla välineillä

Projektityön ABC? Petri Kylmänen, Päihdetyön asiantuntijatoiminnan valmennus, Huuko , A-klinikkasäätiö

ELÄKÖÖN ELÄMÄ JA TYÖ V työhyvinvoinnin ja johtamisen koulutuspäivä Palvelu tapana toimia. FM Jukka Oresto LAMK / Paideia Oy

Oikeat tavoitteet avain onnistuneeseen tapahtumaan

2. Arviointimalleja ja -kriteerejä

Järjestelmäarkkitehtuuri (TK081702) Web Services. Web Services

Innovaatiopedagogiikka miksi, mitä, miten?

Konstruktiivisesti linjakas opetus. Saara Repo Avoimen yliopiston pedagoginen kahvila

Napsu.fi verkkopalvelun arviointisuunnitelma

Verkkokoulutus ja organisaation muutoshaasteet

Kandidaatintyön aiheita

Työelämän taitojen harjoittelu teknologian käytettävyyden arvioinnin opetuksessa

Kokemuksista strategiaan digitaalisuus opettajien ja opiskelijoiden silmin

OPPIMINEN ja SEN TUKEMINEN Supporting learning for understanding

Palvelumuotoilun perusteet. Terve-SOS Sami Oinonen, Hub Helsinki

Kansallinen digitaalinen kirjasto ja arkistopalvelut

Aktivoivat opetusmenetelmät opiskelijoiden kokemana

Miksi vaikuttavuuden mittaaminen on tärkeää ja miten sitä voi tehdä?

Tehtävä 4 Oppimisteoriat, oppimisympäristöt ja opetusmallit Jorma Enkenberg

Palveluprosessien kehittäminen

Kuluttajat ja uuden teknologian hyväksyminen. Kuluttajan ja markkinoijan suhde tulevaisuudessa Anu Seisto, VTT

Eeva-Liisa Lehtonen TUOTTEISTAMINEN OSANA NON-PROFIT -PALVELUJEN KEHITTÄMISTÄ HELSINGIN KAUPPAKORKEAKOULUN KIRJASTO

Dialogisuutta sähköisillä palveluilla. Leena Latva-Rasku

Multimodaalisuus oppijan tukena oppimateriaaleista eportfolioon

1(7) TYÖSSÄOPPIMINEN JA AMMATTIOSAAMISEN NÄYTTÖ. Tutkinnon osa: Verkkopalvelujen tuottaminen ja ylläpito 15 osp Tavoitteet:

Torstai Mikkeli

Lukutaidon uudet muodot äidinkielen ja kirjallisuuden opettajan haasteena Asiantuntijanäkökulma mediakasvatukseen, osa 1

Oppimisaihiot opetuksessa Tomi Jaakkola, Sami Nurmi & Lassi Nirhamo Opetusteknologiayksikkö Turun yliopisto

Opetus ja oppiminen verkossa. Erno Lehtinen Turun yliopisto

TOIMIVAN NÄYTÖN JA TYÖSSÄ OPPIMISEN ARVIOINTI JA KEHITTÄMINEN

Uusmedia kuluttajan silmin

päätöksellä ja tuli kansainvälisesti voimaan Maailman laajimmin ratifioitu ihmisoikeussopimus -193

Sulautuva sosiaalityö

Miksi potilastietojärjestelmän käytettävyys on niin tärkeää?

Kysyminen ja vastaaminen kommunikaationa. Petri Godenhjelm Metodifestivaalit 2015

SoberIT Ohjelmistoliiketoiminnan ja tuotannon laboratorio

Verkkosisällön saavutettavuusohjeet 2.0: hyviä ohjeita monimuotoisen sisällön suunnitteluun ja arviointiin

Yhteisöllisen tuotekehyksen avoin verkkolaboratorio. Asta Bäck

Digitalisaatio oppimisen maailmassa. Tommi Lehmusto Digital Advisor Microsoft Services

Vain vahvat selviytyvät?

Mitä käytettävyys on? Käytettävyys verkko-opetuksessa. Miksi käytettävyys on tärkeää? Mitä käytettävyys on? Nielsen: käytettävyysheuristiikat

ColLab Uudet yhteisölliset teknologiat oppimisen tukena

Osaava henkilöstö kotouttaa kulttuurien välisen osaamisen arviointi. Työpaja Hämeenlinna

Vapaan sivistystyön päivät , Jyväskylä Jan-Markus Holm

Trialogisen oppimisen suunnitteluperiaatteet

Laki digitaalisten palvelujen tarjoamisesta Digitaalisten palvelujen saavutettavuus Koulutus tiedottajille ja verkkotoimittajille, HAUS

Alkuraportti. LAPPEENRANNAN TEKNILLINEN YLIOPISTO TIETOJENKÄSITTELYN LAITOS CT10A Kandidaatintyö ja seminaari

$%& & % ' %& %#&& ' ( ) * ( + (, + (, + -

Case työpaja: Botnia. TM21 Sidosryhmät ja moraalinen vastuu Pia Lotila

Oppimisympäristöajattelu oppimisen tukena

VAIKUTTAVUUSARVIOINNIN HAASTEET

Transkriptio:

1. Johdanto aiheeseen verkkopalvelut ja niiden arvioiminen Palvelu ja verkkopalvelu Perinteinen palvelun määritelmä Palvelu on monimutkainen ja moniulotteinen ilmiö, jonka määritteleminen on vähintäänkin haastavaa. Kirjallisuudessa esitetäänkin lukuisia eri määritelmiä, jotka tarkastelevat ilmiötä kuitenkin enemmän tai vähemmän kapeasti. Sen sijaan, että pyrkisi määrittelemään palveluita, on hedelmällisempää siirtyä tarkastelemaan palveluiden ominaisuuksia. (Grönroos 1990, 46 49.) Palveluja on pyritty määrittelemään lukuisalla eri tavalla. Perinteisesti määriteltäessä palveluja on niiden ominaisuuksia verrattu fyysisiin tavaroihin. Useimmiten mainittuja palveluiden ominaisuuksia ovat Grönroosin (1990, 50 52) mukaan seuraavat: 1. Palvelut ovat aineettomia (palvelu voi silti myös sisältää konkreettisia osia). 2. Palvelut ovat luonteeltaan prosessimaisia eli sarja tekoja tai tekojen sarjoja. 3. Palvelut kulutetaan ja tuotetaan yleensä samanaikaisesti, kun asiakas on vuorovaikutuksessa palvelun tuottajan (edustajan) kanssa. 4. Asiakas osallistuu palvelun tuotantoprosessiin ainakin jossakin vaiheessa. Toisin sanoen asiakas on yksi tuotantoresurssi. Tästä johtuen palveluja ei voi varastoida, vaikka asiakkaita voi varastoida esimerkiksi odotushuoneeseen. 5. Palvelut koetaan subjektiivisesti. 6. Palveluita kuvataan abstrakteilla käsitteillä (esim. miellyttävä, ystävällinen, epäystävällinen jne). 7. Palvelu sinänsä ei johda omistukseen. 8. Palvelut ovat heterogeenisiä ts. palvelutilanne on aina erilainen. Termien ja käsitteiden kirjavuus Miten sitten määritellään verkkopalvelu? Kiinnostus verkkopalveluihin kuten myös niiden arviointiin on lisääntynyt viime vuosian voimakkaasti. Informaatioteknologian kehittymisen (esim. Internet, mobiililaitteet) myötä on ihmisten toimintaympäristö laajentunut fyysisestä ympäristöstä verkkoihin. Informaation ja toimintojen välittäminen tietoverkkojen välityksellä on arkipäiväistynyt. Puhutaan verkkopalveluista, digitaalisesta sähköisestä kaupankäynnistä, sähköisestä asioinnista, verkkoasioinnista (e-commerce, homeshopping, e-business, e-service, e-government service, online service, real-world service, web-based services) jne. Tämä termien ja käsitteiden sekamelska kuvaa osaltaan sitä, että verkkopalveluiden kehittäminen on vasta alkutaipaleellaan, eivätkä alalla käytettävät termit ja käsitteet ole vielä ehtineet vakiintua. Osaltaan vakiintumattomuuteen on vaikuttanut myös alan nopeatempoinen kehitys. Osaltaan se, mitä termejä tai käsitteitä ilmiöstä puhuttaessa käytetään ja miten ilmiö kulloinkin määritellään, riippuen siitä kuka puhuu ja mitä (tieteen)alaa tms. hän edustaa. Termien ja käsitteiden vakiintumattomuus johtaa usein mm. käytännön verkkopalvelun kehittämishankkeissa kommunikointiongelmiin. Kaupallisen alan tai julkisen sektorin edustajat tarkastelevat verkkopalveluja omasta, palvelun tuottajan näkökulmasta ja käyttävät oman alansa vakiintuneita termejä ja käsitteitä kuvaamaan verkkopalvelun erilaisia prosesseja ja toimintoja. Verkkopalvelun konkreettisesti toteuttavat tietotekniikan osaajat taas tarkastelevat asiaa ohjelmistokehityksen näkökulmasta. (Esim. Baida ym. 2004.) Baida ym. (2004) tarkastelevat englanninkielisen kirjallisuuden pohjalta service -termin käyttöä kolmen eri tieteen alueella: kauppatieteet, tietojenkäsittely ja informaatiotieteet. 1

Kauppatieteet: Palvelut olleet pitkään tutkimuksen kohteena. Palvelu nähdään toimintana, jonka palveluntarjoaja tuottaa asiakkailleen ja jonka tuotokset ovat aineettomia. Määritelmästä ollaan suhteellisen yksimielisiä. Sähköiset palveluilla (e-service) tarkoitetaan (useampia määritelmiä): o Palveluita, joissa Internet toimii kanavana, jonka välityksellä ollaan vuorovaikutuksessa asiakkaan kanssa ( alkuperäisessä: user interface). Eräänlainen Internet - pohjainen versio perinteisestä palvelusta. o Vuorovaikutteinen, sisältökeskeinen ja Internet -pohjainen palvelu, joka integroituu osaksi organisaation asiakashallintaprosesseja ja järjestelmiä. Tavoitteena asiakassuhteen vahvistaminen. o Palveluiden jakelua sähköisten verkkojen välityksellä. Internetin ja langattomien verkkojen lisäksi tähän luetaan mukaan kaikki erilaiset sähköiset järjestelmät, joiden välityksellä voidaan olla yhteydessä asiakkaaseen (kioskit ja automaatit, erilaiset asiakasjärjestelmät jne.) Verkkopalvelut termiä (Web services) käytetään useimmiten samassa merkityksessä kuin tietojenkäsittelytieteessä. Voidaan myös tarkoittaa verkonvälityksellä jaettavia palveluita. Tietojenkäsittelytiede: Verkkopalvelut käsite (Web services) yleensä määritelty tarkasti. Tosin määritelmiä on useita, joilla on kuitenkin yhteisiä piirteitä: o Määritelmien yleisimpinä elementtejä ovat ohjelmisto/sovellus, toiminnot ja Internet. o Verkkopalveluilla (Web Services) tarkoitetaan ohjelmistoja/sovelluksia, joita käytetään Internetin välityksellä. o Määrittelyissä tunnistetaan ainakin jossakin määrin huomioon varsinaisten ohjelmistojen ulkopuolella olevia toimintoja, mutta ei asiointi- tai liiketoimintaprosesseja. Sähköisillä palveluille (e-service) ei ole alalla yksiselitteistä määritelmää. Sillä voidaan tarkoittaa mm. sähköisen kaupankäynnin komponenttien toteuttamista verkkoympäristössä. Palveluilla (service) voidaan alalla tarkoittaa verkkopalveluita (web services) tai sähköisiä paleluita (e-service). Toisinaan termillä voidaan viitata aineettomiin tuotoksiin (vrt. kauppatieteiden määritelmä). Esimerkkinä W3C:n määritelmä, jonka mukaan Web Services eli verkkopalvelut on W3Caktiviteetti joka työn tulokset standardoivat sisäisesti erilaisten järjestelmien välistä viestiliikennettä XML-pohjaisen ratkaisun avulla. Perusidea on tarjota kanava jota hyödyntäen radikaalisti erilaiset tietojärjestelmät voivat kommunikoida keskenään esim. HTTP-sovelluskerroksen avulla. Kyseessä on Web-teknologia, jota tietokoneohjelmia tekevät ahot hyödyntävät hyödynnetään m käytännössä hyödyntävät lähinnä tietokoneohjelmia toteuttavat tahot. teknologia mahdollistaa mm. erityyppisten laitteiden välisen vuorovaikutuksen ja se mahdollistaa esim. erilaisten perusjärjestelmien yhdistämisen laajemmaksi kokonaisuudeksi. (Nykänen 2003.) Informaatiotieteet Informaatiotieteissä käytetään sekä tietojenkäsittelytieteistä että kauppatieteistä peräisin olevia määritelmiä: Verkkopalvelut -termiä (Web Services) käytetään samassa merkityksessä kuin tietojenkäsittelytieteissä. Sähköiset palvelut termillä (e-service) voidaan tarkoittaa joko perinteisten palveluiden verkkopohjaista toteutusta tai verkkopalveluja (web service) siten kuin tietojenkäsittelytieteen edustajat sen määrittelevät. Palvelut termillä tarkoitetaan kauppatieteiden määritelmän mukaista ilmiötä. 2

Baida ym. (2004) korostavatkin yhteisen ymmärryksen merkitystä. Jotta kommunikointi eri toimijoiden välillä onnistuisi, tarvitaan yhteisesti määriteltyjä käsitteitä. Verkkopalvelu, sähköinen palvelu Verkkopalvelut tai sähköiset palvelut ymmärretään yleensä tietoverkkojen (lähinnä Internetin) välityksellä tarjottavina palveluina, jotka hyödyntävät tieto- ja viestintäteknologisia ratkaisuja. (Esim. Hultgren & Eriksson 2005; Sousa & Voss, 2004.) Tässä yhteydessä on huomioitava se, että sekä Hultgren & Eriksson että Sousa & Voss (2004) käyttävät englanninkielistä termiä e-service, jonka olemme tässä yhteydessä kääntäneet suomenkieliseksi termiksi verkkopalvelu. Kirjallisuudessa esitettyjen määrittelyjen ongelmana on niiden kapea-alaisuus (esim. Hultgren & Eriksson 2005; Sousa & Voss, 2004.) Useimmiten rajaudutaan tarkastelemaan ainoastaan tietoverkkojen välityksellä tarjottavia palveluita. Kuitenkin on olemassa paljon verkkopalveluita, joita täydennetään myös muilla kanavilla kuten esim. interaktiivinen TV, puhelin, jopa sanomalehdet jne. Voidaan jopa puhua tieto- ja viestintäteknologiaa hyödyntävästä itsepalvelusta, jolloin palvelu tuotetaan ja kulutetaan vuorovaikutuksessa käyttöliittymän kanssa. Toisin kuin perinteisessä palvelussa suoraa vuorovaikutustilannetta palvelun tuottajan tai hänen edustajansa sekä asiakaan välillä ei ole. Tämän määritelmän mukaan verkkopalveluiksi voidaan lukea Internetin lisäksi myös erilaiset palveluautomaatit kuten pankkiautomaatti, infokioskit jne. (Vrt. Sousa & Voss, 2004.) Pyrittäessä määrittelemään ja analysoimaan verkkopalveluita ei perinteisen palvelun määritelmä välttämättä toimi. Usein mainittu, verkkopalvelut perinteisistä palveluista erottava tekijä on se, että asiakas (käyttäjä) ja palvelun tuottaja (tai hänen edustajansa) eivät ole samassa paikassa ainakaan samanaikaisesti. Sosiaalinen vuorovaikutus heidän välillään ei ole suoraa (FTF = face-to-face), vaan se tapahtuu käyttöliittymän ja tietojärjestelmien avulla ja välityksellä. (Vrt. Hultgren & Eriksson 2005; Sousa & Voss, 2004.) Toisaalta Sousan & Vossin (2004, 5) mukaan voidaan katsoa olevan olemassa myös sellaisia verkkopalveluita, joissa asiakas ei käytännöllisesti katsoen lainkaan ole vuorovaikutuksessa palvelun tuottajan edustajan kanssa. Esimerkiksi tiedonhakupalvelut. Suomalaisia määritelmiä Myös suomalaisessa keskustelussa sähköisestä asioinnista ja verkkopalveluista käytetään eri yhteyksissä hieman toisistaan poikkeavia määritelmiä. Hämmennystä lisää englanninkielisten termien kääntäminen suomeksi enemmän tai vähemmän onnistuneesti. Sanastokeskus TSK ry (entinen Tekniikan sanastokeskus) käynnisti vuonna 1999 EU:n tuella hankeen, jonka tavoitteena on tuottaa suosituksia suomenkielisistä tietotekniikan termeistä. Esimerkiksi termin web services suomennokseksi suositellaan termiä www-sovelluspalvelu ja sen määritellään tarkoittavan verkkopalvelimessa toimivaa ohjelmaa, joka tarjoaa standardisoitujen Internet-yhteyskäytäntöjen avulla palveluja sovellusten käytettäväksi (Tietotekniikan termitalkoot 1999). Esimerkiksi Tietoyhteiskunta-asian neuvottelukunnan mukaan [s] ähköisellä asioinnilla tai verkkoasioinnilla tarkoitetaan perinteistä asiointia täydentävää, korvaavaa tai uudistavaa julkisten palveluiden tuottamista, jakelua, käyttöä ja niihin liittyvää vuorovaikutusta, joka perustuu tietoverkkojen hyödyntämiseen. Julkiset verkkopalvelut ovat tietoverkkojen kautta kansalaisille, yrityksille ja yhteisöille ja toisille hallinnon yksiköille tarjottavia palveluja, jotka voivat ulottua yksinkertaisesta tietojen etsinnästä ja tarkistamisesta aina vuorovaikutteisten palvelujen tarjoamiseen ja mahdollisuuksiin osallistua asioiden valmisteluun ja päätöksentekoon. (Verkkopalvelustrategian vaikuttavuus 2004, 20.) 3

Valtionhallinnon tietoturvakäsitteistössä (2004, 66) verkkoasioinnin määritellään olevan asioiden hoitamista, esimerkiksi ostosten tekoa tai hallinnollisen toimen vireillepanoa, osaksi tai kokonaan tietoverkoissa tarjottua palvelua käyttäen. Käytettävän palvelun tarjoaja voi olla esimerkiksi verkkokauppa, rahalaitos tai viranomainen. Myös sanastokeskus TSK ry määrittelee verkkoasioinnin samalla tavalla. (Tietotekniikan termitalkoot 1999). Hyödyllistä lisätietoa: Tietotekniikan termitalkoot http://www.tsk.fi/termitalkoot/index.html Valtionhallinnon tietoturvakäsitteistö http://www.vm.fi/tiedostot/pdf/fi/50902.pdf (pdf, 681 Kb) Tällä kurssilla verkkopalveluita tarkastellaan enemmänkin kauppa- ja yhteiskuntatieteiden näkökulmasta. Toisin sanoen verkkopalveluilla tarkoitetaan sähköisten verkkojen välityksellä jaettavia, tuotettavia tai käytettäviä palveluita, jotka täydentävät, korvaavat tai uudistavat perinteisiä palveluita ja jotka tarjoavat asiakkaille (käyttäjille) mahdollisuuden verkkoasiointiin (sähköiseen asiointiin) kuten ostosten tekoon, asioimiseen viranomaisten kanssa, vaikuttamiseen, tiedon hakuun jne. Toisin sanoen asiakas (käyttäjä) osallistuu palvelun tuottamiseen ollessaan vuorovaikutuksessa palvelun tuottajan kanssa käyttöliittymän (technical interface) ja sähköisen verkon välityksellä. Vaikka tämän kurssin yhteydessä keskitytäänkin tarkastelemaan tietoverkkojen välityksellä tarjottavia palveluita hyväksytään kuitenkin se, että osa palveluprosesseista voidaan jakaa tai välittää myös muiden sähköisten verkkojen, kuten mobiili-, radio- ja tv-verkkojen kautta. Toisekseen katsotaan, että verkkopalveluita voidaan täydentää esim. sanomalehtien tms. välityksellä jaettavalla informaatiolla. Pohdittavaksi jää onko tarkoituksenmukaista tehdä eroa termien verkkopalvelut ja sähköiset palvelut välillä. Tai voidaanko niiden välille tehdä eroa. Onko esimerkiksi pankkiautomaatti verkkopalvelu vai sähköinen palvelu? Entä infokioski? Kännykän soittoäänen tilaamisessa matkapuhelimen avulla lienee kysymys verkkopalvelusta? Mutta kun maksat matkapuhelimella parkkimaksun, onko kysymyksessä verkkopalvelu? Arviointi mitä se on? Arvioinnin käsitteitä Arvioinnista käytetään Suomessa rinnakkain evaluaatio -käsitettä. Arviointi -käsitettä vastaavia englanninkielisiä käsitteitä Suomessa luettavassa arviointikirjallisuudessa ovat termit assessment ja evaluation sekä appraisal. Myös englanninkielinen termi rating suomennetaan arvioinniksi (Åhlberg 1992, 6). Mitä arvioinnilla tarkoitetaan? Laukkanen (1998, 32) määrittelee arvioinnin jonkin asian tai ilmiön hyödyn ja/tai arvon määrittämiseksi, joka perustuu asiasta tai ilmiöstä hankitun tiedon analysointiin. Raivola näkee evaluaation tarkoituksena systemaattisen informaation tuottamisen, johon liitetään arvo- ja hyötypäätelmä niin, että tietoa voidaan käyttää ohjaamaan jotakin toimintaa pääsemään entistä paremmin ja tehokkaammin sille asetettuihin tavoitteisiin (Raivola 2000, 65-66). Tärkeitä kysymyksiä ovat: - Tehdäänkö oikeita asioita oikein? 4

- Onko toimintamme tehokasta? - Mikä on toimintamme asiakkaalle tuottama lisäarvo? Mistä arvioinnissa on kysymys? Erilaisten näkökulmien erottelu auttaa hahmottamaan arvioinnin monivivahteista olemusta. Näkökulmasta riippuen arvioinnin funktiot vaihtelevat yleisimmin kontrollista kehittämiseen. Arviointi kontrollina korostuu erityisesti silloin kun sitä hyödynnetään hallinnollisen ohjauksen välineenä. Arviointi tutkimuksena tukee puolestaan toiminnan kehittämisen tarpeita. Toiminnan kehittäminen ja kontrolli eivät ole kuitenkaan toisensa pois sulkevia, joten dikotomiamaisesti niitä ei voida käyttää. Sen sijaan eri näkökulmia voidaan hyödyntää erilaisia painopistealueita ilmentämässä. (Laukkanen 1998.) Arviointitiedon pääasiallinen hyödyntäjä, yleisö vaihtelee hyvinkin paljon riippuen siitä, mikä on tiedon tuottamisen pääasiallinen tarkoitus. Arvioinnin merkitys on (ainakin näennäisesti) muuttumassa yhä enemmän kontrollista kehittämiseen. (Laukkanen 1998.) Olipa näkökulma evaluaatioon mikä hyvänsä, korostuu siinä aina arvon antaminen ilmiölle. Arvottaminen on osa evaluaation perusolemusta, se liittyy evaluaatioon aina joko tiedostetusti tai tiedostamatta. Toinen evaluaatiomäärittelyissä korostuva asia on evaluaatiotiedon informatiivinen ja käytännöllinen luonne. Evaluaation yhtenä tarkoituksena on tuottaa tietoa kohteestaan. Evaluaation luonteeseen kuuluu todeta, kehittää ja kontrolloida ilmiötä tai toimintaa (Vuorenmaa 2001, 32). Saadaksemme jollakin tapaa päteviä laatupäätelmiä, tulee päätökset tehdä arvioinnin eli evaluaation jälkeen. Päätöksiä ei voi luokitella tosiksi tai epätosiksi. Ne ovat tarkoituksenmukaisia, mielekkäitä ja oikeudenmukaisia tai sitten niiden ominaisuuksien vastakohtia. Sen sijaan se tieto, johon päätöksenteon sanotaan perustuvan, voidaan osoittaa oikeaksi tai vääräksi. Päätöksenteon valmistelussa voidaan pyrkiä hankkimaan kaikki oleellinen ja tarpeellinen. Silloin päätöksen voi sanoa perustuvan objektiivisiin tosiasioihin, varsinkin jos ne ovat tutkimuksen tuottamia. (Raivola 2000, 13.) vertailu aikomus havainto standardi arvio kuvailu johtopäätös Kuva 1. Arviointisykli " (Raivola 2000, s.65-66) Ajallisesti arviointi voi tapahtua jo suunnitteluvaiheessa, toteutuksen aikana tai valmiin palvelun arviointina. Toiminnan aikana tapahtuva arviointi on prosessinarviointia, joka voi kohdistua palvelun tuottajan toimintaan, palveluun tai asiakkaissa tapahtuviin muutoksiin (Patton 1990, 94 96.) 5

Kuva 2. Jatkuvan arvioinnin spiraali. Arviointi integroituu osaksi verkkopalvelun toteutuksen elinkaarta lomittuen suunnittelu-, toteutus- ja kehittämisvaiheiden väliin. Arvioinnin haasteellisuus Arvioinnilla pyritään parantamaan ja tehostamaan toimintoja. Se palvelee käytäntöä. Arviointiprosessiin ja on sisäänrakennettu muutoksen vaatimus. Verkkopalveluiden arviointi edellyttää lukuisten erityistaitojen hallintaa. Useinkaan yksi henkilö ei voi hallita ainakaan syvällisesti kaikkea vaadittavaa erityistietämystä. Arviointi edellyttääkin eri tieteenalojen teoreettisten näkemysten ja asiantuntijoiden tietämyksen yhdistämistä. Yhtymäkohtia on mm. kasvatustieteisiin, psykologiaan, sosiaalipsykologiaan, sosiologiaan, informaatiotieteisin, ohjelmistotekniikkaan, tietojenkäsittelyyn, käytettävyyteen ja taiteisiin. (Vrt. Pantzar 2001, 125; Tergan 1998; Weston & Parker, 2001.) Koska evaluaatiolla on niin monia eri käyttötarkoituksia ja osittain varmasti myös sen käytännön hyötyä tavoittelevan luonteen vuoksi sitä pidetään hyvin kontekstisidonnaisena toimintana. Konteksti tekee kustakin arvioitavasta kohteesta ainutlaatuisen ja siksi sen vaikutukset pitää ottaa huomioon. Kontekstin ja siihen liittyvien taustatekijöiden merkitys verkkopalveluiden laadun tutkimisessa on noussut viime vuosina esille useissa tutkimuksissa (vrt. Briton 2001, Forsblom & Silius 2002; Matikainen 2000; Sambrook, Geerthuis & Cheseldine 2000; Korhonen 2003). Esimerkiksi Matikainen (2000, 44) toteaa, että on tärkeää tutkia toimintaa kontekstuaalisena, koska konteksti määrää toiminnan kohdetta, luonnetta ja lopputulosta; tähän yhtyvät myös Rauste-von Wright ja von Wright (1994, 33). 6

Verkkopalveluita arvioitaessa ei voida siis tyytyä ainoastaan tavoiteltujen tulosten saavuttamisen mittaamiseen. On huomioitava myös laajempi konteksti, jossa verkkopalvelua käytetään sekä otettava huomioon kaikki ne tekijät, jotka tietyssä kontekstissa estävät ja/tai edistävät käyttöä. Konteksti Kontekstin merkitys Kontekstin huomioivan arvioinnin lähtökohtana on eri toimijoiden osallistuttaminen arviointiprosessiin. Ideaalitilanteena voidaan pitää sitä, että kaikki, jotka ovat toiminnassa jollakin tavoin osallisina saavat äänensä kuuluville. Tyypillinen esimerkki tämän kaltaisesta arviointimallista on Guban ja Lincolnin (1989) vuorovaikutuksellista ja moniarvoista arviointia edustava osallisten ja toimijoiden (stakeholders) käsityksiin pohjautuva arviointimalli. Malli on hyödyllinen, sillä se huomioi ihmisten intentionaalisuuden: ihminen on toiminnalleen päämääriä asettava ja tavoitteellinen olento. Moniarvoisessa arvioinnissa on huomioitava käyttäjien ilmaisemat tavoitteet ja asenteet. Se, miten verkkoa on aiottu palvelussa hyödyntää, antaa viitteitä niistä periaatteellisista syistä miksi niitä halutaan hyödyntää. Niinpä esimerkiksi opetukseen tarkoitettuja sovelluksia arvioidaan esimerkiksi opetuspalvelun tuottajan ja toteuttajan, opiskelijan ja organisaation näkökannalta. Kontekstin käsite Kontekstin käsitteen määrittely on haasteellista, sillä käsitettä käytetään tutkimuksissa viittaamaan eritasoisiin ilmiöihin (esim. Korhonen 2003, 22). Laajimmillaan konteksti voidaan ymmärtää välitöntä ympäristöä laajempana yhteiskunnallis-sosiaalisena, kulttuurisena ja poliittisena kontekstina, joka luo reunaehtoja palvelun toteuttamiselle ja suunnittelulle. Toisaalta palvelun voidaan katsoa myös tapahtuvan instituutiotason kontekstissa, jossa vaikuttavia tekijöitä ovat mm. toiminnantavoitteet, organisaatiokulttuuri ja vallitsevat toimintanormit. (vrt. Korhonen 2003, 22). Kontekstin on paikkaan ja aikaan sidottu, toiminnan ympärille jäsentynyt kokonaisuus, joka vaikuttaa merkittävästi toiminnan laatuun. Konteksti siis jo olemassaolollaan ohjaa ja jäsentää toimintaa (vrt. Kauppi 1993; Korhonen 2002). Matikaisen (2002) sosiaalipsykologiaan pohjautuvan käsityksen mukaan konteksti voidaan ymmärtää toimintaympäristönä, ja sitä voidaan tarkastella esimerkiksi rakenteellisena ja kulttuurisena ilmiönä. Myös Korhonen (2002, 23) toteaa, että tietyssä toimintaympäristössä inhimillinen tietämys ja toiminta ovat kontekstisidonnaisia. Vaikka yksilöt toimivatkin kontekstin edellyttämällä tavalla, on konteksti samanaikaisesti myös heidän itse jatkuvasti ylläpitämä ja konstruoima sosiaalinen järjestys (Matikainen 2002, 12-13). Tällöin toimijoiden henkilökohtainen historia muokkaa osaltaan kontekstin ainutkertaiseksi toimintaympäristöksi. Niinpä konteksti ei ole pelkästään yksisuuntaisesti toimintaan vaikuttava tekijä, vaan toiminnalla myös vaikutetaan kontekstiin (Matikainen 2000, 44). Lisäksi konteksti vaikuttaa ihmisen toiminnan arvoihin ja päämääriin sekä niihin toiminnan muotoihin, joita tavoitteen saavuttamiseksi valitaan (Korhonen 2003, 22-23). Verkkopalvelun käyttökelpoisuus ja arviointi kurssilla kontekstilla tarkoitetaan toimintaympäristöä, joka vaikuttaa ihmisen toiminnan tavoitteisiin ja toimintatapoihin ja jossa henkilökohtainen historia muokkaa osaltaan kontekstin ainutkertaiseksi toimintaympäristöksi. Verkkopalvelun käyttäjien henkilökohtaiset kontekstit eri tekijöineen vaikuttavat siis osaltaan siihen, miten verkkopalvelu koetaan. Organisaatiotason konteksti siinä vallitsevine arvostuksineen ja toimintakulttuureineen vaikuttaa toisaalta sekä henkilökunnan että asiakkaiden arvostuksiin ja toisaalta määrittelee ne käytännön mahdollisuudet ja konkreettiset resurssit, joita tarvitaan verkkopal- 7

velun toteuttamiseen. Laajempi yhteiskunnallis-sosiaalinen konteksti vaikuttaa tietysti koko prosessin taustalla, mutta sen vaikutuksen näemme heijastuvan näiden kolmen edellä mainitun kontekstin kautta eikä sitä ole erikseen analysoitu tutkimuksessamme. Laatu ja laadun kokeminen Palvelun laatu on monimutkainen ilmiö, josta on vaikea saada luotettavaa tietoa. Ensimmäisenä on pyrittävä määrittelemään mitä palvelun laadulla oikein tarkoitetaan ja kenen näkökulmasta asiaa tarkastellaan. Puhutaanko laadukkuudesta palvelun tuottajan, asiakkaan (käyttäjän), sidosryhmien vai palvelun toteuttajan näkökulmasta. Ongelmana on usein se, että laatu määritellään liian kapeaalaisesti kiinnittäen huomiota siihen mitä asiakas palvelutapahtuman lopputuloksena saa. Usein unohdetaan kiinnittää huomiota siihen miten asiakas (käyttäjä) tuon lopputuloksen saa, Arvioitaessa palvelujen laatua asiakkaan (käyttäjän) näkökulmasta peruslähtökohtana on se, miten asiakkaat (käyttäjät) kokevat laadun. Laadun kokemuksiin vaikuttavat niin asiakkaan (käyttäjän) yksilölliset ominaisuudet kuin käyttötilanne (palvelutilanne). Toisin sanoen palvelun laatu on subjektiivinen, henkilöstä riippuva ominaisuus. Lisäksi laadun kuten myös käyttökelpoisuuden kokeminen on siis sidoksissa kontekstiin. (Esim. Grönroos 1990, 58 67.) Asiakkaan (käyttäjän) näkemys palvelun laadusta riippuu useasta eri tekijästä (ibid.): asiakkaan (käyttäjän) kokemuksista o miten palvelu vastaa hänen tarpeisiinsa eli mitä hän saa (palvelun tekninen laatu) o millä tavalla (palvelun toiminnallinen laatu) asiakkaan (käyttäjän) ennakko-odotuksista o palvelun (ja sen tuottajan) imago o asiakkaan tarpeet o markkinaviestit o asiakkaan lähipiirin mahdolliset kokemukset ko. palvelusta. Käsitys palvelun laadusta muotoutuu asiakkaan verratessa saamiaan kokemuksiaan palvelusta (koettu laatu) ennakko-odotuksiinsa (odotettu laatu). (Ibid.) Koettuun palvelun laatuun vaikuttavia tekijöitä on lukuisia. Perinteisten palvelujen yhteydessä mainitaan mm. seuraavanlaisia tekijöitä (esim. Parasuraman ym. 1985 ref. Grönroos 1990, 69-70): luotettavuus: suorituksen johdonmukaisuus ja luotettavuus, reagointialttius: palvelutyöntekijöiden halu ja valmius palvella, pätevyys: tarvittavien tietojen ja taitojen hallinta, saavutettavuus (saatavuus): yhteydenoton mahdollisuus ja helppous, kohteliaisuus, viestintä: asiakkaalle puhutaan kieltä, jota hän ymmärtää ja heitä kuunnellaan, uskottavuus: luotettavuus, rehellisyys ja asiakkaan etujen ajaminen, turvallisuus: palvelun käyttöön ei liity vaaroja, riskejä tai epäilyksiä, asiakkaan ymmärtäminen: aito pyrkimys ymmärtää asiakaan tarpeita ja fyysinen ympäristö: palvelun fyysiset tekijät. Viimeaikaisissa tutkimuksissa on todettu, että perinteisen palvelun koettuun laatuun liittyvät tekijät ovat merkityksellisiä myös tarkasteltaessa verkkopalveluita ja erityisesti niiden fyysisten ulottuvuuksien laadukkuutta (physical quality) kuten esim. asiointi asiakaspalvelijan kanssa s-postin 8

välityksellä tai tavarantoimitukseen liittyvät logistiikkapalvelut. Verkkopalveluiden laadukkuuden kokemiseen vaikuttavat myös sellaiset tekijät, jotka liittyvät varsinaiseen verkkosivustoon (virtual quality) kuten käytettävyys, esteettömyys, esteettisyys, tehokkuus, luotettavuus jne. tai jotka liittyvät verkossa tapahtuvien ja verkon ulkopuolella tapahtuvien asiointi- ja palveluprosessien integroimiseen. (Sousa & Voss 2004.) Oheislukemista: Hultgren, G. & Eriksson, O. The Concept of e-service from a Social Interaction Perspective [online]. Falun: Dalarna University, 2005 [viitattu 29.8.2005]. Proceedings of ALOIS 2005, Limerick, Ireland, 15 16 March 2005. Saatavissa pdf-muodossa: <URL: http://www.vits.org/publikationer/dokument/493.pdf >. Sousa, R. & Voss, C. A. Service quality in multi-channel services employing virtual channels [online]. London: London Business School, 2004, [viitattu 29.8.2005]. Operations and Technology Management Working Paper Series OTM-04-023. Saatavissa pdf-muodossa: <URL: http://www.london.edu/assets/documents/2.3.3.7.14ruivossservqualmultichannel.pdf >. Verkkopalvelun laadukkuuden arvioinnin näkökulmia Monet tutkijat ovat sitä mieltä, että esimerkiksi pelkkä käytettävyyden arviointi ei riitä arvioitaessa verkkopalvelun laadukkuutta. Kirjallisuudessa peräänkuulutetaan laajempaa ja holistisempaa näkökulmaa asiakkaan (käyttäjän) ominaispiirteiden ja tarpeiden tarkasteluun. Käytettävyystutkimuksessa ihmiset nähdään liian kapea-alaisesti pelkästään käyttäjinä. Ihminen yksinkertaistetaan kognitiivisiksi ja fysiologisiksi prosesseiksi ihminen-tietokone- tavoite ketjussa. Arvioitaessa esim. verkkopalveluiden laadukkuutta olisi otettava huomioon myös se, että ihmisillä on toiveita, pelkoja, unelmia, odotuksia, makuja ja persoonallisuus, jotka vaikuttavat myös palvelun laadukkuuden kokemiseen. Toisekseen arviointi tulisi ulottaa kattamaan myös ne asiointi- ja toimintoprosessit, jotka liittyvät verkkopalveluun, mutta tapahtuvat varsinaisen verkon ulkopuolella. Kolmanneksi arvioinnissa on tarkasteltava myös sitä verkossa ja verkon ulkopuolella tapahtuvien asiointi- ja toimintoprosessien integroinnin laadukkuutta. (Vrt. Jordan 2000; Sousa & Voss 2004.) Verkkopalvelun laadukkuuden arvioiminen on haastavaa ja edellyttää monien erilaisten näkökulmien yhdistämistä eli arvioinnin moniulotteisuutta. Jotta verkkopalvelun laadukkuudesta ja käyttökelpoisuudesta tietyssä käyttökontekstissa voitaisiin muodostaa kokonaisvaltaisempi näkemys, on arvioinnissa kiinnitettävä huomiota paitsi käytettävyyteen, myös saavutettavuuteen, informaation laadukkuuteen ja lisäarvoihin. Lisäksi arvioinnissa tulee kiinnittää huomiota siihen miten hyvin käyttäjien ym. toimijoiden tarpeisiin onnistutaan vastaamaan. Arvioinnissa kiinnitetään huomiota paitsi palvelun asiointiprosessin laadukkuuteen ja käyttökelpoisuuteen myös palveluprosessin lopputuloksen laadukkuuteen. Toisin sanoen arvioidaan miten laadukkaaksi ja käyttökelpoiseksi asiakas (käyttäjä) kokee palveluprosessin (miten hän saa) ja lopputuloksen (mitä hän saa). Tärkeätä on huomioida ensinnäkin eri toimijaryhmien näkemykset (esim. käyttäjä, palvelun tuottaja, sidosryhmät). Toiseksi palveluprosessia ei saa määritellä liian kapeasti kattamaan ainoastaan vain verkossa tapahtuvan osion. Palveluprosessi on määriteltävä riittävän laajasti, jotta ymmärretään verkossa tapahtuvan prosessin yhtymäkohdat reaalimaailman prosesseihin. Esimerkiksi verkkokapassa tieto asiakaan ostotapahtumasta tulee mennä mm. varastoon, tavarantoimitukseen ja laskutukseen, jotta oikea kirja postitetaan oikealle ihmiselle oikeaan paikaan ja vielä saadaan laskutettuakin oikein. 9

Nielsenin mukaan sovelluksen käyttökelpoisuus (usefulness) muodostaa yhden osan sovelluksen käytännön hyväksyttävyydestä (practical acceptability). Muita ovat perinteisemmät tekijät kuten kustannukset, luotettavuus, käyttötuki jne. Sovelluksen käyttökelpoisuus taas muodostuu sovelluksen käytön sujuvuudesta eli käytettävyydestä (usability) sekä soveltuvuudesta tiettyyn käyttötarkoitukseen eli hyödyllisyydestä (utility). (Nielsen 1993.) Hyödyllisyys voidaan purkaa edelleen alakäsitteisiin informaation laadukkuus, lisäarvot ja käyttäjän tarpeisiin vastaaminen (esim. viihtyminen, asioiminen, kuluttaminen, oppiminen jne.) (vrt. Silius ym. 2003). Katso kuva 3. Kuva 3. Käyttökelpoisuus ja järjestelmän hyväksyttävyys Nielsenin1993 pohjalta. Verkkopalvelun käyttökelpoisuus (usefulness) on siis usean tekijän summa (kuva 4): 1. Verkkopalvelun käytön sujuvuus o käytettävyys (usability) o mahdollisuus käyttää verkkopalvelua käyttötilanteesta, päätelaitteesta ja yksilöllisistä ominaisuuksista riippumatta (accessibility) 2. Verkkopalvelun hyödyllisyys (utility), jolla tarkoitetaan sen soveltuvuutta tiettyyn käyttötarkoitukseen, muodostuu useista eri tekijöistä: o tavoitteen saavuttamisen tukeminen - merkityksellisten toiminto- ja asiointiprosessien tukeminen (mitä asiakas saa ja miten) - informaation laadukkuus (informaatioarkkitehtuuri, esitystapa, luotettavuus) o verkkopalvelun käytön tuottama hyöty eli lisä arvo (added value) (vrt. Nielsen 1993; Silius ym. 2003.) 10

Kuva 4. Verkkopalvelun käyttökelpoisuuden arvioinnin näkökulmia (Silius ym. 2003 pohjalta) Käyttökelpoisuuden arviointimallin (kuva 5) mukaan arviointi on kaksitasoista. Ensimmäisen tason arvioinnissa tarkastelun kohteena on verkkototeutuksen yleisen käyttökelpoisuuden arvioiminen. Arviointi tehdään usein ns. asiantuntija-arviointina, jolloin asiantuntijat kiinnittävät huomiota sellaisiin käytettävyyteen ja esteettömyyteen liittyviin, suhteellisen pysyviin seikkoihin, jotka perustuvat ihmisen fysiologisiin ja psykologisiin rakenteisiin sekä kulttuurisiin tekijöihin. informaatiosisällön laadukkuuteen siinä määrin kuin se on mahdollista arvioida ilman aiheen asiantuntemusta yleisellä tasolla voidaanko verkkopalvelun katsoa tukevan asiakkaiden tavoitteiden saavuttamista esimerkiksi motivoivan millaista lisäarvoa verkkototeutus vaikuttaisi tuottavan. (Silius ym. 2003.) 11

Kuva 5. Käyttökelpoisuuden arviointimalli (vrt. Silius ym. 2003). 12

Lähteet: Baida, Z., Gordijn, J. & Omelayenko, B. A Shared Service Terminology for Online Service Provisioning [online]. New York, ACM Press, 2004 [viitattu 29.8.2005]. Proceedings of the 6th international conference on Electronic commerce October 25-27, 2004 in Delft, The Netherlands. Saatavissa pdf-muodossa. < DOI: http://doi.acm.org/10.1145/1052220.1052222 >. Briton, D. 2001. Online workers education: How do we tame the technology? International Journal Of Instructional Media, 2001, Vol.28 Issue 2, 117 136. Forsblom, N. & Silius, K. 2002. Value Added on Web-based Learning Environments. In E.Pantzar (Eds.), Perspectives on the Age of the Information Society. Tampere: Tampere University Press, 103-113. Grönroos, C. 1990. Nyt kilpaillaan palveluilla. Suom. M. Tillman. 2. painos. Helsinki: Weilin+Göös. Guba, E.G. & Lincoln, Y. S. 1989. Fourth generation evaluation. Newberry Park, CA: Sage Publications. Hultgren, G. & Eriksson, O. The Concept of e-service from a Social Interaction Perspective [online]. Falun: Dalarna University, 2005 [viitattu 29.8.2005]. Proceedings of ALOIS 2005, Limerick, Ireland, 15 16 March 2005. Saatavissa pdf-muodossa: <URL: http://www.vits.org/publikationer/dokument/493.pdf >. Jordan, P.W. 2000. Designing Pleasurable Products: An Introduction to the New Human Factors. London & New York: Taylor & Francis. Korhonen, V. 2003. Oppijana verkossa -Aikuisopiskelijan oppimiseen suuntautuminen ja oppimiskokemukset verkkopohjaisessa oppimisympäristössä [online]. Acta Electronica Universitatis Tamperensis; 248. Tampere: Tampereen yliopisto. [viitattu 24.8.2005]. Saatavissa www-muodossa: <URL: http://acta.uta.fi/pdf/951-44-5658-0.pdf > Laukkanen, R. 1998. Opetustoimen keskushallinnon evaluaatioajattelun kehitys Suomessa 1970- luvulta 1990-luvulle. Jyväskylä: Jyväskylän yliopisto. Koulutuksen tutkimuslaitos. Matikainen, J. & Manninen, J. 2000. Aikuiskoulutus verkossa. Verkkopohjaisten oppimisympäristöjen teoriaa ja käytäntöä. Lahti: Helsingin yliopiston Lahden tutkimus- ja koulutuskeskus. Nielsen, J. 1993. Usability Engineering. San Diego (CA.): Morgan Kaufmann. Nykänen, O. W3C, Web-teknologiat ja e-oppiminen [online]. Tampere: W3C Suomen toimisto, luotu 23.1.2003 [päivitetty 24.1.2003] [viitattu 30.8.2005]. Saatavissa www-muodossa: <URL: http://www.w3c.tut.fi/reports/2003/0121elearn/ > Pantzar, E. 2001. Oppimisteoreettisia näkökulmia verkkoperusteisten oppimisympäristöjen suunnitteluun. Teoksessa A. Haasio & J. Piukkula (toim.) Oppiminen verkossa. Helsinki: BTJ Kirjastopalvelu, 105 133. 13

Parasuraman, A., Zeithaml, V. & Berry, L. 1985. A Conceptual Model of Service Quality and Its Implications for Future Research. Journal of Marketing, Fall 1985, 41-50. Patton, Michael Q. 1990. Qualitative Evaluation and Research Methods. Newbury Park, London and New Delhi: Sage Publications. Raivola, R. 2000. Tehoa vai laatua koulutukseen. Aikuiskasvatus. Porvoo: WSOY. Rauste-von-Wright, M. & Wright, J. (1994). Oppiminen ja koulutus. Porvoo: WSOY. Sambrook, S., Geerthuis, S. & Cheseldine, D. 2000. Developing a quality assurance system for computer based learning materials problems and issues. Assessing Quality in Higher Education (AQHE) annual international conference, Royal Melbourne Institute of Technology (RMIT), Melbourne, Australia, 27-30 July. Silius, K., Tervakari, A-M., Kaartokallio, H. & Yritys, K. Tieto- ja viestintätekniikka-avusteisen opetuksen käyttökelpoisuuden arviointimalli [online]. Espoo: Suomen virtuaaliyliopiston kehittämisyksikkö, 2003 [viitattu 25.1.2005]. Suomen virtuaaliyliopiston e-julkaisuja nro 9. Saatavissa pdf-muodossa: <URL: http://www.virtuaaliyliopisto.fi/data/files/svy-julkaisut/julkaisu009.pdf > ISBN 951-22-6623-7. Sousa, R. & Voss, C. A. Service quality in multi-channel services employing virtual channels [online]. London: London Business School, 2004, [viitattu 29.8.2005]. Operations and Technology Management Working Paper Series OTM-04-023. Saatavissa pdf-muodossa: <URL: http://www.london.edu/assets/documents/2.3.3.7.14ruivossservqualmultichannel.pdf >. Tergan, S-O. 1998. Checklists for the evaluation of educational software. Critical review and prospects. Innovations in Education and Training International, 35 (1), 9-20. Tietotekniikan termitalkoot. Julkaistut suositukset [online]. Helsinki: Sanastokeskus TSK ry, 1999, [päivitetty 20.5.2005], [viitattu 29.8.2005]. Saatavissa html-muodossa: <URL: http://www.tsk.fi/termitalkoot/index.html >. Valtionhallinnon tietoturvakäsitteistö [online]. Helsinki: Helsinki: Valtiovarainministeriö Hallinnon kehittämisosasto, 2003 [viitattu 29.8.2005]. Valtionhallinnon tietoturvallisuuden johtoryhmä 4/2003. Saatavissa pdf-muodossa: <URL: http://www.vm.fi/tiedostot/pdf/fi/50902.pdf > Verkkopalvelustrategian vaikuttavuus [online]. Helsinki: Valtiovarainministeriö Hallinnon kehittämisosasto, 2004 [viitattu 29.8.2005]. Tutkimukset ja selvitykset 3/2004. Saatavissa pdf-muodossa: <URL: http://www.vm.fi/tiedostot/pdf/fi/86600.pdf >. Vuorenmaa, M. 2001. Views Across Assessment: New openings into the evaluation discussion on Finnish education. Jyväskylä Studies in Education, Psychology and Social Research 176. Jyväskylä: Jyväskylän yliopisto. Weston, T.J. & Barker, L. 2001. Designing, implementing, and Evaluating Web-Based Learning Modules for University Students. Educational Technology, 41(4), (pp.15-22). Åhlberg, M. 1992. Oppimisen, opetuksen ja opetussuunnitelman evaluaatio. Loimaa: Finn Lectura. 14

15