9. Tietoa käyttökelpoisuudesta käyttäjiltä Asiantuntija-arviointien rinnalla on hyvä käyttää erilaisia testausmenetelmiä, joiden avulla kootaan tietoa verkkopalvelun käyttökelpoisuudesta ja laadukkuudesta verkkopalvelun todellisilta käyttäjiltä sekä palvelun tuottajilta ja erilaisilta sidosryhmiltä. Mikä menetelmä kulloinkin valitaan ja kuinka monelta käyttäjältä kulloinkin tietoa kootaan riippuu siitä, mikä on arvioinnin tavoite, mistä halutaan tietoa ja mihin tietoa tullaan käyttämään sekä toisekseen myös siitä millaisia resursseja arviointiin on käytettävissä. Miten saada tietoa käyttäjältä käyttökelpoisuuden eri osatekijöistä? Verkkopalvelun käyttökelpoisuudella (usefulness) tarkoitetaan sitä miten hyvin verkkopalvelu soveltuu käyttötarkoitukseensa. Tämä riippuu useasta eri tekijöistä. Ensinnäkin millaiset mahdollisuudet käyttäjällä (asiakkaalla) ylipäätään on käyttää palvelua (esteettömyys, saavutettavuus), miten tehokasta ja miellyttävää jne. verkkopalvelun käyttö on (käytettävyys). Toiseksi siitä miten hyödyllinen verkkopalvelu on käyttäjälleen. Hyödyllisyys riippuu siitä miten toimivasti ja luotettavasti verkkopalvelu tyydyttää käyttäjän tarpeet (esim. tuotteen hankittua, asiansa hoidettua, viihtyy jne.) ja mitä lisäarvoa verkkopalvelu tarjoaa käyttäjälleen perinteiseen palveluun verrattuna. Käyttäjän havainnointi joko todellisessa käyttötilanteessa, testitilanteessa joko todellisessa käyttötilanteessa tai laboratoriossa on toimiva tapa saada tietoa verkkopalvelun käytettävyyteen ja saavutettavuuteen (esteettömyyteen) liittyvistä ongelmista. Myös käyttäjän tavoitteen saavuttamisen onnistumista ja informaation esitystavan toimivuudesta voidaan saada tietoa havainnoinnin yhteydessä. Toki käyttäjältä voidaan tiedustella käyttöliittymää koskevia asioita vaikkapa kyselylomakkeella, mutta tällöin voidaan saada tietoa ainoastaan käyttäjän mielipiteistä tai vaikutelmista liittyen käyttöliittymään. Erityisesti sellaisista asioita kuin esteettisyys, miellyttävyys, informaation luotettavuus ja lisäarvo jne. voidaan parhaiten saada tietoa kysymällä asiaa käyttäjältä itseltään. Näistä asioista on hankalaa tehdä päätelmiä käyttäjän toiminnan perusteella. Tietoa voidaan koota käyttäjiltä monin eri tavoin. Esimerkiksi käyttäjiä voidaan havainnoida vaikkapa käytettävyystestausten yhteydessä laboratorio-olosuhteissa. Samassa yhteydessä käyttäjän toiminnot voidaan videoida ja analysoida myöhemmin hyvinkin tarkasti. Käyttäjiä ja heidän toimintaansa voidaan havainnoida myös epäformaaleissa käyttötilanteissa kuten työpaikoilla, liiketiloissa jne. Havainnointi soveltuu tiedonkeruumenetelmäksi erityisesti silloin, kun tavoitteena on koota tietoa toiminnasta: mitä käyttäjä tekee ja mitä käytön yhteydessä tapahtuu. (Esim. Routio 2005.) Havainnoinnin lisäksi käyttäjiltä voidaan kerätä tietoa kyselylomakkeilla, haastatteluilla, päiväkirjoilla jne. Tietoa käyttäjistä ja heidän toimistaan voidaan koota myös heidän jättämistään jäljistä esimerkiksi analysoimalla lokitietoja. Tällöin päätelmiä tehdään käyttäjän toiminnasta sekundäärisen aineiston varassa eli käyttäen hyödyksi välillisiä menetelmiä. 87
ym. Hyväksyttävyys Laadukkuus Käyttökelpoisuus (usefulness) Esteettisyys Hyödyllisyys (utility) Lisäarvo (value added) Tavoitteen saavuttaminen, tarpeet Informaation luotettavuus Miellyttävyys (satisfaction) Käytettävyys (usability) Informaation esitystapa Saavutettavuus (accessibility) Vakavien virheiden vähyys Opittavuus (learnability) Tehokkuus (efficiency) Muistettavuus (memorablity) Kuva: Käyttökelpoisuuden osatekijöistä voidaan koota tietoa käyttäjiltä usealla eri tavalla. Esteettisyys, miellyttävyys, informaation luotettavuus ja lisäarvo (keltaiset) ovat asioita, joista saa parhaiten tietoa kyselevillä menetelmillä. Sinisellä merkityistä asioista saa taas parhaiten tietoa havainnoimalla käyttäjiä. Toki niistäkin asioista voi tehdä kysymyksiä käyttäjille ja saada tietonsa heidän mielipiteitään mainituista asioista. Havainnointi Havainnoinnin keskeinen tavoite on tallentaa käyttäjän toiminta mahdollisimman aitona ja luonnollisena. Ihanteellisinta olisi se, ettei havainnointi mitenkään vaikuttaisi käyttäjän toimintaan. Vapaa havainnointi on toimiva menetelmä silloin, kun halutaan tietoa ilmiöstä, jota ei entuudestaan tunneta. Useimmiten tutkija ensin havainnoi vain yhtä tapausta ja ottaa uusia tapauksia tutkittavakseen siihen saakka, kunnes aineisto "kyllääntyy" eli uudet tapaukset eivät enää tuo ilmi uutta tietoa. Periaatteessa havainnoinnissa tutkija pyrkii olemana neutraali ulkopuolinen tarkkailija ja saamaan siten mahdollisimman puhdasta tietoa. Aina se ei kuitenkaan onnistu. Osallistuvassa havainnoinnissa tutkija osallistuu yhteisön tavanomaiseen toimintaan. Yhteisö tottuu tutkijan läsnäoloon ja siten on todennäköistä, ettei tutkijan läsnäolo vaikuta tutkittavaan ilmiöön ainakaan merkittävästi. (esim. Preece ym. 2002, 359-388; Routio 2005a.) Havainnoinnin yhteydessä on usein tarpeen saada tietoa siitä mikä on käyttäjän käsitys toiminnasta ja sen tarkoituksesta jne. Asian kysyminen käyttäjältä voi muuttaa käyttäjän toimintaa ja siten vaikuttaa tuloksiin. Ajatellaan, että jos käyttäjää pyydetään jo ennen varsinaista havainnoinnin aloittamista ajattelemaan ääneen (think aloud) ja kertomaan itselleen mitä kulloinkin on tekemässä ja miksi, ei vaikutus käyttäjän toimintaan ole merkittävä. Tällaiseen keskustelevaan havainnointiin viita- 88
taan myös contextual inquiry -termillä. Menetelmästä on lukuisia muunnoksia, joista mainittakoon mestari-oppipoika menetelmä, jossa käyttäjä ikään kuin opastaa tutkijaa verkkopalvelun tai tuotteen käytössä. Keskustelevaan havainnointiin voidaan myös liittää teemahaastattelun mukaista keskustelua käyttäjän kanssa. Tutkijalle tarjoutuu tällöin mahdollisuus kysyä käyttäjältä esim. toiminnan syitä, esteitä, vaihtoehtoja kuten myös taustalla olevia uskomuksia ja asenteita. Ongelmana on tietenkin se, että tällöin käyttäjän toimintaan vaikutetaan eikä tilanne ole niin luonnollinen kuin mahdollista. Toisaalta tutkijalle tarjoutuu mahdollisuus ymmärtää tutkittavana olevaa ilmiötä syvemmin. (Preece ym. 2002, 389-427; Routio 2005a.) Silloin kun tutkijalla on selkeä käsitys selvityksen kohteena olevasta toiminnasta ja sen ongelmakohdista on mahdollista määritellä jo etukäteen ne asiat, joihin systemaattinen havainnointi kohdennetaan. Tällöin määritellään tyypillisen tapahtuman kulku (skenaario) ja siihen liittyvät potentiaaliset ongelmat, jota havainnoinnin yhteydessä pyritään selvittämään. Havainnoinnin yhteydessä pyritään systemaattisesti kiinnittämään huomiota ainoastaan niihin seikkoihin, jotka liittyvät havainnoinnin kohteena olevaan ongelmaan. (Routio 2005a.) Kyselyt ja haastattelut Kyselyt ja haastattelut soveltuvat tiedonhankintatavoiksi silloin, kun pyritään selvittämään ihmisten kokemuksia, tietoja, uskomuksia, asenteita ja mielipiteitä jne. kyselyt ja haastattelut ovat molemmat kyseleviä menetelmiä, joiden välillä ei ole periaatteellista eroa. haastattelu eroaa siinä mielessä kyselystä, että haastattelun yhteydessä on mahdollisuus seurata käyttäjän oheisviestintää ja ympäristöä. Haastattelun avulla on mahdollisuus saada syvällisempää tietoa ilmiöstä kun kyselyn avulla.. (Preece ym. 2002, 389-427; Routio 2005b.) Teemahaastattelu (focused interview) soveltuu silloin, kun tutkija ei tarkkaan tunne ilmiötä ja varataan mahdollisuus esittää tarkentavia lisäkysymyksiä haastattelun aikana. Teemahaastattelu muistuttaa vapaamuotoista keskustelua, jolla on selkeä tarkoitus ja jota tutkija ohjailee. Etuna on se, että koska haastateltava (käyttäjä) ohjaa keskustelun suuntaa, niin tutkijan vaikutus jää vähäiseksi. (Preece ym. 2002, 389-427; Routio 2005b.) Haastattelun kohteena voi olla yksi henkilö tai kokonainen ryhmä. Ryhmähaastatteluun osallistuu jokin luonnollinen ihmisryhmä kuten perhe, työryhmä tms. Focus group ryhmähaastatteluun taas osallistuu ryhmä, jonka tarkoituksena on esimerkiksi ohjata jonkin tuotteen suunnittelua. Ryhmään kootaan esim. uusista asiakkaista tai sellaisista, joilla on kokemusta tuotteen käytöstä aiemmin.. (Preece ym. 2002, 389-427; Routio 2005b.) Kysely soveltuu käytettäväksi esimerkiksi silloin kun kysytään asioita, jotka voidaan määritellä tarkasti, tutkija haluaa etukäteen päättää kaikki kysymykset mitä kysytään, halutaan tiedustella asioita suurelta joukolta. Kyselyssä kaikilta henkilöiltä kysytään samat kysymykset puhutaan siis standardoidusta eli strukturoidusta tiedustelusta, joka voidaan toteuttaa kyselynä tai lomakehaastatteluna. Lomakehaastattelulla tarkoitetaan sellaista haastattelumenetelmää, jossa tutkija esittää suullisesti kaikille samat kysymykset. Vastausvaihtoehdot on etukäteen numeroitu ja vastaaja valitsee kulloinkin sopivan vastauksen. Menetelmässä yhdistyy haastattelun ja kyselyn huonot puolet. Sen sijaan suositellaankin käytettäväksi esim. teemahaastattelua. (Preece ym. 2002, 389-427; Routio 2005b.) 89
Testaaminen käyttäjillä Käytettävyyden testaaminen on varsin joustava menetelmä, jota voidaan muunnella ja saada siten monenlaista tietoa verkkopalvelun tai jonkin muun tuotteen käyttöön liittyvistä tekijöistä. Käytettävyyden testaamisessa voidaan käyttää sekä havainnointia että kyselyjä tai haastatteluja. Käytettävyyden testaamisen perusversiossa pyritään selvittämään käyttäjän mentaalimalleja siten, että käyttäjä suorittaa tehtäviä verkkopalvelulla (tai millä tahansa tuotteella) ja ajattelee samalla ääneen (keskusteleva havainnointi). Kaikki mitä käyttäjä testin aikana tekee tai sanoo tallennetaan myöhemmin tapahtuvaa analysointia varten. Testaus voidaan tehdä myös siten, että tutkija tekee muistiinpanoja käyttäjän toiminnasta. Ongelmana on tällöin se, että havainnointi kohdistuu tällöin pelkästään käyttäjän toimintaan ja mentaalisten mallien muodostumisen havainnointi jää vähäisemmäksi. (Esim. Preece ym. 2002, 430-431; Sinkkonen ym. 2002; Sinkkonen 2004.) Testaustilanteen ja testissä käytettävien tehtävien tulisi olla niin aitoja kuin mahdollista. Yleensä testauksen kohteeksi valitaan verkkopalvelun keskeiset toiminnot, hankalimmiksi uskotut tai havaitut toiminnot. Usein myös valikkorakenteet ovat testauksen kohteena. (Ibid.) Tärkeätä on huomioida se, että testauksellakaan ei välttämättä löydetä kaikkia virheitä. Usein asiantuntija-arviointien avulla voidaan löytää sellaisiakin virheitä, jotka eivät testauksessa tule esille. Toisekseen on huomioitava se, että usein kannattaa toteuttaa monta pienempää testiä yhden laajan testin sijasta. (Ibid.) Testin suunnittelu Ennen testi tekemistä tulee laatia huolellinen testaussuunnitelma ja määriteltävä mitkä ovat testauksen tavoitteet. Testin tavoitteena voi olla esim. etsiä ongelmakohtia tai tehdä mittauksia. Esimerkiksi testin avulla pyritään selvittämään esiintyykö verkkopalvelun käytön yhteydessä toimintoja jotka aiheuttavat ongelmia tietyille käyttäjäryhmille tai edellyttääkö joidenkin toimintojen suorittaminen perehtymistä ohjeisiin jne. Testauksen yhteydessä voidaan käyttää erilaisia mittareita kuten selviytyvätkö uudet käyttäjät verkkopalvelun käytöstä tietyssä (kohtuullisessa) ajassa, paljonko esiintyi virheellisiä suorituksia, montako kertaa käyttäjä tarvitsi ohjeita jne. Usein tavoitteita on niin paljon, että niitä joudutaan karsimaan. (Esim. Preece ym. 2002, 439; Sinkkonen ym. 2002, 304-305; Sinkkonen 2004.) Seuraavaksi on selvitettävä mitkä ovat verkkopalvelulle (tai tuotteelle) asetetut käytettävyys- ja saavutettavuus- (esteettömyys)tavoitteet. Se mitä tuotteelta vaaditaan, riippuu käyttäjistä ja heidän vaatimuksistaan sekä käyttötilanteista. Tavoitteet on otettava huomioon testin suunnittelussa. (Ibid.) Tarvittavien käyttäjien määrä riippuu testin tavoitteista, kohderyhmän heterogeenisyydestä, testin tyypistä ja testien kokonaismäärästä. Yleensä katsotaan kolmesta kuuteen (Preecen mukaan 5-12) käyttäjää olevan sopiva määrä, joiden avulla vakavimmat ongelmakohdat löytyvät. (Esim. Preece ym. 2002, 440; Sinkkonen ym. 2002, 306; Sinkkonen 2004.) Valittaessa käyttäjiä verkkopalvelun testaamiseen tulisia valita sellaisia henkilöitä, jotka eivät ole olleet mukana suunnittelemassa tai kehittämässä palvelua. Käyttäjien tulisi mahdollisimman hyvin edustaa ajateltua kohderyhmää. 90
Testitehtävät upotetaan tarinaan (skenaarioon), joka auttaa käyttäjää eläytymään testiin ja samalla liittävät testitehtävät käyttäjän arkielämään. Hyvä testitarina on lyhyt, mutta tarjoaa riittävästi tietoa tehtävän suorittamiseksi sekä puhuu käyttäjille tutuin termein. Tarina tai tehtävät eivät saa sisältää verkkopalvelussa käytettyjä termejä ja siten tarjota käyttäjälle vihjeitä tehtävän suorittamiseksi. Testaustehtävien määrä riippuu käytettävissä olevasta ajasta. on kuitenkin huomioitava, että testin läpikäynti on käyttäjälle raskas prosessi, joten yleensä tunnin ylittävää testiä ei suositella. Seuraavaksi tulisikin valita menetelmä, jota testauksessa käytetään. Sinkkonen (2002, 2004) mainitsee muutaman yleisesti käytetyn menetelmän, joita voidaan hyödyntää: Keskusteleva havainnointi ja ääneen ajattelu: Käyttäjät tekevät tehtäviä yksi kerrallaan ja kertovat koko ajan mitä ovat tekemässä. Ongelmana on se, että käyttäjä saattaa unohtaa kertoa tekemisiään. Yleensä testi taltioidaan myöhempää analysointia varten. Lopuksi käyttäjää haastatellaan. Paritestit: Käyttäjät käyvät verkkopalvelua läpi keskenään ja keskustelevat havainnoistaan. Ei sovellu kaikkiin tuotteisiin. Käyttäjäparien valintaan kiinnitettävä huomiota. Taltioidaan analysointia varten. Lopuksi käyttäjien haastattelu. Yhteisläpikäynti (keskusteleva havainnointi ja teemahaastattelu): Ohjaaja ja testikäyttäjä käyvät yhdessä läpi tehtäviä ja keskustelevat verkkopalvelusta. Ohjaajan tavoitteena on aktiivisesti ymmärtää käyttäjän toimintaa. Edellyttää herkkyyttä ohjaajalta. Voi häiritä käyttäjää. Jälkikäteen haastattelu: Testikäyttäjä tekee tehtävät itsekseen. Testin päätyttyä testikäyttäjät haastatellaan tai he täyttävät kyselylomakkeen. Ei välttämättä tarvitse ohjaaja paikalle eikä videointia. Vaatii hyvää suunnittelua. Jälkeenpäin kommentointi: Testikäyttäjä tekee tehtävät itsekseen ja testi videoidaan. Myöhemmin testikäyttäjä ja ohjaaja katselevat nauhan yhdessä läpi ja käyttäjä kommentoi tilannetta nauhalla. Pikkutestit : Testikäyttäjä tekee tehtävät esim. kynällä ja paperilla ja kommentoi testin ohjaajalle mitä teki ja miksi. Ryhmäläpikäynnit: Testikäyttäjät, suunnittelijat ja ohjaajat käyvät testitehtävät yhdessä läpi käyttäen paperiprotoja tai kehittyneempiä prototyyppejä. Käyttäjät kommentoivat tehtäviä. Voidaan videoida tai tallentaa pelkkä keskustelu. Vapaa läpikäynti: testikäyttäjä kokeilee testattavaa verkkopalvelua rauhassa. Testin ohjaaja ei puutu testin kulkuun. Ohjaaja seuraa mitä toimintoja testikäyttäjä löysi ja miten hän niistä selviytyi. Pilottitesti Aina ennen varsinaista testausta tulee suorittaa pilottitesti, jossa testaushenkilönä voi olla kuka tahansa, joka esim. osaamistasoltaan ja muilta perusvaatimuksiltaan on samaa tasoa kuin todelliset testihenkilöt. Pilottitestin tarkoituksena on Testata käytettävän tekniikan toimiminen ja tarkistaa esim. kameroiden ja mikrofonien paikat. Käydä testitehtävät läpi ja arvioida niiden läpikäymiseen tarvittava aika. Täydentää haastattelukysymyksiä. Tarvittaessa korjata testitehtäviä. Lisäksi laaditaan muistilista ym. ohjeet testin ohjaajille, jota voidaan varmistua siitä, että kaikki vaadittavat vaiheet tulee suoritettua. 91
Varsinainen testaus Seuraava lista perustuu Macintosh Human Interface Guidelines - ohjeistukseen käyttäjän havainnoinnista (Inside Macintosh, 1996). Valmista testiympäristö ennen testikäyttäjän tuloa. Varmistu, että kaikki tilat ja laitteet ovat valmiina sekä testattava verkkopalvelu on testin edellyttämässä alkutilassa. Esim. verkkopalvelussa linkit näyttävät ennen kulkemattomilta ja selaimen välimuisti ja historiatiedot ovat tyhjiä. Joskus selain tulee sulkea, jotta toivottu alkutila saavutettaisiin. Varmista myös, ettei testiä tarpeettomasti häiritä (matkapuhelimet kiinni ja varattu lappu oveen). Selvitä testitilanne testikäyttäjälle. Pyri luomaan tilanne, jossa testikäyttäjä tuntisi olonsa mahdollisimman vapautuneeksi. Esittele itsesi ja kerro miksi tai kenen toimesta testi tehdään. Älä kuitenkaan kerro liian tarkasti mihin testissä pyritään tai mitä tarkkaillaan. Selvitä testikäyttäjälle, ettei testin tarkoituksena suinkaan ole hänen osaamisensa testaaminen vaan tuotteen testaaminen. Mahdolliset eteen tulevat ongelmat johtuvat siis tuotteesta eikä henkilön osaamattomuudesta. Korosta testin luottamuksellisuutta ja kerro testin vapaaehtoisuudesta. Testikäyttäjällä on mahdollisuus keskeyttää milloin vain niin halutessaan. Kerro paljonko testiin on suurin piirtein varattu aikaa. Korosta, että kysymys ei ole epäonnistumisesta vaikkei kaikkia tehtäviä ehtisikään tehdä mainitussa ajassa. Pyri motivoimaan testikäyttäjää. Kerro hänen panoksena merkittävyydestä ja siitä, että testin ohjaaja on puolueeton henkilö, jonka välityksellä voi antaa palautetta arviotavasta tuotteesta. Korosta kommentoinnin tärkeyttä. Esittele käytettävät laitteet. Selvitä kaikki testissä käytettävät laitteiden merkitys yleisellä tasolla. Kuvaile mihin niitä käytetään testin kuluessa. Tarkoituksena on saada testikäyttäjä tuntemaan olonsa vapautuneeksi. Mikäli tallennat testin videolle tai ääninauhalle pyydä testihenkilöä allekirjoittamaan lomake, jossa hän antaa luvan taltiointiin. Mikäli kysymyksessä on alaikäinen lapsi tarvitaan huoltajan allekirjoitus. Tee esihaastattelu tai -kysely. Tarkoituksena on kartoittaa testikäyttäjän taustatietoja. Tyypillisesti kysytään ikää, ammattiryhmää, aiempaa tietokoneen ja verkkopalveluiden käyttökokemusta. Mikäli testissä käytettään ääneen ajattelua, selitä miten se tapahtuu. Ääneen ajattelu onnistuu toisilta paremmin kuin toisilta. Selitä miksi haluat testikäyttäjän ajattelevan ääneen ja tarpeen vaatiessa voit itse näyttää mitä ääneen ajattelulla tarkoitetaan. Älä kuitenkaan käytä testattavaa verkkopalvelua ääneen ajattelun havainnollistamiseen. Tarvittaessa muistuta testikäyttäjää ääneen ajattelusta. Kerro testihenkilölle, ettet voi auttaa häntä testin aikana. Kerro myös miksi. Tavoitteenahan on mahdollisimman todentuntuinen tilanne. Joskus testiin joutuu kuitenkin puuttumaan. Voit laatia enne testiä säännön, jota noudatat: autat käyttäjä, jos hän on jumittunut johonkin kohtaan vaikkapa neljäksi minuutiksi. Selitä yleisellä tasolla mitä testikäyttäjä tulee tekemään testin aikana. Kysy testikäyttäjältä onko hänellä jotakin kysyttävää testiin liittyen. Vatsaa testikäyttäjän kysymyksiin, mikäli se on mahdollista testiä vaarantamatta. Mikäli testikäyttäjä kysyy jotakin sellaista mihin et voi vastata ennen testitehtävien läpikäyntiä kerro hänelle, että palaat kysymykseen testin päätyttyä. 92
Mikäli käytettään katseen kohteen seurantalaitteistoa kalibroi se kun kaikki muut valmistelut on tehty. Pyydä testikäyttäjää tekemään tehtävät yksi kerrallaan. Anna testitehtävät kirjallisesti ja pyydä henkilö lukemaan ne ääneen. Kannattaa antaa yksi tehtävä kerrallaan, jotta testikäyttäjä ei suotta kiirehdi seuraavaan. Mieti jo etukäteen, koska tietty tehtävä tulee suoritetuksi - aina ei tarvita virheetöntä suoritusta. Ensimmäinen tehtävä on hyvä olla helppo, jonka kuka tahansa saa helposti suoritettua onnistuneesti. Ole aktiivinen ja tarkkaavainen. Tee muistiinpanoja vaikka testitilanne videoitaisiinkin.. Kysy testihenkilöltä kysymyksiä tai muistuta tarvittaessa ääneen ajattelusta. Ole kärsivällinen vaikka testikäyttäjä ei etenisikään tehtävässä. Mikäli tilanne käy epämiellyttäväksi, voita keskeyttää testin vaikka testikäyttäjä ei sitä pyytäisikään. Ole hienovarainen. Lopuksi Lopeta testi kun tehtävät on käyty läpi tai kun varattu aika on käytetty. Kerro testikäyttäjälle, että varsinainen testi on loppunut. Testin jälkeen on loppuhaastattelun aika. Kysy avoimella kysymyksellä käyttäjän päällimmäisiä tunnelmia. Loppuhaastattelun runko on hyvä laatia jo etukäteen, jotta kaikki halutut asiat käydään haastattelussa läpi. Kerro käyttäjälle mitä yritit selvittää. Vastaa testikäyttäjän kysymyksiin. Mikäli haluat käyttäjän selittävän joitakin valintojaan tms. keskustele asiata nyt. Kysy onko käyttäjällä parannusehdotuksia. Testin jälkeen Testin jälkeen testi puretaan ja ääninauhat litteroidaan ja laaditaan videoloki. Havaintojen muistiinpanot analysoidaan. Aineiston pohjalta selvitetään verkkopalvelun käyttöön liittyvät ongelmakohdat, virheiden määrä jne. Löydetyt virheet luokitellaan niiden vakavuuden ja korjaamiseen vaadittavien resurssien mukaan. testistä laaditaan raportti, jossa kuvataan tuotteen käyttöliittymä ja käyttötapa lyhyesti. Kuvataan testaustavat ja testikäyttäjät sekä testattavat toiminnot. Tarvittaessa myös testitehtävät. Kerrotaan testi tulos ja yhteenveto testistä. Lisätietoa: Sinkkonen, I. Käytettävyystestin suorittaminen [online]. Helsinki: Adage Oy, 2004, päivitetty 26.3.2004 [viitattu 31.10.2005]. Saatavissa www-muodossa: <URL: http://www.adage.fi/artikkelit/kaytettavyystestin_suorittaminen.html >. Julkaistu alun perin teoksessa: Sinkkonen, I. ym.. 2002. Käytettävyyden psykologia. Helsinki: Edita Publishing Oy/IT Press, 295 320. 93
Case Tre@Validia arviointi ja testaus mukana jo suunnitteluvaiheessa Jo suunnitteluvaiheessa hankkeessa toteutettiin erilaisia testauksia käyttäjillä, jotta voitiin varmistaa suunniteltavan ja toteutettavan verkkopalvelun käyttökelpoisuus eri käyttäjäryhmien näkökulmasta. Suunniteltava verkkopalvelu mm. tukee vaikeavammaisia henkilöitä sopivan henkilökohtaisen avustajan löytämisessä sekä vakituiseen työsuhteeseen, että tilapäistä tarvetta varten. Henkilökohtaisille avustajille verkkopalvelu tarjoaa mm. tukea työpaikan etsimisessä. Tre@Validia asiointiportaalin työryhmä kokoontui syksyn 2004 ja alkuvuoden 2005 aikana kaikkiaan 12 kertaa (28.2.2005 mennessä). Työryhmän työskentelyyn osallistui edustajia palvelun tuottajan taholta (Invalidiliiton Tampereen asumispalveluyksikkö), palvelun suunnittelijan ja toteuttajan taholta (Tampereen teknillisen yliopiston DMI:n hypermedialaboratorio) sekä eri käyttäjäryhmien edustajia mm. henkilökohtaisina avustajina toimivia henkilöitä, Tampereen Invalidit ry:n ja Kynnys ry:n jäseniä sekä edustajia Tampereen kaupungin eri yksiköistä: Vammaispalvelu ja Omaishoidon tuki. Työryhmän kokoontumisten tarkoituksena oli suunnitella ja kartoittaa Tre@Validia asiointiportaalin keskeiset toiminnot ja asiointiprosessit ennen varsinaisen teknisen määrittelytyön alkua. Suunnitelmien pohjalta tuotettiin prototyyppi, jonka avulla testattiin käyttäjien avulla verkkopalvelun keskeiset toiminnot ja toimintoprosessit - niiden tarkoituksenmukaisuus, mahdolliset ongelmakohdat jne. Ennen verkkopalvelun varsinaisen teknisen määrittelytyön aloittamista selvitettiin ja analysoitiin monenlaisia ja monentasoisia tekijöitä, joilla on merkitystä verkkopalvelun käyttökelpoisuuden toteutumiselle. Suunnitteluvaiheen määrittelytyössä kiinnitettiin huomiota eri tahoilta nouseviin reunaehtoihin, joiden pohjalta laadittiin verkkopalvelun toimintojen määrittely. Huomioon otettavia tekijöitä olivat mm. Saavutettavuus: huomioiden käyttäjät, heidän erityispiirteensä ja eritystarpeensa mm. erilaiset käytössä olevat syöttölaitteet verkkopalvelun tuottajan vaatimukset ja tarpeet esim. verkkopalvelun kustannustehokkuus mahdollisten sidosryhmien tarpeet asiointi- ja toimintoprosessit sekä käytön tavoite tarvittava informaatiosisältö tekniset reunaehdot taloudelliset yms. reunaehdot Toimintaprosessien suunnittelu Työryhmän kokoontumisiin pyrittiin luomaan rento tunnelma. Työryhmän jäseniä rohkaistiin monin tavoin tuomaan esille kaikki, hulluiltakin kuulostavat ideat. Tavoitteena oli saada kokoon mahdollisimman rikas aineisto (eli tarinoiden kokoelma), joiden pohjalta verkkopalvelun sisältämiä toimintoja ja asiointi- ja toimintoprosesseja lähdettiin rakentamaan. Toimintaprosessien suunnittelutyössä lähdettiin liikkeelle ideoinnista, jossa hyödynnettiin skenaarioita eli tarinoita. Liikkeelle lähdettiin siten, että käyttäjät kertoivat tarinoita siitä miten keskeiset asiointi- ja toimintoprosessit toteutuvat tällä hetkellä reaalimaailmassa ja mitkä ovat ongelmallisimmat kohdat reaalimaailman palveluprosesseissa. Nämä reaalimaailman tapahtumiin pohjaavat kertomukset toimivat kehyskertomuksina auttaen käyttäjiä orientoitumaan ideoitaessa miten asiointi- ja toimintoprosessit voisivat toimia verkkopalvelun yhteydessä ja millaista lisäarvoa verkkopalvelu voisi käyttäjilleen tarjota. Eläytymismenetelmän 1 avulla tuotettiin tarinoita, skenaarioita mah- 1 Eläytymismenetelmä on laadullisen aineiston keruun menetelmä, jolla voidaan kerätä kokemuksia (toiveita, pelkoja, haaveita) erilaisista ilmiöistä tai tapahtumakuluista tässä ajassa, menneessä tai tulevaisuudessa. Eläytymismenetelmässä käytetään nk. kehyskertomuksia alkuorientaationa ja pyydetään vastaajia ideoimaan vapaasti niiden pohjalta. Olennaista 94
dollisista verkkopalvelun sisältämistä toiminnoista ja prosesseista (vrt. Carroll ym. 1998; Potts 1995.) Skenaarioiden pohjalta tutkijat loivat erilaisia, vaihtoehtoisia toimintaprosesseja, joita verkkopalvelu voisi sisältää. Näitä erilaisia toimintoprosesseja havainnollistettiin työryhmän jäsenille eli käyttäjille karkean tason prototyyppien (low-fidelity prototype) avulla (esim. power point -protot). Ensimmäisessä vaiheessa pyritin selvittämään ne keskeiset toiminnot mitä verkkopalvelun tulisi ainakin sisältää. Vielä tässä vaiheessa ei kiinnitetty niin tarkkaan huomiota siihen millaisista vaiheista kukin yksittäinen toiminto tulee muodostumaan (toiminto- ja asiointiprosessien vaiheet). Menetelmänä käytettiin ryhmäläpikäyntiä. Eri kohderyhmien edustajista kootut ryhmät kuten työryhmä ja ohjausryhmä sekä suunnittelijat kävivät verkkopalvelun karkean tason protoversion avulla läpi tehtävät. Tavoitteena oli selvittää yleisellä tasolla mitä käyttäjän on mahdollista tehdä verkkopalvelun avulla sekä priorisoida verkkopalvelun sisältämät toiminnot. Kun usean iteraatiokierroksen jälkeen oli päästy yksimielisyyteen siitä mitä toimintoja verkkopalvelu tulisi sisältämään, lähdetin selvittämään millaisia vaiheita kukin toiminto tulee sisältämään, jotta toiminnolle asetetut tavoitteet saavutettaisiin. Jälleen käytettiin eläytymismenetelmää, jonka avulla tuotettiin tarinoita, skenaarioita potentiaalisista toiminto- tai asiointiprosessien etenemispoluista. Joukosta skenaariota johdettiin edelleen yleistyksiä eli yleisiä malleja kuten käyttötapauksia. Tavoitteena oli asiointi- ja toimintoprosessien mallintaminen ja sen vaiheiden tunnistaminen: mitä kaikkea tapahtumia ja vaiheita käyttäjä kohtaa ennen kuin hän on saanut tavoitteensa toteutetuksi. Myös asiointi- ja toimintoprosessien mallien toimivuus testattiin käyttäen karkean tason protojen avulla käyttäen hyväksi ryhmäläpikäynnin ideaa. Kun iteraatiokierrosten jälkeen oltiin saatu hahmotettua keskeisten prosessien etenemispolut työryhmää tyydyttävällä tavalla, laadittiin verkkopalvelusta prototyyppi, joka oli käytettävissä verkon välityksellä. Tässä prototyypissä ei kuitenkaan ollut aitoa toiminnallisuutta: käyttäjä pystyi esimerkiksi täyttämään lomakkeen, mutta syötettä ei tallennettu mihinkään. Skenaariotarinoita oli hyödynnetty myös siten, että verkkopalvelun prototyypissä käytettiin nimilappuina skenaariotarinoista peräisin olevia termejä. Verkkopalvelun protoversion testaaminen käyttäjillä Protoversion käyttäjätestaus järjestettiin marras-joulukuussa 2004. Käyttäjätestauksen ensisijaisena tavoitteena oli selvittää mahdolliset ongelmakohdat, joissa suhteellisen kokemattomilla verkkopalveluiden käyttäjillä saattaisi olla kohtuuttomia ongelmia. Toisekseen tavoitteena oli testata verkkopalvelun nimeämiskäytännön toimivuutta sekä informaatiosisällön kattavuutta. Kolmantena tavoitteena oli testata verkkopalvelun yleistä käytettävyyttä. Testi järjestettiin Invalidiliitto ry:n Tampereen asumispalveluyksikön tiloissa. Testaustilana oli heidän avara koulutustila, jossa on käytettävissä perus-pc:t. Testaustilan valinnassa painoi se seikka, että osa testaajista on vaikeavammaisia henkilöitä, joilla liikkuminen paikasta toiseen on erittäin hankalaa. Testin käytännön organisoiminen asetti omat haasteensa testin toteuttamiseksi. Toimivaksi ratkaisuksi todettiin se, että testiin osallistui kolme eri testinohjaajaa, joista kukin ohjasi yhden vaikeavammaisen henkilön ja yhden avustajan testin. Testitilanne ei myöskään käytännössä mahdollistanut testin tallentamista videolle, vaan testin ohjaajat laativat muistiinpanoja testin kuluessa ilmenneistä ongelmista ja käyttäjien esiin nostamista asioista. menetelmän käytössä on kehyskertomuksen jonkun seikan (kuten tapahtumakulun, ajankohdan, käyttäjäryhmän) muuntelu muiden pysyessä muuttumattomina. 95
Testiryhmä Testiryhmään valittiin kuusi edustajaa kahdesta keskeisimmästä verkkopalvelun käyttäjäryhmästä: Kolme vaikeavammaista henkilöä, joista yksi oli erittäin kokenut tietokoneen ja verkkopalveluiden käyttäjä, yhdellä oli kokemusta melko paljon tietokoneen ja verkkopalveluiden käytöstä ja yhdellä oli kokemusta ainoastaan jonkin verran tietokoneen tai verkkopalveluiden käytöstä.. Kolme henkilökohtaista avustajaa, joista yhdellä oli jonkin verran kokemusta sähköpostin ja pankkipalveluiden käytöstä. Kaksi muuta avustajaa olivat kokeneempia verkkopalveluiden käyttäjiä. Toinen kuvasi itseään tottuneeksi Internetin käyttäjäksi ja toinen kertoi omaavansa melko paljon kokemusta verkkopalveluiden käytöstä. Olennaista oli se, ettei kukaan heistä ollut aiemmin ollut tekemisissä testattavana olevan verkkopalvelun kanssa. Testauksen vaiheet Testaus oli kolmivaiheinen ja siinä hyödynnettiin erilaisia menetelmiä. Ensimmäisessä vaiheessa käytettiin yhteisläpikäynnin menetelmää eli keskustelevaa havainnointia, johon oli yhdistetty teemahaastattelu (vrt. Routio 2005a; Sinkkonen 2002, 310). Menetelmä on eräs contextual Iquiry - menetelmän muoto, joka soveltuu varsin hyvin arvioitaessa jonkin sovelluksen soveltuvuutta tiettyyn käyttökontekstiin. Olennaista on käyttäjän havainnointi ja haastattelu todellisessa käyttötilanteessa suorittamassa todellisia tehtäviä. Havainnoitsijan on helppo tarvittaessa kysyä käyttäjältä tarkennuksia tekemiinsä havaintoihin. Erityisen hedelmälliseksi menetelmän tekee se, että käyttäjä ja havainnoija voivat yhdessä saada selville jotakin sellaista, mitä käyttäjä ei välttämättä osaa ääneen kertoakaan. (Esim. Holzblatt & Beyer 1993; Preece ym. 1994, 661.) Toisin sanoen testin ohjaajalle tarjoutuu tällöin mahdollisuus kysyä käyttäjältä esim. toiminnan syitä, esteitä, vaihtoehtoja sekä selvittää samalla käyttäjän mielipiteitä termien osuvuudesta, informaatiosisällön tarkoituksenmukaisuudesta sekä käyttäjän näkemyksiä verkkopalvelun tuomista lisäarvoista. Kukin testihenkilö suoritti testitarinan mukaiset tehtävät ja testin ohjaaja esitti käyttäjälle aktiivisesti kysymyksiä, joista hän laati samalla muistiinpanot. Ensimmäisellä kierroksella testattiin verkkopalvelu avustajien näkökulmasta. Välittömästi testin päätyttyä testinohjaajat kokoontuivat keskustelemaan keskeisistä testin kuluessa tekemistään havainnoistaan. Tilanne tarjosi myös testinohjaajalle mahdollisuuden täydentää muistiinpanojaan heti tuoreeltaan. Vastaavasti toimittiin toisen testauskierroksen jälkeen, jolloin testihenkilöinä toimivat vaikeavammaiset henkilöt. Testin toinen vaiheessa sovellettiin jälkikäteen tapahtuvan haastattelun -menetelmää (vrt. Sinkkonen 2002, 310). Testikäyttäjät saivat kokeilla verkkopalvelua vapaasti ja tehdä tehtäviä itsekseen. Samalla he merkitsivät muistiin huomioitaan liittyen verkkopalvelun käyttöön ja käyttökokemuksiin. Testikäyttäjillä oli niin halutessaan mahdollisuus antaa välittömästi kommentteja verkkopalveluun tätä tarkoitusta varten integroidun www-lomakkeen välityksellä. Testin kolmannessa vaiheessa käytettiin ryhmäläpikäynnin menetelmää, jolloin testikäyttäjät, testin ohjaajat ja suunnittelijat käyvät testitehtävät läpi yhdessä käyttäen prototyyppiä. Huomiota kiinnitettiin testeissä esiin tulleisiin ongelmakohtiin. Käyttäjiltä pyydettiin kommentteja myös liittyen verkkopalvelun nimeämiskäytänteihin. Testitehtävät Testitehtävät laadittiin siten, että ne kattoivat verkkopalvelun keskeiset toiminnot. Ohessa poimintoja testinohjaajan dokumentista. Kysymyksessä on henkilökohtaisena avustajana toimiva testihenkilö ja testauksessa testataan verkkopalvelun toimivuutta ko. käyttäjän näkökulmasta. 96
1. Avustaja rekisteröityy Tre@Validia palveluportaalin käyttäjäksi. Testihenkilö ei itse kirjaudu verkkopalveluun, vaan testinohjaaja kirjautuu verkkopalveluun ja täyttää yhdessä testihenkilön kanssa perusprofiilin ja palveluprofiilin tiedot. Simuloidaan todellista rekisteröitymistilannetta, missä verkkopalvelun päivystäjä suorittaa tietojen lisäämisen. Kommentteja kootaan erityisesti liittyen perusprofiilin ja palveluprofiilin tietosisältöihin. 2. Palveluprofiilissasi aiemmin ilmoittamissasi tiedoissa on tapahtunut muutoksia. Haluat muuttaa palveluprofiilisi tiedot ajan tasalle. Käyttäjä kirjoittaa verkkopalvelun nimen selaimen osoitekenttään ja verkkopalvelun etusivu avautuu käyttäjälle. Tämän jälkeen käyttäjä kirjautuu palveluun. 3. Haluat liittää työnantajasi Jaska Jokusen tietoihin omia muistiinpanojasi. 4. Etsit itsellesi lisätyötä. Selaat jätettyjä työnpaikkailmoituksia. 5. Etsit itsellesi lisätyötä. Jätät verkkopalveluun työnhakuilmoituksen. 6. Merkitset työaikakalenteriin itsellesi työvuorot viikolle 51 13.12. 19.12.2004. Työvuorot ovat joka päivä kello 16-18. Kokeile tarjolla olevia vaihtoehtoisia näkymiä. Testitulosten analysointi Testin eri vaiheista koottu tieto koottiin yhteen ja analysoitiin soveltaen laadullisen tutkimuksen menetelmiä kuten sisällönanalyysia. Seuraavaksi Hankkeessa on seuraavana edessä varsinainen pilotointijakso, jonka yhteydessä järjestetään myös käyttäjätestaukset sekä järjestetään kyselyitä ja haastatteluita. Pilotointijakson tavoitteena on selvittää missä määrin verkkopalvelulle asetetut saavutettavuus- ja käytettävyystavoitteet tavoitetaan. Lisäksi selvitetään lisäarvojen toteutuminen eri käyttäjäryhmissä sekä kartoitetaan potentiaalisia käyttäjäryhmiä. Lisäarvot Tietoverkon hyödyntämistä palveluissa on perusteltu varsin usein kustannussäästöillä, etenkin julkisella puolella. Viime vuosina on kuitenkin alettu kiinnittämään huomiota myös siihen, miten teknologiaa tulisi käyttää, jotta se toisi aitoa hyötyä eli lisäarvoa palvelulle ja jotta sen avulla voitaisiin tukea palvelun tavoitteita ja toimintoprosesseja paremmin. Verkkopalveluiden tutkijat ovat esittäneet, että tietoverkkojen hyödyntämisen tulevaisuus riippuu kahdesta seikasta: ensinnäkin tietoverkkojen teknisestä tulevaisuudesta ja toiseksi siitä miten "järkevällä tavalla" eli miten erityistä hyötyä (perinteiseen palveluun verrattuna) toimijoille tuottavalla tavalla tietoverkkoja tullaan hyödyntämään. (Harmon & Jones 1999.) Verkkopalveluiden lisäarvojen tavoittelu edellyttää kriittistä pohdintaa: kuinka saada lisäarvoa siitä, että palvelu toteutetaan verkossa? Arvioitaessa lisäarvoja tarkastellaankin verkkopalvelua suhteessa perinteiseen palveluun ja pohditaan mitä erityistä hyötyä tietoverkon käyttö tietyssä käyttötilanteessa tuo organisaatiolle ja ennen kaikkea asiakkaille verrattuna ns. perinteisesti toteutettuun palveluun. Lisäarvon toteutuminen on voimakkaasti sidoksissa henkilön omaan kontekstiin, joten lisäarvoa ei voida arvioida ilman todellisia käyttäjiä. Sama verkkopalvelu voi erota lisäarvoiltaan eri käyttäjien kesken. Esimerkiksi maaseudulla asuvalle erilaisten viranomaisten lomakkeiden saaminen verkon välityksellä omaan käyttöönsä on usein jo merkittävä lisäarvo kun taas asutuskeskuksissa asuvat evät koe tällaista menettelyä erityisenä lisäarvona. Huomioitavaa on se, että tietoverkon hyödyntämisen palveluprosessissa tulisi tuottaa jotakin erityistä hyötyä sekä asiakkaalle että organisaatiolle perinteiseen palveluun verrattuna. Suurin kokonais- 97
hyöty saadaan silloin kun mahdollisimman moni osapuoli saa erityistä lisäarvoa verkon hyödyntämisestä palvelussa. Parhaiten tietoa lisäarvoista saadaan kyselemällä tai haastattelemalla eri käyttäjäryhmiin kuuluvia asiakkaita ja organisaation jäseniä. Esimerkki: Kysymys, jolla pyrittiin selvittämään millaista lisäarvoa verkkopohjainen opiskelu tarjoaa opiskelijoille. Valmiit vastausvaihtoehdot on koottu aiemmista tutkimuksista, joissa on todettu ko. asioiden olevan tyypillisiä opiskelijoiden ilmaisemia lisäarvoja. Opiskelijoilla oli mahdollisuus myös ilmoittaa muita lisäarvoja kuin mitä listassa oli mainittu. Lisäksi opiskelijoita pyydettiin nimeämään kolme tärkeimmäksi kokemaansa lisäarvoa. (Lähde: EVA-tutkimus 2002-2003. Tampereen teknillinen yliopisto/hypermedialaboratorio.) 17. Mitä erityistä hyötyä sinulle oli verkko-opiskelusta? Valitse kaikki sopivat vaihtoehdot 1. Voin paremmin opiskella haluamaani aikaan. 2. Voin paremmin opiskella haluamassani paikassa. 3. Oppimisympäristö laajenee (esim. matkapuhelimien myötä) "luokkahuoneen ulkopuolelle". 4. Verkko-opiskelu on ainoa mahdollisuuteni suorittaa tämä opintojakso. 5. Opiskelumateriaali on helpommin saatavilla. 6. Oppimateriaalia on saatavissa enemmän. 7. Opiskelumateriaalin alkuperä on selvemmin näkyvillä. 8. Oppimateriaali muuttuu havainnollisemmaksi (esim. kuva-, ääni- ja videomateriaali). 9. Oppimateriaalin sisältö monipuolistuu. 10. Pystyn opintojaksolla tekemään itse materiaalia verkkoon. 11. Opiskelijoiden erilaiset oppimistyylit voidaan huomioida paremmin verkko-opetuksessa 12. Opiskelijoiden erilaiset tieto- ja taitotasot voidaan huomioida paremmin verkko-opetuksessa 13. Pystyn itsenäisesti syventymään opittavaan aihealueeseen. 14. Ryhmätyötaitoni kehittyvät. 15. Opiskelutaitoni kehittyvät. 16. Opin samalla tietokoneen käyttötaitoja. 17. Vuorovaikutustaitoni kehittyvät. 18. Verkko-jaksolle osallistuminen vaikuttaa opintojakson arvosteluun. 19. Opintojakson suorittaminen nimenomaan verkossa hyödyttää minua työelämässä. 20. Voin ottaa enemmän vastuuta omasta oppimisestani. 21. Mahdollisuudet opiskella eri oppilaitoksissa lisääntyvät. 22. Eri oppiaineiden näkökulmien vertailu helpottuu. 23. Mahdollisuudet oppia eri oppiaineiden opiskelijoilta lisääntyvät. 24. Mahdollisuudet oppia eri alojen asiantuntijoilta lisääntyvät. 25. Verkko-opintojaksolla kansainvälistyminen helpottuu. 26. Ajatusten kehittely yhdessä toisten opiskelijoiden kanssa helpottuu. 27. Oikea-aikaisen palautteen antaminen ja vastaanottaminen helpottuu. 28. Ryhmätyöskentely muiden opiskelijoiden kanssa helpottuu. 29. Kommunikointi toisten opiskelijoiden kanssa helpottuu. 30. Keskustelu opintojakson sisällöstä muiden kanssa helpottaa oppimistani. 31. Ilmaisutaitoni kehittyvät. 32. Saan enemmän hyödyllistä palautetta opettajalta. 33. Opiskelun rutiininomaisten tehtävien suorittaminen helpottuu. 34. Verkko-opiskelu mahdollistaa erilaisten työvälineiden testaamisen. 35. Verkko-opiskelu mahdollistaa omien kokeilujen tekemisen. 36. jokin muu syy, mikä: 37. jokin muu syy, mikä: 38. jokin muu syy, mikä: 18. Mitkä näistä kohdassa 17 valitsemistasi syistä koit tärkeimmiksi? Valitse kolme tärkeintä: Perustele, miksi: 98
Lähteet: Carrol, J. M. ym. 1998. Requirements Development in Scenario-Based Design. IEEE Transactions on Software Engineering, Vol. 24 Issue 12, 1156-1170. Harmon. S. & Jones, M. 1999. The five levels of Web Use in Planning Online Courses. Educational Technology, Vol. 39. Nro. 6, 28-32. Holzblatt, K. & Beyer, H. Making Customer-Centered Design Work for Teams [online]. 1993 Communication of AMC, 1993 [viitattu 19.1.2005]. Saatavissa www-muodossa: <URL:http://www.incent.com/pubs/customer_des_teams.html>. Inside Macintosh: Macintosh Human Interface Guidelines [online]. Apple Computer Inc., 1996, päivitetty 2005 8viitattu 1.11.2005]. Part 1 - Fundamentals. Chapter 3 - Human Interface Design and the Development Process. Involving Users in the Design Process. Observe Users. Saatavissa www-muodossa: <URL: http://developer.apple.com/documentation/mac/higuidelines/higuidelines-73.html>. Potts, C. 1995. Using Schematic Scenarios to Understand User Needs. Proceedings of the conference on Designing Interactive Systems: processes, practices, methods & techniques: Ann Arbor, USA, elokuu 1995, 247-256. Preece. J. & al. 1994. Human computer Interaction. Workingham: Addisson-Publishing Company. Preece, J., Rogers, Y. & Sharp, H. 2002. Interaction design. Beyond human-computer interaction. New York: John Wiley & Sons, Inc. Routio, P. Tuotetiede [online]. Helsinki: Taideteollinen korkeakoulu, 2005a, päivitetty 20.1.2005 [viitattu 30.10.2005]. Havainnoivat tutkimustavat. Saatavissa www-muodossa: <URL: http://www2.uiah.fi/projects/metodi/printabl/062.htm>. Saatavissa myös: <URL: http://www2.uiah.fi/virtu/materiaalit/tuotetiede/html_files/1362_empiir.html>. Routio, P. Tuotetiede [online]. Helsinki: Taideteollinen korkeakoulu, 2005b [viitattu 30.10.2005]. Kyselevät tutkimustavat. Saatavissa www-muodossa: <URL: http://www2.uiah.fi/virtu/materiaalit/tuotetiede/html_files/1364_empiir.html>. Silius, K., Tervakari, A-M., Kaartokallio, H. & Yritys, K. Tieto- ja viestintätekniikka-avusteisen opetuksen käyttökelpoisuuden arviointimalli [online]. Espoo: Suomen virtuaaliyliopiston kehittämisyksikkö, 2003 [viitattu 24.10.2005]. Suomen virtuaaliyliopiston e-julkaisuja nro 9. Saatavissa pdf-muodossa: <URL: http://www.virtuaaliyliopisto.fi/data/files/svy-julkaisut/julkaisu009.pdf > ISBN 951-22-6623-7. Sinkkonen, I. ym.. 2002. Käytettävyyden psykologia. Helsinki:Edita Publishing Oy/IT Press. Sinkkonen, I. Käytettävyystestin suorittaminen [online]. Helsinki: Adahe Oy, 2004, päivitetty 26.3.2004 [viitattu 31.10.2005]. Saatavissa www-muodossa: <URL: http://www.adage.fi/artikkelit/kaytettavyystestin_suorittaminen.html >. Julkaistu alun perin teoksessa: Sinkkonen, I. ym.. 2002. Käytettävyyden psykologia. Helsinki: Edita Publishing Oy/IT Press, 295 320. 99