1/11 Sitnet-projektissa kehitettävän sähköisen tenttimisen järjestelmän käytettävyystestaus Tehtävä ja tavoitteet Tehtävänä on arvioida Sitnet-projektissa tuotettavan sähköisen tenttimisen sovelluksen demoversion käytettävyyttä. Tavoitteena on selvittää kuinka sujuvasti testihenkilöt käyttävät sovellusta sekä sisältääkö sovellus joitakin ominaisuuksia, jotka vaikeuttavat/estävät sovelluksen sujuvan sekä tehokkaan käytön. Lopuksi tavoitteena on tuottaa raportti käytettävyystestauksen tuloksista. Raportin tuloksia voidaan hyödyntää kehitettäessä sovellusta eteenpäin. Käytettävyystestausohjeistuksen tuottavat Salla Kalermo Jyväskylän yliopistosta sekä Pasi Häkkinen Tampereen teknillisestä yliopistosta. Testaajina toimivat Salla Kalermo Jyväskylän yliopiston osalta sekä muista korkeakouluista erikseen nimettävät testaajat. Kohdejärjestelmän kuvaus Sitnet-projektissa kehitetään sähköisen tenttimisen järjestelmä kymmenen suomalaisen korkeakoulun sekä tieteen tietotekniikan keskus CSC:n yhteistyöprojektina. Syntyvän järjestelmän tarkoitus on toimia sähköisen tenttimisen järjestelmänä ensimmäisessä vaiheessa tenttiakvaariossa suoritettavassa tentissä, mutta myöhemmin myös verkkotentissä. Järjestelmän lopullinen nimi päätetään myöhemmin. Tässä suunnitelmassa puhutaan Sitnetjärjestelmästä. Sitnet-järjestelmän käyttäjiä ovat tentaattorit ja opiskelijat. Sitnet on selainpohjainen sovellus. Testauksen aikana huhti-toukokuussa sovellus on vielä demovaiheessa eli useita toimintoja puuttuu ja toteutetut toiminnot ovat osittain keskeneräisiä. Sen vuoksi testiteh-
2/11 tävät tulee suunnitella siten, että niissä suoritettavat toiminnot on mahdollista sovelluksessa tehdä. Tutkimusmenetelmät Sitnet-sovelluksen käytettävyyttä analysoidaan suorittamalla käytettävyystestausta. Ennen testausta käyttäjä täyttää esitietolomakkeen. Testauksen jälkeen käyttäjiä haastatellaan. Käytettävyyttä arvioidaan analysoimalla näillä menetelmillä saatuja tuloksia. Käytettävyystestauksen, esitietojen keräämisen, sekä haastattelun suorittavat Salla Kalermo Jyväskylän yliopistossa sekä erikseen nimettävät testaajat vähintään kahdessa muussa korkeakoulussa. Tutkimuksesta kirjoitetaan raportti, jossa tutkimustulokset ovat esiteltynä. Koeasetelma ja kokeen kulku Testaukseen valitaan vähintään viisi testihenkilöä vähintään kolmesta projektissa mukana olevasta korkeakoulusta. Lisäksi valitaan yksi henkilö pilottimittausta varten. Testihenkilöt ovat tentaattoreita ja opiskelijoita. Tentaattoreissa on sähköisen tenttimisen järjestelmää käyttäneitä ja sellaisia, jotka eivät ole tehneet sähköisiä tenttejä. Testaajana toimivan henkilön tai henkilöiden tulee tietää mikä testin kohteena olevan järjestelmän käyttötarkoitus on sekä mikä testin kohteena olevien toimintojen käyttötarkoitus on. Lisäksi testaajan tulee ymmärtää mihin käytettävyystestauksella pyritään. Testaus suoritetaan kyseisen korkeakoulun tiloissa, testiä varten varatussa huoneessa. Huoneen on oltava tarkoitukseen riittävän suuri ja ympäristön rauhallinen. Huoneessa on oltava työpöytä sekä tietokone, joka toimii asianmukaisella tavalla ja jolla on mahdollista suorittaa annetut testitehtävät. Huoneessa on oltava vähintään kaksi tuolia, yksi testihenkilölle ja yksi testaajalle. Mikäli testaajia on enemmän, tulee tuoleja luonnollisesti olla enemmän. Testiin tarvitaan myös mikrofoni. Testaajalla täytyy olla riittävä määrä esitietolomakkeita ja muistiinpanovälineet. Testaajalla tulee myös olla koehenkilölle annettavat
3/11 tehtävät, jokainen omalla paperillaan, koska tehtävät annetaan yksi kerrallaan sekä lista testin vaiheista. Ennen varsinaisen testin aloittamista, koehenkilöt täyttävät esitietolomakkeen. Lomakkeen malli on liitteenä (Liite 1.). Esitietolomakkeella kerätään tietoa käyttäjästä (organisaatio, sukupuoli) sekä sähköisen tenttimissovelluksen käytöstä (onko tehnyt sähköisiä tenttejä, jos on niin kuinka paljon ja kuinka kauan, mitä sovellusta on käyttänyt). Testaaja johtaa testitilannetta. Testin johtajan tehtäviä ovat: Testihenkilön vastaanottaminen Testin, välineistön ym. esitteleminen Esitietojen kerääminen Testitehtävien antaminen yksi kerrallaan Testin seuraaminen lähietäisyydeltä Muistiinpanojen tekeminen Arvioida, kuinka kunkin testitehtävän suorittaminen kokonaisuudessaan onnistui seuraavalla asteikolla: o 1 erittäin helposti o 2 melko helposti o 3 neutraali o 4 melko hankalasti o 5 erittäin hankalasti Kirjata tehtävän vaiheet, joissa mahdolliset ongelmat esiintyivät Testihenkilön kanssa kommunikointi tarvittaessa testin aikana Haastattelun suorittaminen Jos testaajia on kaksi, toinen voi toimia tarkkailijana ja tehdä muistiinpanoja.
4/11 Käytettävyystestin aikana testihenkilöt suorittavat ennalta määritettyjä tehtäviä. Tehtäviä on x kappaletta. Tehtävät muistuttavat todellisia sähköisen tenttimisen sovelluksella suoritettavia tehtäviä Testitehtävät ovat tämän suunnitelman liitteenä (Liite 2.). Tehtävät annetaan testihenkilöille yksi kerrallaan. Testihenkilöitä pyydetään ilmoittamaan, kun hän on mielestään suorittanut tehtävän. Tehtävien suorittamisen aikana suoritusta tarkkaillaan ja tietokoneen näytöllä tapahtuvat toiminnat tallennetaan Easy Screen Recorder -ohjelman tai vastaavan ruudun kaappausohjelman avulla tiedostoiksi. Tietokoneeseen liitetty mikrofoni tallentaa koetilanteen äänet samaan tiedostoon. Suorituksiin kuluva aika sekä mahdolliset käyttäjien kommentit voidaan poimia tällä tavoin samasta tiedostosta. Mikäli näytön tallentavaa ohjelmaa ei ole mahdollista käyttää, tulee vähintään äänet tallentaa. Tässä tapauksessa testaajan tulee tehdä erityisen tarkat muistiinpanot testin aikana. Testin jälkeen jokaista testihenkilöä haastatellaan. Haastattelu tallennetaan mikrofonin ja ruudunkaappausohjelman avulla. Haastattelussa testihenkilöt saavat vapaasti kommentoida testauksen aikana esille tulleita asioita. Lisäksi he voivat kertoa kokemuksiaan aikaisemmin käyttämästään sovelluksesta sekä toiveita uudelle järjestelmälle. Haastattelukysymykset ovat tämän suunnitelman liitteenä (Liite 3.). Testauksen toteuttaminen ja aikataulu Pilottimittaus suoritetaan Jyväskylän yliopistossa maanantaina 28.4.2014. Ennen pilottimittausta järjestetään tila koetilannetta varten. Tarkistetaan laitteet ja niiden toiminta, varataan paikka esitietolomakkeen täyttämiselle ja haastattelun suorittamiselle. Pilottimittauksessa käydään läpi kaikki käytettävyystestauksen vaiheet: Esitellään testaajat/esittäydytään Kerrotaan mitä testataan, minkä vuoksi (Sitnet-projektissa kehitettävä uusi sähköisen tenttimisen järjestelmä. Ensisijaisesti tulossa käyttöön tenttiakvaariotenttimiseen, mutta mahdollisesti myös verkkotentteihin. Yleisperiaate: opettaja tekee ten-
5/11 tin, johon arvotaan kysymykset kysymyspankista. Opiskelija menee aikana, jolle ilmoittautunut, tekemään tentin tenttiakvaarioon. Testissä selvitetään sovelluksen käytettävyyttä) Kerrotaan testiin kuluva aika (n.1 tunti) Esitellään testauksessa käytettävä laitteisto (Kannettava tietokone, irrallinen hiiri, tallennusvälineet) Kysytään koehenkilöltä lupa testin tallentamiseen Esitellään testin kulku (esitietolomake, käytettävyystestaus, haastattelu) Kerrotaan, että testitilanteessa henkilölle annetaan yksi kerrallaan testitehtäviä, jotka hänen tulee suorittaa Kerrotaan, että näytön tapahtumat, sekä testitilanteen äänet nauhoitetaan, mutta nauhoituksia ei käytetä mihinkään muuhun tarkoitukseen Muistutetaan, että kokeen tarkoitus on testata ohjelmistoa EI koehenkilöä Annetaan esitietolomake täytettäväksi Aloitellaan testiä o kerrataan vielä testin kulku (tehtävät yksi kerrallaan, henkilön tulee ilmoittaa, kun on mielestään suorittanut tehtävän, testin saa keskeyttää milloin tahansa) o suorita tehtäviä samalla tavoin, kuin oikeastikin tekisit ne o kerrotaan, että ääneen ajatteleminen on suositeltavaa (esim. mitä toimintoa/linkkiä koehenkilö etsii avoinna olevasta näkymästä ja mitä hän odottaa tapahtuvan hiiren klikkauksen jälkeen) o kerrotaan, että jos tehtävän suorittamisessa tulee ongelmia, niistä voi ja kannattaa kertoa ja katsotaan sitten, kuinka tehtävää jatketaan eteenpäin (käytännössä: ei auteta eteenpäin, jos tehtävä jumittuu kokonaan, siirrytään seuraavaan tehtävään) o Muistutetaan, että tarkoitus on testata sovellusta, ei testihenkilöä o Onko kysyttävää?
6/11 Testin aikana seurataan testihenkilön toimintaa ja kommunikoidaan tarvittaessa koehenkilön kanssa, kuitenkin vain hänen aloitteestaan Kun kaikki testitehtävät on suoritettu/käyty läpi, ilmoitetaan testi päättyneeksi. Pyydetään, että testihenkilö ei kerro muille tekemistään tehtävistä, ennen kuin kaikki henkilöt ovat käyneet tekemässä testin. Lopuksi suoritetaan haastattelu Kiitetään testihenkilöä osallistumisesta Varsinaiset testit suoritetaan viikkojen 18-19 aikana eli 29.4.-9.5.2014. Testin kulku on pilottimittauksen kaltainen. Aineiston analysointi Käytettävyystestauksen tuloksena saadaan kuva- ja äänidataa jokaisen testihenkilön suorittamista tehtävistä. Kuvallisesta informaatiosta voidaan selvittää, kuinka koehenkilö suoritti annetut tehtävät. Kuvallisesta informaatiosta saadaan myös laadullista tietoa, kun seurataan, aiheuttiko jokin tietty toiminto erityisiä vaikeuksia. Tallennetun suorituksen kesto voidaan myös määritellä kuvadatan perusteella. Äänidata muodostuu tehtävän aikana kerrotuista kommenteista sekä haastattelusta. Kommenttien sekä haastattelun avulla kerätty laadullinen aineisto saattaa tarjota merkittävää lisätietoa ongelmakohdista. Esitietojen ja haastattelun avulla kerätty taustatieto testihenkilöstä ja hänen käyttökokemuksistaan mahdollistaa määrällisen ja laadullisen aineiston vertailun. Voidaanko mahdollisesti huomata yhteys henkilön aikaisemman kokemuksen ja suoritusnopeuden välillä, suoriutuuko kokenut käyttäjä nopeammin, käyttääkö hän lyhyempiä askelpolkuja jne. Tarkoituksena on myös taulukoida jokaisen testihenkilön kohtaamat ongelmat. Tällä tavalla voidaan selvittää, esiintykö kyseinen ongelma useammalla henkilöllä ja jos esiintyy,
7/11 mikä ongelma esiintyy kaikista useimmin. Testaajan tulee kirjata ylös vaiheittain missä kohdassa ongelmia esiintyi. Jatkotoimenpiteet Tuloksen analysoinnin jälkeen kunkin korkeakoulun testaajat tekevät yhteenvedon saaduista tuloksista. Testaajat laativat käytettävyysraportin, jossa on esitelty löydetyt ilmiöt ja tulokset. Raportti toimitetaan Sitnet-projektiryhmälle. Käytettävyystestauksen tuloksista järjestetään yhteinen läpikäynti testaajien kesken.
Liite 1 Esitietolomake Sitnet-sovelluksen käytettävyystestausta varten Nimi Ikä Sukupuoli 1 Mies 2 Nainen Korkeakoulu Tiedekunta/yksikkö Kuinka kauan olet käyttänyt sähköisen tenttimisen sovellusta? Ympyröi sopivin. 1 en ole käyttänyt 2 alle puoli vuotta 3 alle vuoden 4 1-3 vuotta 5 yli kolme vuotta Mikä on käyttämäsi sähköisen tenttimisen sovellus? Ympyröi sopivin. 1 en mitään 2 Tenttis 3 Soft Tutor (Jyväskylän yliopisto) 4 Tenttiakvaario (Helsingin yliopisto) 5 Ville 6 Muu, mikä?
Liite 2 Tentaattori: 1. Lisää järjestelmään uusi esseekysymys seuraavilla tiedoilla Kysymys: Kirjoita essee aiheesta: Piaget n vaiheteoria lapsen kehityksestä Maksimipistemäärä: 6 Ohjeistus: vastauksen ohjepituus 3750 merkkiä ( noin 500 sanaa, noin yksi konseptin sivu) Määritä arviointikriteerit: Suoritettu: kun kysymys on luotu ja tallennettu kysymyspankkiin 2. Lisää järjestelmään uusi monivalintakysymys seuraavilla tiedoilla Kysymys: Mikä vuodenaika nyt on? Vaihtoehdot: kevät (oikein), kesä, syksy, talvi Pisteet oikeasta vastauksesta: 2 Suoritettu: kun kysymys on luotu ja tallennettu kysymyspankkiin 3. Lisää järjestelmään uusi monivalintakysymys seuraavilla tiedoilla Kysymys: Minkä ikäisenä lapsi on Piaget n mukaan esioperationaalisessa vaiheessa? Vaihtoehdot: i. n. 0-2 -vuotiaana ii. n. 2-6 -vuotiaana (oikein) iii. n. 7-11 -vuotiaana iv. n. 11-12 -vuotiaana Pisteet oikeasta vastauksesta: 3 Suoritettu: kun kysymys on luotu ja tallennettu kysymyspankkiin 4. Lisää järjestelmään uusi tentti seuraavilla tiedoilla Tentin nimi: Kehityspsykologian perusteet Opintojakso: YOPPSYK Kehityspsykologia, 6 op Tentin voimassaoloaika 1.5.-31.8.2014 Arvosana-asteikko: 1-5 Täytä muut perustiedot haluamillasi tiedoilla Lisää tenttiin kaksi kysymystä otsikon Eriksonin teoria alle Lisää tenttiin kolme kysymystä otsikon Piaget n teoria alle Tarkkailtava: ymmärtääkö mistä lähteä liikkeelle, osaako luoda osion ja lisätä kysymyksiä Suoritettu: kun tentti on luotu ja tallennettu
5. Julkaise edellisessä tehtävässä luomasi tentti Etsi äsken laatimasi tentti tenttilistauksesta Avaa tentti muokattavaksi ja muuta tentin voimassaoloaikaa Tallenna tentti siten, että se tulee opiskelijoiden nähtäville Suoritettu: Kun tentti on tallennettu korjatulla aloituspäivämäärällä ja tentti on julkaistu opiskelijoille Opiskelija: 1. Olet ilmoittautunut opintojakson YOPMAA Maailma tenttiin Maailmankatsomuksen perusteet. Vastaa tenttikysymyksiin ja palauta lopuksi vastauksesi tarkastettavaksi.
Liite 3 Haastattelukysymyksiä - Mitä mieltä olit testitehtävistä? Helppoja/vaikeita - Mitä mieltä olit testattavasta sovelluksesta? - Kehitysideoita