JYKDOK FINNA Käytettävyystestaussuunnitelma Sisällys 1 Johdanto... 2 1.1 Tarkoitus... 2 1.2 Tuote... 2 1.3 Termit, määritelmät, lyhenteet, jne.... 2 1.4 Yleiskatsaus dokumenttiin... 2 2 Käyttäjien tarpeiden kartoitus... 2 2.1 Käyttäjät... 2 2.2 Kartoitusmenetelmät... 3 2.3 Käyttäjien tarpeet... 3 3 Testaus... 3 3.1 Testauksen tavoitteet... 3 3.2 Testausympäristö ja välineet... 3 3.3 Testausasetelma... 4 3.4 Alkuhaastattelu... 4 3.5 Testitehtävät... 4 3.6 Loppuhaastattelu... 5 4 Tulokset... 6 4.1 Tulosten kerääminen... 6 4.2 Raportointi... 6 Versiohistoria Versio Tekijä Päiväys Kommentit 0.1 Hanna Heinänen 5.2.2013 Ensimmäinen versio. 0.2 Hanna Heinänen 6.2.2013 Täydennetty graduseminaarissa saatujen kommenttien sekä Jyväskylän yliopiston kirjastolta saatujen tietojen perusteella.
1 Johdanto 1.1 Tarkoitus Tämä dokumentti kuvaa JYKDOK Finnan käytettävyystestaussuunnitelman. Dokumentti on tarkoitettu käytettävyystestauksesta vastaavalle henkilölle mahdollisimman yksityiskohtaiseksi ohjeeksi. Se toimitetaan tiedoksi myös Kansallisen Digitaalisen Kirjaston (KDK) käytettävyystyöryhmälle sekä Jyväskylän yliopiston kirjaston yhteyshenkilöille. 1.2 Tuote FINNA on KDK:n kehittämä ja yllpitämä tiedonhakujärjestelmä, jossa Jyväskylän yliopiston kirjastolla on oma näkymä, JYKDOK. Jyväskylän yliopiston kirjasto vastaa omasta näkymästään ja valitsee siinä näytettävät aineistot ja siihen liitetyt palvelut. 1.3 Termit, määritelmät, lyhenteet, jne. <tähän listaus> 1.4 Yleiskatsaus dokumenttiin Luvussa 2 esitellään tähän testaukseen valittu käyttäjäryhmä, kuinka tämän ryhmän tiedonhankinnan ja tiedonhaun tarpeet on kartoitettu ja millaisia tarpeita kohderyhmällä on käytettävyyden näkökulmasta. Luvussa 3 esitellään testauksen kulku, ja luvussa 4 kerrotaan tulosten keräämiseen ja raportointiin liittyvät asiat. 2 Käyttäjien tarpeiden kartoitus 2.1 Käyttäjät JYKDOK Finnan käyttäjäkunta koostuu kaikista Jyväskylän yliopiston kirjaston asiakkaista. Pääasiassa asiakkaita ovat Jyväskylän yliopiston opiskelijat ja henkilökunta, mutta myös yliopiston ulkopuolelta tulee käyttäjiä. Tähän testaukseen on rajattu kohderyhmäksi humanististen aineiden jatko-opiskelijoita. Ryhmän 1 muodostavat historian jatko-opiskelijat, ryhmän 2 musiikin jatko-opiskelijat ja ryhmän 3 kulttuurin tutkimuksen kansainväliset jatko-opiskelijat. Ryhmät 1 ja 2 suorittavat testitehtävät suomen kielellä ja ryhmä 3 englanniksi. Kohderyhmä on tietoisesti rajattu, koska resurssit eivät tässä kohtaa riitä laajempaan tutkimukseen.
2.2 Kartoitusmenetelmät Testaukseen valikoituneiden käyttäjäryhmien jäsenille lähetetään sähköpostilla kyselylomake, jolla pyritään saamaan tietoa heidän tiedontarpeistaan ja tiedonhakutavoistaan. 2.3 Käyttäjien tarpeet <Tähän kyselyn tulokset> 3 Testaus 3.1 Testauksen tavoitteet Testauksen tavoitteena on saada tietoa JYKDOKin käytettävyydestä ja löytää niin paljon käytettävyysongelmia kuin mahdollista. Lisäksi tarkoituksena on saada nimenomaan testaukseen valitun kohderyhmän mahdollisia erityistarpeita esille. Tästä syystä testauksessa pyritään saamaan aikaan mahdollisimman monenlaisia ongelmatilanteita, ja varsinkin sellaisia, jotka tulevat esiin kohderyhmän erityistarpeiden kautta. Seuraavia asioita seurataan erityisesti: - Kuinka helposti testihenkilöt oppivat löytämään tarvittavat osiot/paikat/tavat käyttää JYKDOKia? - Mitä testihenkilöt ryhtyvät ensimmäisenä tekemään? Miten he suorittavat hakuja? - Kuinka kauan testihenkilöllä menee tehtävän suorittamisessa? - Millaisia ongelmia testihenkilö kohtaa tehtäviä suorittaessaan? Toistuuko sama ongelma useammalla testihenkilöllä? - Millaisia virheitä järjestelmässä ilmenee testitehtäviä tehdessä? - Mitä virheitä testihenkilö tekee tehdessään tehtäviä? 3.2 Testausympäristö ja välineet Testausta varten varataan rauhallinen huone, jonne sijoitetaan seuraavat välineet: - tietokone, jolla testikäyttäjä suorittaa tehtävät o tietokoneelle asennetaan ohjelma tallentamaan käyttäjän toimintaa näytöllä - videokamera - mikrofoni, jos videokameran mikrofoni ei ole riittävä On huomattava, että kuvaamiseen tarvitaan testihenkilön lupa. JYKDOKiin ei saa tehdä mitään muutoksia testausten aikana, jotta testauksesta saadaan kasaan luotettava aineisto.
3.3 Testausasetelma Testaukseen osallistuu kolme ryhmää, joissa kaikissa on n. 5 testihenkilöä. Ryhmän 1 muodostavat historian jatko-opiskelijat, ryhmän 2 musiikin jatko-opiskelijat ja ryhmän 3 kulttuurin tutkimuksen kansainväliset jatko-opiskelijat. Ryhmät 1 ja 2 suorittavat testitehtävät suomen kielellä ja ryhmä 3 englanniksi. Ryhmien tuloksia ei ole tarkoitus varsinaisesti vertailla, vaan ryhmäjaot on tehty tutkimusaiheiden perusteella. Kaikille testihenkilöille kerrotaan lyhyesti, mikä JYKDOK Finna on, sekä esitellään testauksen tarkoitus. Testitehtävät suunnitellaan niin, että ensimmäiset tehtävät eivät vihjaa mitään eri toiminnoista, vaan testikäyttäjä saa vapaat mahdollisuudet tehdä hakuja. Seuraaviin hakutehtäviin sisällytetään pientä ohjausta (esim. Hae käyttämällä toiminnallisuutta x / Rajaa hakua faseteilla). Näin pyritään saamaan tietoa siitä, kuinka helppoa JYKDOKin käyttäminen on ilman ohjeistusta, ja tarvitaanko käyttöliittymään lisää opastusta eri toimintojen käyttöön. Tehtäviin pyritään sisällyttämään mahdollisimman monta eri toiminnallisuutta, kuitenkin niin, että haut ovat realistisia ja muistuttavat autenttista tiedonhakutilannetta. Osallistumiskutsussa ja/tai etukäteen suoritetussa kartoituskyselyssä pyydetään testihenkilöitä tuomaan testaustilaisuuteen mukanaan jokin testihenkilön tämänhetkiseen tutkimukseen liittyvä tiedonhakutarve/tehtävä. Testihenkilöä pyydetään etsimään JYKDOKin avulla omaan tutkimukseensa sopivia viitteitä. Testaukseen osallistuu testihenkilön lisäksi testaaja, joka esittelee testihenkilölle lyhyesti testauksen tarkoituksen ja kertoo lyhyesti JYKDOKista, sen sisältämästä aineistosta ja siitä, mitä uutta se tuo nykyiseen kirjastotietokantaan verrattuna. Testihenkilöille mainitaan ääneenajattelun mahdollisuudesta ja kerrotaan, että sitä voi kokeilla, mutta testihenkilöä ei varsinaisesti rohkaista tai velvoiteta siihen. Testaaja pyrkii luomaan mahdollisimman rennon ilmapiirin testaustilanteeseen. Testaaja ei puutu testin kulkuun, vaan pysyttelee taustalla ja auttaa testihenkilöä vain jos on välttämätöntä. Testin aikana testaaja tekee muistiinpanoja testin kulusta. 3.4 Alkuhaastattelu Testihenkilöille esitetään seuraavat kysymykset ennen testitehtävien tekemistä. Kysymykset annetaan paperilomakkeella, johon testihenkilö kirjaa vastauksensa. 1. Nimi, ikä 2. Ala/laitos humanistisessa tiedekunnassa 3. Oletko tutustunut Jykdok-Finnaan aikaisemmin? 4. Mitä tiedonhakujärjestelmiä olet käyttänyt aikaisemmin (Nelli? Jne.) 5. Mihin ongelmiin olet törmännyt aikaisemmin tiedonhakujärjestelmiä käyttäessäsi? 3.5 Testitehtävät Am. testitehtävät ovat esimerkkejä, tehtävät tarkentuvat testikäyttäjien ennakkohaastattelussa. Ryhmä 1. 1. Kirjaudu sisään JYKDOKiin tunnuksella 2500145739 (pin 54321).
2. Etsi JYKDOKista seuraava teos: Aunesluoma, Juhana, Kettunen, Pauli (toim.), The Cold war and the politics of history (2008). Onko se saatavilla? Kun olet saanut saatavuustiedot selville, palaa takaisin JYKDOKin etusivulle. 3. Etsi kolme muuta mielestäsi relevanttia lähdettä aiheesta kylmä sota. Tallenna viitteet itsellesi sopivimmalla tavalla. 4. Valitse joku löytämistäsi viitteistä. Löydätkö Samankaltaisia teoksia listalta kiinnostavia viitteitä? 5. Palaa hakutuloksiin. Hae hakutulostesi joukosta ainoastaan suomenkielisiä teoksia. 6. Etsi tarkennetulla haulla englanninkielisiä lähteitä aiheesta politiikka antiikin Kreikassa. 7. Selaa hakuhistoriaasi ja tallenna jokin tekemistäsi hauista. 8.. Ryhmä 2.. 1. Kirjaudu sisään JYKDOKiin tunnuksella 2500145739 (pin 54321). 2. Etsi JYKDOKista pikahaulla seuraava teos: Thompson (2009). Music, thought, and feeling. Understanding the psychology of music. Onko se saatavilla? Kun olet saanut saatavuustiedot selville, palaa takaisin JYKDOKin etusivulle. 3. Etsi kolme muuta mielestäsi relevanttia lähdettä aiheesta musiikkipsykologia. Tallenna viitteet suosikkeihisi. 4. Valitse jokin löytämistäsi viitteistä. Löydätkö Samankaltaisia teoksia listalta kiinnostavia viitteitä? 5. Palaa hakutuloksiin. Hae hakutulostesi joukosta ainoastaan suomenkielisiä teoksia. 6. Etsi tarkennetulla haulla ruotsinkielisiä lähteitä aiheesta taidekasvatus ja lapset. 7. Selaa hakuhistoriaasi ja tallenna jokin tekemistäsi hauista. Ryhmä 3.. 1. Login to JYKDOK with username 2500145739 (pin 54321). 2. Find the following publication from JYKDOK: Burke (1999). The Italian Renaissance : culture and society in Italy. Is it available for loan? After you have checked the availability, go back to the search results. 3. Find three (3) relevant items about popular culture. Save the references to your Favourites. 4. Choose one of the references you found. Can you find interesting items from Similar items list? 5. Go back to search results. Narrow your search and choose only book material from the year 2007. 6. Use the advanced search to find... 3.6 Loppuhaastattelu Testihenkilöitä haastatellaan ao. kysymysten pohjalta testien päätyttyä. Haastattelu videoidaan, jolloin testihenkilö voi esim. näyttää ongelmakohtia käyttöliittymästä.
1. Oliko JYKDOKia mielestäsi helppo vai vaikea käyttää? 2. Mitä mieltä olet JYKDOKin toimintojen asettelusta? 3. Olivatko hakutulokset mielestäsi relevantteja, sopivatko ne vastineeksi tekemiisi hakuihin? 4. Käytitkö jotakin seuraavista toiminnoista? Jos käytit, kuinka hyödyllisenä pidit ko. toimintoa? a. tarkennettu haku/vuosirajaus b. tarkennettu haku/koordinaattirajaus c. Rajaa hakua fasetit d. Suosikit e. 5. Mikä mielestäsi on hyvää JYKDOKissa? 6. Mitä muuttaisit JYKDOKissa? 7. Käyttäisitkö JYKDOKia mielelläsi jatkossa? 8. Muita kommentteja ja/tai terveisiä JYKDOKin/Finnan kehittäjille? 4 Tulokset 4.1 Tulosten kerääminen Tulokset kerätään alku- ja loppuhaastattelulomakkeista, näytön tapahtumista talletetusta logista ja testitilanteesta tallennetusta videosta, josta testaaja kirjoittaa login. 4.2 Raportointi Raporttiin koostetaan yhteenveto tuloksista taulukkomuodossa, sekä tehdään niistä analyysi. Analyysi sisältää löydetyt käytettävyysongelmat luokiteltuna ja mahdolliset korjausehdotukset, sekä yhteenvedon testikäyttäjien kommenteista ja mielipiteistä.