Project group Tete Work-time Attendance Software Henkilökohtainen SE harjoitus: etenemisraportti Käytettävyystestaus Pauli Aho
T-76.115 Software project 2(9) Muutosloki Versio Pvm Tekijä Kuvaus 1.0 29.1.2004 Pauli Aho Skenaariot, kysymykset ja metriikat 2.0 1.3.2004 Pauli Aho Tulosten raportointi
T-76.115 Software project 3(9) 1. Johdanto Valitsin henkilökohtaiseksi menetelmäkseni käytettävyystestauksen, koska ohjelmiston käytettävyys on erittäin tärkeä laatukriteeri ja se vaatii työstämistä. Lisäksi käytettävyystestauksen ja toisen ryhmän jäsenen, Marcin, teettämän heuristisen arvioinnin tuloksia yhdistämällä ohjelmistosta löydetään tehokkaasti käytettävyyttä haittaavat tai puuttuvat ominaisuudet. Pidin varsinaisen käytettävyystestaustilaisuuden I2- iteraatiossa tammikuun 27. päivä SoberIT:n käytettävyystestauslaboratoriossa, joka tarjosi erinomaiset puitteet ja laitteet tilaisuuden pitämiseen. Avustajina toimivat ryhmäläiset Marc ja Marko, ja sain myös konsultointiapua käytettävyyskoulua käyvältä Tero Jantuselta. Testaus vietiin läpi suunnitellusti yhden käyttäjän käytettävyystesteillä ja kolmella eri testihenkilöllä, jotka vertaisryhmä Verkokauppa oli meille avuliaasti järjestänyt. Testihenkilöt olivat teekkareita, joten heitä voi hyvin pitää otoksena ohjelmiston varsinaisesta käyttäjäryhmästä eli toimihenkilöistä. 2. Testien eteneminen Varsinaisessa testitilanteessa kukin käyttäjä joutui tekemään selaimella antamiani testitehtäviä. Kaikki käyttäjät antoivat luvan testitilanteen videointiin projektiryhmän sisäistä käsittelyä varten. Kehotin käyttäjiä ääneen ajatteluun, jotta testeistä saisi mahdollisimman paljon tietoa. Loin testitehtävät siten, että niillä pystyttäisiin arvioimaan mahdollisimman hyvin vaatimusmäärittelyssä tärkeimmäksi todettua toiminnallisuutta. Kirjoitin testitehtävät skenaarioiden muotoon, jotta käyttäjät pystyivät samaistumaan oikeaan käyttötilanteeseen. Testitehtävien jälkeen esitin käyttäjille muutamia ohjelmiston ominaisuuksiin liittyviä kysymyksiä. Olin tehnyt metriikat ohjelmiston laadun mittaamiseen käytettävyysnäkökulmasta, ja ne näkyvät taulukossa 1 jäljempänä. 2.1 Skenaariot Luin testitilanteessa käyttäjille seuraavat skenaariot. Ensimmäinen kohta sisältää vain taustatietoa tehtävien suorittamiseen, joten itse testitehtävät ovat kohdissa 2-6. 2.1.1 Taustatiedot Työskentelet neljättä vuotta keskisuuren ohjelmistoyrityksen tuotekehitysosastolla järjestelmäasiantuntijan tehtävissä. Toimitusjohtajan vaihdoksen ja pörssiin listautumisen myötä yrityksessä on päätetty ottaa käyttöön työajanseurantaohjelmisto, kun aikaisemman toimitusjohtajan valtakaudella jokainen vastasi omista tulemisistaan ja menemisistään. Tämä aiheutti lievää eripuraa työntekijöiden keskuudessa, kun jotkut tekivät havaittavasti lyhyitä työpäiviä. Esimiehesi on käskenyt kaikkia osastollasi tekemään lähempää tuttavuutta ohjelmiston kanssa. 2.1.2 Kirjautuminen ja leimaaminen sisään Sinulle on luotu järjestelmään omat tunnukset. Kirjaudu järjestelmään tunnuksella matti ja salasanalla matti. Leimaa itsesi sen jälkeen sisään. Työaikasi katsotaan alkavaksi leimautumisesta sisään.
T-76.115 Software project 4(9) 2.1.3 Tuntien kirjaaminen usealle päivälle Haluat kirjata alkuviikon tunnit eli maanantain, tiistain ja keskiviikon aikaansaannokset yhdellä kertaa Nokian moduulitestaukselle valitsemallesi aikavälille. 2.1.4 Raportin luominen Esimiehesi sattuu kulkemaan työpisteesi ohi ja pyytää sinulta raporttia hankkeeseen Nokia ja työlajiin Testaus liittyvistä tunneista tämän vuoden tammikuulta. 2.1.5 Leimaaminen ulos ja tuntien kirjaaminen Haluat leimata itsesi ulos ja kirjata tehdyt tunnit tälle lyhyelle sessioille, jonka käytit testaamiseen. Tee kirjaus leimausaikavälille valitsemaasi hankkeeseen, työlajiin ja työn tyyppiin. Kirjaudu lopuksi ulos. 2.1.6 Käyttäjätietojen muuttaminen Esimiehesi ei voi olla huomaamatta taitojasi ohjelmiston käsittelyssä ja ehdottaa sinulle työajanseurantajärjestelmän ylläpitotehtäviä oman toiminnan ohessa palkankorotuksen kera. Hän kirjautuu puolestasi sisään ylläpitotunnuksilla ja pyytää luomaan järjestelmään uuden käyttäjän nimeltä Pasi Maailma, jonka käyttäjätunnus on pasi ja salasana anssi. Pasi käyttää järjestelmää työntekijänä. 2.2 Kysymykset testauksen jälkeen Testitehtävien tekeminen on monille haastava tilanne, joka vaatii keskittymistä ja ääneen ajattelu jää vähemmälle. Tästä johtuen tein käyttäjille lyhytmuotoisen kyselyn, johon he pystyivät vastaamaan vapautuneesti testitehtävien jälkeen. 1. Oletko käyttänyt aikaisemmin jotakin muuta työajanseurantaohjelmistoa? 2. Mikä tässä ohjelmistossa oli hyvää? 3. Mikä oli huonoa? 4. Käyttäisitkö ohjelmistoa myöhemminkin omasta tahdostasi? 2.3 Metriikat Tein ohjelmiston käytettävyyden arviointiin tarvittavat metriikat Jakob Nielsenin ja ISO 9241-11 standardin käytettävyyskriteereiden pohjalta. Nielsenin listaamiin kriteereihin kuuluvat opittavuus, muistettavuus, tehokkuus, virheiden vähyys ja tyytyväisyys. ISO-standardi määrittelee kriteereinä tuloksellisuuden, tehokkuuden ja tyytyväisyyden. Kullekin mittarille asetettiin alin hyväksyttävä taso, tavoitetaso ja paras saavutettavissa oleva taso, jotta ohjelmiston laatua pystyttiin arvioimaan.
T-76.115 Software project 5(9) Taulukko 1: Metriikat. Käytettävyystekijä Mittaustapa Mittari Alin hyväksyttävä taso Tavoitetaso Paras saavutettavissa oleva taso Opittavuus Leimaaminen sisään ensimmäisellä käyttökerralla 2 / 3 3 / 3 3 / 3 Toimintojen näkyvyys ja löytyvyys Työntekijän tuntien lisääminen tietylle päivälle 2 / 3 3 / 3 3 / 3 Virheiden vähyys Raportin luominen annetuilla rajoitteilla Virheellisten toimintojen määrä kaikista toiminnoista 20 % 10 % 0 % Toimintojen näkyvyys ja löytyvyys Käyttäjätietojen muuttaminen ylläpitäjänä 1 / 3 2 / 3 3 / 3 Navigoitavuus Kaikki toimenpiteet Virheellisten klikkausten määrä on kaksi tai alle. 1 / 3 2 / 3 3 / 3 Tyytyväisyys Kysely ohjelmiston käytön jälkeen käyttäisi ohjelmistoa myöhemminkin? 1 / 3 2 / 3 3 / 3 Tehokkuus Ohjelmiston latausaikojen tarkkailu Yli 2s kestävien toimintojen määrä kaikista toiminnoista klikkauksen jälkeen 20 % 10 % 0 % 3. Testien tulokset Testikäyttäjät antoivat ohjelmistosta hyvin merkittävää informaatiota. Suurin osa näistä huomioista olisi varmaankin jäänyt projektiryhmältä huomaamatta, koska ryhmäläiset ovat työskennelleet sen parissa jo useamman kuukauden ja tästä johtuen ongelmakohdille saattaa tulla sokeaksi. Informaatiota kertyi testien aikana ilmenneistä ongelmakohdista, käyttäjien tekemistä huomioista ja kyselyssä antamista vastauksista sekä vertaamalla tuloksia asetettuihin tavoitteisiin eli tässä tapauksessa mittareihin.
T-76.115 Software project 6(9) 3.1 Ongelmia aiheuttaneet ominaisuudet 1. Leimaustoiminnallisuus oli sijoitettu käyttöliittymässä liian lähelle uloskirjautumista, mikä aiheutti ylivoimaisesti eniten hämäännystä ja nämä kaksi toimintoa sekoittuivat helposti toisiinsa. Leimaus oli muutenkin harvalle käyttäjälle tuttu entuudestaan. 2. Linkkejä oli sijoitettu kaikkiin kehyksiin, joten navigointi kolmesta eri kohdasta saattoi hidastaa etenemistä käyttöliittymässä. Esimerkiksi tunteja pystyi kirjaamaan usealle päivälle erillisestä, vasemmassa kehyksessä olevasta linkistä, jota ei aina ollut helppo löytää. 3. Raporttia ei voinut tulostaa järjestettynä minkään sarakkeen mukaan. 4. Osa testikäyttäjistä luuli, että tuntien kirjaaminen onnistuu kalenterista, koska se on näkymässä niin hallitseva. 5. Linkit eivät aina erottuneet taustasta. 3.2 Käyttäjiltä kiitosta saaneet ominaisuudet 1. Ohjelmisto oli jo testausvaiheessa valmiin oloinen ja selkeä. 2. Ohjelmisto on ainakin parempi kuin Trapoli. 3. Käytetyt kategoriatasot vähentävät sekaannusta. 4. Toiminnot löytyivät helposti, ja suurin osa niistä oli yhden tai kahden klikkauksen takana. 3.3 Mittareiden täyttyminen Taulukko 2 poikkeaa aikaisemmasta metriikat-taulukosta vain siinä, että taulukkoon on lisätty käytettävyystestien tulokset punaisella rastilla jokaiselle riville. Rasti on merkitty tulosten perusteella kohtaan alin hyväksyttävä taso, tavoitetaso tai paras saavutettavissa oleva taso. Taulukko 2: Mittareiden täyttyminen. Käytettävyystekijä Mittaustapa Mittari Alin hyväksyttävä taso Tavoitetaso Paras saavutettavissa oleva taso Opittavuus Leimaaminen sisään ensimmäisellä käyttökerralla 2 / 3 3 / 3 3 / 3 Toimintojen näkyvyys ja löytyvyys Työntekijän tuntien lisääminen tietylle päivälle 2 / 3 3 / 3 3 / 3
T-76.115 Software project 7(9) Virheiden vähyys Raportin luominen annetuilla rajoitteilla Virheellisten toimintojen määrä kaikista toiminnoista 20 % 10 % 0 % Toimintojen näkyvyys ja löytyvyys Käyttäjätietojen muuttaminen ylläpitäjänä 1 / 3 2 / 3 3 / 3 Navigoitavuus Kaikki toimenpiteet Virheellisten klikkausten määrä on kaksi tai alle. 1 / 3 2 / 3 3 / 3 Tyytyväisyys Kysely ohjelmiston käytön jälkeen käyttäisi ohjelmistoa myöhemminkin? 1 / 3 * 2 / 3 3 / 3 Tehokkuus Ohjelmiston latausaikojen tarkkailu Yli 2s kestävien toimintojen määrä kaikista toiminnoista klikkauksen jälkeen 20 % 10 % 0 % *) Käyttäjä ei vastannut varsinaisesti kysymykseen. 4. Tulosten arviointi ja toimenpiteet Tämä kappale käsittelee käytettävyystesteistä saatujen tulosten vaikutusta ohjelmiston käytettävyyden parantamiseen. 4.1 Ongelmakohdat Ongelmakohdat on luokiteltu taulukossa 3, ja ongelmien vakavuuden luokittelussa on käytetty asteikkoa vakava, häiritsevä ja vähäinen. Taulukkoon on lisätty samassa järjestyksessä edellisen kappaleen ongelmia aiheuttaneet ominaisuudet sekä toiminnot, joihin liittyneet mittarit jäivät alimmalle hyväksyttävälle tasolle. Huomattakoon tässä vaiheessa, että alin hyväksyttävä taso sentään saavutettiin joka mittarilla. Taulukko 3: Ongelmakohdat. Ongelma Vakavuus Toimenpiteet Leimaustoiminnallisuus on liian lähellä uloskirjautumisen linkkiä. Vakava Uloskirjautumisen linkki on siirretty käyttöliittymän oikeaan laitaan, jolloin se erottuu omaksi kokonaisuudekseen.
T-76.115 Software project 8(9) Leimaukseen liittyvää termistöä ei tunneta. Navigointi tapahtuu kolmesta eri kehyksestä. Raportin tulostusta ei ole järjestetty. Tuntien syöttäminen ei tapahdu kalenterista. Linkit eivät välttämättä erotu taustasta. Leimaaminen sisään ensimmäisellä käyttökerralla (opittavuus) jäi alimmalle hyväksyttävälle tasolle. Tuntien lisääminen tietylle päivälle (toimintojen näkyvyys ja löytyvyys) jäi alimmalle tasolle. Tyytyväisyyskyselyssä ohjelmiston käytön jälkeen saavutettiin vain alin hyväksyttävä taso. Vähäinen Häiritsevä Vakava Vähäinen Vähäinen Vakava Häiritsevä Vähäinen Jos ja kun leimaaminen on tärkeä osa työajanseurantaa, niin käyttäjät joutuvat opettelemaan siihen liittyvät termit. Täten termistöä ei muuteta. Tuntien normaaliin ja usealle päivälle kirjaamiseen liittyvien toiminnallisuuksien yhdistämistä on ehdotettu ryhmän sisällä. Muuten eri kehyksissä olevien toimintojen yhdistämisestä vain kahteen paikkaan aiheutuisi arvioimme mukaan enemmän haittaa kuin hyötyä, joten sitä ei tehdä. Raportin generointiin on lisätty valikko tulostuksen järjestämiseen eri ominaisuuksien mukaan. Raportin järjestämistä uudelleen jonkin sarakkeen otsikon mukaan on myös ehdotettu ryhmän sisällä. Vaikkakin kalenteri on hallitseva elementti vasemmassa laidassa, niin tuntien syöttämiseen tarkoitettu toiminnallisuus tulee käyttäjän eteen heti sisään kirjautumisen yhteydessä. Tuntien kirjaamista ei ole tarkoitus liittää kalenteriin, mutta leimauksista luettavat kirjaamiseen sallitut aikavälit on tarkoitus tehdä klikkaamalla listasta valittaviksi. Ongelma ilmenee yläkehyksessä, missä mustat linkit on sijoitettu siniselle taustalle. Muiden värien käyttäminen tässä yhteydessä saattaisi aiheuttaa enemmän sekaannusta, sillä käyttöliittymän yhtenäisyyden kannalta musta on järkevä ratkaisu. Linkkien väriä ei ole tarkoitus muuttaa, eikä linkkejä korvata kuvilla. Testikäyttäjien kommenttien perusteella voidaan olettaa, että tämä johtui tuntemattomasta termistöstä ja uloskirjautumisen linkin sijoittamisesta liian lähelle leimauslinkkiä. Nämä kohdat käsiteltiin ylempänä. Tuntien kirjaaminen noudattaa muissa työajanseurantaohjelmistoissa hyväksi havaittua toiminnallisuutta. Käyttöliittymään lisätään ohje, jos aikaresurssit riittää ja komponenttien sijoittelua hiotaan. Muita muutoksia ei tehdä. Kysymyksen asettelu oli sen verran huono, että minä saan syyttää tästä tuloksesta vain itseäni. Yksi testihenkilö ei nimittäin käyttäisi omasta tahdostaan mitään työajanseurantaohjelmistoa, ja toinen käyttäjä kiersi kysymyksen.
T-76.115 Software project 9(9) 4.2 Saavutetut tavoitteet Kappaleessa 3.2 kiitosta saaneiden ominaisuuksien lisäksi taulukosta 2 voi lukea, minkä toiminnallisuuksien yhteydessä tavoitteet saavutettiin ja jopa ylitettiin. Raportin generointi ja käyttäjätietojen muuttaminen onnistui parhaalla saavutettavalla tasolla. Tehokkuusmittauksissakin saavutettiin vastaava taso, kun ohjelmiston latausajat pysyivät kurissa. Tämä osoittaa ainakin sen, että palvelin pystyy suoriutumaan nopeasti palvelupyynnöistä. Testitilanteessa oli käytössä nopea koulun sisäinen verkko, joten latausaikoihin yhteysnopeuden mielessä on vaikeaa ottaa kantaa. Käyttöliittymän navigoitavuudessa saavutettiin tavoitetaso, joten siihenkin on oltava tyytyväinen. 5. Yhteenveto Käytettävyystestauksen pitäminen oikealle ohjelmistolle oli hyvin opettavainen ja mielenkiintoinen kokemus henkilökohtaisella tasolla, ja toisaalta siitä saadut tulokset auttoivat paljon käyttöliittymän kompastuskivien löytämisessä. Asiakkaan kannalta testauksesta oli se hyöty, että ohjelmistomme on nyt todettu antavan ainakin pienellä käyttäjäryhmän otoksella vähintään välttävät edellytykset työajanseurantaan. Testit osoittivat myös, että mitkä ominaisuudet on jo tässä vaiheessa kunnossa ja mitkä taas kaipaavat hiomista. Ajankohta oli mielestäni otollinen testien pitämiselle ennen I2-iteraation loppumista, koska I3:ssa on tarkoitus keskittyä olennaisesti käytettävyydessä ilmeneviin ongelmiin ja resurssit riittävät vielä tarvittavien muutosten tekemiseen. Käytettävyystestaus on menetelmänä hyvin tärkeä tämän kokoisissa ja suuremmissa projekteissa, joissa tuotetaan ihan oikeasti käyttöön tulevaa ohjelmistoa. Etenkin se auttaa varmistamaan, että asiakkaalle toimitettavaa tuotetta pystyy ihminen käyttämään.