Testiraportti ja korjaussuunnitelma

Teknillinen Korkeakoulu T-121.110 Käyttäjäkeskeisen tuotekehityksen harjoitustyö Kevät 2005 Testiraportti ja korjaussuunnitelma Projekti: Kohde Heurekan päänäyttelyyn Ryhmä A-Team: Henri Andell Emilia Koskinen Jani Heikkilä 28.4.2005 Assari: Anna Oikarinen

Heureka-projekti Testiraportti ja korjaussuunnitelma 2/29 Sisällysluettelo 1. Johdanto...3 2. Projektin aikaisempien vaiheiden esittely...4 2.1. Projektin aikana suoritettu käyttäjätutkimus...4 2.2. Konseptien ideointi, kehittely ja valinta...4 2.3. Valitun konseptin esittely...4 2.4. Navigointikartta...6 3. Käytettävyystestien lähtökohdat...8 3.1. Asiantuntija-arvioinnit...8 3.2. Käytettävyystestin tavoitteet...8 3.3. Käytettävyyskriteerit...8 4. Käytettävyystestien suorittaminen...10 4.1. Käytettävyystestit ja testikäyttäjät... 10 4.2. Pilottitesti ja siitä aiheutuneet muutokset... 11 4.3. Testitilan käytännön valmistelu ja testien tallennus... 12 4.4. Testikäyttäjän saapuminen ja opastus.... 13 4.5. Haastattelu ja muu testin jälkeinen toiminta... 14 5. Käytettävyystestien tulokset...15 5.1. Testitehtävien suoritus ja niiden onnistuminen... 15 5.2. Testeissä havaitut käyttäjien virheet... 16 5.3. Käytettävyysongelmat... 17 5.4. Käytettävyyskriteerien toteutuminen... 18 5.5. Haastattelun tulokset... 20 5.6. Focus group istunnon tulokset... 21 5.6.1. Lyhyt selitys konsepteista... 22 6. Korjausehdotus...23 6.1. Kohteen käytettävyys korjausten jälkeen... 28 7. Liitteet...29

Heureka-projekti Testiraportti ja korjaussuunnitelma 3/29 1. Johdanto Tämä projekti liittyy kurssiin T-121.110 Käyttäjäkeskeisen tuotekehityksen harjoitustyö. Kurssin tavoitteena on perehdyttää opiskelijat käyttäjätutkimuksen suorittamiseen. Projektin tavoitteena on tehdä käyttäjätutkimus, suunnitella tutkimuksen perusteella kohde Heurekan päänäyttelyyn ja tehdä sille käytettävyystestit. Heureka on suurten muutosten ja uudistusten edessä, ja sen tavoitteena on löytää uusia, innostavia ja pysyviä kohteita tiedekeskuksen päänäyttelyyn. Yksi asia ei kuitenkaan ole muuttunut - Heurekan kävijät ovat aina odottaneet kokevansa vierailullaan elämyksiä, jotka eivät arkielämässä ole mahdollisia. Perinteisesti Heureka on esitellyt tiedettä ja muita maailman ihmeellisyyksiä oivaltavan tekniikan avulla. Kävijät ovat saaneet itse käyttää laitteita ja ihmetellä tieteen omituisia ilmiöitä henkilökohtaisesti. Nykyään käyttäjille pyritään tarjoamaan jotain vieläkin enemmän kokemuksia, elämyksiä ja kokonaisvaltaista osallistumista. Tässä projektin vaiheessa käyttäjätutkimus, käytettävyystestit ja konseptointi on suoritettu. Käyttäjätutkimus keskittyi tutkimaan Heurekan kävijän kokemusta, ja sen perusteella määritettiin kohteen käyttäjävaatimukset, jotka ohjasivat konseptien ideointia ja valintaa. Vaatimukset on esitetty Vaatimusmäärittelydokumentissa ja käytettävyystestien suunnitelma Käytettävyystestisuunnitelmassa. Tässä dokumentissa nämä projektin aikaisemmat vaiheet esitellään lyhyesti. Pääasiassa tässä Testiraportissa esitellään valittu konsepti ja sen navigointikartta, käytettävyystestien tavoitteet ja tulokset sekä ryhmän oma arviointi testien onnistumisesta.

Heureka-projekti Testiraportti ja korjaussuunnitelma 4/29 2. Projektin aikaisempien vaiheiden esittely 2.1. Projektin aikana suoritettu käyttäjätutkimus Projektissa suoritetun käyttäjätutkimuksen fokus oli Heurekan kävijän kokemus, ja erityisesti tutkimuksen avulla haluttiin tietää, mikä Heurekan kävijää kiinnostaa, mistä ahaa-elämys koostuu ja miten elämys saadaan aikaiseksi. Käyttäjätutkimuksen kohderyhmänä oli 7-12-vuotiaat suomalaiset nuoret. Tutkimukseen osallistui yhteensä 14 nuorta. Käyttäjätutkimuksessa suoritettiin aiheeseen tutustuminen (vierailu Heurekassa), kaksi erillistä havainnointia yhteensä neljästä käyttäjästä, parihaastattelu sekä ainekirjoitusanalyysi. Näiden tulokset tulkittiin klusterimenetelmällä, ja lopullisista tulkinnoista johdettiin tehtäväanalyysi, käyttäjän termistö, käyttöympäristö ja kohteen käyttäjävaatimukset. Käyttäjätutkimuksen tärkeimmät tulokset on esitetty liitteessä 1, ja käyttäjätutkimuksen tulosten pohjalta määritetyt käyttäjävaatimukset on esitetty liitteessä 2. 2.2. Konseptien ideointi, kehittely ja valinta Käyttäjätutkimuksen jälkeen suoritettiin konseptien ideointi, kehittely ja valinta. Heurekan päänäyttelyn kohteeksi sopivia konsepteja mietittiin ensin ryhmän kanssa Brainstorming-menetelmällä, jonka tuloksena saatiin noin tusina erilaisia ideoita. Tämän jälkeen jokainen ryhmän jäsen keksi tahoillaan 5-10 uutta ideaa, ja osaa niistä kehitettiin ryhmän kanssa hieman pidemmälle. Seuraavassa vaiheessa karsittiin pois täysin toivottomat tapaukset, ja jäljelle jääneiden ehdotusten esikarsintaan sovellettiin Edward de Bonon kuusi ajatteluhattua menetelmää. Sen ideana oli jalostaa ideoita edelleen sekä helpottaa niiden vertailua lopullista karsintaa varten. Lopulta varteenotettavia ideoita oli jäljellä 11, jotka kuvitettiin keskustelua varten. 2.3. Valitun konseptin esittely Ryhmän valitsema konsepti on nimeltään Superpallokone. Konseptin idea on yksinkertaistettuna se, että käyttäjä voi tehdä itselleen oman superpallon. Käyttäjä voi valita pallon värin ja koon, sekä muotoilla pallon itse omin käsin. Kohde esittelee yksinkertaisella tavalla kemiallisen ilmiön nimeltä polymerisoituminen; pallo valmistetaan kahdesta nestemäisestä aineesta sekoittamalla ne yhteen ja muokkaamalla siitä kiinteä ja kimmoisa polymeeripallo. Pallo voidaan värjätä karkkivärein. Kohdetta ohjataan kosketusnäytön ja muutaman fyysisen ohjaimen avulla. Kohteen alustavia skissejä on esitetty kuvassa 1.

Heureka-projekti Testiraportti ja korjaussuunnitelma 5/29 Kuva 1. Alustavia skissejä Superpallokoneesta Superpallon valmistuksesta kerättiin tietoa internetistä, ja Helsingin Yliopiston sivuilta löydetyn ohjeen avulla ryhmä kävi tekemässä ensimmäiset kokeilut superpallon valmistuksesta. Ensimmäinen koe ei kuitenkaan onnistunut, koska toista tarvittavista aineista ei löytynyt vaadittavassa faasimuodossa. Koe suoritettiin Teknillisen Korkeakoulun Kemian laitoksen laboratoriossa, jonka henkilökunnalta saatiin Helsingin Yliopiston sivuille ohjeen kirjoittaneen opettajan yhteystiedot lisätiedon hankkimista varten. Opettajalta saatiinkin pian varmistus menetelmän toimivuudesta, ja toisella laboratorio-vierailullla superpallon valmistus onnistuikin jo suhteellisen vaivattomasti. Superpallo-konseptin valintaan vaikutti useat asiat, mutta erityisesti se kiinnosti idean omaperäisyyden ja innostavuuden vuoksi. Idea sopii hyvin myös tuote- ja

Heureka-projekti Testiraportti ja korjaussuunnitelma 6/29 käyttäjävaatimuksiin, sillä siinä yhdistyy sopivalla tavalla tieteellisen ilmiön yksinkertainen esittäminen, omin käsin tekeminen, pallon ominaisuuksien valitsemisen tarjoama henkilökohtaisuus sekä selkeästi hahmotettava ja yksinkertainen idea. Lisäksi kohde luo käyttäjälle tarpeen, kun käyttäjä huomaa, että muilla vierailijoilla on superpallo ja käyttäjä haluaa itsekin oman. Hyvää Superpallokoneessa on myös se, että kohteen toiminnalla on selkeä tavoite ja sen ulkonäkö voidaan saada helposti kohderyhmää kiinnostavaksi. Ryhmällä olisi ollut myös monia muita konsepteja, jotka olisivat sopineet tuote- ja käyttäjävaatimusten puolesta hyvin Heurekan kohteeksi, mutta lopullinen ratkaisu perustui osittain myös siihen, että Superpallokoneen käyttöliittymä sopii hyvin myös kurssin tarkoitukseen eli käytettävyystestien suorittamiseen. 2.4. Navigointikartta Superpallokoneen käyttöliittymästä tehtiin ensin navigointikartta-versio 1, joka on esitetty kuvassa 2. Sen avulla suoritettiin heuristinen arviointi (katso tulokset liitteestä 3), ja arvioinnin perusteella tehtiin vaihtoehtoinen navikartta eli navigointikartta-versio 2, joka on esitetty kuvassa 3. Navigointikarttoja käytettiin hyödyksi käytettävyystestien tehtävien suunnittelussa ja aluksi oli tarkoitus testata molempien versioiden käytettävyyttä, mutta lopullisissa käytettävyystesteissä päädyttiin testaamaan vain versiota 1 testaussuunnitelmasta saadun palautteen perusteella. Navigointikartassa jokaisella tilalla on numero ja otsikko. Esimerkiksi versiossa 1 tila, jossa pallolle valitaan väri, on otsikoitu nimellä 2. Valitse väri. Tiloissa on erilaisia toimintoja, joiden suorittaminen vie käyttäjän käyttöliittymän toisiin tiloihin. Toiminnon perässä suluissa oleva numero tarkoittaa sitä tilaa, johon toiminto vie. Esimerkiksi tilassa 3. Valitse koko toiminto Muuta väri vie tilaan 2. Valitse väri. Tila 5. on jaettu kolmeen esi osatilaan, joiden nimet ovat 5a/b/c Prosessi käynnissä I/II/III. Tällä on kuvattu siirtymien olevan automaattisia ja ajasta riippuvia. Esimerkiksi kohdasta 5a. Prosessi käynnissä I käyttöliittymä siirtyy kohtaan 5b. Prosessi käynnissä II automaattisesti sekoitusprosessin loputtua. Kohteen käyttö aloitetaan aina tilasta 1. Aloita. Kohteen käyttö voidaan keskeyttää missä vaiheessa tahansa ennen prosessin käynnistymistä. Keskeyttäminen varmistetaan tilassa 6. Keskeytä. Käyttöliittymä palaa aloitustilaan automaattisesti mistä tilasta tahansa, mikäli käyttäjän edellisestä toiminnasta on kulunut viisi minuuttia. Tämä siksi, että seuraava käyttäjä voisi aloittaa kohteen käytön alusta, eli tilasta 1. Aloita.

Heureka-projekti Testiraportti ja korjaussuunnitelma 7/29 Kuva 2. Superpallokoneen navigointikartta-versio 1, jonka mukaista käyttöliittymää testattiin käytettävyystesteissä. Kuva 3. Superpallokoneen navigointikartta-versio 2, joka jätettiin käytettävyystestien ulkopuolelle.

Heureka-projekti Testiraportti ja korjaussuunnitelma 8/29 3. Käytettävyystestien lähtökohdat 3.1. Asiantuntija-arvioinnit Ennen käytettävyystestien suunnittelua suoritettiin kaksi asiantuntijamenetelmää, heuristinen arviointi ja kognitiivinen läpikäynti. Menetelmillä pyrittiin löytämään kohteen suurimmat käytettävyysongelmat jo ennen käytettävyystestien aloittamista sekä helpottamaan kohteen käytettävyyskriteerien määrittämistä. 3.2. Käytettävyystestin tavoitteet Testin tarkoituksena oli selvittää kuinka itsenäisesti testikäyttäjät osaavat käyttää kohdetta, saada selville ne ongelmat, jotka superapallokoneen käytössä voi ilmetä, sekä selvittää kuinka hyvin käyttäjä onnistuu annetuissa tavoitteissa. Tätä tutkittiin mittaamalla eri käytettävyyskriteerien (ks. Liite 4) täyttymistä valitussa konseptissa. Koska konseptien validointia ei ehditty resurssipulan vuoksi heti konseptointivaiheen jälkeen järjestää, päätettiin käytettävyystestin jälkeen suorittaa myös focus group istunto, jonka tavoitteena oli saada palautetta testikäyttäjiltä eri konsepteista ja niiden kiinnostavuudesta. 3.3. Käytettävyyskriteerit Tärkeimmät käytettävyystesteissä tutkittavat käytettävyyskriteerit valittiin ryhmän suorittamien asiantuntija-arvioiden sekä kohteen ja käyttäjäryhmän ominaisuuksien ja käyttäjävaatimusten perusteella. Kriteerien täyttymistä arvioidaan pääasiassa käytettävyystesteillä, mutta myös jo suoritettujen käytettävyyden arviointimenetelmien tulosten avulla. Kriteerien täyttymisen arvioinnissa käytettävät perusteet on esitetty taulukossa 1. Superpallokoneen tärkeimmät käytettävyyskriteerit ovat (kriteerien perässä olevat merkinnät viittaavat liitteessä 2 esitettyihin käyttäjävaatimuksiin): 1. Opittavuus Koska suurin osa käyttäjistä käyttää kohdetta ensimmäistä kertaa, on kohteen yksi tärkeimmistä ominaisuuksista opittavuus. Kohde on oltava opittavissa heti ensimmäisellä kerralla, sillä hankaluudet tavoitteen saavuttamisessa voivat johtaa käytön keskeytykseen. (V2, V4, V15) 2. Virheettömyys Käyttövirheet eivät saa johtua käyttöliittymästä, ja mahdollisten väärien valintojen tekeminen on oltava helposti peruttavissa. Virheettömyys on oleellinen käytettävyyskriteeri, sillä käyttäjät turhautuvat helposti käyttöliittymään, jonka käyttämisessä tapahtuu paljon virheitä. Runsaat käyttövirheet voivat keskeyttää kohteen käyttämisen, vaikka kohde olisi kiinnostavakin. (V2, V4, V6, V19, V20, V25, V27) 3. Miellyttävyys Kohteen toimintojen on oltava mielekkäitä, ja käyttäjän toimintojen luonne on oltava tasapainossa niiden seurausten kanssa. Tekemisen on oltava kiinnostavaa, muuten käyttäjä voi turhautua ja keskeyttää kohteen käyttämisen. (V17, V18, V21, V22, V27) 4. Tehokkuus Vaikkei tehokkuus olekaan ensimmäinen asia, joka tulee Heurekan kohteen käytettävyyskriteereistä mieleen, on se kuitenkin kohtuullisen

Heureka-projekti Testiraportti ja korjaussuunnitelma 9/29 tärkeä asia käyttäjän kannalta. Kohteen käytön on oltava nopeaa ja tehokasta, jottei käyttäjä tuhlaa aikaansa kohteen perusidean kannalta turhiin toimintoihin. Tavoitteen saavuttamiseksi on oltava selkeää edistymistä. (V17, V21) 5. Vaativuus Kohteen käyttäminen ei saa olla haaste, vaan tavoitteet on oltava helposti saavutettavissa. Käyttäjät eivät halua kokea turhia vaikeuksia valintoja tehdessään, vaikka itse tehtävä olisikin olla haasteellinen. (V16, V21) 6. Joustavuus Kohteella voidaan suorittaa vain yksi tehtävä, joten joustavuus ei ole tärkeä käytettävyyskriteeri. Käyttöliittymän vaiheittaisesta luonteesta johtuen tehtävä etenee väistämättä tietyllä tavalla. Käyttäjätutkimuksen mukaan käyttäjillä on taipumusta koskea kohteen käyttöliittymän elementteihin mahdollisimman nopeasti ja sattumanvaraisessa järjestyksessä. Tämä voidaan kuitenkin hallita paremmin hyvällä virheettömyydellä kuin joustavuudella. (V2, V25, V26, V27) 7. Muistettavuus Heurekan kohteissa muistettavuus ei ole tärkeä käytettävyyskriteeri, sillä suuri osa käyttäjistä on ensikertalaisia. Lisäksi kohteiden tulisi olla niin helposti opittavissa, että muistettavuuden merkitys on hyvin vähäinen. Taulukko 1. Perusteet käytettävyyskriteerien täyttymiselle. Tavoitteena on, että keskimmäisen sarakkeen prosenttiosuus käyttäjistä suorittaa vaatimuksen oikein. Käytettävyyskriteeri Huono Hyvä Erinomainen Opittavuus Testihenkilö saa valmistettua 75% 90% 100% superpallon ensimmäisellä kerralla keskeyttämättä kohteen käyttöä. Testihenkilö osaa tehdä 50% 90% 100% superpallon itsenäisesti. Testihenkilö osaa vaihtaa pallon 50% 75% 100% väriä valinnan jo tehtyään. Testihenkilö osaa vaihtaa pallon 50% 90% 100% kokoa valinnan jo tehtyään. Virheettömyys Testihenkilö saa valmistettua 50% 75% 90% superpallon tekemättä yhtään väärää painallusta. Testihenkilö osaa perua 75% 90% 100% virheellisen toiminnon. Miellyttävyys Testihenkilön mielestä kohteen 50% 75% 90% käyttäminen on kivaa. Testihenkilön mielestä kohteen 50% 75% 90% käyttäminen on mielenkiintoista. Tehokkuus Testihenkilö ei joudu etsimään 50% 75% 100% käyttöliittymän elementtejä yli kolmea sekuntia. Vaativuus Testihenkilöiden mielestä kohteen käyttäminen on vaivatonta. 50% 75% 100%

Heureka-projekti Testiraportti ja korjaussuunnitelma 10/29 4. Käytettävyystestien suorittaminen 4.1. Käytettävyystestit ja testikäyttäjät Testit suoritettiin kahden päivän aikana. Ensimmäisenä testipäivänä suoritettiin pilottitestit yhden ryhmän jäsenen ja yhden käyttäjäryhmään kuuluneen testikäyttäjän kanssa, sekä myöhemmin päivällä tehtiin vielä yksi varsinainen käytettävyystesti. Pilottitestiä ei ehditty kiireisen aikataulun vuoksi pitämään muutamaa päivää varsinaisia testejä aikaisemmin. Toisena päivänä testi suoritettiin kolmen käyttäjäryhmään kuuluneen testikäyttäjän kanssa. Molempina päivinä käytettävyystestien jälkeen pidettiin focus group istunto käyttäjien kanssa. Testit suoritettiin paperi- ja pahviproton avulla. Paperiproto näytteli testissä kohteen kosketusnäyttöä, ja pahviproto toimi fyysisenä mallina. Tehtävät suoritettiin pääasiassa paperiproton välityksellä, mutta tehtävien lopussa toiminta siirtyi pahviprotolle, jonka kahvaa käyttäjä vetäisi valmistuksen aloituksen merkiksi ja mallin etupaneelin rei istä käyttäjä muokkasi superpallon valmiiksi. Pahviproto on esitetty kuvassa 4. Paperiproto on liitteessä 5. Vipu Ksille reit Luukku Kuva 4. Pahviproto Testikäyttäjinä oli viisi käyttäjäryhmään kuulunutta nuorta, joista kolme oli mukana jo projektin käyttäjätutkimuksessa. Yleensä käytettävyystutkimukseen valitaan uudet käyttäjät, mutta nyt osa testikäyttäjistä oli samoja kuin käyttäjätutkimusessa, koska uusia käyttäjiä ei ehditty rekrytoida kiireisen aikataulun vuoksi. Käyttäjistä kaksi oli kuitenkin uusia, joten tuloksia voidaan pitää ainakin kohtuullisen luotettavina. Testikäyttäjät olivat: TK1 eli Calle oli 11-vuotias poika, joka toimi pilottitestikäyttäjänä. Calle käy Ratakadun ala-asteen 5. luokkaa. Hän harrastaa vapaa-ajallaan teatteria. Calle vieraili Heurekassa viimeksi viime kesänä. TK2 eli Aleksandra, 11-vuotias, opiskelee 5. luokalla Ratakadun alaasteella. Hän harrastaa muodostelmaluistelua. Aleksandra vieraili viimeksi Heurekassa helmikuun lopussa.

Heureka-projekti Testiraportti ja korjaussuunnitelma 11/29 TK3 eli Elias, 9-vuotias, on 3. luokalla Toppelundin koulussa. Hänen harrastuksiin kuuluvat jalkapallo, tennis ja sähly. Elias kävi viimeksi Heurekassa helmikuussa. TK4 eli Henri, 9-vuotias, käy Toppelundin koulun 3. luokkaa. Hän harrastaa vapaa-ajallaan jääkiekkoa, golfia, pianonsoittoa, sählyä ja jalkapalloa. Henri kävi viimeksi Heurekassa viime vuoden puolella. TK5 eli Onni, on 7-vuotias poika, joka on Toppelundin koulun 1. luokalla. Hän harrastaa jalkapalloa. Onni vieraili viimeksi Heurekassa helmikuussa. 4.2. Pilottitesti ja siitä aiheutuneet muutokset Pilottitesti suoritettiin kaksivaiheisena siten, että ensin pilotti suoritettiin yhdelle ryhmämme jäsenistä, ja vasta sen jälkeen varsinaiselle pilottikäyttäjälle. Ensimmäisen vaiheen tarkoituksena oli saada suurimmat testijärjestelyihin liittyvät ongelmat ja sähläykset karsittua ennen varsinaista pilottitestiä. Tällöin varsinaisen pilottikäyttäjän testituloksia voitaisiin hyödyntää tutkimuksessa, mikäli testit pysyisivät pääosin ennallaan. Varsinainen pilottitestikäyttäjä kuului kohteen käyttäjäryhmään. Ryhmämme jäsenelle suoritetun pilottitestin jälkeen muutettiin vain kameran paikkaa ja testivälineistön järjestelyjä. Toisen pilottitestin jälkeen testivälineisiin tehtiin vain yksi muutos; alkuperäinen superpalloa jäljittelevä kumipallo korvattiin tehtäviin paremmin sopivalla muovailuvahalla. Muutoksesta ei ollut varsinaisten tulosten kannalta juurikaan hyötyä, mutta testitehtävät muuttuivat mielenkiintoisemman lopputuloksen ansiosta mielekkäämmiksi käyttäjille. Muita muutoksia testivälineisiin ei tehty, joten myös jälkimmäisen pilottitestikäyttäjän tuloksia voidaan hyödyntää testiraportissa. Pilottitestien jälkeisten muutosten vähyys johtui varmasti siitä, että testejä muutettiin jo ennen pilottitestejä tutkimussuunnitelmasta saadun palautteen perusteella. Alkuperäisen suunnitelman mukaan tarkoituksena oli testata kahden erilaisen navigointi-kartan toimivuutta ja eroja, mutta lopulta päädyttiin testaamaan vain yhden version toimivuutta. Suuria muutoksia tehtiin myös testitehtäviin, ja alkuperäiset tehtävät korvattiin uusilla tehtävillä siten, että käyttäjä voisi eläytyä paremmin käyttötilanteeseen. Uusissa tehtävissä toinen testin suorittajista näytteli käyttäjän kaveria, ja esimerkiksi pyysi tekemään itselleen tietyn värisen ja kokoisen superpallon ja keskeyttämään koneen käytön tietyssä kohdassa, koska opettaja huutaa, että bussi lähtee. Muutetut tehtävät toimivat testitilanteessa erinomaisesti, joten muutokset olivat todennäköisesti onnistuneita ja järkeviä. Vaikka testit etenivät hyvin ennalta sovitun järjestksen mukaisesti, elivät testit hieman niiden edetessä. Testien suorittaminen alkoi sujumaan luonnollisemmin, paperiproton käyttö nopeutui ja käyttäjien ohjeistaminen parani suorittajien mielestä jokaisen käyttäjän jälkeen. Esimerkiksi jo ensimmäisten käyttäjien jälkeen huomattiin, että käyttäjille pitää painottaa, ettei testissä testata heidän osaamistaan vaan konseptin toimivuutta, jotta käyttäjät uskaltaisivat käyttää laitetta vapaammin ja liikaa pohtimatta. Lisäksi malttamattomia lapsia täytyi ohjeistaa selkeästi odottamaan rauhassa nappulan painamisen jälkeen, jotta suorittaja ehtisi vaihtaa käyttöliittymän seuraavan tilan edellisen tilalle.

Heureka-projekti Testiraportti ja korjaussuunnitelma 12/29 4.3. Testitilan käytännön valmistelu ja testien tallennus Kirjaston ryhmähuoneet toimivat testipaikkana hyvin, sillä niissä oli rauhallista ja mahdollisimman vähän ylimääräisiä virikkeitä häiritsemässä testitilannetta. Testit tallennettiin videokameralla, koska vain toinen testin suorittajista teki muistiinpanoja testin aikana. Videokamera oli asetettu siten, että siitä näki miten käyttäjä käyttää kosketusnäyttöä jäljittelevää paperiprotoa. Tällä kertaa tallennus tapahtui ongelmitta, sillä yksi suorittajista oli selvästi määrätty videokameran hoitajaksi eikä videokamera unohtunut testien aikana. Testien jälkeen videomateriaali editoitiin siten, että tyhjät väliosat jätettiin pois, ja jäljelle jäi vain varsinaiset testitehtävät ja testien jälkeen suoritetun focus group istunnon parhaimmat palat. Testijärjestely, prototyypin, suorittajien ja videokameran sijainnit on esitetty kuvissa 4, 5, 6 ja 7. Kuva 4. Testipöytä, paperiproto, pahviproto sekä yksi suorittajista. Kuva 5. Paperiproto, pahviproto ja videokameran sijainti. Kuva 6. Videokamera sijoitettiin pilottitestin jälkeen huomaamattomampaan ja kuvakulman kannalta parempaan paikkaan.

Heureka-projekti Testiraportti ja korjaussuunnitelma 13/29 Kuva 7. Testihuoneen pohjapiirrustus 4.4. Testikäyttäjän saapuminen ja opastus. Lapset saapuivat TKK:n kirjastolle omatoimisesti, ja yksi ryhmän jäsen otti heidät vastaan joko bussipysäkillä tai kirjaston aulassa. Lapset ohjattiin ryhmätyötilojen vieressä olevien pöytien luokse odottamaan testien alkamista, ja yksi ryhmän jäsen jäi pitämään lapsille seuraa. Kaksi muuta ryhmän jäsentä valmistelivat testihuoneen, kutsuivat käyttäjät sisään ja suorittivat testin yhdelle lapselle kerrallaan muiden odottaessa odotustilassa. Testihuoneessa käyttäjää pyydettiin istumaan testivälineistön eteen. Toinen suorittaja selosti ensin missä testissä on kyse, ja esittelli sen jälkeen valitun konseptin eli Superpallokoneen kuvien ja nopeasti pahvilaatikosta valmistetun proton avulla. Tämän jälkeen käyttäjältä kysyttiin muutamia henkilökohtaisia tietoja, jotka kirjattiin käyttäjäprofiililomakkeeseen (ks. Liite 6), ja testit olivat valmiita alkamaan. Itse testi aloitettiin kertomalla käyttäjälle taustakertomus (ks. Liiten 7), joka auttoi käyttäjää kuvittelemaan itsensä oikeaan käyttöympäristöön. Kun käyttäjä oli mielestään valmis, aloitettiin ensimmäinen tehtävä (tehtävät esitellään myöhemmin kohdassa (Testitehtävien suoritus ja niiden onnistuminen). Testi sujuivat erinomaisesti. Lapset ymmärsivät odotettua helpommin testin tarkoituksen, testivälineet ja niiden käyttämisen sekä suhtautuivat

Heureka-projekti Testiraportti ja korjaussuunnitelma 14/29 testitilanteeseen luonnollisesti. Lapset osasivat kuvitella itsensä hyvin Heurekaan taustaskenaarion avulla, ja tuntuivat viihtyvän testitilanteessa suorittajien ja videokameran tarkkailusta huolimatta. Testeistä saatiin hyviä ja selkeitä havaintoja, joista lisää myöhemmin kohdassa Käytettävyystestien tulokset. 4.5. Haastattelu ja muu testin jälkeinen toiminta Testitehtävien suorittamisen jälkeen käyttäjältä kysyttiin muutamia esivalmisteltuja kysymyksiä. Kysymykset ja niiden vastaukset kirjattiin samaan käyttäjäprofiililomakkeeseen (ks. Liite 6) kuin millä testi aloitettiin, jolloin vastaukset saadaan myöhemmin tarvittaessa jäljitettyä oikeaan käyttäjään. Kun kaikki testikäyttäjät olivat suorittaneeet testitehtävät ja henkilökohtaiset haastattelut oli suoritettu, järjestettiin focus group istunto. Sen tarkoituksena oli keskustella yhteisesti ensin Superpallokoneesta, ja saada kommentteja myös muista ryhmän ideoimista konsepteista. Istunto aloitettiin tarjoamalla lapsille keksejä, limua, karkkia ja yhden ryhmämme jäsenistä leipomaa herkullista piirakkaa. Focus group istunnossa esiteltiin ensin käyttäjille kaikki konseptit yksi kerrallaan kuvamateriaalin avulla, ja käyttäjien kommentit kirjattiin ylös. Tämän jälkeen kaikki konseptit levitettiin samanaikaisesti pöydälle siten, että niitä voitiin vertailla toisiinsa. Käyttäjiltä kysyttiin esimerkiksi mitkä kohteista kiinnostavat eniten ja miten kohteita voisi kehittää tai parantaa. Istunnossa saatiin hyviä kommentteja eri konsepteista, ja huomattiin myös se ettei suunnittelijan mielestä paras ja mielenkiintoisin idea olekaan välttämättä kohderyhmästä niin innostava. Lopuksi istunnossa lapsia pyydettiin piirtämään ajatuksiaan Heurekasta ja esitetyistä konsepteista.

Heureka-projekti Testiraportti ja korjaussuunnitelma 15/29 5. Käytettävyystestien tulokset 5.1. Testitehtävien suoritus ja niiden onnistuminen. Käyttäjät suorittivat kolme tehtävää. Koska kohteen käyttöliittymä on erittäin yksinkertainen ja kohteella ei voi tehdä muuta kuin superpalloja, oli tehtäviä suhteellisen vähän ja ne olivat myös jokseenkin samanlaisia. Tehtävissä pyrittiin keskittymään heuristisessa arvioinnissa ja kognitiivisessa läpikäynnissä havaittujen ongelmakohtien tutkimiseen, ja siinä onnistuttiinkin erinomaisesti. Ensimmäisessä tehtävässä tutkittiin kohteen opittavuutta antamalla käyttäjälle tehtäväksi valmistaa superpallo, ja katsoa kuinka käyttäjä oppii kohteen käytön ilman opastusta. Toisessa tehtävässä tutkittiin, osaako käyttäjä korjata valintojaan, ja käyttäjää pyydettiin tekemään pallo kaverilleen jota suorittaja näytteli. Kesken käytön kaveri halusikin vaihtaa pallon väriä. Kolmannessa tehtävässä tutkittiin, osaako käyttäjä keskeyttää kohteen käytön oikein, joten kaveri kertoi käyttäjälle, että nyt pitää lähteä. Alla on esitetty testitehtävät, joiden suoritusvaiheet on eritelty tarkemmin vain testin suorittajia varten. 1. Tee superpallo Tehtävän suunniteltu suoritustapa on: - aloita pallon tekeminen - valitse pallon väri - hyväksy pallon väri - valitse pallon koko - hyväksy pallon koko - aloita sekoitusprosessi - muotoile pallo - pudota pallo luukkuun - LOPETUS: ota pallo luukusta 2. Tee toinen superpallo kaverillesi (suorittaja näyttelee kaveria) Tehtävän suunniteltu suoritustapa on: - aloita pallon tekeminen - valitse pallon väri - hyväksy väri - valitse pallon koko - hyväksy koko - kaveri pyytää vaihtamaan pallon väriä (SUORITTAJA) - vaihda pallon väri - hyväksy pallon väri - aloita sekoitusprosessi - muotoile pallo - pudota pallo luukkuun - LOPETUS: ota pallo luukusta 3. Tee kolmas superpallo (suorittaja ilmoittaa kesken, että nyt pitää mennä) Tehtävän suunniteltu suoritustapa on: - aloita pallon tekeminen - valitse pallon väri - hyväksy pallon väri - valitse pallon koko - suorittaja ilmoittaa, että muu ryhmä lähtee kotiin - keskeytys

Heureka-projekti Testiraportti ja korjaussuunnitelma 16/29 - LOPETUS: hyväksy keskeytys 5.2. Testeissä havaitut käyttäjien virheet Testeissä huomattiin useita toistuvia käyttäjän tekemiä virheitä (ks. Liite 8), sekä muutama yksittäinen virhe, joita pidettiin lisätulkintojen arvoisina. Seuraavassa on esitetty tärkeimmät käyttäjän virheet, jotka on nimetty tunnuksella KV(nro). Näin viittaaminen niihin on tässä dokumentissa ja projektissa jatkossa helpompaa. Virheistä on esitetty lyhyesti niiden tyyppi, kuinka usein ne toistuivat, mitä virhe piti sisällään, mistä se saattoi johtua, mitä vaikutuksia virheestä on käyttäjän toiminnalle, sekä arvioi siitä kuinka vakava virhe on. KV1: Käyttäjä ei osannut hyväksyä värivalintaa ok-painikkeella Kyseessä on toimintamalli-virhe, joka toistui lähes jokaisen käyttäjän kohdalla. Käyttäjät eivät huomanneet, että valinnat täytyy hyväksyä erikseen ok-painikkeella. Virhe johtaa käytön hidastumiseen, mutta useimmat käyttäjät selvisivät pienellä ihmettelyllä ja osasivat itse jatkaa kohteen käyttöä. Virhe on vakava, sillä turhat hidasteet ja ongelmat voivat aiheuttaa kohteen käytön keskeytyksen. KV2: Käyttäjä ei ymmärtänyt, että toiminta siirtyi fyysisen proton käyttöliittymään Kyseessä on havainto- ja ohjeistusvirhe, joka toistui puolella käyttäjistä. Käyttäjät eivät osanneet käynnistää superpallon valmistusta fyysisen proton kyljessä olleesta vivusta. Virheen suurin aiheuttaja on huono ohjeistus ja alkeelliset prototyypit. Virhe voi johtaa käytön keskeyttämiseen, joten sitä voidaan pitää vakavana. KV3: Käyttäjä ei osannut muotoilla palloa koneen sisällä, vaan otti pallon pois liian aikaisin Kyseessä on toimintamalli-virhe, joka toistui lähes kaikilla käyttäjillä. Käyttäjät eivät osanneet toimia oikein, kun pallo piti muotoilla fyysisen proton sisällä. Virheen suurin aiheuttaja oli huono fyysinen prototyyppi ja selkeän kuvallisen ohjeistuksen puuttuminen. Todellisessa käytössä kohteen muotoilulla voidaan varmistaa oikea käyttö. Virhe on kohtuullisen vakava, sillä se voi estää tavoitteen saavuttamisen juuri viime hetkillä. KV4: Käyttäjä painoi keskeytä-painiketta muuta väriä painikkeen sijaan Kyseessä on huolimattomuus- ja hätiköintivirhe, joka sattui vain yhdelle käyttäjälle. Käyttäjä hätiköi, ja kun hänen oli tarkoitus muuttaa pallon väriä, hän painoi vahingossa keskeytä painiketta. Käyttäjä myös huomasi virheensä nopeasti, ja osasi perua virheensä. Virhe ei ole kovin vakava, koska virheestä toipuminen on helppoa, ja vastaavat huolimattomuusvirheet eivät ole vältettävissä minkäänlaisella käyttöliittymällä. KV5: Käyttäjä perui keskeytyksen, vaikka tarkoitus oli hyväksyä keskeytys Kyseessä on toimintamalli-virhe, jonka teki vain yksi käyttäjä. Käyttäjän oli tarkoitus keskeyttää superpallon valmistus, mutta kun kohde kysyi haluaako käyttäjä varmasti keskeyttää, painoi käyttäjä vahingossa jatka superpallon valmistusta painiketta. Käyttäjä huomasi virheensä nopeasti, ja osasi sen jälkeen keskeytyksen oikein. Virhe ei johda vakaviin

Heureka-projekti Testiraportti ja korjaussuunnitelma 17/29 seurauksiin, koska se on helposti peruttavissa, eikä se voi estää kohteen pääasiallisen tavoitteen saavuttamista. Virhe ei ole kovin vakava. KV6: Käyttäjä oletti, ettei kohde pyydä valitsemaan pallon kokoa uudelleen, jos pallon värin vaihtaa Kyseessä on toimintamalli-virhe, jonka teki ainakin yksi käyttäjä. Käyttäjä muutti ensin väriä, ja ennen uuden värin hyväksymistä kysyi muutetaanko kokoakin. Kun käyttöliittymän seuraava tila oli Valitse koko vaikkei kokoa ollut tarkoitus muuttaa, ihmetteli käyttäjä tätä hieman. Käyttäjä jatkoi tämän jälkeen toimintaa normaalisti. Virhe voi aiheuttaa sen, että pallosta ei tulekaan sellainen kuin käyttäjä alunperin olisi halunnut. Virhe ei kuitenkaan ole kovin vakava, sillä se on helposti korjattavissa. 5.3. Käytettävyysongelmat Käytettävyystesteissä havaittiin neljä käytettävyysongelmaa, joista kaksi on vakavaa ja ehdottomasti korjattava seuraavaan prototyyppiin, ja lisäksi kaksi vähemmän vakavaa ongelmaa, jotka eivät välttämättä vaadi jatkotoimenpiteitä. Käytettävyysongelmia ilmeni kohtuullisen vähän, mutta tämä johtuu siitä, että kohteen käyttöliittymä ja kohteella suoritettava tehtävä ovat erittäin yksinkertaisia. Lisäksi kohteelle suoritetut asiantuntija-arvioinnit poistivat osan käytettävyysongelmista jo ennen käytettävyystestien aloittamista. Havaituille käyttöliittymäongelmille pyritään löytämään muutamia vaihtoehtoisia ratkaisuja, joiden vaikutuksia käyttäjän toimintaan pohditaan myöhemmin tässä dokumentissa. Lopulta ratkaisuista valitaan toteuttamiskelpoisimmat ja aikaisempi paperiproto korjataan vastaamaan muutosehdotuksia. Tässä dokumentissa ja projektissa käytettävyysongelmiin viitataan niille annettujen tunnuksien mukaan, jotka ovat muotoa KO(nro). KO1: Valintojen hyväksyminen Tyyppi: Toiminnallinen. Ongelma havaittiin virheenä KV1. Ongelma juontaa juurensa todennäköisesti siitä, että suunnittelijan malli, jossa valinnat hyväksytään erikseen ok-painikkeella, ei kohtaa käyttäjän mallia, jossa valinta hyväksytään samalla kun se tehdään. Virheen tapahtumista saattoi myös avittaa se, että paperiprotossa palaute tulee vasta sekuntien kuluttua ja lisäksi koko paperi vaihtuu eikä käyttäjä huomaa suhteellisen huomaamattoman valintaruudun ilmestymistä kovin helposti. Suunnittelijan malli on kuitenkin helposti muistettavissa, sillä kun käyttäjä oli kerran suorittanut valinnan hyväksymisen ok-painikkeella, osasi käyttäjä jatkossa toimia oikein (joskin muutamat käyttäjät kokivat pieniä vaikeuksia myös jatkossa). Ongelma johtaa käytön hidastumiseen ja käyttäjän turhautumiseen, koska kohde ei toimi oletulla tavalla. Seurauksena voi olla kohteen käytön keskeytys, joten ongelma on vakava ja se on korjattava seuraavassa prototyypissä. (KV1) KO2: Usean fyysisen käyttöliittymän (kosketusnäyttö, vipu ja pallon muovaus) ohjaaminen vuorotellen tavoitteen saavuttamiseksi Tyyppi: Elementtien sijoittelu. Ongelma havaittiin virheinä KV2 ja KV3, kun toiminta siirtyi kosketusnäytöstä fyysiseen malliin. Ongelma saattoi

Heureka-projekti Testiraportti ja korjaussuunnitelma 18/29 johtua siitä, että käyttöliittymän ohjeessa ollut kuva vivusta ja todellinen vipu eivät vastanneet toisiaan. Ohjeistus oli liian yksinkertainen, ja lyhyt animaatio vivun käytöstä olisi mahdollisesti helpottanut asiaa. Pahviproto oli myös liian alkeellinen, eikä kosketusnäyttö liittynyt fyysisesti pahvista tehtyyn malliin. Ongelma johti tilanteeseen, jossa käyttäjä etsi kosketusnäytöstä oikeaa painiketta, eikä ymmärtänyt että miksei mitään tapahdu. Tämä voi johtaa kohteen käytön keskeytykseen, joten ongelma on vakava, ja on korjattava seuraavassa prototyypissä. KO3: Keskeytyksen hyväksyminen Tyyppi: Toimintamalli. Ongelma havaittiin virheenä KV5. Ongelma johtui todennäköisesti siitä, että suunnittelijan malli keskeytyksen hyväksymisestä tai perumisesta ei vastaa käyttäjän mallia. Suunnittelijan mallissa keskeytys varmistetaan kysymällä Haluatko varmasti keskeyttää?, ja siihen vastataan punaisella keskeytä-painikkeella, tai vihreällä jatka superpallon valmistusta painikkeella. Käyttäjä varmaankin oletti, että vihreällä painikkeella vastataan myöntävästi kysymykseen Haluatko varmasti keskeyttää?, joten hän palasi vahingossa takaisin superpallon valmistukseen. Ongelma ei ole vakava, sillä se ei häiritse Superpallokoneen varsinaista tavoitetta. Seuraavaan prototyyppiin voidaan miettiä vaihtoehtoisia ratkaisuja. KO4: Sekvenssimäinen eteneminen pakottaa käymään kaikki vaiheet läpi Tyyppi: Toimintamalli. Ongelma havaittiin virheenä KV6. Ongelma johtuu siitä, että käyttäjän tavoite muuta väriä sisältää värin uudelleen valinnan lisäksi toiminnan muuta kokoa. Tämä voi johtaa käyttäjän hämmennykseen, muttei kuitenkaan kohteen keskeytykseen. Ongelma johtuu osaksi paperiprotosta, joka oli väistämättä suunniteltava varsinaista interaktiivista protoa yksinkertaisemmaksi, joten paperiprotossa käyttäjä voinut muuttaa pelkkää väriä. Ongelma ei ole vakava, mutta kiusallinen, joten se on korjattava interaktiivisessa prototyypissä. 5.4. Käytettävyyskriteerien toteutuminen Taulukossa 2 on esitetty käytettävyyskriteerien toteutuminen. Keskimmäisessä sarakkeessa on tavoitteena ollut prosenttiarvo, ja oikeanpuoleisessa sarakkeessa on saavutetut tulokset ja kriteerin täyttäneet käyttäjät. Värivalinnat kuvaavat kriteerin täyttymistä; vihreä väri tarkoittaa, että kriteeri täyttyi, keltainen väri ilmoittaa, että täyttyminen jäi hieman tavoitteesta, ja punainen kertoo vakavasta ongelmasta. Kriteerien alapuolella kohdassa Huomautuksia on pohdittu lyhyesti miksi kriteeri toteutui tai jäi toteutumatta, ja mitä seurauksia siitä voi olla. Yleisesti käytettävyyskriteerien toteutumiseen voidaan olla tyytyväisiä, sillä useimmat niistä toteutuivat, ja ongelmat johtuvat pääasiassa vain muutamasta osa-alueesta. Suuria muutoksia ei tarvitse tehdä, ja seuraavassa prototyypissä voidaan keskittyä vain ongelma-alueisiin. Kohteen virheettömyys, muistettavuus, miellyttävyys ja vaativuus ovat erinomaisia. Kohteen opittavuutta voidaan pitää

Heureka-projekti Testiraportti ja korjaussuunnitelma 19/29 hyvänä, ja vain tehokkuudessa on selvästi parantamisen varaa. Uuden proton kehittämisessä onkin keskityttävä opittavuuden ja tehokkuuden parantamiseen. Taulukko 2. Käytettävyyskriteerien toteutuminen Käytettävyyskriteeri Tavoite Toteutuminen 1. Testihenkilö saa valmistettua superpallon ensimmäisellä kerralla keskeyttämättä käyttöä. Hyvä: 90% 5/5=100% (TK1,TK2,TK3,TK4,TK5) Huomatuksia Kaikki testihenkilöt saivat valmistettua superpallon ilman keskeytystä, mutta yhtä käyttäjää opastettiin hyväksymään tekemänsä värinvalinta. Virhe saattoi johtua paperiproton hitaasta palautteesta. Käyttäjä ei keskeyttänyt käyttöä, mutta kaipasi opastusta. 2. Testihenkilö osaa tehdä superpallon itsenäisesti. Hyvä: 90% 4/5=80% (TK1,TK3,TK4,TK5) Huomatuksia Kriteerissä 2 jäätiin alle tavoitteen, mutta todellisuudessa vain yksi testikäyttäjä ei osannut tehdä superpalloa itsenäisesti, vaan tarvitsi opastusta värin valinnan hyväksymisessä. Tavoitetta voidaan kuitenkin pitää saavutettuna, sillä 90 prosentin tavoitteeseen ei olisi edes voitu päästä viidellä käyttäjällä. Tavoiteprosentti oli asetettu huonosti suunniteltaessa testejä. 3. Testihenkilö osaa vaihtaa pallon väriä valinnan jo tehtyään. Hyvä: 75% 5/5=100% (TK1,TK2,TK3,TK4,TK5) Huomautuksia Kaikki testikäyttäjät osasivat vaihtaa pallon väriä jopa odotettua helpommin. Värin vaihtaminen sujui täysin ongelmitta, ja käyttäjät löysivät muuta väriä painikkeen saman tien. 4. Testihenkilö osaa vaihtaa pallon kokoa valinnan jo tehtyään. 5. Testihenkilö saa valmistettua superpallon tekemättä yhtään väärää painallusta. Hyvä: 90% Hyvä: 75% 5/5=100% (TK1,TK2,TK3,TK4,TK5) 3/5=60% (TK3,TK4,TK5) Huomautuksia Tässä kriteerissä jäätiin hieman alle tavoitteen. Virhepainallukset eivät johtaneet vakaviin seurauksiin, ja käyttäjät osasivat perua nopeasti ja helposti tekemänsä näppäilyvirheen, joten tulokseen voidaan silti olla tyytyväisiä. 6. Testihenkilö osaa perua virheellisen toiminnon. Hyvä: 75% 7. Testihenkilön mielestä kohteen käyttäminen on Hyvä: kivaa. 75% 8. Testihenkilön mielestä kohteen käyttäminen on Hyvä: mielenkiintoista. 75% 9. Testihenkilö ei joudu etsimään käyttöliittymän Hyvä: elementtejä yli kolmea sekuntia. 75% 5/5=100% (TK1,TK2,TK3,TK4,TK5) 5/5=100% (TK1,TK2,TK3,TK4,TK5) 5/5=100% (TK1,TK2,TK3,TK4,TK5) 0/5=0% Huomautuksia Tämän kriteerin huono tulos johtuu siitä, että kaikilla käyttäjillä oli vaikeuksia ymmärtää, että toiminta siirtyi kosketusnäytöstä fyysiseen protoon, kun palloa alettiin valmistaa. Vain kaksi käyttäjistä osasi vetää vivusta omatoimisesti pienen ihmettelyn jälkeen, muita täytyi opastaa. Käyttäjillä oli myös vaikeuksia huomata, että värin valinta täytyy hyväksyä erikseen, mikä osittain johtuu toimintamallivirheestä KV1, mutta myös siitä, että ok-painikkeella ei ollut selkeää yhteyttä värin valinta osioon. Ongelma vaatii muutoksia seuraavaan prototyyppiin. 10. Testihenkilöiden mielestä kohteen käyttäminen on vaivatonta. Hyvä: 75% 5/5=100% (TK1,TK2,TK3,TK4,TK5)

Heureka-projekti Testiraportti ja korjaussuunnitelma 20/29 5.5. Haastattelun tulokset Käytettävyystestin jälkeen suoritetun henkilökohtaisen haastattelun tulokset on esitetty seuraavassa. Kaikki testikäyttäjät kokivat kohteen käyttämisen kivana ja mielenkiintoisena, varsinkin nappien painaminen oli heidän mielestään mukavaa puuhaa. Neljän testikäyttäjän mielestä lopputulos oli mielenkiintoinen, mutta yksi käyttäjä ei kokenut lopputulosta mielenkiintoisena, koska pallo tuli laitteesta ulos jo ennen kuin siitä ilmoitettiin käyttäjälle. Kaikki viisi testikäyttäjää onnistui tekemään sellaisen pallon kuin he halusivatkin. Osa testikäyttäjistä sanoi, että kohteen käyttäminen oli tosi helppoa, eikä ongelmia ilmennyt. Muutama mainitsi, että ensimmäisen tehtävän suoritus oli hieman vaikeaa, mutta kohteen käytön oppi nopeasti ja seuraavien tehtävien suoritus sujui jo paljon vikkelämmin. Neljän testikäyttäjän mielestä kohteen käyttäminen oli selkeää. Yksi käyttäjistä sanoi, että käyttö oli selkeää kunhan oli ensiksi löytänyt kaikki toiminnot käyttöliittymästä. Kukaan testikäyttäjistä ei jäänyt kaipaamaan lisää erillisiä ohjeita kohteen käyttämiselle, vaan heidän mielestä ohjeistavaa tekstiä oli aivan riittävästi. Yksi käyttäjistä kuitenkin mainitsi, että havainnollistava kuva pallon muotoilemisesta olisi hyvä olla. Kolme testikäyttäjää sanoi ettei kohdannut mitään ongelmia kohteen käytössä. Yksi käyttäjistä myönsi ettei ymmärtänyt OK-napin käyttöä Valitse väri ja Valitse koko kohdissa ja hän joutui tukeutumaan testin suorittajien apuun päästääkseen kohteen käytössä eteenpäin. Toinen käyttäjä sanoi, että kun hän luki ohjeet huolimattomasti, hän ei oikein ymmärtänyt mitä olisi pitänyt tehdä, mutta ongelmat ratkesivat itsenäisesti, kun hän jaksoi lukea ohjeet kunnolla. Lopuksi kysyttiin testikäyttäjien mielipiteitä ja kommentteja kohteesta. Yksi testikäyttäjistä sanoi, että käyttöliittymään olisi hyvä lisätä vielä Pause-nappula, jotta kohteen käytössä voisi pitää tauon jos haluaisi. Kaksi käyttäjistä sanoi kohteen olevan hyvä ja toimiva. Yksi käyttäjistä kommentoi kohdetta mielenkiintoisena ja mukavana, sekä korosti kohteen hauskaa lopputulosta. Eräs käyttäjistä sanoi, että olisi kivaa jos kohde tulisi Heurekaan, koska se tarjoiaisi jotain aivan uutta. Käytettävyystestin jälkeen suoritetun henkilökohtaisen haastattelun esivalmisteltujen kysymysten tulokset on esitetty seuraavassa: 1. Lopputulos on testikäyttäjän mielestä mielenkiintoinen: (4/5) 2. Testikäyttäjä sai tehtyä haluamansa pallon: (5/5) 3. Kohteen käyttäminen on testikäyttäjän mielestä helppoa: (5/5) 4. Kohteen käyttäminen on testikäyttäjän mielestä selkeää: (5/5) 5. Testikäyttäjä olisi kaivannut erillisiä ohjeita: (0/5)

Heureka-projekti Testiraportti ja korjaussuunnitelma 21/29 5.6. Focus group istunnon tulokset Focus groupin tarkoituksena oli kerätä käyttäjien mielipiteitä muistakin ehdolla olleista konsepteista (ks. Liite 9 ja seuraava kappale). Käyttäjien annettiin keskustella vapaasti eri konsepteista ja ryhmän tarvitsi vain ohjata keskustelua oikeaan suuntaan. Focus groupin tuloksia hyödynnetään myöhemmin, kun päätetään mitkä ideat ja miten ne esitellään Heurekalle loppuesityksessä. Seuraavassa käyttäjien kommentteja eri konsepteista. Superpallokone. Superpallokonetta pidettiin mielenkiintoisena ja erilaisena ideana. Hyvää siinä oli se, että siitä saa itselleen muiston. Kohteesta pidettiin myös siksi, että siinä käyttäjä saattoi itse vaikuttaa kohteen toiminnan lopputulokseen, ja se tarjosi käyttäjille henkilökohtaisia valintoja. Kaikki lapset olivat tai ainakin esittivät niin tunnollisia, että olivat sitä mieltä ettei palloja heiteltäisi luvattomasti pitkin Heurekaa, mikäli kohde toteutettaisiin. Lapset haluaisivat pitää oman superpallonsa mieluummin kuin nakata sen Heurekan käytäville. Superpallokone ei ollut kaikkien käyttäjien ykkösvaihtoehto, mutta oli selkeästi yksi kaikkien käyttäjien suosikeista. Tulivuori. Tulivuorikohdetta verrattiin maanjäristyskohteeseen. Toisaalta sitä pidettiin mielenkiintoisempana, koska siinä olisi muitakin elementtejä kuin pelkkää tärinää, mutta toisaalta sitä pidettiin jokseenkin samanlaisena. Hyvää tulivuoressa on se, että sinne voi mennä useampi käyttäjä kerrallaan. Tulivuoressa on omat haasteensa, esimerkiksi tehdä siitä tarpeeksi aidon oloinen, muttei kuitenkaan vaarallinen. Tulivuori oli ideoiden keskitasoa. Levysoitin. Levysoittimen voisi lasten mielestä laittaa vaikka ison heilurin tilalle, sillä sitä kuvailtiin jopa vain isoksi ja turhaksi koristeeksi. Levysoitinkohde sai hieman ristiriitaisen vastaanoton, sillä osa lapsista innostui siitä oitis, mutta joillekin se ei herättänyt oikeastaan mitään reaktiota. Yhden lapsen mukaan se saattoi johtua siitä, ettei hän ole kovin musikaalinen. Toinen lapsi oli sitä mieltä, että se voisi olla erinomainen kohde, mikäli sillä voisi soittaa jotain muutakin kuin kamalaa kamariorkesterimusiikkia (ryhmän suositus on, että hänen vanhemmat uusisivat levykokoelmaansa). Tee oma raha. Rahakone sai erittäin lämpimän vastaanoton. Se nousi nopeasti lähes kaikkien lasten suosikiksi. Erään lapsen kommentti oli, että hän on aina halunnut painaa rahaa. Olipa hänen uravalintansa kuinka epäilyttävä tahansa, hän oli selvästi innostunut kohteesta. Kohdetta verrattiin hiusnäyttelyn kohteeseen, jossa käyttäjä sai kokeilla itselleen erilaisia hiusmalleja. Kohteessa miellytti ensiksikin sen idean yksinkertaisuus ja henkilökohtaisuus. Siitä saisi mukavan muiston Heurekasta, siitä voisi saada rahaa vaikka omiin leikkeihin. Toisaalta yksi käyttäjä haluaisi, että voisi itse valita haluaako tulostaa rahan vai ei. Lasten mielestä kohde kannatti ehdottomasti esitellä Heurekalle. Etsi kaverisi. Etsi kaverisi kohde otettiin käyttäjien keskuudessa hyvin vastaan. He selvästi pitävät siitä, että kameraa saa itse ohjata. Kohdetta pidettiin myös käytännöllisenä, sillä Heurekaan hukkaa helposti kaverinsa. Koppeja pitäisi käyttäjien mielestä olla useampia, sillä siihen voisi tulla helposti jono! Kohde oli kaikkien käyttäjien mielestä yksi parhaimmista. Voita länkkäri. Voita länkkäri kohde ei innostanut käyttäjänä ollutta tyttöä, mutta poikien keskuudessa kohteesta pidettiin. Kohteesta voisi myös tehdä version, jossa voi haastaa kaverinsa. Tämä herätti pientä ennakkoluuloa, sillä käyttäjät eivät mielellään haluaisi ampua kaveriaan. Kohde ei käyttäjien mielestä ollut mitenkään väkivaltaan yllyttävä sen sarjakuvamaisen lähestymistavan

Heureka-projekti Testiraportti ja korjaussuunnitelma 22/29 vuoksi. Lasten mielestä kohteesta olisi mukava saada raportti omista reflekseistään. Kohde oli hieman keskitasoa kiinnostavampi. Helposti puhdistettava graffiti. Graffiti-kohde sopii erityisesti hieman taiteellisemmin suuntautuneille lapsille. Se saikin innostavan vastaanoton joiltakin käyttäjiltä, kun taas osa käyttäjistä suhtautui siihen tyynemmin. Kaikki pitivät sitä kuitenkin mielenkiintoisena ja toteuttamisen arvoisena kohteena. Lasten mielestä kohde ei kannusta tekemään seinämaalauksia luvattomiin paikkoihin, kuten juniin tai rakennusten seiniin, vaan pitivät sitä ehdottomasti kiellettynä. Kohteesta voisi tehdä myös version, jossa käyttäjä saisi käteensä pensselin ja seinä korvattaisiin taulun kehyksillä ja tyhjällä kankaalla. Kohde voisi myös opastaa piirtämisessä; se voisi antaa käyttäjälle ääriviivat, joiden sisäpuoli väritetään tai pisteitä, jotka pitää yhdistää. Graffiti oli keskitasoa kiinnostavampi idea. 5.6.1. Lyhyt selitys konsepteista Tulivuorikohteen ideana on tehdä koppi, joka jäljittelee tulivuorta tärinän, savun ja valojen avulla. Käyttäjä voi kokea tulivuoren sisältäpäin. Levysoittimen ideana on, että käyttäjä voi itse pyörittää neulaa levyllä, jolloin musiikki soi käyttäjän kävelyn tahtiin. Sitä voi pyörittää myös taaksepäin, ja käyttäjä voi valita kappaleen jota soittaa. Tee oma raha kohde antaa käyttäjälle mahdollisuuden tehdä seteli, jossa on käyttäjän oma kuva. Kohde ottaa käyttäjästä kuvan vihreää taustaa vasten ja yhdistää kuvan valmiiseen Heurekarahan pohjaan. Etsi kaverisi kohteen ideana on tarjota käyttäjälle mahdollisuus etsiä kaverinsa Heurekan kattoon asennetun kameran avulla. Käyttäjä voi liikutella ja zoomata kameraa, ja näkee samalla ruudusta haluamaansa paikkaan. Kameroita voi olla useampia. Voita länkkäri kohteessa voi haastaa länkkärin kaksintaisteluun. Käyttäjä haastaa länkkärin, joka vetää kuudestilaukeavansa ensin hitaammin ja jos käyttäjä voittaa, niin länkkäri vetää aseensa yhä nopeammin. Käyttäjä näkee omat refleksiensä nopeudet ruudulta jokaisen vedon jälkeen. Helposti puhdistettava graffiti on toteutettu siten, että videotykki heijastaa kuvan kankaalle sen takaa, ja käyttäjä voi maalata kankaalle spraypulloa jäljittelevällä purkilla. Kuva muodostuu siten, että kone tietää missä kohtaa purkki on ja koska käyttäjä painaa suutinta, ja kone piirtää videotykin avulla vastaavan kuvan kankaalle. Kuva saadaan tyhjennettyä yhdellä napin painalluksella, ja käyttäjä voi käyttää eri värejä.

Heureka-projekti Testiraportti ja korjaussuunnitelma 23/29 6. Korjausehdotus Seuraavassa esitellään käytettävyystestien perusteella tehdyt muutokset käyttöliittymään. Ongelmiin mietittiin muitakin vaihtoehtoja, mutta ne todettiin heti kättelyssä vajavaisiksi ja heikommiksi kuin alla esitetty ratkaisu. Valittu ratkaisu puree juuri pahimpiin käytettävyystesteissä löydettyihin ongelmiin, joten korjattu proto täyttää todennäköisesti helposti aikaisemmalle protolle asetetut käytettävyyskriteerit (ks. Taulukko 1). Ensimmäinen käytettävyysongelma KO1 liittyi valintojen hyväksymiseen. Tiloissa Valitse väri ja Valitse koko OK-napin käyttö aiheutti ongelmia. Käyttäjät valitsivat värin painamalla haluamansa väristä pallon kuvaa (kuva 8), mutta valinta piti sen jälkeen vielä hyväksyä painamalla erikseen OK-nappia (kuva 9). Pallon koon valitseminen tehtiin samanlaisilla toiminnoilla (kuva 10 ja kuva 11). Kuva 8. Värin valinta ennen korjausta Kuva 9. Värin valinta ennen korjausta

Heureka-projekti Testiraportti ja korjaussuunnitelma 24/29 Kuva 10. Koon valinta ennen korjausta Kuva 11. Koon valinta ennen korjausta Ensimmäinen käytettävyysongelma KO1 voidaan koittaa poistaa jättämällä OKpainike kokonaan pois Valitse väri ja Valitse koko tiloista. Nyt väri valitaan painamalla mieleisen väristä palloa (kuva 12), jolloin siirrytään automaattisesti seuraavaan tilaan. Myös koon valinta tehdään samalla tavalla (kuva 13), jonka jälkeen siirrytään tilaan Oma pallo (kuva 14). Tässä tilassa käyttäjä näkee kuvasta millaista palloa hän on valmistamassa ja jos hän on tyytyväinen palloon, voi hän hyväksyä pallon painamalla OK-painiketta. Tästä tilasta hän voi vielä palata muuttamaan pallon väriä tai kokoa.

Heureka-projekti Testiraportti ja korjaussuunnitelma 25/29 VALITSE VÄRI Valitse väri painamalla alla olevista vaihtoehdoista. VI H- KE L- SI NI- KES KEY- TÄ VAI HDA VAI HDÄ OK Kuva 12. Värin valinta korjauksen jälkeen VALITSE KOKO Valitse koko painamalla alla olevista vaihtoehdoista. PI ISO KES KEY- TÄ VAI HDA VAI HDÄ OK Kuva 13. Koon valinta korjauksen jälkeen OMA PALLO Jos olet tyytyväinen palloon, hyväksy valinta OK. OMA PALLO Jos haluat vielä vaihtaa väriä tai kokoa, paina KES KEY- TÄ VAI HDA VAI HDA OK Kuva 14. Oma pallo-tila korjauksen jälkeen

Heureka-projekti Testiraportti ja korjaussuunnitelma 26/29 Toinen käytettävyysongelma KO2 liittyi fyysisen käyttöliittymän ohjaamiseen. Käyttäjät eivät ymmärtäneet annetusta ohjeesta (kuva 15), että toiminta siirtyi paperiproton käyttöliittymästä fyysisen proton käyttöliittymään. Käyttäjille jäi myös epäselväksi kuinka pallo olisi pitänyt muotoilla (kuva 16) ja mistä luukusta valmis pallo piti ottaa sen valmistuttua (kuva 17). Kuva 15. Vivun käytön ohjeistaminen ennen korjausta Kuva 16. Pallon muotoilu ohje ennen korjausta Kuva 17. Ohje pallon ottamiseen luukusta ennen korjausta