42 askelta pedagogiseen käytettävyyteen

AALTO-YLIOPISTO TEKNILLINEN KORKEAKOULU Informaatio- ja luonnontieteiden tiedekunta Tietotekniikan tutkinto-ohjelma 42 askelta pedagogiseen käytettävyyteen Opettaja.tv-verkkosivujen matematiikan teemapakettien käytettävyys Kandidaatintyö Hannu Tiitu Mediatekniikan laitos Espoo 2010

AALTO-YLIOPISTO TEKNILLINEN KORKEAKOULU Informaatio- ja luonnontieteiden tiedekunta Tietotekniikan tutkinto-ohjelma KANDIDAATINTYÖN TIIVISTELMÄ Tekijä Hannu Tiitu Työn nimi 42 askelta pedagogiseen käytettävyyteen: Opettaja.tv-verkkosivujen matematiikan teemapakettien käytettävyys Päiväys 28. huhtikuuta 2010 Sivumäärä 47 + 6 Pääaine Mediatekniikka Koodi T3004 Vastuuopettaja professori Kai Puolamäki Työn ohjaaja DI Pia Helminen Tiivistelmä Käytettävyys on sitä vaikuttavuutta, tehokkuutta ja tyytyväisyyttä, jolla käyttäjät saavuttavat tavoitteensa tietyssä ympäristössä. Tuotteen tai järjestelmän yleiselle hyväksyttävyydelle on hyvän käytettävyyden lisäksi muitakin vaatimuksia. Tuotteen yleinen käyttökelpoisuus jakautuu tekniseen käytettävyyteen ja toiminnalliseen hyödyllisyyteen. Erityisesti opetuskäyttöön suunnattu tietokonetoteutus on hyödyllinen, mikäli sen käyttäminen edistää oppimistapahtumaa halutulla tavalla. Oppimateriaalien asiasisältöjen tulee olla opetussuunnitelman mukaisia ja materiaalin tulee ohjata oppilaiden tiedonmuodostusta ja oppimiskäytäntöjä haluttuun suuntaan. Tätä toiminnallista hyödyllisyyttä kutsutaan pedagogiseksi käytettävyydeksi. Tässä työssä suoritetaan YLE Opettaja.tv:n verkkosivuilla olevien matematiikan teemapakettien heuristinen käytettävyysarviointi tekninen ja pedagoginen käytettävyys arvioiden. Heuristiikat on valittu siten, että arviointi selvittää materiaalin soveltuvuuden sosiokonstruktivistisen oppimiskäsityksen mukaiseen opetukseen sekä oppilaan vuorovaikutustaitojen kehittämiseen. Arvioinnissa kirjattiin ylös 42 käytettävyysongelmaa, jotka luokiteltiin neljään eri kategoriaan. Avainsanat Kieli pedagoginen käytettävyys, heuristinen arviointi, matematiikka, oppimateriaali, Opettaja.tv suomi i

Karoliinalle ja Laurille ii

Alkulause Lämpimät kiitokset ohjaajalleni Pia Helmiselle. Erityinen kiitos ideasta ja mahdollisuudesta tehdä kandidaatintyö tästä mielenkiintoisesta aiheesta! Helsingissä 28. huhtikuuta 2010 Hannu Tiitu iii

Käytetyt lyhenteet DL2 MAAn MABn TV TVT WWW Digital Learning 2 -tutkimusprojekti Lukion pitkän matematiikan kurssi numero n Lukion lyhyen matematiikan kurssi numero n Televisio Tieto- ja viestintätekniikka World Wide Web iv

Sisältö Alkulause Käytetyt lyhenteet iii iv 1 Johdanto 1 2 Taustateoria 4 2.1 Käytettävyydestä ja hyödyllisyydestä................ 4 2.2 Oppimisesta: behaviorismi ja konstruktivismi.......... 5 2.3 Käytettävyyden arvioiminen ja heuristiikat............ 6 2.3.1 Nielsenin kymmenen kohdan muistilista......... 8 2.3.2 Shneidermanin kahdeksan kultaista sääntöä....... 9 2.4 Oppimateriaalin heuristinen arvioiminen............. 9 2.4.1 Teknisen käytettävyyden arvioiminen........... 9 2.4.2 Pedagogisen käytettävyyden arvioiminen......... 10 3 Tutkimustavoite 11 4 Tutkimuksen suorittaminen 13 4.1 Menetelmistä.............................. 13 4.2 Tiedonkeruu.............................. 15 4.3 Analysointi............................... 18 5 Käytettävyysarviointi 20 5.1 Arvioinnissa läpikäyty materiaali.................. 20 5.2 Teknisen käytettävyyden ongelmat................. 21 5.3 Pedagogisen käytettävyyden ongelmat............... 30 6 Luotettavuus 38 6.1 Validiteetti............................... 38 6.2 Reliabiliteetti.............................. 39 v

7 Diskussio 41 7.1 Arviointiasetelmasta......................... 41 7.2 Työtavasta............................... 42 7.3 Aiheita jatkotutkimukselle...................... 42 7.4 Työn päätteeksi............................ 43 Lähteet 45 A Sampolan heuristiikat I B DL2-tutkimusprojektin heuristiikat IV C Squiresin ja Preecen heuristiikat VI vi

1 Johdanto Erilaiset opetusmenetelmät ja -välineet ovat keskeisessä asemassa, kun koulu pyrkii antamaan oppilaille elämässä tarvittavia perustietoja ja -taitoja. Siksi onkin paikallaan etenkin uusien opetuksen apuvälineiden kohdalla kysyä, että miten hyvin ne auttavat näiden pyrkimysten toteutumista. Erityisesti perus- ja lukio-opetuksessa oppilaiden motivoinnilla on suuri merkitys. Oppilaiden suhtautumiseen ja innostukseen esimerkiksi matematiikan opiskeluun vaikuttaa suuresti, mikäli he kokevat matematiikan hyödylliseksi ja käyttökelpoiseksi omassa elämässään ja koulun ulkopuolella. Tätä hyödyllisyyttä voidaan korostaa käyttämällä erilaisia opetuksen apuvälineitä. Oppilaat innostuvat enemmän opetuksesta, kun opettaja yrittää jotain uutta. Opettaja puolestaan hyötyy erilaisten opetusmenetelmien kokeilemisesta myös siten, että hänen tuntiensa opiskeluilmapiiri saattaa kehittyä innostuneeksi, jolloin hän itsekin viihtyy luokassaan. Opetusvälineiden toimivuus ja sopivuus mahdollistaa tämän toteutumisen. Uusi teknologia on arkipäivää suomalaisissa kouluissa. Esimerkiksi Espoossa kaikki lukioluokat on varusteltu tietokoneella, videotykillä ja dokumenttikameralla. Helsingin koulujen luokat varustellaan vastaavasti vuoteen 2011 mennessä (HS 2010). Yhteiskunnalla on laajemminkin halu edistää tieto- ja viestintätekniikan tuomista kouluihin. Kansallinen tietoyhteiskuntastrategia visioi, että vuoteen 2015 mennessä tieto- ja viestintätekniikan hyödyntäminen opetuksessa on integroitu tiiviisti opettajien perus- ja täydennyskoulutukseen sekä oppilaitoksia ja muita työyhteisöjä on kannustettu ottamaan käyttöön uusia, innovatiivisia oppimisen tapoja ja menetelmiä (VNK 2006, 38). 1

LUKU 1. JOHDANTO Uuden tieto- ja viestintätekniikan kehittyminen, joka olennaisesti muuttaa opetuksen ja oppimisen välineitä, pakottaa miettimään monia perinteisiä käytäntöjä kokonaan uudella tavalla. Teknologian merkitys syntyy siitä, että se luo uudenlaisia mahdollisuuksia toteuttaa ja tukea oppimisen prosesseja käytännössä, ja tarjoaa opettajalle uusia välineitä tukea opiskelijoiden itsenäistä tutkivaa työskentelyä, lisätä heidän omaa vastuutaan oppimisprosessissa ja ohjata heidän etenemistään. (Hakkarainen et al 2004, 374-375) Kokemukset matematiikan aineenopettajan pedagogisten opintojen suorittamisesta sekä työskentely eri kouluissa matematiikan opettajana on muodostanut minulle käsityksen, että matematiikkaa opetetaan yläkouluissa ja lukioissa pitkälti perinteisin menetelmin. Liitutaulu toimii opetuksen keskeisenä välineenä ja oppikirja usein ainoana oppimateriaalina. Matematiikan opetuskäytännöissä on siis tilaa uusille välineille ja materiaaleille. Miten tvt-pohjaisista opetuksen apuvälineistä saataisiin paras hyöty matematiikan opetuksessa on kysymys, johon tämä kandidaatintyö pyrkii luomaan erään näkökulman. Monissa muissa aineissa opetuksessa on jo pitkään käytetty paljon esimerkiksi videoita, animaatioita, kuvia ja ääntä havainnollistuksen välineinä. Vastaavien menetelmien tuominen myös matematiikan opetukseen on haaste, joka saattaa muuttaa matematiikan opetusta paljonkin lähitulevaisuudessa. Tässä kandidaatintyössä arvioidaan verkko-osoitteesta www.opettaja.tv löytyvän YLE Opettaja.tv -opetusmateriaalikokonaisuuden matematiikan teemapakettien sisältöjen käytettävyyttä. Opettaja.tv on Internetiä ja tv:tä hyödyntävä palvelukokonaisuus opettajille ja kasvatusalan ammattilaisille. YLE tekee Opettaja.tv:tä yhteistyössä Opetushallituksen kanssa. Opettaja.tv:n televisio-ohjelmat lähetetään YLE Teema - kanavalla. Useimmat ohjelmat ovat katsottavissa myös Opettaja.tv:n verkkosivuilla. Opettaja.tv:n verkkopalvelu tarjoaa oppimateriaalia, työkaluja, vertaistukea sekä maksutonta täydennyskoulutusta. (Wikipedia 2009) Opettaja.tv:n verkkosivut sisältävät teemapakettaja eri aineiden opetukseen. Tarjolla on 34 eri ainetta. Matematiikan teemapaketit ovat lukion lyhyen ja pitkän oppimäärän kursseihin. Pitkässä matematiikassa tarjotaan kaikki pakolliset kurssit 1-10. Lyhyessä matematiikassa on pakollisten kurssien 1-6 li- 2

LUKU 1. JOHDANTO säksi syventävät kurssit 7 ja 8. Teemapakettien materiaalit koostuvat teoriayhteenvedoista, tehtävistä, videoista ja audioista. Edellä mainittu matematiikan opetusmenetelmien vakiintuneisuus luo arvioinnille hyvät lähtöasetelmat. Uuden opetuksen apuvälineen sisällön ja käytettävyyden tulee tarjota aidosti parempi ympäristö opettamiseen ja oppimiseen. Opettaja näkee mielekkääksi ottaa uusi väline käyttöön, mikäli sen avulla on mahdollista järjestää oppitunnin kulku sujuvaksi ja opetettavan asian opettaminen tehokkaaksi. Opetusvälineen käytettävyys on avainasemassa näiden seikkojen toteutumiseen. Käytettävyyden arviointi tarjoaa siis hyvän mahdollisuuden entisestäänkin parantaa Opettaja.tv-palvelun hyödyllisyyttä ja käyttökelpoisuutta matematiikan opetuksessa. Tieto- ja viestintätekniikkaan pohjautuvien opetusvälineiden tutkiminen on mielenkiintoista myös yleisemmin aiheen ajankohtaisuuden vuoksi. Verkosta on löydettävissä paljon uutisointia ja keskustelua uuden tekniikan tulemisesta kouluihin. Aiheesta on tehty viime vuosina myös runsaasti kasvatustieteellisiä tutkimuksia. 3

2 Taustateoria 2.1 Käytettävyydestä ja hyödyllisyydestä Käytettävyys määritellään standardissa ISO 9241-11 (1998) seuraavasti: "Käytettävyys on se vaikuttavuus, tehokkuus ja tyytyväisyys, jolla tietyt määritellyt käyttäjät saavuttavat määritellyt tavoitteet tietyssä ympäristössä". Päivi Sampola (2008, 1) tulkitsee, että määritelmän vaikuttavuudella tarkoitetaan sitä, miten tarkoin ja täydellisesti käyttäjä saavuttaa tavoitteensa ja tehokkuus sitä, miten tavoitteet saavutetaan suhteutettuna käytettyihin resursseihin. Tyytyväisyys on käytön mukavuutta ja hyväksyttävyyttä. Jakob Nielsenin (1993, 24-25) mukaan tuotteen tai järjestelmän yleiselle hyväksyttävyydelle on hyvän käytettävyyden lisäksi muitakin vaatimuksia. Kuvassa 1 on esitetty eri vaatimusten hierarkinen järjestys. Tuotteen yleinen käyttökelpoisuus jakautuu käytettävyyteen ja toiminnalliseen hyödyllisyyteen. Tätä käytettävyyttä kutsutaan jatkossa tuotteen tekniseksi käytettävyydeksi. Erityisesti opetuskäyttöön suunnattu ohjelmisto tai tietokonetoteutus on hyödyllinen, mikäli sen käyttäminen edistää oppimistapahtumaa halutulla tavalla. Tämän toteutuminen edellyttää, että oppimateriaalien asiasisällöt ovat opetussuunnitelman mukaisia. Yhtä tärkeää on, että materiaali ohjaa oppilaiden tiedonmuodostusta ja oppimiskäytäntöjä haluttuun suuntaan. Tätä toiminnallista hyödyllisyyttä kutsutaan jatkossa tuotteen pedagogiseksi käytettävyydeksi. Sampola (2008, 30) määrittelee sen verkko-opetusympäristöille siten, että miten hyvin käyttöliittymä, rakenne, toiminnot, verkkomateriaali, sisältö, oppimistehtävät ja valitut työkalut motivoivat ja tukevat erilaisten oppijoiden 4

LUKU 2. TAUSTATEORIA Järjestelmän hyväksyttävyys sosiaalinen toiminnallinen hyväksyttävyys hyödyllisyys opittavuus käyttökelpoisuus käytön tehokkuus käytettävyys muistettavuuden helppous kustannukset virheiden vähyys käytännön yhteensopivuus subjektiivinen hyväksyttävyys miellyttävyys luotettavuus ja paljon muita tekijöitä Kuva 1. Tuotteen tai järjestelmän hyväksyttävyyden osatekijät (Nielsen 1993, 25; käännös Sampola 2008, 38). opiskelua ja ohjausta tietyssä oppimiskontekstissa valittujen tavoitteiden mukaisesti. Pedagogiseen käytettävyyteen kuuluvat myös tiedonhaku- ja vuorovaikutustaidot sekä sosiaalisten taitojen tukeminen. Tämä korostaa oppimista prosessina, joka on vastavuoroista ja perustuu yhteisöön osallistumiseen ja sosiaaliseen toimintaan. Hakkaraisen, Longan ja Lipposen (2004, 124) mukaan opiskelijan identiteetti, yhteisöön kuuluminen ja tulevaisuuden osallistumisen näkymät säätelevät merkittävästi oppimisen luonnetta ja syvyyttä. 2.2 Oppimisesta: behaviorismi ja konstruktivismi Oppiminen on ihmiselle tyypillistä toimintaa, joka jatkuu läpi koko aktiivisen elämän. Oppimista on pyritty selittämään ja kuvaamaan erilaisilla teorioilla, joista jokainen korostaa oppimistapahtuman eri puolia. Alan kirjallisuudessa esitellään melko usein vastakkainasettelu behavioristisen ja konstruktivistisen oppimiskäsityksen välillä. Behavioristisen oppimiskäsityksen mukaan oppiminen perustuu palauttei- 5

LUKU 2. TAUSTATEORIA siin, joita oppija saa reagoidessaan ympäristöönsä. Positiiviset ja negatiiviset kokemukset saadusta palautteesta ohjaavat oppimisen suuntaa. Opetettava tieto käsitetään tavallisesti oppijan ulkopuoliseksi ongelmattomaksi asiaksi, jota opettaja siirtää sopiviin osiin jaettuna oppilaalle. Jo 1950-luvulla kuitenkin osoitettiin, ettei kaikkea oppimista voida selittää behaviorismin avulla. Varsinkin uusien ongelmien ratkaisemista on sen näkökulmasta lähes mahdoton selittää. (Leino, J. 2004, 21) Konstruktivistinen oppimiskäsitys korostaa oppijan omaa aktiivista roolia oppimisprosessissa. Oppija ymmärtää opittavan asian aikaisemman tietämyksensä pohjalta. Oppimisen motivaatio on tärkeää. Oppiminen on tehokkainta, kun siihen kätkeytyy myönteisiä tunne-elämyksiä, itsensä toteuttamista ja saavutettua tunnustusta. Uutta tietoa ei voi jakaa, vaan opettajan on tiedettävä oppilaan ennakkokäsitykset ja ohjattava oppilasta konstruoimaan uusia tietorakenteita. Oppiminen on oppilaan prosessi, jossa hänen tietorakenteensa on vuorovaikutuksessa uuden tiedon kanssa. (Sinkkonen et al 2002, 269) Sampolan (2008, 26) mukaan verkko-opetusympäristössä korostuu sosiokonstruktivistinen oppimiskäsitys. Siinä konstruktivistisen opiskelijan oman tiedon ja kokemuksen muutoksen aiheuttavat kokemukset ja keskustelu avoimessa dialogissa muiden kanssa. Tätä käsitystä voidaan laajentaa varsinaisten verkko-opetusympäristöjen ulkopuolelle myös muihin digitaalisiin oppimateriaaleihin, jotka ohjaavat oppimista sosiaalisena tapahtumana. Teknisen käytettävyyden yksi ulottuvuus on järjestelmän tai tuotteen opittavuus (Nielsen 1993, 26). Kun tarkasteltavana on opetuskäyttöön suunnattu sovellus, kohtaa tekninen käytettävyys mielenkiintoisella tavalla tuotteen funktion. Käytettävyydelle asetetaan tällöin erityisiä haasteita, ettei sovelluksen käyttämisestä aiheutuva kognitiivinen kuormitus haittaa pedagogisten päämäärien saavuttamista. 2.3 Käytettävyyden arvioiminen ja heuristiikat Käytettävyystestit voidaan jakaa karkeasti kahteen luokkaan. Kvantitatiivinen testi mittaa käyttöliittymän laatua vertaamalla annettuihin käytettävyystavoitteisiin tai johonkin verrokkituotteeseen. Kvalitatiivinen testi taas pyrkii 6

LUKU 2. TAUSTATEORIA löytämään tuotteesta mahdollisimman monta käytettävyyden kannalta ongelmallista kohtaa, jotta ne voitaisiin korjata ja ohjeistaa. Nämä testityypit on mahdollista yhdistää, mutta parhaaseen tulokseen päästään, mikäli pystytään päättämään, kummantyyppistä tietoa testillä halutaan selvittää. (Sinkkonen et al 2002, 303) Käytettävyyttä on mahdollista arvioida monella eri menetelmällä. Kullakin niistä on omat hyvät ja huonot puolensa. Ne löytävät erilaisia käytettävyysongelmia testitilanteesta ja -järjestelyistä sekä arvioitavasta kohteesta riippuen. Analyyttisessä arvioinnissa analysoidaan vuorovaikutuksen kuvaus ja päätellään, miten hyvin käyttöliittymä vastaa tarpeita, joihin se on tehty. Asiantuntija-arvioinnissa tarkastellaan käyttöliittymää suhteessa tunnettuihin hyviin suunnitteluperiaatteisiin. Käyttöliittymää arvioidaan sen mukaan, miten hyvin näitä periaatteita noudatetaan. Kolmas tapa arvioida käytettävyyttä on käyttäjän arviointi. Tällöin kerätään palautetta suoraan käyttäjiltä ja havainnoidaan käyttäjiä aidoissa käyttötilanteissa. (Leino, A. 2009) Heuristinen arviointi on asiantuntija-arvioinneista yleisimmin käytetty menetelmä. Se on alunperin Nielsenin ja Rolf Molichin kehittämä vuonna 1990, kun käyttöliittymän suunnittelua ohjaavat periaatteet tiivistettiin käytettävyyden muistilistaksi. Sen avulla etsitään käytettävyysongelmia tuotteesta tai laitteesta systemaattisesti (Nielsen 1993, 155). Arvioinnin tukena toimivat erilaiset heuristiikkalistat eli ohjeistuslistat, joita käytettävyyden asiantuntijat ovat laatineet. Tällaisia listoja ovat esimerkiksi Nielsenin Ten Usability Heuristics (Nielsen 2005) sekä Ben Shneidermanin The Eight Golden Rules of interface design (Shneiderman & Plaisant 2010, 88-89). Näihin listoihin tutustutaan myöhemmin tässä luvussa. listoja käytetään siten, että arvioija muodostaa käsityksen arvioimiinsa listan kohtiin pohjautuen omaan mieltymykseensä ja intuitioon. Heuristisen arvioinnin suorittaa yleensä pieni joukko arvioijia, joista jokainen tutkii itsenäisesti käyttöliittymää ja arvioi sen saman heuristiikkalistan avulla. (Nielsen 1993, 155) Heuristisen arvioinnin hyvä puoli on nopeus. Sen avulla saa arvion käytettävyydestä melko helposti ja yksinkertaisesti, koska etukäteisjärjestelyihin ei kulu aikaa. Arviointi voidaan suorittaa esimerkiksi arvioijan kotona, jolloin menetelmä ei vaadi erillistä laboratoriota. 7

LUKU 2. TAUSTATEORIA Heuristinen arviointi sopii tuotteen eri kehitysvaiheisiin. Menetelmää voidaan käyttää niin valmiin tuotteen arvioimisessa kuin tuotekehityksen alkuvaiheessakin (Korvenranta 2005, 120-121). Tuotteen suunnittelun aikana tehtyä heuristista arviota kutsutaan formatiiviseksi ja valmiin tuotteen arviota summatiiviseksi. Edellisessä tapauksessa käyttöliittymää voidaan arvioida suunnittelukuvien perusteella, jälkimmäisessä käyttämällä valmista käyttöliittymää (Leino, A. 2009). Heuristisella arvioinnilla on mahdollista löytää sekä vakavia että pieniä käytettävyysongelmia. Vaikka menetelmä löytää helpommin vakavia virheitä kuin pieniä, on se muihin testimenetelmiin verrattuna erityisen tehokas pienten käytettävyysongelmien havaitsemiseen. Heuristinen arviointi löytää myös yhtenäisyyteen ja ulkoasuun liittyviä ongelmia. (Nielsen 1994, 56) 2.3.1 Nielsenin kymmenen kohdan muistilista Alkuperäiseen Nielsenin ja Molichin tekemään heuristiikkalistaan kuului yhdeksän kohtaa. Nielsen jalosti erilaisten arviointien ja testaamisen tuloksena listan seuraavaksi kymmenen heuristiikan muistilistaksi vuonna 1994. (Nielsen 2005; käännös Sampola 2008, 60-61) 1. Palvelun tilan näkeminen 2. Palvelun vastaavuus käyttäjän kontekstiin 3. Käyttäjän hallinta ja vapaus 4. Johdonmukaisuus ja standardit 5. Virheiden estäminen 6. Tunnistaminen mieluummin kuin muistaminen 7. Käytön joustavuus ja tehokkuus 8. Esteettinen ja minimalistinen suunnittelu 9. Virheiden käsittely 10. Opastus ja ohjeistus Nämä heuristiikat on suunniteltu erityisesti verkkosovellusten käytettävyys silmälläpitäen, ja niitä käytetäänkin paljon juuri ohjelmistojen ja verkkosivujen käytettävyyden testaamiseen. 8

LUKU 2. TAUSTATEORIA 2.3.2 Shneidermanin kahdeksan kultaista sääntöä Shneidermanin vuonna 1987 laatimat kahdeksan kultaista käytettävyyssääntöä (Shneiderman & Plaisant 2010, 88-89; käännös Sampola 2008, 51) lähestyy käytettävyyttä hieman käytännöllisemmästä näkökulmasta, vaikkakin lista on hyvin samankaltainen Nielsenin listan kanssa. 1. Noudata yhteneväisyyttä toimintatavoissa. 2. Anna mahdollisuus oikopolkujen käyttöön. 3. Tarjoa selkeä palaute. 4. Suunnittele dialogit niin, että ne johtavat lopputulokseen. 5. Tarjoa helppo virheiden käsittely. 6. Anna mahdollisuus toimintojen peruutukseen. 7. Anna käyttäjälle kontrolli. 8. Vähennä lyhytkestoisen muistin kuormitusta. 2.4 Oppimateriaalin heuristinen arvioiminen Edellä esimerkkinä esitetyt heuristiikat ovat klassisia. Esimerkiksi viittauksia Nielsenin listaan löytyy erittäin monesta aihetta käsittelevästä julkaisusta ja yhteydestä. Listat ovat luonteeltaan yleisiä. Tapa jolla ne on kirjoitettu, ohjaa arviointia käyttöliittymän teknisten ominaisuuksien arviointiin. Arvioinnilla saattaa kuitenkin olla muitakin päämääriä, kuten oppimateriaalien arvioinnin tapauksessa on. Heuristiikkoja on siten usein tarvetta muokata ja tulkita tavalla, joka sopii testattavaan ympäristöön (Sampola 2008, 51). Jatkossa esitellään, miten Nielsenin heuristiikkojen pohjalta on luotu uudet heuristiikat digitaalisen oppimateriaalin teknisen ja pedagogisen käytettävyyden arviointiin. 2.4.1 Teknisen käytettävyyden arvioiminen Sampola (2008) on väitöskirjassaan luonut käyttäjäkeskeisen käytettävyyden arviointimenetelmiä verkko-opetusympäristöjen arviointiin sopiviksi. Sampolan työssä käytetään eräänä arviointimenetelmänä heuristista arviota. Hän 9

LUKU 2. TAUSTATEORIA käyttää Nielsenin heuristiikkoja siten, että on täydentänyt jokaista kohtaa 3-8 täsmentävällä alakysymyksellä tai tulkinnalla (Sampola 2008, 169-171). Nämä täsmennykset löytyvät liitteestä A. Alakohtien laadinta on tehty Nielsenin yleisluontoisten käytettävyyskriteerien selkeyttämiseksi ja täsmentämiseksi juuri tässä arviointitilanteessa. Kun heuristisen arvioinnin tekee useampi arvioija kerralla, on tärkeää, että he kaikki ymmärtävät kunkin käytettävyyskriteerin samalla tavalla. Tällöin eri arvioijien tuloksista saadaan vertailukelpoisia. Lisäksi näin avattu arviointikriteeristö sopii käytännössä nettilomakkeella toteutettavaksi arvioinniksi, kuten Sampolan väitöskirjassa tehtiin. 2.4.2 Pedagogisen käytettävyyden arvioiminen Myös pedagogisen käytettävyyden arvioimiseen on laadittu monia erilaisia heuristiikkalistoja. Hämeen ammattikorkeakoulun ja Tampereen yliopiston Digital Learning 2 -tutkimusprojektissa laadittiin digitaalisen oppimateriaalin arviointikriteerit. Tämä sisältää heuristiikat niiden käytettävyyden arvioimiseksi (Nokelainen 2004, 61-70). Ne löytyvät kokonaisuudessaan liitteestä B. Tämä heuristiikkalista syntyi laajan oppimateriaalien oppimista edistävien piirteiden kehittämisestä laadittujen kriteeristöjen (esimerkiksi Albion 1999 ja Quinn 1996) vertailun ja analysoinnin pohjalta (Nokelainen 2004, 58). Liitteenä C on David Squiresin ja Jenny Preecen (1999, 479-480) heuristiikat, jotka toimivat DL2-projektin listan pohjana. Myös ne on saatu johtamalla Nielsenin heuristiikoista. Näin siis samoista lähtökohdista kuin Sampola on saatu tuotettua erilainen lista. Squires ja Preece on laatinut kohdat käytettäviksi sellaisessa arvioinnissa, jonka lähtökohtana on sosiokonstruktivistinen oppimiskäsitys. Tämä näkyy erityisesti kohdassa "oppijalle tulee tarjota sopivassa määrin kontrolli oppimateriaalin käyttämisessä". Myös materiaalin sopivuutta käyttöönsä huomioidaan: "materiaalin tulee olla opetussuunnitelman mukaista". Tämä on tärkeää, sillä suomalaisessa koulujärjestelmässä on opettajan vastuulla, että opetus toteuttaa opetussuunnitelman tavoitteet. 10

3 Tutkimustavoite Tässä kandidaatintyössä tutkitaan YLE Opettaja.tv -verkkosivujen matematiikan teemapakettien käytettävyyttä heuristisena asiantuntija-arviointina. Työssä käytetään Sampolan heuristiikkalistaa (liite A) teknisen käytettävyyden arviointiin. Pedagoginen käytettävyys arvioidaan Digiral Learning 2 - tutkimusprojektin listalla (liite B) täydennettynä yhdellä kohdalla Squiresin ja Preecen listalta (liite C) sekä yhdellä omalla heuristiikalla. Käytetyt heuristiikat esitellään tarkemmin seuraavassa luvussa. listojen valinta on tehty siten, että pedagogisen käytettävyyden arvioinnissa saadaan näkökulmaksi sosiokonstruktivistinen oppimiskäsitys. Tällä halutaan selvittää, miten matematiikan teemapakettien materiaalit tukevat matematiikan opettamisen ja oppimisen kehittämistä pois behavioristisesta oppimiskäsityksestä konstruktivistisempaan suuntaan. Samalla halutaan selvittää, tukeeko materiaali oppilaan vuorovaikutustaitojen kehittymistä. Arviointi on luonteeltaan kvantitatiivinen, koska sivustoa verrataan annettuihin käytettävyystavoitteisiin eli heuristiikkoihin. Tutkimuksen tavoite on YLE Opettaja.tv -verkkosivujen matematiikan teemapakettien materiaalien teknisen ja pedagogisen käytettävyyden arviointi. Peruskysymys tutkimuksessa on, että millainen käytettävyys sivuston matematiikan teemapakettien materiaaleilla on ja miten materiaalit ohjaavat opetusta kohti sosiokonstruktivistista oppimiskäsitystä. 11

LUKU 3. TUTKIMUSTAVOITE Opettaja.tv:ssä on matematiikan teemapaketteja vain lukion kursseihin, joten tehtävien pedagoginen käytettävyys arvioidaan suhteessa nykyisiin lukion opetussuunnitelman perusteisiin (OPH 2003). Arvioinnin kohteena on sivuilla olevat tehtävät, teoriat, videot ja audiot. Myös matematiikan materiaalien yleistä esilläoloa arvioidaan. 12

4 Tutkimuksen suorittaminen 4.1 Menetelmistä Tämän työn menetelmäksi on valittu heuristinen asiantuntija-arviointi siksi, että taustateoriassa mainitut analyyttinen arviointi sekä käyttäjän arviointi tuntuvat hankalilta suorittaa kandidaatintyön lähtökohdista. Käyttäjän arviointi ei sovellu menetelmäksi tähän työhön laajuutensa ja järjestelyjen haastavuuden takia. Heuristinen arviointi antaa hyvät lähtökohdat tutustua ja perehtyä erilaisiin käytettävyyden mittareihin ja näkökulmiin. Tästä uskon olevan eniten hyötyä itsellenikin. Nielsenin (1994, 38-39) mukaan heuristinen arviointi suoritetaan yleensä neljässä vaiheessa: arviointia edeltävä harjoittelu, varsinainen arviointi, arvioinnin jälkeinen palautekeskustelu ja ongelmien vakavuuden arviointi. Ensimmäisessä vaiheessa arvioijat tutustuvat arvioitavaan järjestelmään. Heille selitetään arvioitava kohde sekä järjestelmä laajemmin. Tämän on tarkoitus antaa arvioijille ymmärrys sovelluksesta yleisellä tasolla menemättä liikaa yksityiskohtiin. Lisäksi Nielsenin (1994, 40) mallissa arvioijille selitetään käyttöskenaario, jota seuraten käytettävyysarviointi tullaan tekemään. Käyttöskenaario sisältää tarkan listan vaiheista, joiden läpi arvioijan tulee kulkea. Se ei kuitenkaan anna vihjeitä siitä, miten käyttöliittymää eri vaiheissa käytetään. Näissä selityksissä ei käytetä mallina arvioitavaa käyttöliittymää. Tällä menettelyllä estetään varsinaista arviointia mahdollisesti ohjaavien ennakkokäsitysten muodostuminen arvioijille. Lisäksi käydään läpi käyttöön valitut heuristiikat. Käytettävyyden asiantuntijoina arvioijille ei tarvitse selventää 13

LUKU 4. TUTKIMUKSEN SUORITTAMINEN käytettävyyden periaatteita yleisesti, mutta on paikallaan luoda heuristiikoista yhtenäinen käsitys. Asiantuntijat suorittavat varsinaisen heuristisen arvioinnin itsenäisesti. Arvioija seuraa käyttöskenaariota ja kirjaa ylös löytämänsä käytettävyysongelmat sekä syyt, miksi kyseinen seikka on hänen mielestään ongelma. Kyseessä on siis mielipide. Ei riitä, että arvioija toteaa jonkin asian olleen hänelle epämieluisa. On myös pystyttävä kertomaan, miksi näin oli. Jokainen ongelma tulee listata erikseen kahdestakin syystä. Ensiksikin uudelleensuunniteltaessa käyttöliittymää on aina vaarana, että kaikista löydetyistä ongelmista ei päästä eroon. Jos käytettävyysongelma on ilmoitettu liian yleisellä tasolla, voi jokin sen osatekijä jäädä korjaamatta. Siis yksityiskohtaisuutta ja tarkkuutta tarvitaan. Toiseksi korjaaminen täsmentyy, kun viat tiedetään tarkasti ja eritellysti. Aina ei ole mahdollista korjata kaikkea kerralla, mutta parannuksia vanhaan voidaan tästä huolimatta tehdä. (Nielsen 1994, 31) Havaintojen keräämisen yhteydessä tehdyn ongelman laadun arvioinnin on huomattu häiritsevän uusien ongelmien löytämistä. Vakavuusluokittelu kannattaa siis tehdä lopuksi erillisenä arvioinnin vaiheena. Palautekeskustelussa arvioijat kertovat löytämänsä käytettävyysongelmat. Tilaisuudessa käsitellään myös käyttöliittymän piirteitä yleisellä tasolla. Siellä on mahdollista välittää tietoa arvioijien ja käyttöliittymän suunnittelijoiden välillä. Heuristinen arviointi ei ota kantaa havaittujen puutteiden korjaamiseen, mutta osallistumalla palautekeskusteluun suunnittelijat saavat paremmat lähtökohdat korjausten tekemiseen kuin pelkkää ongelmalistaa lukemalla. Ongelmien vakavuuden luokittelu perustuu Nielsenin (1994, 47-49) mukaan kolmeen tekijään: 1) esiintymistiheys onko ongelma yleinen vai harvinainen, 2) vaikutus onko käyttäjän helppo päästä ongelmasta yli ja 3) toistuvuus pystyykö käyttäjä kiertämään ongelman sen kerran havaittuaan. Kaikki arvioijat pisteyttävät kaikki löydetyt ongelmat, myös siis ne, joita eivät itse löytäneet. Nielsenin mukaan tämä järjestely tuottaa tasapuolisen luokittelun, vaikka voisi olettaa, että arvioija suhtautuu eritavoin sellaiseen käyttöliittymän piirteeseen, johon ei itse kiinnittänyt huomiota tai jota ei pitänyt ongelmallisena. 14

LUKU 4. TUTKIMUKSEN SUORITTAMINEN Nielsen (1994, 49) jakaa käytettävyysongelmat viiteen luokkaan. Tämä soveltuu erityisesti uuden kehitysvaiheessa olevan tuotteen arviointiin. Nämä luokat on esitetty taulukossa 1. Taulukko 1. Nielsenin (1994, 49) viisiportainen luokittelu käytettävyysongelmien vakavuudelle. 0 Mielestäni kyseessä ei ole käytettävyysongelma. 1 Kosmeettinen ongelma, jota ei tarvitse korjata, ellei projektissa ole ylimääräistä aikaa. 2 Pieni ongelma, jonka korjaaminen voidaan tehdä matalalla prioriteetillä. 3 Suuri ongelma, joka on korjattava mahdollisimman pian. 4 Käytettävyyskatastrofi, joka on korjattava ennen kuin tuote voidaan julkistaa. Luokan 0 mukanaolo selittyy sillä, että tässä mallissa arvioijat luokittelevat myös sellaisia ongelmia, joita eivät ole itse löytäneet. Tällöin on mahdollista, että kyseinen tuotteen piirre ei ole arvioijan mielestä ollenkaan käytettävyysongelma. 4.2 Tiedonkeruu Heuristisessa arvioinnissa yksittäinen arviointituokio kestää tyypillisesti yhdestä kahteen tuntia. Pitempikestoinen arviointihetki saattaa olla tarpeen laajojen tai monimutkaisten käyttöliittymien ollessa arvioinnin alla. Tällöinkin kuitenkin kannattaa harkita arviointitehtävän jakamista osiin siten, että yhtämittainen arviointiaika pysyy kohtuullisena. (Nielsen 1993, 158) Arviointituokion aikana arvioija käy käyttöliittymää läpi useita kertoja ja tekee havaintoja käyttöliittymän elementeistä heuristiikkalistan kohtien näkökulmasta. Läpikäynti voidaan tehdä usealla tavalla. Esimerkiksi Nielsen (1993, 158-159) suosittelee, että käyttöliittymä tulisi käydä läpi ainakin kahdesti kokonaisuudessaan. Tällöin ensimmäinen läpikäynti antaa yleiskuvan käyttöliittymästä ja järjestelmän laajuudesta. Toisella kerralla keskitytään yksittäisiin 15

LUKU 4. TUTKIMUKSEN SUORITTAMINEN Teoria ja näkökulma Tutustuminen Arviointituokiot Dokumentointi heuristiikat havaitut ongelmat Tiedonkeruu Luokittelu Analysointi Kuva 2. Käytettävyysarvioinnin vaiheet tässä työssä. käyttöliittymän elementteihin ja niiden toimintaan osana järjestelmän kokonaisuutta. Sirpa Riihiahon (2000, 30) lisensiaatintyössä esitellään heuristisen arvioinnin malli, jossa arvioija käy käyttöliittymän läpi elementti kerrallaan pohtien, rikkooko se jotain heuristiikkaa. Tämä tapa vaatii enemmän työtä, mutta kattaa varmemmin suurimman osan käyttöliittymän elementeistä ja toiminnoista. Luotettavin ja kattavin lopputulos saadaan, kun käyttöliittymä käydään läpi kahdesti. Tässä työssä suoritettava heuristinen käytettävyysarvio tehdään yhden arvioijan toimesta. Arvioinnin vaiheet on esitetty kuvassa 2. Työn vaiheet poikkeavat Nielsenin esittämistä siinä, että järjestelmään ei erikseen tutustuta. Tämä siksi, että järjestelmä on jo jossainmäärin arvioijalle tuttu. Sen sijaan tutustumisvaiheeseen kuuluu taustateorian kartoitus ja heuristiikkojen valinta. Tätä vaihetta ei yksittäinen arvioija Nielsenin mallissa suorita itse. Myöskään arvioinnin päätteeksi järjestettävää palautekeskustelua ei tässä työssä ole. Käytettävyysongelmien löytämiseksi sovelletaan Riihiahon menetelmää. Arviointi tehdään yhdestä kahteen tuntia kestävinä arviointituokioina, joiden kuluessa arvioija käy materiaalia järjestelmällisesti läpi ja vertaa sen elementtejä sekä sisältöä heuristiikkoihin. Yhden arviointituokion aikana tehdään havaintoja vain yhden heuristiikkalistan perusteella. Työssä käytetyt heuristiikat on esitelty taulukossa 2. Teknisen käytettävyyden heuristiikkoina käytetään Sampolan listaa, jonka pääotsikot ovat samat kuin Nielsenin alkuperäisessä kymmenen kohdan muistilistassa. Niitä sovelletaan 16

LUKU 4. TUTKIMUKSEN SUORITTAMINEN Sampolan täsmennysten hengessä. Täsmennykset löytyvät kokonaisuudessaan liitteestä A. Pedagogisen käytettävyyden heuristiikkoina käytetään DL2- tutkimusprojektin heuristiikkoja. Ne löytyvät selvennyksineen liitteestä B. Jälkimmäistä listaa on täydennetty yhdellä kohdalla Squiresin ja Preecen listalta (liite C). Tämä on tehty siksi, että materiaalin yhteensopivuus opetussuunnitelman kanssa ei tule muuten selkeästi ilmi. Hyvältä pedagogiselta käytettävyydeltä vaaditaan, että materiaali on sisällöltään matemaattisesti selkeää, täsmällistä ja oikeanlaista. Tällekin seikalle on selvyyden vuoksi tehty oma heuristiikka. Taulukko 2. Tämän työn arvioinnissa käytetyt heuristiikat. Tekninen käytettävyys A1. Palvelun tilan näkeminen A2. Palvelun vastaavuus käyttäjän kontekstiin A3. Käyttäjän hallinta ja vapaus A4. Johdonmukaisuus ja standardit A5. Virheiden estäminen A6. Tunnistaminen mieluummin kuin muistaminen A7. Käytön joustavuus ja tehokkuus A8. Esteettinen ja minimalistinen suunnittelu A9. Virheiden käsittely A10. Opastus ja ohjeistus Pedagoginen käytettävyys B1. Toiminta oppijan ehdoilla B2. Oppijan aktiivisuus B3. Yhteistoiminnallinen oppiminen B4. Tavoitteellisuus B5. Soveltuvuus B6. Lisäarvo B7. Motivaatio B8. Aiemman tietämyksen arvostus B9. Joustavuus B10. Palaute C8. Materiaali opetussuunnitelman mukaista D. Matemaattinen täsmällisyys ja oikeellisuus 17

LUKU 4. TUTKIMUKSEN SUORITTAMINEN 4.3 Analysointi Tämän työn heuristisen käytettävyysarvion lopputuloksena syntyy lista, johon on kirjattu ylös YLE Opettaja.tv -verkkosivuston matematiikan teemapakettien käytettävyysongelmia. Kunkin ongelman kohdalla annetaan sanallinen selvennys sekä korjausehdotus, mikäli sellainen on helposti annettavissa. Heuristinen arviointihan ei tuota systemaattisesti korjauksia ongelmiin, eikä sen avulla voida arvioida mahdollisten korjaustoimenpiteiden laatua. Nielsenin (1994, 31) mukaan arvioinnin tuloksiin voidaan kuitenkin liittää myös korjausehdotus. Onhan ratkaisu toisinaan hyvinkin ilmeinen, kun ongelma on pystytty paikallistamaan. Käytettävyysongelmien vakavuuden luokittelun pohjaksi on otettu Riihiahon (2000, 87) esittämä kolmiportainen luokittelu. Tätä on täydennetty luokalla, jolla merkitään ongelmaa matemaattisessa sisällössä. Kyseessä voi olla virhe laskussa tai teoriassa, epäjohdonmukaisuus esitetyn teorian ja tehtävien välillä tai vain erimielisyys asian esittämistavassa. Eri luokat ja niitä kuvaamaan valitut symbolit löytyvät taulukosta 3. Vakavuusluokittelu tehdään käytettävyysarvioinnin viimeisenä vaiheena. Taulukko 3. Luokittelu käytettävyysongelman vakavuudelle sekä luokkia kuvaavat symbolit. { } vakava ongelma { } { } {Σ} häiritsevä ongelma pieni ongelma matemaattinen ongelma Luokka { } kattaa Nielsenin asteikon (taulukko 1) luokat 0 ja 1, luokka { } Nielsenin luokan 2 sekä { } luokat 3 ja 4. Arvioinnissa ei etukäteen odoteta löydettävän Nielsenin vakavimpia luokan 4 virheitä, sillä Opettaja.tv on vakiintuneessa käytössä oleva verkkopalvelu. Eri luokat on nimetty symboleilla. Työssä ei ole haluttu käyttää luokan nimenä numeroa tai kirjainta siksi, että työn päämäärä on havaita käytettävyysongelmia, ei niinkään osoittaa niiden laatua. Luokkien numerointi ohjaisi huomiota vertailemaan ongelmia keskenään, sekä mahdollistaisi helposti esimerkiksi 18

LUKU 4. TUTKIMUKSEN SUORITTAMINEN jonkinlaisen laadullisen arvosanan antamisen Opettaja.tv:n matematiikan teemapaketeille. 19

5 Käytettävyysarviointi 5.1 Arvioinnissa läpikäyty materiaali Tässä luvussa esitetään tehdyn käytettävyysarvioinnin lopputulos eli ylöskirjatut käytettävyysongelmat. Ongelmat on numeroitu identifioinnin helpottamiseksi sekä luokiteltu taulukon 3 symboleilla. Läpikäytyjen tehtävien lukumäärät kursseittain on luettavissa taulukosta 4. Muut materiaalit koostuivat teorioista, videoista ja audioista. Videoita löytyi lyhyen matematiikan teemapaketeista seitsemän ja audioita kolme. Pitkässä matematiikassa videoita oli yksi ja audioita kaksi kappaletta. Taulukko 4. Arvioitujen tehtävien jakautuminen lukion pitkän (MAA) ja lyhyen (MAB) matematiikan kursseihin. MAA1 18 MAA6 20 MAB1 39 MAB5 25 MAA2 15 MAA7 16 MAB2 29 MAB6 23 MAA3 16 MAA8 17 MAB3 28 MAB7 19 MAA4 23 MAA9 15 MAB4 25 MAB8 20 MAA5 17 MAA10 13 20

LUKU 5. KÄYTETTÄVYYSARVIOINTI 5.2 Teknisen käytettävyyden ongelmat 1) Sivulla on liikaa elementtejä. { } Selitys Kun opetuksen teemapaketteja selataan, näkymässä on liikaa elementtejä. Tämä on Opettaja.tv:n verkkosivujen yleinen ongelma. Sivuille on ahdettu oikeastaan kaikki mahdollinen kerralla, jolloin olennaisen hahmottaminen vaikeutuu. A8. Esteettinen ja minimalistinen suunnittelu: huomio kiinnittyy tärkeimpiin elementteihin ensin. 2) Toiminta tehtävään vastaamiseksi on epäselvä. { } Selitys Useimmat matematiikan tehtävät ovat muodoltaan sellaisia, että esitetään yksi tai useampi kysymys tai tehtävänanto, jonka jälkeen on vastauslaatikko, johon on mahdollista kirjoittaa tekstiä. Käyttäjälle ei anneta mitään vihjettä, mitä tekstilaatikkoon tulisi kirjoittaa. A1. Palvelun tilan näkeminen: käyttäjä tietää miten edetä. 3) Syötekenttien täyttämiseen ei anneta apua. { } Selitys Tehtävissä on mahdollista saada apua matemaattisen sisällön ratkaisemiseksi. Sen sijaan ongelmaan mitä ja miten kenttään tulisi kirjoittaa, ei tarjota apua. A5. Virheiden estäminen: syöte- ja toimintotilanteissa on saatavana opastusta. 21

LUKU 5. KÄYTETTÄVYYSARVIOINTI Kuva 3. Opastuslinkki ja oikean vastauksen kertovat painikkeet eivät erotu toisistaan. Lisäksi painikkeet ovat liian pieniä. 4) Tehtävien ohjelinkkien painikkeissa on symbolina huutomerkki. { } Selitys Parempi symboli ohjelinkille on esimerkiksi kysymysmerkki. A6. Tunnistaminen mieluummin kuin muistaminen: linkkejä ja painikkeita on käytetty tunnistettavasti. 5) Tehtävien ohje- ja perustelulinkeissä on sama symboli (huutomerkki). Lisäksi nappulat ovat lähes saman väriset { } Selitys Kuvasta 3 nähdään, että ilman tooltip-tekstiä olisi mahdoton päätellä, mitä näistä painikkeista tapahtuu. Onneksi tehtävissä on usein selventävä teksti näiden linkkien yhteydessä. On kuitenkin sellaisia tehtäviä, joista tämä teksti puuttuu. Erityisesti tällöin linkkien samankaltaisuus on ongelma. A6. Tunnistaminen mieluummin kuin muistaminen: linkkejä ja painikkeita on käytetty tunnistettavasti. 6) Opastusta tarjoavat linkit ovat liian pieniä, eikä niitä miellä linkeiksi. { } Selitys Etenkin ilman opastustekstiä linkit eivät kiinnitä tarpeeksi käyttäjän huomiota. 22

LUKU 5. KÄYTETTÄVYYSARVIOINTI A6. Tunnistaminen mieluummin kuin muistaminen: linkkejä ja painikkeita on käytetty tunnistettavasti. 7) Virheellistä syötettä ei voi muuttaa. { } Selitys Tekstikenttään kirjoitettua väärää vastausta ei ole mahdollista muuttaa jälkeenpäin. Järjestelmä ei tarjoa linkkiä sivulle, jossa olisi tekstikenttä korjausten tekemistä varten. Selaimen takaisinpainikkeella on kyllä mahdollista palata edelliselle sivulle, mutta tällöin virheellinen vastaus menetetään. Siinähän saattoi olla vain pieni virhe. A3. Käyttäjän hallinta ja vapaus: virheellisen syötteen voi muuttaa vielä lähettämisen jälkeen. 8) Ohjeet aukeavat ponnahdusikkunoihin. { } Selitys Ponnahdusikkunoiden avautuminen saattaa olla selaimessa estetty tai käyttäjällä on muita syitä, jotka tekevät ylimääräisistä ikkunoista ongelmallisia. A3. Käyttäjän hallinta ja vapaus: palvelu ei avaa turhia ikku- noita. Parannusehdotus On hyvä, että ohjeet aukeavat eri näkymään, eikä tehtävästä poistuta niiden lukemisen ajaksi. Tähän ei kuitenkaan kannata käyttää käyttöjärjestelmän ikkunaa, vaan avata pieni ohjeikkuna tehtäväsivun sisälle. 9) Perustelu- ja ohjelinkeissä on symbolia käytetty samaan tapaan linkkinä ja tunnuksena. { } Selitys Perustelu- ja ohjesymbolia käytetään sekä tehtäväsivun linkkinä että ohje- tai perustelusivun otsikon tunnuksena, joka siis ei ole linkki. Symboli näkyy käyttäjälle samanlaisena molemmissa tilanteissa. 23

LUKU 5. KÄYTETTÄVYYSARVIOINTI A4. Johdonmukaisuus ja standardit: linkkejä ja painikkeita on käytetty yhtenäisesti. Parannusehdotus Symbolit ovat melko turhia perustelu- ja ohjesivuilla, joten ne voi ottaa sieltä kokonaan pois. 10) Vastausnappulan teksti "oikea" on epäselvä. { } Selitys Käyttäjä odottaa ainakin ensimmäisellä käyttökerralla, että hänen on mahdollista antaa vastaus, jonka järjestelmä tarkistaa. Teksti "oikea" vastausnappulassa viittaa siihen, että käyttäjälle näytettäisiin oikea vastaus. Käyttäjä saattaa vältellä tätä, mikäli hän haluaa vastata kysymykseen itse. A6. Tunnistaminen mieluummin kuin muistaminen: painikkeita on käytetty tunnistettavasti. Parannusehdotus Painikkeen voisi nimetä esimerkiksi "vastaa". 11) Vastausnappula on syöttökentän vasemmalla puolella. { } Selitys Kuvassa 3 nähdään, miten vastauslomakkeen käyttö ei etene loogisesti vasemmalta oikealle, sillä vastausnappula on syöttökentän vasemmalla puolella. paikoissa. A4. Johdonmukaisuus ja standardit: painikkeet ovat tutuissa Parannusehdotus Vastausnappula tulee sijoittaa esimerkiksi syöttökentän alapuolelle oikeaan reunaan. 12) Tehtäviä ei ole mahdollista etsiä hakutoiminnolla. { } 24

LUKU 5. KÄYTETTÄVYYSARVIOINTI Kuva 4. Kaksi väärin vai kaksi oikein? Harmaasta symbolista yksin ei arvaa, kumpaa vaihtoehtoa tarkoitetaan. Selitys Matematiikan tehtäviin ei ole hakutoimintoa. Vaikka tehtävät on jaoteltu kursseittain, saattaa käyttäjää kiinnostaa sellaisen aihepiirin tehtävät, joita löytyy kurssin alta sekä lyhyen että pitkän oppimäärän yhteydestä. käyttäjälle. A7. Käytön joustavuus ja tehokkuus: palvelu näkyy selkeästi 13) Kaikkia tehtäviä ei ole mahdollista selata listana. { } Selitys Tehtävät löytyvät vain kunkin kurssin ja aihepiirin alta. Käyttäjän on hankala hahmottaa kerralla, millaisia tehtäviä teemapaketeissa ylipäätään on ja mistä aihepiireistä. Jopa saman kurssin tehtävät on jaoteltu toisinaan eri sivuille, joten käyttäjä joutuu selaamaan koko kurssiin liittyvän materiaalin läpi tehtäviä etsiessään. käyttäjälle. A7. Käytön joustavuus ja tehokkuus: palvelu näkyy selkeästi 14) Yhdistelytehtävän yhteydessä käytetään symbolia merkitsemään oikeita vastauksia. { } Selitys Oikeiden vastausten lukumäärä ilmoitetaan -symbolin kanssa (kuva 4). Tätä symbolia käytetään kuitenkin yleisesti vastakkaisessa merkityksessä virheen merkkinä. Vastauksen jälkeen tehtävässä näkyy oikeat ja väärät vastaukset merkittyinä. Tämä näkymä selventää värien ja väärin-symbolin mahdollisen esiintymisen kanssa symbolien merkitystä. 25

LUKU 5. KÄYTETTÄVYYSARVIOINTI yhtenäisesti. A4. Johdonmukaisuus ja standardit: tunnisteita on käytetty 15) Palvelu ei ota kantaa virheelliseen syötteeseen. { } Selitys Tehtävien vastauskenttiin on mahdollista kirjoittaa mitä tahansa, eikä järjestelmä tarkista syötettä millään tavalla. Tämä johtaa siihen, että käyttäjä ei kirjoita vastauslaatikkoihin mitään, koska sillä ei ole mitään vaikutusta. A5. Virheiden estäminen: palvelu tarkistaa virheellisen syöt- teen. 16) Teemapaketin materiaalia ei hyödynnetä parhaalla tavalla. { } Selitys Esimerkiksi tehtävään MAA3: kolmiot: kolmio ABC olisi tarjolla video sini- ja kosinilauseesta lyhyen matematiikan kurssissa MAB8: trigonometristen funktioiden peruskaavat. käyttäjälle. A7. Käytön joustavuus ja tehokkuus: palvelu näkyy selkeästi Parannusehdotus Esimerkiksi hakutoiminnon avulla käyttäjä voi itse etsiä materiaaleja. Tosin järjestelmän tulee tarjota näin ilmeisesti aiheeseen liittyvät materiaalit automaattisesti. 17) Kurssien navigointirakenne on erilainen. { } Selitys Kurssien sisällöt on jaettu osiin eri tavoilla. Tästä seuraa, että esimerkiksi tehtäviä löytyy eri navigointihierarkian tasoilta. Tämä hankaloittaa entisestään kokonaisuuden hahmottamista. A1. Palvelun tilan näkeminen: palvelu on selkeä. 26

LUKU 5. KÄYTETTÄVYYSARVIOINTI Kuva 5. Tehtävä ei anna vinkkiä, miten yhdistäminen tulisi tehdä. Käyttäjällä meni hetki keksiä, että tekstit ovatkin kuvia, joita voi liikuttaa hiirellä tarttumalla. Nuolet pitää osata laittaa toisiaan vastaan. Kaikkien kurssien tulee olla navigointirakenteeltaan sa- Parannusehdotus manlaisia. 18) Yhdistelytehtävissä (esimerkiksi MAB4: derivaatta: suurin ja pienin arvo: yhdistäminen) toiminnan eteneminen on epäselvää. { } Selitys Muutama tehtävistä on esimerkkinä mainitun kaltaisia yhdistelytehtäviä. Tekstissä annetaan yleensä ohje tyyliin "yhdistä oikeat parit". Kuitenkaan mitään vinkkiä siitä, miten tämä tehdään, ei anneta. Kuvassa 5 nähdään nuolet, jotka pitää osata liikuttaa vastakkain. Ruudulta ei näe helposti, että oikeassa sarakkeessa olevat tekstit ovatkin kuvia, joita voi liikuttaa hiirellä tarttumalla. A1. Palvelun tilan näkeminen: käyttäjä näkee, mitä hän voi tehdä seuraavaksi. 27

LUKU 5. KÄYTETTÄVYYSARVIOINTI Parannusehdotus Sanallinen toimintaohje tulee muuttaa informatiivisemmaksi. Lisäksi jos nuolet ovat lähtötilanteessa enemmän sekoittuneen näköisesti, antaa se käyttäjälle vihjeen, että ne pitää järjestää. 19) Yhdistelytehtävän vaihtoehtoja ei saa sekoitettua uudestaan. { } Selitys Yhdistelytehtävään kerran vastattuaan käyttäjällä ei ole paluuta tilanteeseen, jossa vaihtoehdot ovat sekoitettuina. Vastaustilanteen nollaaminen ja esimerkiksi aloittaminen alusta ei ole mahdollista. A3. Käyttäjän hallinta ja vapaus: virheellisen syötteen muuttamismahdollisuus voidaan sallia asetuksilla. 20) Yhdistelytehtäviin jää kehoitus "korjaa", vaikka vastaisi oikein. { } Selitys Yhdistelytehtävissä ilmestyy teksti "korjaa", kun tarkista-toiminto löytää vääriä vastauksia. Jos virheet korjaa ja painaa uudelleen tarkista-tekstiä, ei korjaa-kehoitus häviä. selkeät. A9. Virheiden käsittely: korjauksiin liittyvät toimintaohjeet ovat 21) Tekstiä on esitetty kuvina. { } Selitys Tämä voi olla ongelmallista, mikäli käyttäjä haluaa esimerkiksi muuttaa tekstin kokoa. Tämä tosin on matemaattisen tekstin esittämisen yleinen ongelma. Matemaattisia symboleja on usein mahdotonta esittää tavallisten merkkien avulla. Kuvien käyttö tähän tulee kuitenkin minimoida. Esimerkkinä tästä teoria MAB6: lineaarisen yhtälöparin ratkaiseminen: yhtälöparien ratkaisumenetelmiä. 28

LUKU 5. KÄYTETTÄVYYSARVIOINTI A7. Käytön joustavuus ja tehokkuus: käyttäjä voi muokata omaa käyttöliittymänäkymäänsä omien toiveidensa mukaiseksi. Parannusehdotus Tekstiä kuviksi vain silloin, kun on pakko esimerkiksi matemaattisten erikoissymbolien näyttämiseksi. 22) Vasemman reunan navigointipalkki ei aina näytä, minkä kurssin materiaaleja käyttäjä selaa. { } Selitys Reunan navigointipalkissa näkyy vahvennettuna se kurssi, jonka materiaalia käyttäjä on tutkimassa. Tämä ei kuitenkaan aina toimi. Kun navigoidaan kurssilla MAA8 sisältöihin, navigointipalkki ei enää näytä kurssia. A4. Johdonmukaisuus ja standardit: linkit näyttävät yhtenäi- siltä. 29

LUKU 5. KÄYTETTÄVYYSARVIOINTI 5.3 Pedagogisen käytettävyyden ongelmat 23) Materiaali ei motivoi oppilasta. { } Selitys Motivaatio vaikuttaa kaikkeen oppimiseen. Käyttäjälle kannustavaa palautetta antava oppimateriaali synnyttää helpommin sisäistä opiskelumotivaatiota. Tehtävien tulisi olla vaihtelevia ja mielenkiintoisia. Materiaalin tulisi myös jakaa oppimistavoite sopiviin osiin, joiden kautta opiskelija etenee pienin ja itsetuntoa vahvistavin askelin kohti oppimistavoitetta. Tällaista vaikutelmaa ei matematiikan tehtävistä tule. B7. Motivaatio 24) Suurin osa tehtävistä ei anna palautetta vastauksista. { } Selitys Lähes kaikki tehtävät ovat tyypiltään sellaisia, että ne antavat vastaamisen jälkeen mallivastauksen. Varsinaista palautetta ei anneta. Palautteen kautta päästään kuitenkin opiskelumotivaatioon, sillä se kasvaa, kun järjestelmä antaa kannustavaa palautetta. Opiskelija ymmärtää ongelmakohdat paremmin, jos hän saa välitöntä palautetta oikeista ja vääristä ratkaisuistaan. B10. Palaute 25) Tehtävässä MAA5: pistetulo eli skalaaritulo: vektorien kohtisuoruus. Teoriassa epätäsmällisyys. {Σ} Selitys Teorialaatikossa sanotaan, että kaksi vektoria (jotka eivät ole nollavektoreita) ovat kohtisuorassa toisiaan vastaan, jos niiden pistetulo on 0. Nollavektorin tilannetta ei selvitetä tarkemmin, vaikka tätä tietoa tarvittaisiin tehtävässä. D. Matemaattinen täsmällisyys ja oikeellisuus 30

LUKU 5. KÄYTETTÄVYYSARVIOINTI Parannusehdotus Suluissa olevaa täsmennystä ei tarvita, sillä nollavektorin sanotaan olevan kohtisuorassa kaikkia vektoreita vastaan. 26) Pistetulo esitetään heti kolmiulotteisessa tapauksessa. {Σ} Selitys Matemaattisen teorian tulisi rakentua yksinkertaisesta monimutkaiseen. Pistetulon laskeminen heti kolmiulotteisilla vektoreilla hyppää kaksiulotteisen tilanteen yli. Pistetulon ilmeinen sovellus eli vektorien kohtisuoruuden päätteleminen on kolmiulotteisessa avaruudellisessa tilanteessa huomattavasti hankalampi hahmottaa kuin tasossa eli kahdessa ulottuvuudessa. D. Matemaattinen täsmällisyys ja oikeellisuus Pistetulon teoria, esimerkit ja tehtävät ensin kaksiulottei- Parannusehdotus sessa tapauksessa. 27) Teemapakettien materiaalit eivät tuo paljon lisäarvoa esimerkiksi verrattuna nykyisin käytössä oleviin oppikirjoihin. { } Selitys Kun opiskelutilanteessa käytetään apuna tietokonetta, sen pitää tuoda opiskelulle todellista lisäarvoa verrattuna esimerkiksi oppikirjan käyttöön. Vaikka matematiikan teemapaketeissa on tarjolla videoita ja audioita, niiden sisältö ei tuo sellaista vaikutelmaa, että juuri tämä asia kannattaa opiskella tietokoneella. B6. Lisäarvo 28) Teemapaketit eivät sellaisenaan ohjaa yhteistoiminnalliseen oppimiseen. { } Selitys Yhteistoiminnallinen oppiminen tarkoittaa opiskelua yhdessä toisten opiskelijoiden kanssa. Oppimateriaalin tulisi tarjota välineitä, joiden avulla he voivat keskustella ja neuvotella erilaisista lähestymistavoista oppimistehtävän ratkaisemiseksi. Esimerkiksi keskusteluryhmät tai chätit mahdollistavat 31

LUKU 5. KÄYTETTÄVYYSARVIOINTI tämän. Yhteistoiminnallista opiskelua tukevassa oppimateriaalissa opiskelija saa tietoa siitä, mitä muut ovat tehneet tai parhaillaan tekemässä. Tällaista toimintaa ei teemapakettien käyttäminen suoraan edistä. B3. Yhteistoiminnallinen oppiminen 29) Materiaali ei tue opiskelua oppijan ehdoilla. { } Selitys Kun oppimateriaali toimii oppijan ehdoilla, käyttäjällä on koko ajan tunne siitä, että järjestelmän toiminta on hänen hallinnassaan. Materiaalin tulee tarjota hänelle vaihtoehtoisia tapoja tehdä sama asia. Oppijalla on mahdollisuus yhdistellä esimerkiksi hallintatyökalun avulla järjestelmässä tai sen ulkopuolella olevaa oppimateriaalia. Opettaja.tv tarjoaa tuntityökalun opettajalle. Tämä lähestymistapa on behavioristinen. Jos työkalu olisi opiskelijan käytössä, avaisi se mahdollisuuden tukea konstruktivistista oppimiskäsitystä. B1. Toiminta oppijan ehdoilla 30) Teemapakettien materiaalit eivät aktivoi opiskelijaa. { } Selitys Opiskeltavan asian pohdiskeluun kannustava, mahdollisimman paljon arkielämän tilanteisiin liittyviä esimerkkejä ja lähdemateriaalia käyttävä oppimateriaali aktivoi oppijaa toimimaan itsenäisesti. Esimerkiksi tilastomatematiikan opiskelussa opiskelija voi itse kerätä analysoitavaa aineistoa netistä. Teemapakettien materiaalit eivät nykyisellään ohjaa opiskelijan toimintaa tähän suuntaan. B2. Oppijan aktiivisuus 31) Lyhyen matematiikan kurssien materiaalit ovat liian abstrakteja. { } 32