Tietoverkkoavusteinen opetus Yleisimpiä karikoita ja matalikoita 1 kohderyhmä Arvioinnin näkökulmia Käytettävyys Käytettävyys Esteettömyys Esteettömyys eli eli saavutettavuus saavutettavuus Tiedon Tiedon esitystapa esitystapa Tiedon Tiedon luotettavuus luotettavuus 2 kohderyhmä Hypermedian perusteet 20.11.2002 Anne-Maritta Tervakari anne.tervakari@tut.fi TTKK:n virtuaaliyliopisto Pedagogiset Pedagogiset toimintaprosessit toimintaprosessit kohderyhmä esim. esim. opetuksen opetuksen organisoiminen organisoiminen Arviointi(palaute) Arviointi(palaute) Lisäarvot Lisäarvot kohderyhmä Systeemin hyväksyttävyys (Nielsen) (a model of he attributes of system acceptability) käyttökelposuus käytettävyys hyödyllisyys Lähde: Nielsen 1993, 25. 3 Esteettömyys, saavutettavuus voidaan ymmärtää käytettävyytenä erityisryhmien näkökulmasta (epätyypillisessä tilanteessa) -> erilaisuuden huomioiminen esim. näkö-, kuulo-, liikunta- ja CP-vammaiset sekä henkilöt, joilla on jokin muu erityisongelma myös erilaiset laitteet ja käyttötilanteet ikäihmiset, eri ikäiset lapset esteettömyys, saavutettavuus, DfA (design for All), accessibility (WAI) esim. toimiiko ilman hiirtä, ilman tyylitiedostoja, skriptejä toimiiko tekstiselaimella tai näkövammaisen ruudunlukuohjelmalla kieliasu, linkit, kehykset, palstat, taulukointi, lomakkeet, kuvat ja kuvakartat 4 1
Arviointitutkimus TTKK:n virtuaaliyliopiston ja Hypermedialaboratorion monitieteinen arviointitutkimus Tavoitteena tietoverkkoavusteisen opetuksen arviointimenetelmien kehittäminen toimintatutkimus Kohteena vuoden 2001 TTKK:n virtuaaliyliopistohankkeiden ja A&Ohankkeen verkko-opetuskokeilut Opiskelijakyselyt Opetushenkilöstölle suunnatut kyselyt Käytettävyyden ja pedagogisen käytettävyyden asiantuntija-arviointi Etnografinen aineisto 5 Asiantuntija-arvioinnit käytettävyysarviointi 23 opintojaksolle visuaalinen suunnittelu, laitteistoihin ja ohjelmistoihin liittyvät teknisluonteiset seikat, tiedon esitystapa, tiedon luotettavuus, tekstin luettavuus, muut mediaelementit, navigoinnin tukeminen, työkalut ja vuorovaikutteiset elementit, virheistä toipuminen pedagoginen käytettävyysarviointi 18 opintojaksolle opetuksen organisoiminen, oppimistavoitteiden tukeminen, ohjaus ja tuki, opiskelijan autonomian tukeminen, vuorovaikutuksen tukeminen, opiskelutaitojen kehittymisen tukeminen arvioinnit: erikoistutkija Kirsi Silius, tutkija Anne-M. Tervakari ja tutkimusapul. Heidi Kaartokallio 6 7 8 Opiskelijakyselyt Verkkomateriaalin taso alkukyselyyn vastanneet 414 vastaajaa 14 opintojaksolta miehiä 71% naisia 29% loppukyselyyn vastanneet 152 vastaajaa 11 opintojaksolta miehiä 68% vastaajista, naisia 32% alku- ja loppukyselyyn vastanneet 35 vastaajaa 9 opintojaksolta miehiä 80%, naisia 20% kyselyaineiston käsittely: fil.yo. Elina Kalliomäki Verkkomateriaalin taso %- osuus Heikko 8 melko heikko 14 neutraalia 29 melko kiitettävä 40 kiitettävä 9 yhteensä (N=129) Verkkomateriaalin rakenne %- osuus Epäselvä 6 melko epäselvä 18 neutraalia 27 melko selvä 37 selvä 13 yhteensä (N=128) Verkkomateriaalin %- käyttö osuus Vaikeaa 2 melko vaikeaa 14 neutraali 21 melko helppoa 31 helppoa 32 yhteensä (N=133) suurin osa (65%) opintojaksojen materiaalista oli opettajien tuottamaa 2
9 10 Visuaalinen suunnittelu Visuaalinen suunnittelu sivuston asettelun yhdenmukaisuus sivuston värimaailman johdonmukaisuus samankaltaisuuden ja läheisyyden laki värisokeiden huomioiminen ja mustavalkotulostus yleisilmeen selkeys tyhjän tilan käyttö Selkeä ja rauhallinen yleisilme auttaa käyttäjää hahmottamaan sivujen eri elementit ja havaitsemaan keskeisen informaation. Runsas värien ja eri muotojen käyttö ja liian täyteen ahdettu sivu saavat helposti aikaan rauhattoman ja sekavan yleisilmeen. Käyttäjä ei osaa kohdistaa huomiotaan mihinkään erityiseen. Sinkkonen ým. 2002 Vastaajien tyytyväisyys verkko-oppimisympäristön ulkoasuun Verkko-oppimisympäristön ulkoasu heikko melko heikko ei heikko, muttei kiitettäväkään melko kiitettävä kiitettävä yhteensä N=119 vastaajista 2 14 30 45 9 Teknisluonteiset ominaisuudet latausajat kohtuullisia eri selainversioiden huomioiminen tiedostomuodot yleisesti tuettuja 11 tiedostokokojen optimointi isojen tiedostojen koko näkyvissä sivujen skaalautuvuus tekninen virheettömyys Kuluu usein vuosi pari ennen kuin jokin uusi teknologinen ominaisuus on käyttäjien enemmistöllä käytössä. Oman ongelmansa verkkosivujen suunnittelijalle asettavat myös käyttäjien laite- ja ohjelmistokannat. (Nielsenin 2000, 34.) Teknisluonteiset ominaisuudet Harjoitustehtävien tekninen toteutus Heikko 19 Neutraali 33 kiitettävä 48 yhteensä (N=104) 12 3
13 14 käytetty merkistö oikeinkirjoitus tekstikappaleiden pituus Tekstin luettavuus käytetty kirjasin tyyppi tekstin tehostaminen silmäiltävyyden lisääminen tekstin jäsentäminen Ihmiset silmäilevät www-sivujen tekstiä sen sijaan, että lukisivat tekstin rivi riviltä. Näyttöjen suhteellisen huono resoluutio vaikuttaa siihen, että tekstin luettavuus on heikompi näytöltä kuin paperilta. Perussääntöjä noudattamalla tekstin luettavuutta voidaan kuitenkin parantaa. (Esim. Nielsen 1997; Nielsen 2000, - 129; Sinkkonen 2002, 144-145.) Tekstin luettavuus Opiskelijoiden ko m m entteja Parempi paperilta on lukea. En loppujen lopuksi käyttänyt verkkoa mihinkään, tulostin materiaalit. En jaksanut lukea Tietokoneen ruudulta ei jaksa lukea kuin ihan lyhyitä pätkiä. Siksi verkkoa pitäisi käyttää muutenkin kuin pelkästään prujunkorvikkeena. tehtäviä, keskustelua tms. 15 16 Muut mediaelementit Muut mediaelementit still-kuvien laatu kuvien informatiivisuus harmaasävyisenäkin äänen laatu videoiden pituus tarkoituksenmukaisuus still -kuvien alt-tekstit Verkkomateriaalin mediaelementtien laatu Laatu heikko ei heikko, ei kiitettävä Teksti 9 25 Valokuva 34 42 Piirros 20 33 Video 60 30 One of the advantages of the Web is that text, graphics, photographs, audio and video can be integrated and used to instructional advantage. One of the major disadvantages however is delivering these materials to the learner. (Jolliffe, Ritter & Stevens 2001, 68.) kiitettävä yhteensä 66 (N=117) 25 (N=65) 46 (N=88) 11 (N=37) 4
Navigoinnin tukeminen 17 Navigoinnin tukeminen 18 sivujen nimeäminen <title> länsimaisen lukutavan tukeminen painikkeiden tunnistus ja sijainti kokonaiskäsityksen muodostaminen sivustosta polku tms. tuki navigoinnille linkkien nimien yhteneväisyys lisäksi tekstilinkit Käyttäjän tulee navigointikäyttöliittymän avulla kyetä vastaamaan kolmeen peruskysymykseen: Missä minä olen? Mistä minä tulin? Minne täältä voi mennä? (Nielsen 2000.) Oikeiden työvälineiden ja toimintojen löytäminen opiskeltaessa Työvälineiden ja toimintojen löytäminen vaikeaa melko vaikeaa ei vaikeaa, muttei helppoakaan melko helppoa helppoa yhteensä N=116 vastaajista 3 13 33 36 16 Informaation arviointi - tiedon esitystapa 19 Informaation arviointi - tiedon esitystapa 20 sivuilla tieto esitetty tieto myös tiivistetyssä loogisessa muodossa järjestyksessä sivuston syvyystasojen informaation hyväksikäyttö läpikäyntitapa tiedon pirstoutuminen valittavissa tärkeän informaation näkyvyys Jos ruudulla on liian paljon täydentämätöntä tietoa, kuten usein verkkosivuilla linkkien takana, käyttäjä tuntee eksyneensä. mikäli linkkejä on liikaa, ei hahmo täydenny, vaan kuva asiasta pirstaloituu ja kiinnostus herpaantuu tai käyttäjä huomaakin vaeltaneensa kauas alkuperäisiltä sivuilta. (Luukkonen 2002.) Opiskelijoiden ko m m entteja asioiden selkeys plussaa, linkit laajemmalle... Hyvää: havainnollisuus hyvin jäsennetty hyvää: oli saatavilla erilaisina kokoonpanoina sivut olivat sekaiset verkossa oli liikaa tietoa heikkoa oli keskeneräisyys, opiskelumateriaalin vähäisyys hyviä kuvia, mutta liian suppeasti asiaa...paremmin jäsennelty oppimateriaali 5
Informaation luotettavuus 21 Informaation luotettavuus 22 perinteisen julkaisun arviointikriteerit yhä toimivia Accuracy (virheettömyys, paikkansa pitävyys) Authority (luotettavuus) - kirjoittajan asiantuntemus, julkaisijan luotettavuus Objectivity (asiallisuus) - puolueettomuus, yksipuolisuus, mihin pyritään Currency (hyväksyttävyys) Coverage (kattavuus) Aleksander & Tate 1998 linkkien käyttö (linkin takana olevan sivun laatu erilainen) kehyksien käyttö (kehyksissä itse asiassa eri sivut - > ikään kuin yksi) hakukoneen noutama sivu - irti alkuperäisestä kontekstistaan kaupallisesti orientoitunut sivu - mainos ja informaatio voivat sekoittua (myös viihteellisyys) voivat olla ohjelmistoriippuvaisia epästabiilius alttiita tahattomille ja tahallisesti aiheutuneille muutoksille Aleksander & Tate 1998 Informaation arviointi - tiedon luotettavuus 23 Informaation arviointi - tiedon luotettavuus 24 Opiskelijoiden ko m m entteja kehykset ja tekijänoikeudet yhteystiedot vanhentunut tieto päivitystiedot linkkien toimivuus ja tarkastusajankohta Verkko julkaisukanavana asettaa omia erityisvaatimuksia. Esimerkiksi sivujen epästabiilius, ohjelmistovaativuus, hyperlinkkien luotettavuus, alkuperä jne. ovat merkityksellisiä arvioitaessa tiedon luotettavuutta. (Alexander & Tate, 1998.) se oli ajan tasalla ja sitä päivitettiin tarpeen mukaan. linkkilista oli hyvä sellaisen ajan tasalla pitäminen vaatii vaivaa...päivityksiä ei tehty ajallaan välikoe huomenna eikä viimeisempiä tehtäviä ole vielä päivitetty... puuttui isoja osioita ei ristikkäisiä dead line - päivämääriä 6
Pedagoginen käytettävyysarviointi Jotta tuote olisi käyttökelpoinen tiettyyn tarkoitukseen on sen oltava paitsi käytettävä myös hyödyllinen (esim. Nielsen 1993, 25). Opetuskäyttöön suunnatun verkkototeutuksen tulee olla käytettävyyden lisäksi hyödyllinen ennen kaikkea oppimisen kannalta. Verkkototeutuksen katsotaan olevan hyödyllinen oppimisen kannalta myös silloin, kun se tukee opetus- ja opiskeluprosessia esim. opetuksen organisointia (vrt. Nielsen 1993, 25). Pedagogisella käytettävyydellä tarkoitetaan tässä sitä, miten hyvin tietoverkkoavusteisen oppimisympäristön käyttöliittymä, oppimis- ym. tehtävät, sisältö ja työkalut motivoivat ja tukevat oikea-aikaisesti erilaisten opiskelijoiden opiskelua tietyssä oppimiskontekstissa valittujen pedagogisten tavoitteiden mukaisesti. (Vrt. Hakkarainen ym. 2001, 7 & Soloway ym. 1996.) 25 Opetuksen organisointi vaadittavat esitiedot käytettävä lisämateriaali harjoitustehtävien ja töiden määräajat, pelisäännöt yms. 26 opintojakson rakenteen hahmottaminen opintojakson työskentelytavat selkeät yhteystiedot Saitko riittävästi tietoa opintojaksoon liittyvistä asioista ennen sen alkua? Tiedon saanti ennen opintojakson alkua ei saanut riittävästi tietoa melko riittämättömästi neutraali melko riittävästi riittävästi Opetuksen organisointi yhteensä N=146 vastaajista 10 19 22 29 19 27 Oppimistavoitteiden tukeminen eri mediamuodot tukevat toisiaan esimerkit liittyvät opetettavaan asiaan 28 tiedon esitystapa auttaa muodostamaan kokonaiskäsityksen opittavasta asiasta tiivistelmä opittavasta asiasta (pääkohdat) oppimismateriaaliin liittyvät ajattelua aktivoivat tehtävät materiaalin adaptiivisuus 7
Oppimistavoitteiden tukeminen 29 Opiskeluprosessin tukeminen 30 Vuorovaikutteiset tehtävät tukivat opiskelua Ei juuri lainkaan 33 Jonkin verran 21 Neutraali 21 Melko paljon 23 Todella paljon 3 Yhteensä (N=39) tiedon esitysmuoto sivuilla johdonmukainen materiaalin tarkoituksenmukainen teemoittelu informaation hahmottamien osaalueisiin työkalujen perusteltu käyttö oppimisen kannalta kohderyhmän huomioiminen esim. oppimistyylien Opiskeluprosessin tukeminen 31 Ohjaus ja tuki 32 Työvälineet ja toiminnot auttoivat luomaan kokonaiskuvan opittavan asian sisällöstä Verkko-oppimisympäristö tuki heikosti melko heikosti ei heikosti, muttei kiitettävästikään melko kiitettävästi kiitettävästi yhteensä N=109 vastaajista 3 13 53 27 5 ei kohtuuttomia viiveitä ohjaukseen liittyvässä palautteen annossa selkeä kanava opettajalle, luennoitsijalle tehtäviä kysymyksiä varten mahdollisuus saada ohjausta verkon välityksellä - tuotava selkeästi esiin 8
Vuorovaikutuksen tukeminen vuorovaikutusfoorumin ohjeistus mitä opiskelijoilta toivotaan selkeästi ilmaistu keskustelun merkitys oppimisen kannalta opiskelijoiden osallistuttaminen ja opettajan itsensä osallistuminen rohkaiseminen vuorovaikutukseen 33 Vuorovaikutuksen tukeminen Verkkokeskustelu tuki opiskelua Ei juuri lainkaan 65 Jonkin verran 20 Neutraali 12 Melko paljon 2 Todella paljon 2 Yhteensä (N=66) 34 Opiskelutaitojen kehittyminen opiskelija saa palautetta osaamisestaan muutoinkin kuin tentissä opiskelijoita ohjataan oman ja toisten työn arvioimiseen esitietojen testausmahdollisuus 35 Opiskelutaitojen kehittyminen Opiskelijoiden loppulysely Palautteen saaminen opettajalta verrattuna perinteiseen opetukseen Vähemmän kuin perinteisessä 33 Jonkin verran vähemmän 21 Neutraali 38 jonkin verran enemmän 7 enemmän kuin perinteisessä 1 Yhteensä (N=136) 36 9
Lähteitä Albion, P.R. 1999. Heuristic evaluation of educational multimedia: from theory to practice. http://www.usq.edu.au/users/albion/papers/ascilite99.html Alessi,S. & Trollip, S.1991. Computer-Based Instruction. Methods and Development. Englewood Clifs (HJ): Prentice Hall. Alexander, J. & Tate, M.A. 1998. Web Resource Evaluation Techniques http://www2.widener.edu/wolfgram-memorial-library/webeval/eval1198/index.htm Bostock, S. 2001. Learning technology. http://www.keele.ac.uk/depts/cs/stephen_bostock/docs/atceng.htm Dick, W. 1996. The Dick and Carey Model: Will It Survive the Decade? http://fleming0.flemingc.on.ca/lrc/bild/kwork/careym~1.htm Gould, J.D.& Lewis, C. 1985. Designing for usability: key principle and what designers think. Communication of the ACM, 28, 300-311. 37 Hakola, E-M. 2002. Kuvallisen viestinnän keinot. Koulutustilaisuus 4.11.02. Jordan, P W. 1998. An Introduction to usability.london: Taylor & Francis, 11-16. Korpela, J. 2002. Esteettömyysopas (luonnos). TIEKE http://www.tieke.fi/esteettomyysopas/estohje.html Krech ym. 1982. Elements of Psychology. 4th ed. New York: Alfred A. Knopf. Leinonen, T. ym. 2002. Collaborative discovering of key ideas in knowledge building. Computer Support for Collaborative Learning CSCL2002 Conference. Boulder, Colorado, USA, January 7-11, 2002. Lifländer, V-P.1989. Tietokoneavusteisen opetuksen kehittäminen. Helsingin kauppakorkeakoulun julkaisuja D112. Helsinki: Helsingin kauppakorkeakoulu. Nielsen, J. 1993. Usability Engineering. London: Morgan Kaufmann. Nielsen, J. 1994. Ten Usability Heuristic. http://www.useit.com/papers/heuristic/heuristic_list.html Nielsen, J. 1995. Inspection Methods. Computer-Human Interaction. CHI'95. Electronic proceedings. http://www.acm.org/sigchi/chi95/proceedings/tutors/jn_bdy.htm Nielsen, J. 2000. WWW-suunnittelu. Helsinki; Edita Oy 38 Preece, J.& al. 1994. Human Computer Interactions. Wokingham: Addison- Wesley Publishing Company. Quinn, C. N. 1996. Pragmatic Evaluation: Lessons from Usability. http://www.ascilite.org.au/conferences/adelaide96/papers/18.html Sinkkonen ym. 2002. Käytettävyyden psykologia. Helsinki: Edita Oy Soloway, E. ym. 1996. Learning theories in Practice: case Studies of Learned- Centered Design. Computer-Human Interaction. CHI'96. Electronic proceedings. http://info.acm.org/sigchi/chi96/proceedings/papers/soloway/es-txt.htm Squires, D. & Preece, J. 1999. Predicting Quality in Educational Software: Evaluating for learning, usability and synenergy between them http://www.ifsm.umbc.edu/communities/heur2.html TEFCA: Green - Méthodologie de création de logiciels éducatifs http://tecfa.unige.ch/tecfa/teaching/lme/lombard/green/green_methodologie.html Tergan, S-O. 1998. Checklists for the evaluation of educational software. Critical review and prosects. Innovations in Education and Training International, 35 (1), 9-20. W3C. 2000. Techniques for Web Content Accessibility Guidelines 1.0 http://www.w3.org/tr/wai-webcontent-techs/ 39 10