Tieto- ja viestintätekniikka (TVT) avusteisen opetuksen käyttökelpoisuus

Transkriptio

1 Tieto- ja viestintätekniikka (TVT) avusteisen opetuksen käyttökelpoisuus Uudet teknologiat ja oppimisympäristöjen kehittäminen Tutkijakouluseminaari Tampereella Kirsi Silius, erikoistutkija Anne-Maritta Tervakari, tutkija TTY/DMI/Hypermedialaboratorio Tietoverkkoavusteisen opetuksen lähtökohdat Perustelut ja valinta - mikä toteutetaan tietoverkkoavusteisesti, mikä lähitapaamisissa TVT:n käytön tavoite Käyttäminen (using)... Tekeminen (doing)... Luominen (creating)... Opetuksen Tekniset kokeilut Opetuksen laajentaminen verkkoon kehittyminen Opiskelutaitojen organisointi verkkotyöskentelyn avulla kurssille ilmoittautuminen taitotason testausohjelmistot harjoitusryhmään ilmoittautuminen kurssien kotisivut harjoitustehtävien jakelu ja palautus opetusmateriaalin jako kurssin pikatiedotus suorituspisteiden seuraaminen ohjelmistojen testaus kurssin hallinta sovellukset oppimisympäristöalustan käyttöönotto interaktiiviset tehtävät (kone-ihminen) spontaani verkkokeskustelu palautteen kerääminen kurssin kehittämiseksi verkkoon suunniteltu materiaali oppimista tukevat sovellukset ajasta riippumattoman opetuksen aikataulusovellukset pedagogisesti perusteltu verkkokeskustelu opiskeluprosessin seuranta verkossa vertaistutorointi verkossa verkkotutorointi oppimisprosessin seuranta verkossa opetuksen painottuminen lähiopetukseen monimuoto-opetus 2002 Silius, Tervakari, Kaartokallio opetuksen painottuminen verkkoetäopetukseen Vrt. esim. Forsblom, N. & Silius, K ;Harmon, S.W. & Jones, M.G.1999; Hein, Ihanainen & Nieminen 2000; Jonassen, D.H ja 1996; Matikainen, J. & Manninen, J. 2000; Rosenberg, N. 1982; Wilson, G.B.1995;. 1

2 Tietoverkko oppimisympäristönä Tuote B A Luennot, demot, tentit, kenttätyö Esim. oheismateriaali luentokalvot linkkilistat Esim. valmiit itseopiskelupaketit kokonaiset oppikirjat Esim. opetuskeskustelut palautekeskustelut ohjaus ja tutorointi ryhmätyöt Esim. tutkijoiden keskustelut jaetun, uuden tiedon synnyttäminen C Prosessi D Vain verkko Hein, Ihanainen & Nieminen kohderyhmä Käyttökelpoisuuden arvioinnin näkökulmia kohderyhmä asiantuntijat esteettömyys saavutettavuus käytettävyys käytön sujuvuus informaation esitystapa informaation luotettavuus asiantuntijat kohderyhmä pedagoginen käytettävyys opiskeltavuus, opittavuus hyödyt informaation laadukkuus lisäarvot lisäarvot kohderyhmä asiantuntijat Tervakari ym

3 Käyttökelpoisuus (Nielsen) Lähde: Nielsen 1993, 25. TVT-avusteisen opetuksen käyttökelpoisuus muokattu Nielsenin (1993) pohjalta Tervakari & Silius Järjestelmän hyväksyttävyys Sosiaalinen Hyödyllisyys oppimisen hyväksyttävyys kannalta (utility ) (social acceptability) Käytännöllinen hyväksyttävyys (practical acceptability) Käyttökelpoisuus (usefulness) Käytettävyys (usability) Hinta Yhteensopivuus Luotettavuus jne. Lisäarvot Opittavuus Käytön tehokkuus Muistettavuus Virheet Subjektiivinen tyytyväisyys Nielsen, J Usability Engineerings. Boston (MS.): Academic press. Opetuksen ja opiskelun organisointi Opetuksen laadun kehittäminen Opiskelutaitojen kehittyminen Opetusteknologian testaus ja kehittäminen Pedagoginen käytettävyys (pedagogical usability) Opetus- ja opiskeluprosessien organisoinnin tukeminen Oppimis- ja ohjausprosessien tukeminen Taitojen kehittymisen tukeminen (mm. opiskelutaidot, tiedonhakutaidot ja vuorovaikutustaidot) 3

4 Yleinen käyttökelpoisuus yhteiskunta, kulttuuri jne. arvioijat opiskelijaryhmät (luokiteltu hlökohtaisten kontekstitekijöiden mukaan) verkkototeutuksen arviointi ARVO työkalun avulla kontekstista riippumattomat tekijät Käyttökelpoisuus opetuskontekstissa organisaatio, tieteenala, oppiaine, toimijat jne. opettaja hlökohtainen konteksti verkko-osuuden toteutus sekä opetus opiskelu opintojakson verkkototeutus Toteutuksen yleinen käyttökelpoisuus Käyttökelpoisuus opettajan näkökulmasta Käyttökelpoisuus opiskelijaryhmien näkökulmasta toteutuksen käyttökelpoisuus tietyssä opetuskontekstissa Tutkimuskysymykset: lisäarvot? edistävät tekijät? estävät tekijät? Silius, Tervakari, Kaartokallio & Yritys

5 Jatkuvan arvioinnin ja kehittämisen prosessi käyttö arviointi analysointi käytössä olevat resurssit suunnittelu ja/tai kehittäminen ja tukitoimet kehittäminen ja tukitoimet arviointi analysointi arviointi analysointi Vrt. Silius, Tervakari, Kaartokallio & Yritys 2003 toteutus ja tukitoimet CASE: ARVO arviointi- ja reflektointityökalu verkkototeutusten arvioinnin työkalu käytettävyys pedagogista käytettävyys - 1. vaiheessa opetuksen ja opiskelun organisointiin liittyvät seikat; myöhemmin 2. vaiheessa myös oppimis- ja ohjausprosessien tukeminen ja erilaisten taitojen kehittymisen tukeminen saavutettavuus ja esteettömyys sisällöllinen (informaation esitystapa ja luotettavuus) laatu sivuston arviointi yhdestä esim. visuaalisen suunnittelun näkökulmasta sivuston arviointi kaikista eri näkökulmista. kysymyslomakkeita voi "räätälöidä" vastaamaan paremmin arvioitavaa verkkosivustoa käyttö suunnittelun tukena kehitysvihjeisiin ilman varsinaista arviointia 5

6 Kysymyspankki: Työkalun osiot muutamilla suodattavilla kysymyksillä rajataan pois ne osa-alueet, jotka eivät kosketa arvioitavana olevaa toteutusta. kaikkiaan lähes 500 kysymystä. Vihjepankki: sisältää verkkototeutuksen kehittämiseen ohjaavia vihjeitä Arviointiraportit: arvioinnin yhteenveto: tiivis kooste arvioinnin tuloksista. kehitysvihjeet: tässä raportissa on esitetty arvioidun sivuston ne kohdat, joiden kehittämistä olisi hyvä miettiä. Kunkin kohdan yhteydessä on lyhyt vihje tai ehdotus, miten sitä voisi mahdollisesti parantaa. omat vastaukset: eräänlainen vastaushistoria, jossa on kerrottu kunkin kysymyksen kohdalla arvioijan antama vastaus ja sen merkitys kokonaisarviointiin sekä mahdolliset vastaajan lisäämät omat kommentit. suunnittelutavoitteena Käytettävyys (usability) suunnittelutyön tavoitteena systeemi: käyttö helppo oppia (ja muistaa), hyödyllinen, helppo ja miellyttävä käyttää (Gould, J.D.& Lewis, C. 1985). tuotteen ominaisuutena (Keinonen 1998) yleisimmin mainittuja: johdonmukaisuus, hallittavuus, esiystapa, virheiden sieto, muistettavien asioiden määrä, tehtävän sopivuus, joustavuus ja opastus (Keinonen 1998) Normanin viisi tuotteen ominaisuutta: käsitemalli, näkyvyys, kytkentä, palaute ja virheet Nielsenin kymmenen heuristista sääntöä 6

7 Käytettävyys (usability) tuotteen käyttämiseen liityvä ominaisuus yleisimmin mainittuja: opittavuus, tehokkuus (nopeus ja virheiden määrä) ja miellyttävyys (Keinonen 1998) mitattavissa empiirisesti ISO DIS : the extent to which a product can be used by specified users to achieve specified goals with effectiveness, efficiency and satisfaction in a specified context of use myös: Bennet 1984, Shackel 1991, Nielsen 1993 ja Jordan 1998 käyttäjän kokemuksiin liittyvä ominaisuus tarkasteltavia ominaisuuksia mm. tietotekniikkaan ja sen käyttöön liittyvät asenteet, tietotekniikan käytön tyydyttävyys, käytön havaittu hyödyllisyys, käytön henkinen ja fyysinen rasittavuus, turhautuminen (Keinonen 1998) myös omistamiseen ja käyttöön liittyvä mielihyvä, aistillisuus, viihdyttävyys Käytettävyyden komponentit (Nielsen 1993) Opittavuus: helppo oppia käyttämään, käyttäjä voi nopeasti aloittaa työskentelyn Käytön tehokkuus: kun käyttäjä on oppinut käyttämään sovellusta (kokenut käyttäjä), tehtävien suorittaminen on tehokasta (high level of productivity) Muistettavuus: keskivertokäyttäjä kykenee käyttämään sovellusta ilman suurempaa uudelleen opettelua vaikka edellisestä käyttökerrasta olisi kulunut jonkin aikaa Virheiden vähyys: virheiden määrä pieni ja vaikka niitä esiintyisikin, niin käyttäjä kykenee selviytymään niistä. Vakavia virheitä ei saa esiintyä lainkaan, Subjektiivinen miellyttävyys: käytön tulee olla miellyttävää Olennaista on, että komponentit ovat määriteltävissä ja mitattavissa 7

8 Käytettävyys ja tavoitteen saavuttaminen tavoite (goal): määriteltävä riittävän abstraktilla tasolla esim. kirjeen kirjoittaminen (ihmisen toiminnalla on aina tavoite) -> käyttäjä valitsee menetelmän, laitteen tai apuvälineen tehtävät (tasks), jotka käyttäjä täytyy laitteella tms. tehdä (tai hän uskoo) saavuttaaksen tavoitteen esim. kirjeen editointi, kirjeen tulostaminen toiminnot (actions), joita käyttäjä tekee (ihminen-tietokone vuorovaikutus) esim. kirjoittaa komennon näppäimistöllä - myös yksinkertainen tehtävä (simple task) ovat erilaisia eri ihmisillä riippuen heidän kokemuksistaan ja tiedoistaan sekä heidän käsityksistään systeemistä ja odotuksistaan sitä kohtaan ylemmän tason tavoite: työnhaku, sosiaalinen toiminta, oppiminen esim. liikekirje englanniksi (Preece ym. 1994, 411) Käytettävyyden kontekstuaalisuus käytettävyys voidaan ymmärtää eri tavoin objektiivisesti yleistettävä käytettävyysindeksi vai kontekstisidonnainen, ainutkertainen, subjektiivinen kokemus käytettävyyteen vaikuttavat tekijät monentasoisia suhteellisen pysyviä tekijöitä: ihmisen psykologisiin ja fysiologisiin rakenteisiin liittyvät tekijät (muisti, havaitseminen, aistit) ja jotkin kulttuuriset tekijät (kieli, normit, tavat) kontekstitekijät: kohteena oleva tehtävä, käyttäjän yksilölliset kyvyt ja rajoitukset, käyttötila ja sen olosuhteet, käyttötilanne (Keinonen 1998, Sinkkonen ym. 2002) 8

9 Käytettävyyden arviointi (usability evaluation) Summatiivista tai formatiivista Käyttöliittymän arviointi: automaattinen (ohjemallinen) - ohjelmoidut heuristiikat eivät toimi formaalinen (mallit, kaavat) - jäykkiä empiirinen (todelliset käyttäjät) -> käytettävyyden testaus (usability testing) vapaamuotoinen (asiantuntijat) -> käytettävyyden asiantuntijaarvio (usability inspection) peukalosäännöt, kokemus paras tulos, jos voidaan yhdistää testaus ja arvio sekä käyttää useampia menetelmiä arviointimenetelmiä mm. heuristinen menetelmä, kognitiivinen läpikäynti, ominaisuuksien testaus, standardivertailu, tarkistuslistat ja epämuodolliset asiantuntijakeskustelut heuristinen menetelmä on yksi suosituimmista Vrt. Nielsen Heuristinen arviointi Tee järjestelmän tila näkyväksi Käytä käyttäjälle luonnollista ja tuttua esitystapaa Anna käyttäjän edetä haluamassaan järjestyksessä. Pyri yhtenäisyyteen ja johdonmukaisuuteen sekä noudata standardeja Pyri estämään virhemahdollisuuksia Esitä asiat näytöllä niin, että käyttäjän ei tarvitse painaa niitä muistiin. Tue oikoteitä, tehokasta työskentelyä ja räätälöintiä Pyri esteettiseen ja minimalistiseen suunnitteluun Auta käyttäjiä tunnistamaan virheet ja toipumaan niistä Tarjoa hyvä opastus ja dokumentointi Nielsen

10 Esteettömyys, saavutettavuus voidaan ymmärtää käytettävyytenä erityisryhmien näkökulmasta (epätyypillisessä tilanteessa) -> erilaisuuden huomioiminen esim. näkö-, kuulo-, liikunta- ja CP-vammaiset sekä ihmiset, joilla on jokin muu pysyvä tai tilapäinen erityisongelma myös erilaiset laitteet ja käyttötilanteet ikäihmiset, eri ikäiset lapset esteettömyys, saavutettavuus, DfA (design for All), accessibility (WAI), universal usability kysymys ennen kaikkea tasa-arvoisuudesta Esteettömyyden (saavutettavuuden) arviointi testaus toimiiko sivusto ilman hiirtä, tekstiselaimella, ruudunlukuohjelmalla, ilman tyylitiedostoja ja skriptejä jne. erilaisten validaattorien käyttö esim. Bobby suositusten noudattaminen W3C:n WAI:n ohjeistus huomion kohteena mm. kieliasu, linkit, kehykset, palstat, taulukointi, lomakkeet, kuvat ja kuvakartat 10

11 Käytettävyys ja esteettömyys tässä tutkimuksessa Käytettävyys visuaalinen suunnittelu, mediaelementit, navigoinnin tukeminen, tekninen toteutus, tekstin luettavuus Esteettömyys multimediaelementit (teksti, still-kuva, video, animaatio,ääni) ja esteettömyys, päätelaitteista riippumattomuus, dynaamiset sivustot, kehyksien, taulukoiden, linkkien yms. käyttö Arvioinnissa kiinnitetään huomiota miten em. osa-alueet tukevat käytön tehokkuutta, opittavuutta, muistettavuutta, miellyttävyyttä sekä virheiden estämistä ja niistä toipumista Pedagoginen käytettävyys Jotta tuote olisi käyttökelpoinen tiettyyn tarkoitukseen on sen oltava paitsi käytettävä myös hyödyllinen (esim. Nielsen 1993, 25). Opetuskäyttöön suunnatun verkkototeutuksen tulee olla käytettävyyden lisäksi hyödyllinen ennen kaikkea oppimisen kannalta. Verkkototeutuksen katsotaan olevan hyödyllinen oppimisen kannalta myös silloin, kun se tukee opiskelu- ja opetusprosessia esim. opetuksen organisointia (vrt. Nielsen 1993, 25). Pedagogisella käytettävyydellä tarkoitetaan tässä sitä, miten hyvin tietoverkkoavusteisen oppimisympäristön käyttöliittymä, rakenne, toiminnot, verkkomateriaali ym. sisältö, oppimistehtävät ja valitut työkalut motivoivat ja tukevat oikea-aikaisesti erilaisten opiskelijoiden opiskelua tietyssä oppimiskontekstissa valittujen pedagogisten tavoitteiden mukaisesti. (Vrt. Hakkarainen ym. 2001, 7 & Soloway ym ) 11

12 Pedagoginen käytettävyys opetuksen ja opiskelun organisoinnin tukeminen oppimis- ja ohjausprosessien tukeminen ohjaus ja tuki, oppimistavoitteiden saavuttamisen tukeminen, motivointi, yhteistoiminnallisuus, yhteisöllisyys, reflektiivisyys, konstruktiivisuus, intentionaalisuus, aktiivisuus, autenttisuus, kontekstuaalisuus, siirrettävyys, edutainment, volitio, yksilöllisyys, abstraktiivisuus, erilaisten oppimistyylien tukeminen, eri modaliteettien tukeminen, vuorovaikutuksen tukeminen taitojen kehittymisen tukeminen opiskelutaidot: metakognitiiviset taidot, oppimaan oppiminen, opiskelustrategiat, itseohjautuminen, medialukutaito menetelmät tiedonhaku- ja vuorovaikutustaidot, sosiaaliset taidot ym. taidot strateginen, taktinen ja operatiivinen taso voivat ilmetä tvt-avusteisen opetuksen rakenteessa, ihmisten toiminnassa, verkkomateriaalissa, oppimistehtävissä, verkkotyökalujen ominaisuutena yms. Pedagoginen käytettävyys Pedagoginen käytettävyys Tavat ja menetelmät, joilla tuetaan opiskelua ja oppimista Organisointi Opetuksen organisointi Opiskelu organisointi Oppimis- ja Ohjaus ja tuki ohjausprose Oppimistavoitteiden tukeminen ssien Opiskeluprosessin tukeminen tukeminen Oppimisprosessin tukeminen Motivointi Yhteistoiminnallisuus Yhteisöllisyys Reflektiivisyys Konstruktiivisuus Intentionaalisuus Aktiivisuus Autenttisuus Kontekstuaalisuus Siirrettävyys (transfer) Edutainment Volitio Yksilöllisyys Abstraktiivisuus Ohjauksellisuus Oppimistyylit Multimodaliteetin tukeminen Vuorovaikutuksen tukeminen Opiskelijan autonomian tukeminen Opiskelijan itseohjautuvuuden tukeminen Muuta Käytännön organisointi Miten tukeminen ilmenee verkkototeutuksessa Opettaminen Opiskelu Verkko- Verkkooppimistehtoppimateriaali vät Rakenne/ suunnitelma Verkkotyökalut 12

13 Pedagoginen käytettävyys Pedagoginen käytettävyys Tavat ja menetelmät, joilla tuetaan opiskelua ja oppimista Organisointi Opiskelun organisointi Opetuksen organisointi Käytännön organisointi *kurssi kotisivut informatiiviset (kaikki olennainen tieto) *ilmoittautumi ne kurssille verkon kautta Miten tukeminen ilmenee verkkototeutuksessa Opettaminen Opiskelu Verkko- Verkkooppimistehtoppimateriaali vät *kyseessä *kunkin osion marginaalikurssi yhteydessä (osallistujia lista lisämateriaalista myös muualta) *mahdollisuus (myös kirjat ja testata lehdet) verkkotyökaluja järjestetty Rakenne/ suunnitelma *kotisivuilla kokonaisaikatau lu kurssin etenemisestä ja eri työvaiheista *kommentit harjoituksista keskustelufooru milla *kaiken oppimateriaalin jako verkon välityksellä * koneen tarkistamia tehtäviä Verkkotyökalut *harj.töiden palauttamisen dok.hallintasove lluksen kautta *dok.hallintasov ellus harj.töiden palauttamisen organisoimisee n Pedagoginen käytettävyys ja käytettävyys TVT:n käytön tavoite käyttäminen (using)... tekeminen (doing)... luominen (creating)... Opetuksen Tekniset kokeilut Opetuksen laajentaminen verkkoon kehittyminen Opiskelutaitojen organisointi verkkotyöskentelyn avulla käytettävyyden merkitys pedagoginen käytettävyyden merkitys erilaisuuden huomioiminen kehittymisen tukeminen motivointi, aktivointi opetuksen painottuminen lähiopetukseen Silius & Tervakari 2003 monimuoto-opetus opetuksen painottuminen verkkoetäopetukseen 13

14 Informaatiosisällön arviointi Kiinnitetään huomiota informaatiosisällön luotettavuuteen ja esitystapaan voidaan ajatella osaksi käytettävyyttä (ja pedagogista käytettävyyttä) arvioidaan mm. miten tukee sisältöinformaation omaksumista syvällisempi arviointi substanssin asiantuntijan toimesta tärkeä erityisesti faktatiedon levittämiseen ja opetuskäyttöön tarkoitetulla sivustolla vaikka syvällinen arviointi edellyttää sisällön asiantuntemusta, yleisellä tasolla voidaan sanoa kuitenkin jotakin informaatiosisällön laadukkuudesta informaation luotettavuus ja esitystapa Informaation luotettavuus (Aleksander & Tate 1998) perinteisen julkaisun arviointikriteerit yhä toimivia täsmällisyys (accuracy) - informaation virheettömyys ja luotettavuus (arviointi) asiantuntevuus (authority) - kirjoittajan asiantuntemus ja julkaisijan luotettavuus objektiivisuus (objectivity) - informaation julkaisemisen tarkoitus, puolueettomuus voimassaolo (currency) - informaation ajantasaisuus kattavuus (coverage) - osatotuus vai koko totuus 14

15 Informaation luotettavuus (Aleksander & Tate 1998) hypertekstilinkkien käyttö: linkin takana olevan sivun laatu ja luotettavuus erilainen kehyksien käyttö: virheellinen käsitys alkuperästä -> tekijänoikeudellisesti ongelmallinen irti alkuperäisestä kontekstistaan: esim. hakukoneen noutama sivu kaupallisesti orientoitunut sivu - mainos ja informaatio voivat sekoittua (myös viihteellisyys) ohjelmistovaatimukset - voivat rajoittaa informaation saatavuutta epästabiilius alttius muutoksille (tahattomille ja tahallisille) Informaation esitystapa informaatiosisällön omaksumisen tukeminen esim. mediaelementtien tarkoituksenmukainen käyttö modaliteettien tarkoituksen mukainen tukeminen asiasisällön looginen jäsennys ja käyttäjälle tuttu tapa jäsentää ilmiö usein monimutkaistenkin kokonaisuuksien omaksumisen tukeminen esim. pedagogisen käytettävyyden näkökulmasta eri oppimistyylien ja modaliteettien tukeminen noviisin tukemista eksperttitason tiedon omaksumisessa 15

16 Lisäarvot mitä konkreettista lisäarvoa verkon käyttö tuo toimijoille verrattuna perinteiseen opetukseen voivat konkretisoitua eri tasoilla opetuksen ja opiskelun organisoinnin tukeminen oppimis- ja opetusprosessien tukeminen taitojen kehittymisen tukeminen voimakkaasti sidoksissa toimijan kontekstiin -> lisäarvot voivat vaihdella eri käyttäjien kesken ongelmallisinta on siirrettävyys (vrt.forsblom & Silius 2202a, 2002b; Silius ym. 2003; Tervakari ym. 2002, ) Lähteet Alexander, J. & Tate, M Web Resource Evaluation Techniques [online]. Chester: Widener University [viitattu ]. Saatavissa www-muodossa: ARVO - arviointi- ja reflektointityökalu. Forsblom, N. & Silius, K. 2002a. Value Added on Web-based Learning Environments. In E.Pantzar (Eds.), Perspectives on the Age of the Information Society. Tampere University Press, Forsblom, N. & Silius, K. 2002b. What is the Added Value of Web-based Learning and Teaching? The Case of Tampere University of Technology. In A.J.Kallenberg & M.J.J.M. van der Ven (Eds.), The New Educational Benefits of ICT in Higher Education: Proceedings, Gould, J.D.& Lewis, C Designing for usability: key principle and what designers think. Communication of the ACM, 28, Hein - Ihanainen - Nieminen Tunne verkko. OTE - opetus & teknologia 1/2000, s Opetushallitus. 16

17 Lähteet Hakkarainen, K., Lakkala, M., Rahikainen, M. & Seitamaa-Hakkarainen, P Specification of design prinsiples for ITCOLE. ITCOLE Project. IST Information Society Technologies. ISO Guidance on Usability. Jordan, P W An Introduction to usability.london: Taylor & Francis, Keinonen, T One-dimensional usability - influence of usability on consumers' product preference. Taideteollisen Korkeakoulun julkaisu A21. Helsinki: Taideteollinen korkeakoulu. Nielsen, J Usability Engineerings. Boston (MS.): Academic press. Nielsen, J Ten Usability Heuristic. Luettu Saatavissa wwwmuodossa: Nielsen, J Inspection Methods. Computer-Human Interaction. CHI'95. Electronic proceedings. Luettu saatavissa www-muodossa: Preece, J. ym Human-Computer Interaction. Workingham: Addison-Wesley Publishing Company. Lähteet Shackel, B Human factors and usability. Teoksessa: Preece, J. & Keller, L. (ed.) Human-Computer Interaction: Selected Readings. Hemel Hempstead: Prentice-Hall. Silius, K., Tervakari, A-M., Kaartokallio, H. & Yritys, K Tieto- ja viestintätekniikka-avusteisen opetuksen käyttökelpoisuuden arviointimalli. Suomen virtuaaliyliopiston e-julkaisuja nro 9. Espoo: Suomen virtuaaliyliopiston kehittämisyksikkö. ISBN Silius, K. & Tervakari, A-M An Evaluation of the Usefulness of Webbased Learning Environments. The Evaluation Tool into the Portal of Finnish Virtual University. In: Peñarrocha, V. & alt. (ed.)menu International Conference on University Networks and E-learning 2003, 8-9 May 2003 in Valencia, Spain. Proceedings of menu, [CD-rom]. ISBN: Sinkkonen, I. ym Käytettävyyden psykologia. Helsinki: Edita Oyj. Soloway, E., Guzdial, M. & Hay, K Learner-Centered Design. The Challenge For HCI In The 21st Century. Interactions, 1(2), Saatavissa myös pdf-muodossa [online] [viitattu ]: 17

18 Lähteet Soloway, E. ym Learning Theory in Practice: Case Studies of Learner- Centered Design. Computer-Human Interaction. CHI'96. Electronic proceedings. Suomen Dfa-verkosto Mitä Design for All on? Luettu Saatavissa www-muodossa: Tervakari, A-M., Silius, K., Ranta, P., Mäkelä, T. & Kaartokallio, H Tietoverkkoavusteisen opetuksen käyttökelpoisuus. Käytettävyys ja pedagoginen käytettävyys opetuksen organisoinnin näkökulmasta. Tampereen teknillinen yliopisto:hypermedialaboratorio W3C Checklist of Checkpoints for Web Content Accessibility Guidelines 1.0. Luettu Saatavissa www-muodossa: Yhteystiedot Erikoistutkija Kirsi Silius Tutkija Anne-Maritta Tervakari TTY/DMI/Hypermedialaboratorio Tietotalo, Korkeakoulunkatu 1 PL Tampere 18