www.virtuaaliyliopisto.fi

www.virtuaaliyliopisto.fi Tieto- ja viestintätekniikka-avusteisen opetuksen käyttökelpoisuuden arviointimalli Kirsi Silius, Anne-Maritta Tervakari, Heidi Kaartokallio, Katja Yritys Heinäkuu 2003 Tampereen teknillinen yliopisto DMI / Hypermedialaboratorio Suomen virtuaaliyliopiston e-julkaisuja 9 http://www.virtuaaliyliopisto.fi/e-julkaisut/julkaisu009.pdf Sarjan muut julkaisut http://www.virtuaaliyliopisto.fi/e-julkaisut ISSN 1458-316X ISBN 951-22-6623-7

SISÄLLYSLUETTELO: 1. ARVO -PROJEKTI OSANA EVA -TUTKIMUSHANKETTA... 3 2. TVT -AVUSTEISEN OPETUKSEN ARVIOINTI EVA TUTKIMUSHANKKEESSA... 4 2.1. EVA TUTKIMUSHANKE... 4 2.1.1. Lähestymistapana toimintatutkimus... 5 2.1.2. Mitä arviointi on?... 6 2.1.3. Arvioinnin monitieteisyyden vaatimus... 7 2.1.4. Kontekstin merkitys... 8 2.2. EVA TUTKIMUSHANKKEEN ARVIOINTIMALLI... 11 2.3. TUTKIMUSAINEISTO... 16 3. TVT-AVUSTEISEN OPETUKSEN KÄYTTÖKELPOISUUDEN (USEFULNESS) ARVIOINTI... 17 3.1. KÄYTETTÄVYYS (USABILITY)... 19 3.2. ESTEETTÖMYYS... 24 3.3. HYÖDYLLISYYS (UTILITY)... 25 3.3.1. Pedagoginen käytettävyys... 25 3.3.2. Lisäarvot... 29 3.4. INFORMAATIOSISÄLTÖ... 30 3.4.1. Informaation esitystapa... 32 3.4.2. Informaation luotettavuus... 32 4. ARVO ARVIOINTI- JA REFLEKTOINTITYÖKALU... 33 4.1. ARVON OSIOT... 34 4.2. ARVON KÄYTTÖ... 35 4.3. ARVON JATKOKEHITYS... 36 5. LÄHTEET:... 37 1

Raportissa käytetyt lyhenteet AO hanke ARVO CFT CSC CSS DMI EVA -tutkimushanke HTML IE LCD PDA PDF Sitra SVY TEKES TTY TVT URL WAP WWW W3C Avoin oppimisympäristö tavoitetutkimushanke; TTY/DMI/ Hypermedialaboratorion toteuttama hanke; rahoittajina suomalaiset yritykset ja TEKES Verkkosovellusten arvioinnin apuvälineeksi kehitetty työväline Cognitive Flexibility Theory Tieteen tietotekniikan keskus Cascading Style Sheet Digitaalisen median instituutti Tampereen teknillisen yliopiston virtuaaliyliopiston ja Hypermedialaboratorion yhteishankkeena toteuttama arviointitutkimus Hypertext Markup Language Microsoft Internet Explorer Learner-Centered Design Personal Digital Assistant Portable Document Format Suomen itsenäisyyden juhlarahasto Suomen virtuaaliyliopisto Teknologian kehittämiskeskus Tampereen teknillinen yliopisto Tieto- ja viestintätekniikka Uniform Resource Locator Wireless Application Protocol World Wide Web World Wide Web Consortium 2

1. ARVO -projekti osana EVA -tutkimushanketta ARVO -projekti koostui kahdesta erillisestä vaiheesta, joista ensimmäinen toteutettiin vuoden 2002 joulukuussa ja toinen vaihe 1.1. 31.3.2003. Projektin ensimmäisessä vaiheessa arvioitiin Suomen virtuaaliyliopiston (SVY) silloisen työn alla olleen portaaliversion käytettävyys ja pedagoginen käytettävyys (opetuksen organisoinnin osalta) sekä esteettömyys dokumentaation, demokäyttöliittymän (linkitetty kuvasto) ja edellisen sivuston tarjoaman materiaalin pohjalta. Asiantuntija-arviointimenetelminä käytettiin heuristisia listoja, tarkistuslistoja sekä kognitiivista läpikäyntiä. Arvioinnin tulokset raportoitiin kirjallisesti ja niiden pohjalta käytiin CSC:n ja SVY:n portaalin kehittäjäryhmän kanssa palautekeskustelu Espoossa 5.12.2002. Lisäksi joulukuun aikana toimitettiin käytettävyyden, pedagogisen käytettävyyden ja esteettömyyden arvioinnin teoreettinen viitekehys, jota käytettiin myöhemmin toteutettavan arviointityökalun pohjana. Projektin toisen vaiheen aikana toteutettiin WWW-pohjainen ARVO -arviointi- ja reflektointityövälineen protoversio, joka on liitetty osaksi SVY:n portaalia. Työkalu sisältää laajan kysymyspatteriston, vihjepankin sekä tulostettavat, arviointitulosten pohjalta koostettavat arviointiraportit. ARVO -työkalu on kuvattu tarkemmin luvussa 4. ARVO -työryhmä ARVO-projektin toteutuksesta ovat vastanneet Tampereen teknillisen yliopiston (TTY:n) Digitaalisen median instituutin (DMI:n) Hypermedialaboratorion tutkijat. Hankkeen vastuullisena johtajana on toiminut professori Seppo Pohjolainen ja projektipäällikkönä Kirsi Silius. Työryhmän muut jäsenet ovat: Harri Inkinen, Heidi Kaartokallio, Teemu Mäkelä, Pekka Ranta, Anne-Maritta Tervakari ja Katja Yritys. EVA -tutkimusryhmä ARVO -työkalun kehitystyö pohjautuu TTY:n virtuaaliyliopiston ja TTY/DMI/Hypermedialaboratorion yhteisessä EVA -tutkimushankkeessa (v. 2001 alkaen) tehtävään tutkimustyöhön. EVA -tutkimushankkeen tavoitteena on tieto- ja viestintätekniikka (TVT) - avusteisen opetuksen verkkototeutusten arviointimenetelmien kehittäminen. Tutkimuksen osa-alueina ovat tieto- ja viestintätekniikka-avusteisen opetuksen lisäarvot opettajille ja opiskelijoille sekä tieto- ja viestintätekniikka-avusteisessa opetuksessa esiintyvät oppimista edistävät ja estävät tekijät. Lisäksi verkkototeutuksia on arvioitu käyttökelpoisuuden (käytettävyys ja hyödyllisyys), saavutettavuuden ja esteettömyyden sekä informaation esitystavan ja luotettavuuden osalta. Tutkimushankkeen johtajana toimii professori Seppo Pohjolainen. Tutkimusryhmän jäseniä ovat erikoistutkija Kirsi Silius, tutkija Anne-Maritta Tervakari, W3C:n toiminnanjohtaja Ossi Nykänen, tutkimusapulainen Heidi Kaartokallio, erikoistutkija Pekka Ranta, tutkimusapulainen Elina Kalliomäki, tutkimusapulainen Katja Yritys, tutkimusapulainen Harri Inkinen, tutkimusapulainen Teemu Mäkelä ja tutkija Jukka Huhtamäki. Tutkimusryhmässä aiemmin toiminut tutkija Sami Hautakangas on siirtynyt toisiin tehtäviin 31.12.02, kuten myös tutkimusapulainen Eva Marttinen, joka siirtyi toisiin tehtäviin keväällä 2002. 3

2. TVT -avusteisen opetuksen arviointi EVA tutkimushankkeessa 2.1. EVA tutkimushanke TTY:n virtuaaliyliopiston ja TTY/DMI/Hypermedialaboratorion yhteisen EVA tutkimushankkeen arviointiin pohjautuvan monitieteisen toimintatutkimuksen tavoitteena on tutkia ja kehittää TVT -avusteisen 1 opetuksen eri muotoja niin, että toteuttamisessa huomioitaisiin sen soveltuvuus ja sosiaalinen hyväksyttävyys kulloinkin kyseessä olevaan opetuskontekstiin. Tutkimuksen ylemmän, organisaatiotason tavoitteena on TTY:n tietoverkkoavusteisen opetuksen kehittäminen. Tavoitteen tekee haasteelliseksi muutoksen laajuus ja kohde. Kehitystyö koskettaa organisaatiossa kaikkia opetusta antavia henkilöitä. Ensimmäisessä vaiheessa mukana ovat aktiiviset kokeilijat, mutta lopullisena tavoitteena on hyödyntää TVT:tä kaikissa rutiineja helpottavissa opetuksen ja opiskelun organisointiin liittyvissä tehtävissä sekä tarkoituksenmukaisissa tilanteissa myös opetuksessa. Tutkimuksen kohteena on organisaation kannalta suhteellisen uusi opetusmenetelmä. Aiemmissa tutkimuksissa on havaittu, että organisaation totutut tavat toimia vaikuttavat siihen, minkälaiset valmiudet henkilöstöllä on ryhtyä uuteen käytäntöön. Rakenteelliset tekijät ja käytettävissä olevat resurssit vaikuttavat myös siihen, miten henkilöstön on käytännössä mahdollista kehittää uusia toimintatapoja työssään. Uusien toimintatapojen käyttöönotto kuten esim. TVT avusteisen opetuksen järjestäminen saattaa muuttaa useiden henkilöiden työnkuvaa merkittävästi. TVT avusteisen opetuksen käyttöönottoa voidaan verrata muihin opetuksen ja koulun kehittämisprojekteihin. Muutos piloteista arkipäivän käytäntöihin vaatii tukea ja aikaa, tyypillisesti noin 3-5 vuotta. Kouluttautumiseen, rakenteiden muuttamiseen sekä muihin tukitoimiin tarvittavien resurssien määrä on suhteessa sen muutoksen suuruuteen, joka tarvitaan siirryttäessä nykyisistä toimintatavoista uusiin. Tämän kehittämisprosessin laadun on todettu olevan tärkeässä roolissa siinä, mitä hyötyjä organisaatiotasolla uusista toimintatavoista saadaan sekä miten läpäisevästi uudet toimintatavat arkipäiväistyvät organisaatiossa pilotoinnin, käytännön toteutusten ja juurruttamisen kautta (Hameyer 2002). Kehittämisprosessin laadun takaamiseksi keskeiseen osaan kehittämistyössämme nousee tutkimuksellisten menetelmien soveltaminen pilotointien analysoinnissa ja niistä saatujen hyvien käytäntöjen juurruttamisessa. Lähestymme ilmiötä kolmesta näkökulmasta, joista keskeisimmän osan muodostaa opintojakson verkkototeutusten yleisen käyttökelpoisuuden arviointi asiantuntija-arviointina. Saadaksemme tarkemman kuvan toteutuksen laadusta tietyssä opiskelu- ja opetuskontekstissa liitämme näihin arviointeihin myös loppukäyttäjäarvioinnit, joiden avulla myös TVT avusteisen opetuksen lisäarvoja kartoitetaan. Tämän lisäksi tutkimuksemme tavoitteena on tunnistaa erilaisia opiskelukonteksteja, joita tutkimme löytääksemme esimerkiksi ne opiskelijoiden asenteista ja opiskeluhistoriasta 1 TVT -avusteisella opetuksella tarkoitamme opetusta, jossa hyödynnetään tavalla tai toisella tieto- ja viestintäteknologiaa esim. tietoverkkoja. Opetuksessa voidaan käyttää esim. tietoverkkoa pelkästään kurssin organisointiin liittyvään tiedottamiseen tai tekstiviestejä harjoitusryhmiin ilmoittautumiseen. Toisessa ääripäässä on täysin (tai ainakin lähes) verkon välityksellä tarjottava kurssi, jossa opetus- ja opiskelutoiminnot tapahtuvat verkossa. 4

juontavat tekijät, jotka kulloisessakin kontekstissa ovat TVT avusteista opetusta edistävinä ja/tai estävinä tekijöinä. Niin ikään tarkastelemme opintojakson verkko-osuuden tuotanto- ja toteutuskontekstia löytääksemme sellaiset rakenteelliset ja resursointiin liittyvät tekijät, jotka voivat olla TVT avusteista opetusta edistävinä ja/tai estävinä tekijöinä tai yhteydessä niihin. Kontekstista ja sen merkityksestä TVT avusteisen opetuksen arvioinnissa tarkemmin kappaleessa 2.1.4. Tarkoituksena on, että tutkimus auttaisi tulevaisuudessa opettajia tunnistamaan opetuskontekstinsa sekä sen mahdolliset edistävät ja estävät tekijät jo ennalta. Tällöin opettaja voisi ottaa nämä seikat huomioon jo opintojaksonsa verkkototeutusta suunnitellessaan. Toisaalta tavoitteena on myös kehittää tutkimuksen kuluessa TVT -avusteisen opetuksen arviointimalli, jota olisi mahdollista hyödyntää opetuskontekstista riippumatta. Arviointimallia hyödynnetään mm. arviointiprosessia ohjaavan ja nopeuttavan arviointityökalun kehittämisessä. 2.1.1. Lähestymistapana toimintatutkimus EVA tutkimuksen puitteissa tapahtuva TVT -avusteisen opetuksen kehitystyö hyödyntää toimintatutkimuksen lähestymistapaa. Toimintatutkimusta on vaikea määritellä yksiselitteisesti. Usein se määritelläänkin lähestymistavaksi, jossa tutkija osallistumalla tutkittavan yhteisön toimintaan pyrkii ratkaisemaan jonkin tietyn ongelman yhdessä yhteisön jäsenten kanssa. (Eskola & Suoranta, 2000, 127.) Toimintatutkimuksen tärkeimpiä sovellusalueita ovat paitsi työelämän ja yhteiskunnallisten liikkeiden myös koulutuksen tutkimus. Toimintatutkimuksessa yhdistetään teoreettinen tutkimus toiminnan tarkasteluun. Tutkimuskohteeseen, joka on aina jokin tietty yhteisö, pyritään vaikuttamaan tutkimuksellisin keinoin ts. tekemään käytäntöön kohdistuva interventio tutkimuksen avulla. (Ibid., 126 127.) Olennaista toimintatutkimuksessa on toiminnan systemaattinen havainnointi, käytäntöjen teoreettinen pohdinta sekä kokemusten kriittinen arviointi ja raportointi. Lisäksi tutkimus toteutetaan yleensä sykleinä, joissa toistuu suunnittelu, toiminta, havainnointi ja reflektointi. (Esim. Suojanen 1999.) Toimintatutkimuksen tavoitteena on pyrkimys parempaan. Keskeisintä tulee olla yhteisön toiminnan kehittäminen ja/tai muutoksen aikaansaaminen yhteistyössä toimijoiden kanssa, sillä ulkopuolelta tulevat ratkaisut, esim. konsulttina toimivien tutkijoiden esittämät, johtavat vain harvoin todelliseen muutokseen ja kehitykseen. Todellisen muutoksen aikaansaaminen edellyttää siis aina yhteisön jäsenten, esimerkiksi työntekijöiden, osallistumista kehitystyöhön ja siihen liittyvien ongelmien ratkaisemiseen. Toimintatutkimuksen prosessiin on siten oleellisena osana sisällytetty toiminnan arviointi ja ohjaus. (Esim. Eskola & Suoranta, 2000, 128; Suojanen 1999.) Esimerkkinä toimintatutkimuksesta Eskola ja Suoranta (2000, 128) mainitsevat tilanteen, jossa tutkija auttaa toimijoita kehittämään omia arviointitaitojaan ja reflektoimaan omaa toimintaansa. Näitä taitoja toimijat hyödyntävät, ensin tutkijan avulla ja myöhemmin itsenäisesti, oman ammattikäytäntönsä kehittämisessä. Toimintatutkimus poikkeaa siis perinteisistä tutkimusmenetelmistä siinä suhteessa, että tutkija osallistuu aktiivisesti kehitettävään toimintaan eikä toimi ainoastaan ulkopuolisena havainnoijana. (Syrjälä & Numminen 1988, 51 62 ref. Eskola & Suoranta 2000, 127.) Tällainen toiminta vaatii onnistuakseen tutkijoiden ja opettajien yhteistyötä. EVA tutkimushankkeessa kaikki tutkijat ovatkin tutkimuksen lisäksi osallistuneet pilottien ohjaukseen ja arviointiin sekä ohjaavan koulutuksen organisointiin tai kouluttamiseen. 5

2.1.2. Mitä arviointi on? EVA tutkimushankkeessa toimintatutkimuksen prosessiin kuuluu oleellisena osana toiminnan ohjaus ja arviointi, joka luo pohjaa toimintatutkimuksen tavoitteen eli toiminnan kehittämisen toteutumiselle. Arviointi on tutkimuksessamme työväline sellaisen tiedon hankkimiseen, jota pystytään käyttämään hyväksi TVT:tä hyödyntävän opetuksen ja opiskelun kehittämisessä. Arvioinnin avulla halutaan lisätä ymmärrystä erityisesti teknillisen alan korkeakoulutuksen TVT:n hyödyntämistavoitteista ja tavoista sekä niistä kontekstuaalisista syistä, jotka vaikuttavat toisaalta TVT -avusteisen opetuksen ja opiskelun laatuun ja siihen, miten se koetaan, toisaalta oppimista edistäviin ja estäviin tekijöihin kulloisessakin tilanteessa. Arvioinnista Suomessa käytetään yleensä rinnakkain evaluaation käsitettä. Yleisimpiä arviointi -käsitettä vastaavia englanninkielisiä käsitteitä Suomessa luettavassa arviointikirjallisuudessa ovat termit assessment ja evaluation sekä appraisal. Myös englanninkielinen termi rating suomennetaan arvioinniksi (Åhlberg 1992, 6). Arviointia pidetään kontekstisidonnaisena toimintana. Konteksti tekee kustakin arvioitavasta kohteesta ainutlaatuisen ja siksi sen vaikutukset pitää ottaa huomioon. Arviointitieto on luonteeltaan käytännön hyötyä tavoittelevaa ja sillä voi olla monia eri käyttötarkoituksia. Kontekstisidonnaisuus on tullut esiin erityisesti konstruktivistisen evaluaatioparadigman mukaisissa käsityksissä arvioinnista (Vuorenmaa 2001, 132-134; Guba & Lincoln 1989, 79-117). Konstruktivistinen arviointiparadigma perustuu ajatukseen, että sosiaalinen todellisuus on sosiaalisesti konstruoitu eli toisin sanoen ei ole olemassa yhtä objektiivista todellisuutta, jonka tutkija voisi löytää (vrt. positivismi 2 ). Konstruktivistisen arvioinnin lähtökohtana on eri toimijoiden osallistuttaminen, joten ideaalitilanteena voidaan pitää sitä, että kaikki, jotka ovat toimintaan jollakin tavoin osallisina saavat äänensä kuuluville. Guban ja Lincolnin (1989) vuorovaikutuksellisempaa ja moniarvoisempaa arviointia edustava osallisten ja toimijoiden (stakeholders) käsityksiin pohjautuva arviointimalli on tyypillinen esimerkki konstruktivistisen arvioinnin mallista. Arviointinäkemyksemme perustuu edellä esiteltyyn moniarvoisuuteen ja toimijoiden osallistuttamiseen. Koska ihminen on toiminnalleen päämääriä etsivä ja tavoitteellisesti ajatteleva olento, on arvioinnissa huomioitava käyttäjien ilmaisemat tavoitteet ja asenteet. Se, miten TVT:tä on aiottu opetuksessa tai opiskelussa hyödyntää, antaa viitteitä niistä periaatteellisista syistä miksi niitä halutaan hyödyntää. Niinpä opetukseen tarkoitettuja sovelluksia arvioidaan esimerkiksi opetuspalvelun tuottajan ja toteuttajan, opiskelijan ja organisaation näkökannalta. Asiantuntija-arviointeja tehdessämme arvioimme sitä, miten erilaisissa opetuskokeiluissa on onnistuttu saavuttamaan ne asiat, joita alun perin lähdettiin tavoittelemaan ja toisaalta myös sellaiset tavoiteltavat ominaisuudet, jotka perustuvat aiempaan tieteelliseen tutkimukseen. Arviot eivät perustu yhteen ja ainoaan oikeaan didaktiseen tapaan hyödyntää opetuksessa TVT:tä, vaan pikemminkin toimijoiden tavoitteiden ja oppimista tukevien ominaisuuksien arvottamiselle. Haluamme myös huomauttaa, ettemme asiantuntija-arvioinneissa kiinnitä huomiota varsinaisten oppimistulosten arvioimiseen, vaikka katsommekin myös niiden arvioimisen olevan tärkeää. Oppimistulosten arviointi 2 Positivistisen otteen mukaan esitetään väitteitä, jotka on tieteellisin keinoin pystyttävä koettelemaan ja todistamaan joko oikeiksi tai vääriksi. Positivismi korostaa sitä, että tieteen tehtävänä on tutkia toistuvia, yhteisiä, lähinnä luonnonlakien alaisia piirteitä. Mitä paremmin jokin ilmiö asettuu jonkin luonnonlain alaisuuteen, sitä paremmin se kuvaa todellisuutta. Erityisesti positivismi korostaa syy - seuraus -suhteita ja kuvaa niihin liittyviä selitysmalleja tilastollisin menetelmin. (Anttila 1999.) 6

kuuluu näkemyksemme mukaan ensisijaisesti opettajalle, jonka välityksellä tieto oppimistuloksista välittyy myös tarvittavassa määrin arviointia toimintatutkimuksen osana tekeville tutkijoille. Tutkimuksessamme lähdetään siitä, että tietoverkkojen käyttöä opetuksessa leimaa yleensä hyödyn tavoittelu. Hyöty ymmärretään tässä yhteydessä laajasti. Hyödyt on mielellään voitava osoittaa laajasti yhteiskunnan, koulutusorganisaation, opettajien, suunnittelijoiden sekä ennen kaikkea opiskelijoiden toimintamahdollisuuksien ja oppimisen laadun paranemisena. Toisaalta hyödyt voivat liittyä esimerkiksi opiskelijoiden motivoimiseen uuden välineen avulla. Tervakari ym. (2002) ovat tarkastelleet hyötyjä osana TVT avusteisen opetuksen käyttökelpoisuutta ja jaotelleet hyödyt oppimista tukeviin niin kutsuttuihin pedagogisen käytettävyyden tekijöihin ja lisäarvoihin (vrt. Nielsen 1993; Tervakari ym. 2002). Näkemyksen mukaan TVT avusteisen opetuksen tulee tuottaa selviä etuja ja lisäarvoja eri toimijoille verrattuna perinteiseen opetukseen. Asian tai ilmiön hyödyllisyyden arvioinnissa korostuu aina arvon antaminen ilmiölle. Näemme, että arvottaminen on osa arvioinnin perusolemusta ja se liittyy siihen aina joko tiedostetusti tai tiedostamatta. Laukkanen (1998, 32) määrittelee evaluaation jonkin asian tai ilmiön hyödyn ja/tai arvon määrittämiseksi, joka perustuu asiasta tai ilmiöstä hankitun tiedon analysointiin. Oleellista arvioinnissa on, että arvo määritellään aina joitakin kriteerejä käyttäen (Vuorenmaa 2001, 29). Koska arvottaminen on oleellinen osa evaluaatiota, näkemyksemme mukaan arvioinnin tekijä ei voi sanoutua irti sen myötä tulevasta vaatimuksesta tulla itse tietoiseksi omista arvoistaan eikä myöskään siitä, että kaikilla evaluaation osapuolilla on omat arvonsa. Tämän raportin teoriaosuus esittää ne arvot, jotka meillä raportin kirjoittajilla ovat olleet taustasitoumuksina tutkimusprosessiin ryhtyessämme. 2.1.3. Arvioinnin monitieteisyyden vaatimus TTY:n arviointiin perustuvan toimintatutkimuksen puitteissa korostetaan monitieteisyyden merkitystä. Jo TVT -avusteisen opetuksen toteuttaminen edellyttää lukuisten erityistaitojen hallintaa. Opettaja on toki itse opetettavan asian asiantuntija, mutta usein tarvitaan lisäksi mm. pedagogiikan, didaktiikan, julkaisuteknologian, visuaalisen suunnittelun, käytettävyyden, viestinnän ja evaluoinnin asiantuntemusta. Huomioitavaa on kuitenkin ensinnäkin se, että yksi henkilö ei useinkaan voi hallita ainakaan syvällisesti kaikkea vaadittavaa erityistietämystä. Toiseksi vaatimus siitä, että yhden henkilön tulisi hallita kaikki vaadittava tietämys, on mahdoton eikä vastaa tarkoitustaan. Katsommekin, että TVT - avusteisen opetuksen arviointi edellyttää eri tieteenalojen teoreettisten näkemysten ja asiantuntijoiden tietämyksen yhdistämistä. Yhtymäkohtia on mm. kasvatustieteisiin, psykologiaan, sosiaalipsykologiaan, sosiologiaan, informaatiotieteisin, ohjelmistotekniikkaan, tietojenkäsittelyyn, käytettävyyteen ja taiteisiin. (Vrt. Pantzar 2001, 125; Tergan 1998; Weston & Parker, 2001.) Yleensä kasvatustieteellisissä kirjoituksissa korostetaan yhden, kulloinkin valitsevan teoreettisen mallin paremmuutta muihin nähden. Tästä poiketen nojaamme Lehtisen ja Kuusisen (2001, 137 138) käsitykseen monipuolisemman tarkastelutavan tarpeesta ja näemme, että oppimisen tutkimuksen viitekehysten muokkaaminen yhdistämällä tarkoituksenmukaisia teoreettisia näkemyksiä antaa moniulotteisemman kuvan opetus-, opiskelu- ja oppimisilmiöstä. Viime vuosien oppimisen ja kehityksen teorioiden kehittelytyössä ovat Lehtisen ja Kuusisen (2001, 135 138) mukaan lukuisat tutkijat päätyneet siihen, että oppimisen monita- 7

hoisuuden ymmärtäminen edellyttää useampien teoreettisten mallien rinnakkaista käyttöä jopa sellaisissa tilanteissa, joissa lähestymistapojen perusteissa on ristiriitaisia olettamuksia. Perustellumpaa onkin olettaa, että erilaiset teoreettiset näkökulmat voivat kukin osaltaan selittää oppimisen ilmiötä. Eri näkökulmat vastaavat ainakin jossakin määrin eri kysymyksiin ja tarkastelevat asioita hyvin eri tasolla olevien analyysiyksiköiden kautta. Esimerkiksi kognitiiviset ja konstruktivistiset teoriat avaavat merkittävän näkökulman ymmärtää yksityiskohtaisesti spesifejä oppimisprosesseja erityisissä kysymyksissä. Ne eivät kuitenkaan sellaisenaan riitä vastaamaan kysymyksiin siitä, miksi ajattelutavat, uskomukset tai toimintakäytännöt tietyssä kulttuurissa tai tiettynä ajanjaksona ovat muotoutuneet tietyn kaltaisiksi. (Lehtinen & Kuusinen 2001, 137.) Tällaisia yleisempiä tekijöitä tuntuvat lupaavimmin selittävän sosiokulttuuriset teoriat, jotka kuitenkin ovat liian epäspesifejä silloin, kun kysymys on jonkin erityisen tiedon tai taidon oppimisprosessin kuvauksesta (Schoenfeld 1999 ref. Lehtinen & Kuusinen 2001, 137-138). Olemme TVT avusteisen opetuksen käyttökelpoisuutta tutkiessamme kiinnittäneet huomiota kontekstin merkitykseen. Olemme tarkastelleet oppimista erityisesti sosiaalisen konstruktivismin (esim. Bonk & Cunnigham 1998) ja situationaalisuutta korostavan oppimisen (esim. Greeno, Collins & Resnick 1996) näkökulmasta, joissa molemmissa kontekstin rooli on merkittävä. Toisaalta itse verkkototeutusten käyttökelpoisuutta arvioitaessa olemme koostaneet pedagogisen käytettävyyden kriteerejä pohjaten osin Jonassenin (1995) merkityksellisen oppimisen kriteereihin, joiden teoreettinen tausta puolestaan nojaa osin kognitiiviseen konstruktionismiin ja jotka näin kiinnittävät huomiota yksityiskohtaisemmin oppimisprosessin spesifeihin kysymyksiin. 2.1.4. Kontekstin merkitys Kontekstin ja siihen liittyvien taustatekijöiden merkitys tieto- ja viestintätekniikkaavusteisen opetuksen laadun tutkimisessa on noussut viime vuosina esille useissa tutkimuksissa (vrt. Briton 2001, Forsblom & Silius 2002a; Matikainen 2000; Sambrook, Geerthuis & Cheseldine 2000). Esimerkiksi Matikainen (2000, 44) toteaa, että on tärkeää tutkia toimintaa kontekstuaalisena, koska konteksti määrää toiminnan kohdetta, luonnetta ja lopputulosta. TVT -opetusta arvioitaessa ei voida siis tyytyä ainoastaan tavoiteltujen tulosten saavuttamisen mittaamiseen. On huomioitava myös laajempi konteksti, jossa opetus, opiskelu ja oppiminen tapahtuu sekä otettava huomioon kaikki ne tekijät, jotka tietyssä kontekstissa estävät ja/tai edistävät oppimista tai opetusta. Bonkin ja Cunninghamin (1998, 35) mukaan vaatimus kontekstin huomioon ottamisesta oppimisen tutkimuksessa on mainittu jo Vygotskin 3 ajatuksissa, joiden mukaan yksilön henkinen toiminta on sidoksissa sosiaaliseen vuorovaikutukseen, kulttuuriseen, institutionaaliseen ja historialliseen kontekstiin: jos halutaan ymmärtää ihmisen ajattelua ja oppimista täytyy tutkia kontekstia, jossa oppiminen tapahtuu. Korhonen (2003, 20) mainitsee väitöskirjassaan, että mielekkäästä oppimisesta puhuttaessa tulisi kiinnittää huomiota niihin kulttuurisiin ja sosiaalisiin mekanismeihin, jotka vaikuttavat kun oppija on oppimisympäristössä interaktiossa oppimateriaalin, opettajan ja 3 L.S. Vygotski (1896-1934) oli Neuvostoliiton aikana Venäjällä vaikuttanut psykologi, jolla on ollut suuri merkitys koko maailman psykologian kehittymiselle. Hän edusti kulttuurihistoriallista koulukuntaa, jonka teoriassa keskeistä oli näkemys (sosiaalisesta) toiminnasta, jossa tai jonka välityksellä ulkoinen ja sisäinen kohtaavat. Vygotski korosti sosiaalisen tilanteen laatua ihmisen psyykkisen kehityksen perustana. 8

muiden oppijoiden kanssa ja korostaa näin osaltaan kontekstin merkitystä oppimistapahtumassa. Tutkimuksemme yhtenä tavoitteena onkin selvittää, mitkä ovat nimenomaan teknillisen alan oppimiseen vaikuttavien kulttuuristen ja sosiaalisten mekanismien erityispiirteet ja miten ne tulisi ottaa huomioon, kun suunnitellaan ja toteutetaan alan verkkoopetusta ja -opiskelua. Kontekstin käsitteen määrittelyn haasteena on se, että konteksti käsitteenä on epämääräinen ja sitä voidaan käyttää viitattaessa eritasoisiin ilmiöihin (esim. Korhonen 2003, 22). Esimerkiksi Poikela (1999) lähtee etsimään ja ymmärtämään kontekstin käsitteen merkitystä kontekstualismista käsin. Kontekstualismi on laajasti ymmärrettävissä maailmaa selittäväksi teoriaksi, joka ei juuri poikkea avointen systeemien teoriasta. Oleellista kontekstualismissa on aika-ulottuvuus. Kontekstin ymmärtäminen kontekstualismin maailmaa selittävän teorian avulla nostaa erityisesti historian, ajan ja muutoksen merkityksen esille ilmiön ymmärtämisessä. Lisäksi kontekstuaalisessa systeemin rakenteen ymmärtämisessä kiinnitetään huomiota myös siihen, mikä on epäolennaista, toiminnan sisältöihin, tilanteisiin, epävarmuustekijöihin, uhkiin ja mahdollisuuksiin, kun taas esimerkiksi avointen systeemien teoria, jota lähellä kontekstualismi on, jättää ne huomioimatta. (Poikela 1999, 38.) Nämä epäolennaiset tekijät voivat olla samoja kontekstuaalisia tekijöitä, joista didaktiikan kirjallisuudessa käytetään nimitystä satunnaiset väliin tulevat muuttujat (esim. Uusikylä & Atjonen 2000). Tällaiset väliin tulevat muuttujat voivat usein olla merkittäviä selittäviä tekijöitä niille ilmiöille, joista esimerkiksi yhteiskuntatieteet ovat kiinnostuneita, eikä niitä siitä syystä voi jättää oppimisen tutkimuksessa huomiotta. Eritasoisista konteksteista koostuva kokonaiskonteksti vaikuttaa yksilön toimintaan asettaen reunaehtoja hänen toiminnalleen. Kokonaiskonteksti tarjoaa yhtäältä mahdollisuuksia tietyn kaltaiseen toimintaan, mutta toisaalta ehkäisee ja haittaa toisen tyyppistä toimintaa, joka toisenlaisessa kontekstissa olisi mahdollista. Matikaisen (2002) sosiaalipsykologiaan pohjautuvan käsityksen mukaan konteksti voidaan ymmärtää toimintaympäristönä, ja sitä voidaan tarkastella esimerkiksi rakenteellisena ja kulttuurisena ilmiönä. Myös Korhonen (2002, 23) toteaa, että tietyssä toimintaympäristössä inhimillinen tietämys ja toiminta ovat kontekstisidonnaisia. Vaikka yksilöt toimivatkin kontekstin edellyttämällä tavalla, on konteksti samanaikaisesti myös heidän itse jatkuvasti ylläpitämä ja konstruoima sosiaalinen järjestys (Matikainen 2002, 12-13). Tällöin toimijoiden henkilökohtainen historia muokkaa osaltaan kontekstin ainutkertaiseksi toimintaympäristöksi. Niinpä konteksti ei ole pelkästään yksisuuntaisesti toimintaan vaikuttava tekijä, vaan toiminnalla myös vaikutetaan kontekstiin (Matikainen 2000, 44). Lisäksi konteksti vaikuttaa ihmisen toiminnan arvoihin ja päämääriin sekä niihin toiminnan muotoihin, joita tavoitteen saavuttamiseksi valitaan (Korhonen 2003, 22-23). Opetuksen, opiskelun ja oppimisen kontekstin tarkastelussa voidaan siis löytää useita eri tasoja ja näkökulmia. Laajimmillaan konteksti voidaan ymmärtää välitöntä oppimisympäristöä laajempana yhteiskunnallis-sosiaalisena, kulttuurisena ja poliittisena kontekstina, joka luo reunaehtoja opetuksen ja oppimisen toteuttamiselle ja suunnittelulle. Opetuksen ja opiskelun voidaan katsoa tapahtuvan instituutiotason kontekstissa, jossa vaikuttavia tekijöitä ovat mm. opetussuunnitelmat, organisaatiokulttuuri ja vallitsevat toimintanormit. Oppimisen kohteena olevan tiedon soveltamisen konteksti vie kontekstin käsitteen esimerkiksi siihen työorganisaatioon, jossa opittua on tarkoitus käyttää hyväksi. (Korhonen 2003, 22). Kauppi (1993) toteaa kontekstin olevan paikkaan ja aikaan sidottu oppijan toiminnan ympärille jäsentynyt kokonaisuus, joka vaikuttaa merkittävästi oppimiseen. Konteksti siis jo olemassaolollaan ohjaa ja jäsentää oppimista (Kauppi 1993; Korhonen 2002). 9

TVT avusteiseen opetukseen liittyviä konteksteja on toisaalta mahdollista tarkastella sosiaalipsykologiasta vaikutteita ottaen roolinmukaisten toimintakontekstien näkökulmasta. Tällöin voidaan erottaa toisaalta opiskelijan, toisaalta opettajuuden kontekstit, joita molempia yhdistää yhteinen organisaation konteksti. Organisaatiokonteksti vaikuttaa tietyn tyyppisenä sekä opiskelijan että opettajuuden kontekstien tarpeisiin ja odotuksiin (vrt. Matikainen 2002, 47-56) 4. Yhteisöllistä oppimista soveltavaa verkko-oppimista tutkiessaan Korhonen (2003) taas havaitsi omassa tutkimuksessaan kolme vallitsevaa kontekstia: henkilökohtainen, yhteisöllinen ja oppimisen organisoinnin konteksti (Korhonen 2003, 128-130). Tässä tutkimuksessa TVT -avusteisen opetuksen, opiskelun ja oppimisen konteksteja tarkastellaan mm. Matikaisen (2002) käsitykseen nojaten opettajan, opiskelijan ja organisaation näkökulmista käsin. Opiskelijoiden ja opettajien henkilökohtaiset kontekstit eri tekijöineen ovat näkemyksemme mukaan vaikuttamassa siihen, miten TVT-avusteinen opiskelu ja opettaminen koetaan. Organisaatiotason konteksti siinä vallitsevine arvostuksineen ja toimintakulttuureineen vaikuttaa toisaalta sekä opettajien että opiskelijoiden arvostuksiin ja toisaalta määrittelee ne käytännön mahdollisuudet ja konkreettiset resurssit, joita tarvitaan TVT -avusteisen opetuksen järjestämiseen. Laajempi yhteiskunnallis-sosiaalinen konteksti vaikuttaa tietysti koko prosessin taustalla, mutta sen vaikutuksen näemme heijastuvan näiden kolmen edellä mainitun kontekstin kautta eikä sitä ole erikseen analysoitu tutkimuksessamme. (Ks. kuva 1.) 4 Matikainen (2002) on tutkinut pk-yritysten työntekijöiden sekä yrittäjien asennoitumista internetiin ja virtuaaliseen oppimisympäristöön. Hän nimittää asennenäkökulmaansa kontekstuaaliseksi ja tutkimuksen kohteena olevaa asennoitumista tarkastellaan mm. suhteessa asennoitujien toimintakontekstiin. Tutkimus on laadullinen asennetutkimus ja se toteutettiin Helsingin yliopiston VIRPI-projektissa, jonka tavoitteena oli luoda pk-yrityksille soveltuva virtuaalinen oppimisympäristö. Tutkimuksessa tarkastellaan mm. sitä, miten haastateltavien toimintakontekstit näkyvät heidän puheessaan, josta asennoitumista analysoitiin. Matikaisen tutkimuksessa käytetyn teoreettisen viitekehyksen mukaiset toimintakontekstit ovat yrittäjyyden konteksti, yrityksen konteksti ja tietoyhteiskuntakonteksti. (Matikainen 2002, 117-125.) 10

Kuva 1. TVT -avusteisen opetuksen kontekstit. Opetuskontekstissa vaikuttavat opettajan ja opiskelijan henkilökohtaiset kontekstit. TVT -avusteisessa opetuksessa lisäksi verkko-osion toteutusja tuotantokontekstissa vaikuttavat tekijät välittyvät verkko-opetuskontekstiin. Lisäksi taustalla vaikuttavat organisaatiokonteksti arvostuksineen, toimintakulttuureineen ja reunaehtoineen sekä laajempi yhteiskunnallis-sosiaalinen konteksti, jonka tekijät välittyvät em. kontekstien kautta myös opetuskontekstiin. Tässä tutkimuksessa TVT-avusteisen opetuksen kontekstista ja taustatekijöistä on kerätty tietoa opettajilta, sisällöntuottajilta ja opiskelijoilta web-lomakkeella ja ohjattua kyselylomakkeen täyttöä hyödyntäen. Kyselylomakkeet on pyydetty täyttämään ennen ja jälkeen opintojakson. 2.2. EVA tutkimushankkeen arviointimalli Tutkimus nojaa prosessin aikana hioutuneeseen arviointimalliin, joka pohjaa aiemmille tietoverkkopohjaisten oppimisympäristöjen ja digitaalisen opetusmateriaalin suunnitteluja arviointimalleille. Sinällään opetus- ja opetussuunnittelumallit eivät ole mitään uutta, mutta tieto- ja viestintäteknologian kehityksen myötä niitä on alettu yhdistämään innovatiivisella tavalla uuteen teknologiaan (Leigh 1999). Monilla verkko-oppimisympäristöjen suunnittelumalleilla onkin juuret sovellussuunnittelussa (software engineering). Kirjallisuudessa puhutaan myös opetussovellusten suunnittelusta (courseware engineering), jossa yhdistyvät sekä sovellussuunnittelu että opetussuunnittelu (instructional design). Suunnittelumalleja on lukuisia, mutta ehkä tunnetuimpia niistä ovat Dick & Carey malli (Dick 1996), Alessin ja Trollipin kehittämä malli (Alessi & Trollip 1991) ja Crossleyn ja 11

Greenin ns. torimalli (Crossley & Green 1987) sekä ns. Lifländerin suunnittelumenetelmä (Lifländer 1989). Näistä Suomessa tunnetuimpia lienevät torimalli ja Lifländerin suunnittelumenetelmä. Torimalli, joka on saanut nimensä keskeisimmän suunnittelukaavion (torikaavio) mukaan, korostaa tekemistä, oppijoiden aktiivisuutta ja avoimuutta. Lifländerin suunnittelumenetelmä puolestaan korostaa Yrjö Engeströmin 5 ajatteluun pohjautuvaa oppimisprosessin vaiheistamista ja sen tukemista. Hieman erilaista lähestymistapaa edustaa mm. LCD malli eli oppijakeskeisen suunnittelumalli (learner-centered design), jonka keskeisenä periaatteena on opiskelijalle annettavan oikea-aikaisen tuen rakentaminen osaksi koko verkko-opiskeluprosessia ja joka korostaa mm. motivoinnin, opiskelijoiden kasvun tukemista sekä heidän erilaisuutensa huomioimista (Soloway, Guzdial & Hay 1994; Soloway ym. 1996). Erityisesti digitaalisen oppimateriaalin suunnitteluun kehitetyistä malleista mainittakoon tässä yhteydessä CFT malli eli kognitiivinen joustavuusteoria (cognitive flexibility theory), joka korostaa aiempien kokemusten ja tietojen merkitystä uuden oppimisessa runsaan ja hankalasti hahmotettavan tietomäärän ollessa kyseessä sekä kontekstin merkitystä tehokkaassa oppimisessa (Graddy 2000; Spiro & Jehng 1990; Spiro ym. 1991). Yhteistä oppimisympäristöjen ja oppimateriaalien suunnittelumalleille on niiden pyrkimys tukea kasvatustieteellisen teorian ohjaamaa suunnittelua. Toisaalta eri suunnittelumallit myös eroavat toisistaan riippuen siitä, mitä kasvatustieteellistä näkemystä ne edustavat ja missä määrin opetuskonteksti on niissä huomioitu. Suunnittelumallit eroavat myös sen suhteen keskittyvätkö ne koko opiskeluprosessin suunnitteluun kuten esim. Lifländerin malli vai ainoastaan tietokoneavusteisen osion suunnitteluun kuten ns. torimalli. Suunnittelumallit voidaan jakaa karkeasti kahteen ryhmään. Ensinnäkin perinteisempiin malleihin, jotka rakentuvat erilaisista vaiheista (steps) kuten esim. Dick & Carey malli, Alessi & Trollip ja niin sanottu torimalli. Valtaosa näistä malleista sisältää seuraavat vaiheet: suunnittelu, kehitys, arviointi ja muokkaus. Toiseksi malleihin, jotka rakentuvat enemmänkin tekijöistä (points), joihin suunnittelun yhteydessä tulee kiinnittää huomiota. Tällaisia malleja ovat esimerkiksi CFT-malli, LCD-malli ja Mannisen ja Pesosen (2000) kehittämä malli. Nämä mallit korostavat suunnittelun kehämäistä prosessimaisuutta, jolloin samaan tekijään tulee kiinnittää huomiota useassa eri vaiheessa. Suunnittelumallin tarkoituksena on auttaa käyttäjäänsä hahmottamaan ja jäsentämään monimutkaista ilmiötä. Vakavaan tutkimukseen perustuva malli auttaa suunnittelijaa visualisoimaan suunnitteluprosessia sekä jakamaan sen helpommin käsitettäviin ja hallittaviin osa-alueisiin. (Ryder 2003.) Nämä osa-alueet vaihtelevat jonkin verran suunnittelumallista riippuen, mutta esimerkiksi Manninen ja Pesonen (2000) mainitsevat osa-alueina koulutuksen yleistavoitteet, oppisisällöt, kohderyhmän erityispiirteet, oppimiskäsitys, didaktinen lähestymistapa ja WWW-ympäristön erityispiirteet. Moniin suunnittelumalleihin on sisällytetty myös arviointi. Vaikka suunnittelumallit onkin tarkoitettu ensisijaisesti opetuskäyttöön suunnattujen TVT avusteisten oppimisympäristöjen toteuttamiseen voidaan niitä soveltaa myös valmiiden toteutusten arviointiin. Arvioinnin yhteydessä suunnittelumallia käytetään ikään kuin käänteisesti. Tällöin suunnittelumallin eri osa-alueita käytetään eräänlaisina tarkistuskohteina. Toisin sanoen tarkastellaan missä määrin kyseisessä toteutuksessa on onnistuttu saavuttamaan suunnittelutavoitteet. 5 Engeström, Y. 1987. Learning by Expanding An Activity-theoretical Approach to Developmental Research. Jyväskylä: Gummerus. Saatavissa myös [online] www-muodossa: http://communication.ucsd.edu/mca/paper/engestrom/expanding/toc.htm 12

Toki TVT avusteisten oppimisympäristöjen arviointiin on olemassa erilaisia arviointimallejakin (educational, instructional or pedagogical evaluation) (vrt. esim. Albion 1999; Horila ym. 2002; Quinn 1996; Reeves 1997; Squires 1997; Squires & Preece 1999; Tergan 1998). Nämä arviointimallit vaihtelevat pääosin sen mukaan missä määrin niissä on kiinnitetty huomiota toteutuksen pedagogisten piirteiden lisäksi varsinaiseen käytettävyyteen, informaatiosisältöön tai opetuskontekstiin. Osaltaan mallit eroavat toisistaan myös sen perusteella millaista kasvatustieteellistä näkemystä ne edustavat. Yhteistä niille on pyrkimys tukea arvioijaa kiinnittämään huomiota tärkeiksi koettuihin pedagogisiin piirteisiin ja arvioimaan niiden toteutumista oppimisympäristössä. Arviointimalleja on usein kritisoitu siitä, ettei niissä huomioida riittävän laajasti, jos lainkaan, kontekstia. Opetuskäyttöön suunnattua sovellusta tulisi arvioida suhteessa käyttötilanteeseen ja pyrkiä huomioimaan oppijoiden yksilöllisyys miten oppija tulkitsee sovelluksen tietyssä oppimistilanteessa. (Vrt. Squires 1997; Squires & Preece 1999; Tergan 1998.) Pohdittaessa arviointimallin käyttökelpoisuutta on lisäksi muistettava, että tietyn suunnittelu- tai arviointimallin hyödyllisyys on kiinteästi yhteydessä sen käyttökontekstiin. Kuten minkä tahansa työkalun myös suunnittelumallin hyödyllisyyttä arvioitaessa tulee kiinnittää huomiota siihen, miten hyvin se tukee käyttäjänsä esimerkiksi suunnittelutavoitteiden saavuttamisessa ja suunnittelutyön kuormittavuuden jakamisessa sekä huomion kiinnittämisessä olennaisiin tekijöihin. (Ryder 2003.) Vaikka monet perinteiset suunnittelumallit voidaan nähdä osin jo vanhentuneina, ovat ne kuitenkin edelleen hyödyllisiä mm. menetelmien valinnassa, olioiden tarkassa kuvauksessa ja suunnittelutyön täsmällisessä arvioinnissa. EVA arviointimallissa on pyritty yhdistämään eri suunnittelumallien ja opetuskäyttöön suunnattujen TVT -avusteisten toteutusten arviointimallien keskeisimpiä ideoita. Mallin tavoitteena on ensinnäkin korostaa arvioinnin prosessimaisuutta sekä sitä, että arviointia tulisi tehdä useissa opetustoteutuksen elinkaaren eri vaiheissa eikä ainoastaan loppuarviointina. Toiseksi mallin tarkoituksena on auttaa arvioijaa kiinnittämään huomiota niihin osa-alueisiin, jotka ovat oppimisen kannalta merkityksellisiä, esim. mielekkään oppimisen kriteerit, volitio, motivointi ja mielihyvä. EVA tutkimushankkeen mallissa korostetaan arvioinnin prosessimaisuutta osana TVT - avusteisen opetustoteutuksen tuotanto-, toteutus- ja kehittämisprosessia, spiraalimaista etenemistä sekä integroitumista osaksi verkkototeutuksen elinkaarta. Arviointi tapahtuu siis monivaiheisesti ja alkaa jo verkkototeutuksen suunnitteluvaiheessa ennen varsinaista toteutusvaihetta. Tähän arvioinnin ensimmäiseen vaiheeseen kuuluu myös valmiin toteutuksen arviointi ja tulosten analysoinnin pohjalta tehdyt kehitystoimenpiteet. Arvioinnin toinen vaihe liittyy verkkototeutuksen kehittämiseen. Tällöin käyttökokemusten ja saatujen palautteiden pohjalta tehdään kehittämissuunnitelmat, jotka jälleen arvioidaan. Näiden tulosten pohjalta muokataan verkkototeutuksen uusi versio. (Ks. kuva 2.) 13

Kuva 2. Jatkuvan arvioinnin spiraali. Arviointi integroituu osaksi TVT -avusteisen opetuksen elinkaarta lomittuen suunnittelu-, toteutus- ja kehittämisvaiheiden väliin. EVA arviointimallissa (kuva 3) keskitytään TVT -avusteisen opetuksen verkossa näkyväksi jäävän osuuden käyttökelpoisuuden arvioimiseen erilaisissa opetuskonteksteissa. Mallin mukaan arviointi on kaksitasoista: ensimmäisen tason arvioinnissa tarkastelun kohteena on TVT -avusteisen opetuksen näkyväksi jäävän osuuden, esimerkiksi verkkototeutuksen arviointi (yleinen käyttökelpoisuus). Toisen tarkastelun tason muodostaa ko. sovelluksen soveltuvuus tiettyyn opiskelukontekstiin eli loppukäyttäjien näkemykset sovelluksen käyttökelpoisuudesta tietyssä opetuskontekstissa. (Vrt. Tergan 1998.) Arviointi on kaksitasoista myös siinä mielessä, että tietyllä tavalla tarkastellaan sekä yksilöä (opiskelijaa ja opettajaa) että yksilön toimintaympäristöä (verkko-oppimisympäristöä) - kontekstia. Yhteiskuntatieteissä vallitsevan käsityksen mukaan yksilön käyttäytyminen on ainakin jossakin määrin riippuvainen siitä ympäristöstä missä hän elää ja toimii. Toisaalta myös yksilö vaikuttaa ympäristöönsä. Tutkimusasetelmaa, jossa pyritään selvittämään yksilön käyttäytymistä mikrotason ja makrotason muuttujilla, kutsutaan monitasoanalyysiksi (multi-level analysis). Tällöin yksilö ja ympäristö voidaan nähdä kaksitasoisena hierarkkiana, jossa yksilöt muodostavat alemman tason. On kuitenkin muistettava, että kaksitasoisia muuttujia tarkasteltaessa on kiinnitettävä huomiota ns. ekologisen harhan mahdollisuuteen. Ekologisella harhalla tarkoitetaan sitä, että yhteisötason yhteyksien perusteella väitetään jotakin yksilöistä ja päinvastoin (Hox & Kreft 1994, 283 284.) 14

Kuva 3. TTY:n tutkimuksen TVT -avusteisen opetuksen käyttökelpoisuuden arviointimalli. Tutkimuksessa arvioidaan opetustoteutuksen käyttökelpoisuutta tietyssä opetuskontekstissa eri toimijoiden näkökulmasta hyödyntäen kyselyitä. Katsomme, että opetus- ja opiskelukontekstissa vaikuttavat siinä toimivien henkilöiden mukanaan tuomat henkilökohtaiset kontekstitekijät, joiden kautta kontekstiin välittyvät myös yhteiskunnassa, kulttuurissa sekä organisaation opetus- ja opiskelukulttuurissa vaikuttavat tekijät. Olemme tutkimuksessamme korostaneet sellaisia henkilökohtaisia opiskelukontekstin tekijöitä, joiden on todettu aiemmissa kuten myös omissa tutkimuksissamme olevan yhteydessä siihen, miten hyödylliseksi, käyttökelpoiseksi tai laadukkaaksi yksilö TVT avusteisen oppimisympäristön kokee. Analysointi Keskeisinä opetuskontekstin toimijoina ymmärrämme opettajan ja opetusta avustavat henkilöt kuten tutorit ja assistentit sekä tietysti opiskelijat. Tutkimuksessamme analysoinnin ensimmäisessä vaiheessa pyrimme muodostamaan tilastollisia menetelmiä ja neuroverkkoja 6 hyödyntäen henkilökohtaiselta opiskelukontekstiltaan tyypillisiä opiskelijaryhmiä. Opiskelijan henkilökohtaisen opiskelukontekstin keskeisinä tekijöinä mainittakoon tässä mm. oppimistavoitteet, opiskelumotivaatio, suhtautuminen verkko-opiskeluun ja panostaminen opiskeluun, oma rooli oppijana, odotukset oppimisen siirtovaikutuksesta, ai- 6 Neuroverkot eli keinotekoiset hermoverkot tarkoittavat monentyyppisen informaation käsittelyyn soveltuvia käsittelyperiaatteita, joita voidaan soveltaa mitä erilaisimpiin teoreettisiin ongelmiin ja käytännön tehtäviin, kuten esim. tilastoaineistojen käsittelyyn. Neuroverkot käsitetään usein synonyyminä neurolaskennan menetelmälle. (Esim. Jurva 1999.) 15

emmat verkko-opiskelukokemukset kuten myös sellaiset tekijät kuin tietotekniset valmiudet. Samaan ryhmään kuuluvat opiskelijat ovat opiskelukontekstin muodostavien tekijöiden suhteen enemmän samanlaisia keskenään kuin johonkin toiseen ryhmään kuuluvilla opiskelijoiden kanssa. Tavoitteena on siis muodostaa käsitys siitä millaisia tyypillisiä opiskelijaryhmiä teknillisen alan opiskelijoiden joukosta on tunnistettavissa. Analysoinnin seuraavassa vaiheessa siirrymme tarkastelemaan opintojaksokohtaisia verkkototeutuksia. Kustakin verkkototeutuksesta muodostetaan ns. käyttökelpoisuusprofiili. Käyttökelpoisuuden profiili kuvaa verkkototeutuksen käyttökelpoisuutta tietyssä opetusja opiskelukontekstissa. Profiili muodostuu ns. yleisestä käyttökelpoisuudesta 7 (käytettävyys, pedagoginen käytettävyys, lisäarvot ja informaatiosisältö), jolla tarkoitetaan asiantuntijoiden näkemystä toteutuksen käyttökelpoisuudesta irrallaan kontekstista sekä opettajien ja opiskelijoiden näkemyksestä toteutuksen käyttökelpoisuudesta tietyssä opetus- ja opiskelukontekstissa. Analysoinnin kolmannessa vaiheessa siirrymme etsimään vastauksia varsinaiseen tutkimuskysymykseen: mitkä opetuskäyttöön suunnatun verkkototeutuksen käyttökelpoisuuden piirteistä vaikuttavat muotoutuvan oppimista edistäviksi ja/tai estäviksi tekijöiksi eri opiskelijaryhmien näkökulmasta. Opiskelijoilta kysyttiin opintojakson loppupuolella mielipidettä siitä, haluaisivatko he (jos voisivat tuossa vaiheessa päättää) saamansa kokemuksen perusteella suorittaa ko. kurssin verkko-opintojaksona vai ns. perinteisesti. Antamiensa vastausten perusteella opiskelijat jaetaan kahteen ryhmään. Perusoletuksena on, että myönteisten vastausten pohjalta lähdetään selvittämään edistäviä tekijöitä ja negatiivisten vastausten pohjalta taas estäviä tekijöitä. Oppimista estävät ja edistävät tekijät voivat näkemyksemme mukaan liittyä ensinnäkin toteutukseen sinänsä - sen käytettävyyteen ja esteettömyyteen, pedagogiseen käytettävyyteen sekä informaatiosisältöön. Tällöin selittäviä tekijöitä voidaan etsiä ensinnäkin opintojakson verkkototeutuksen tuotanto- ja toteutuskontekstista, kuten esim. opettajan tms. henkilön TVT avusteiseen opetukseen liittyvä tieto- ja taitotaso, aiempi kokemus verkko-opetuksesta, käytettävissä olevat resurssit jne. Toiseksi edistävät ja estävät tekijät voivat liittyä opetuskontekstiin, kuten esim. opettajan suhtautuminen opiskelijoihin ja TVT avusteiseen opetukseen. Kolmanneksi estävät ja edistävät tekijät voivat liittyä opiskelukontekstiin, kuten esim. opiskelijoiden motivoituneisuus, suhtautuminen verkkoopiskeluun, tietotekniset valmiudet (vrt. Nevgi & Tirri 2001). Tavoitteena on siis selvittää voidaanko havaita sellaisia tekijöitä, jotka osoittautuvat tietyn opiskelijaryhmän ollessa kyseessä tyypillisimmiksi estäviksi ja/tai edistäviksi tekijöiksi. Edelleen voidaanko sen tiedon perusteella mihin ryhmään opiskelija opiskelukontekstinsa perusteella kuuluu ennakoida mitkä tulevat olemaan todennäköisimmät oppimista edistävät ja estävät tekijät. 2.3. Tutkimusaineisto 7 Arvioinnissa hyödynnetään ARVO arviointi- ja reflektointityökalua. Lisäksi niiden kriteerien osalta (lähinnä pedagoginen käytettävyys), jotka ARVOsta vielä toistaiseksi puuttuvat toteutukset käydään läpi asiantuntijoiden toimesta ja tarkastellaan missä määrin ne tukevat oppimista. 16

Tutkimuksen materiaalina on käytetty etnografista aineistoa, jota on kerätty ohjauskäynneillä sekä loppukäyttäjiltä (opettajat ja opiskelijat) kerättyä kyselyaineistoa, jota on kertynyt 05/2003 mennessä seuraavasti: aloituskysely noin 420 vastausta, lopetuskysely noin 200 vastausta. Tämän lisäksi hankkeiden verkkototeutuksia eli verkossa näkyväksi jäävän opetuksen osuutta (opetusmateriaali, kurssirakenne, ohjeistus, opetusmenetelmään liittyvät välinevalinnat, toiminnallisuus, vuorovaikutus jne.) on arvioitu käytettävyyden, saavutettavuuden/esteettömyyden, pedagogisen käytettävyyden sekä informaation esitystavan ja luotettavuuden kriteerien avulla ns. asiantuntija-arviointina. Aineisto on koottu TTY:n virtuaaliyliopistopiloteista sekä kontekstien vertailua varten Hypermedialaboratorion AOhankkeen aikuiskoulutuspiloteista. Kyselylomakkeilla, toteutusten asiantuntija-arviontina kerätyn ja etnografisen aineiston analyysimallia on pilotoitu vuonna 2001. Näkemyksemme mukaan opetuksen, opiskelun ja oppimisen evaluointi on niin laaja ilmiö, että sen evaluoinnissa on hyvä käyttää sekä kvantitatiivisia että kvalitatiivisia tutkimusotteita. Monimutkaisen ilmiön kuvailussa ja ymmärtämisessä ne voivat täydentää toisiaan. Kvantitatiivista dataa voidaan tutkia kvalitatiivisesti silloin kun se on perusteltua. Teknologian kehittyessä kvalitatiivista aineistoa puolestaan voidaan entistä paremmin ja luotettavammin tutkia tietokonevälitteisesti. Tärkeää on kuitenkin muistaa se, että tutkija viime kädessä tekee päätöksiä siitä mitä tehdään, miten tuloksia tulkitaan ja miten perustellaan menetelmällisiä valintoja. Vuoden 2002 aineiston pohjalta tullaan julkaisemaan raportti, jossa tullaan esittelemään ensimmäisiä tutkimustuloksia. 3. TVT-avusteisen opetuksen käyttökelpoisuuden (usefulness) arviointi Yksi keskeinen arvioinnin osa-alue TTY:n arviointitutkimuksessa on opetuskäyttöön suunnatun verkkototeutuksen käyttökelpoisuuden arviointi. Sovelluksen käyttökelpoisuus (usefulness) muodostaa yhden osan sovelluksen käytännön hyväksyttävyydestä (practical acceptability). Muita ovat perinteisemmät tekijät kuten kustannukset, luotettavuus, käyttötuki jne. Sovelluksen käyttökelpoisuus taas muodostuu sovelluksen käytön sujuvuudesta eli käytettävyydestä (usability) sekä soveltuvuudesta tiettyyn käyttötarkoitukseen eli hyödyllisyydestä (utility). (Nielsen 1993.) Olemme lisäksi nostaneet käytettävyyden rinnalle esteettömyyden, jolla tarkoitetaan sovelluksen käytön sujuvuutta tiettyjen erityisryhmien näkökulmasta. Sovelluksen hyödyllisyys on siis riippuvainen sen käyttötarkoituksesta. Voidaan perustellusti ajatella, että opetuskäyttöön suunnattu verkkototeutus on hyödyllinen silloin kun se tukee oppimista ja/tai oppimisen tukiprosesseja. (Vrt. Bostock 1996; Jonassen 1996; Nielsen 1993; Quinn 1996; Soloway ym. 1996; Squires 1997; Tergan 1998.) Lisäksi tietoverkon käytön tulee tuoda lisäarvoa opetukselle ja/tai opiskelulle. Muutoin verkon käyttö ei ole perusteltua. Arviointitutkimuksessamme katsomme siis, että opetuskäyttöön suunnatun sovelluksen hyödyllisyys muodostuu kahdesta osa-alueesta: pedagogisesta käytettävyydestä ja lisäarvosta. (Silius & Tervakari 2003; Silius, Tervakari & Pohjolainen 2003; Tervakari ym. 2002.) (Ks. kuva 4.) 17

Kuva 4. TVT avusteisen opetuksen käyttökelpoisuus. (Vrt. Nielsen 1993.) TTY:n arviointitutkimuksessa opetuskäyttöön suunnatun verkkototeutuksen käyttökelpoisuus arvioidaan eri toimijoiden näkökulmasta (ks. kuva 3). Asiantuntijat arvioivat toteutuksen yleisen käyttökelpoisuuden, jolla tarkoitetaan toteutuksen käyttökelpoisuutta irrallaan kontekstista. Tällöin kiinnitetään huomiota ensinnäkin sellaisiin käytettävyyteen ja esteettömyyteen liittyviin, suhteellisen pysyviin seikkoihin, jotka perustuvat ihmisen fysiologisiin ja psykologisiin rakenteisiin sekä kulttuurisiin tekijöihin. Toiseksi myös informaatiosisällön laadukkuus siinä määrin kuin sitä on mahdollista arvioida ilman aiheen asiantuntemusta eli esitystavan ja luotettavuuden arvioiminen liittyy osaltaan verkkototeutuksen yleisen käyttökelpoisuuden arvioimiseen (vrt. Albion 1999). Kolmanneksi asiantuntija-arvioinnissa kiinnitetään huomiota verkkototeutuksen pedagogiseen käytettävyyteen, jolloin tarkastellaan yleisellä tasolla voidaanko toteutuksen katsoa esimerkiksi motivoivan ja aktivoivan erilaisia opiskelijoita sekä tukevan heidän oppimistaan. Neljäntenä seikkana yleistä käyttökelpoisuutta arvioitaessa muodostetaan käsitys siitä millaista lisäarvoa verkkototeutus vaikuttaisi tuottavan. Asiantuntijat voivat hyödyntää etenkin käytettävyyden, esteettömyyden ja informaation laadukkuuden arvioinnissa ARVO työkalua (työkalusta enemmän luvussa 4). Opetuskäyttöön suunnatun verkkototeutuksen yleinen käyttökelpoisuus ei vielä kerro mitään toteutuksen soveltuvuudesta tiettyyn opetustilanteeseen. Saattaahan olla, että verkkototeutus vaikuttaa varsin käyttökelpoiselta yleisesti ajatellen, mutta jossakin tietyssä opetustilanteessa se osoittautuukin puutteelliseksi tai peräti käyttökelvottomaksi. Arvokkainta tietoa sovelluksen käyttökelpoisuudesta tietyssä opetuskontekstissa saadaan eittämättä todellisilta käyttäjiltä opettajilta ja opiskelijoilta. Arviointitutkimuksessamme onkin koottu tietoa kyselyiden ja haastatteluiden avulla opettajien ja opiskelijoiden näkemyksistä toteutuksen käyttökelpoisuudesta eli käytettävyydestä, informaatiosisällön laadukkuudesta, pedagogisesta käytettävyydestä sekä lisäarvoista. 18

Yhdistämällä asiantuntija-arvioinnin tulokset käyttäjiltä saatuihin tietoihin voidaan muodostaa käsitys kyseisen opetuskäyttöön suunnatun verkkototeutuksen käyttökelpoisuudesta tietyssä opetuskontekstissa. 3.1. Käytettävyys (usability) Törmäämme arkielämässämme melko usein erilaisten tuotteiden, ohjelmistojen ja verkkosivujen käytettävyysongelmiin. Neuvottelukahvi uhkaa jäädä juomatta, koska emme saa kahvikannua auki. Usein emme onnistu löytämään verkkosivustosta etsimäämme informaatiolähdettä, vaikka sen siellä pitäisikin olla jne. Mistä käytettävyydessä oikeastaan on kyse? Käytettävyys voidaan ymmärtää ja määritellä monella eri tavalla. Yleisellä tasolla voidaan sanoa käytettävyyden liittyvän sovelluksen käytön sujuvuuteen tyypillisessä käyttötilanteessa. Tällöin kiinnitetään huomiota ensinnäkin siihen, millä tarkkuudella ja miten täydellisesti käyttäjä onnistuu saavuttamaan tavoitteensa. Toiseksi huomiota kiinnitetään käytön tehokkuuteen, esim. virheettömyyteen sekä kolmanneksi käytön miellyttävyyteen. Alan tutkimuksen tavoitteena onkin käyttäjän ja sovelluksen yhteistoiminnan sujuvuuden, tehokkuuden ja käytön miellyttävyyden kehittäminen. Tutkijoiden näkemykset käytettävyydestä vaihtelevat jonkin verran. Käytettävyys ymmärretään usein ominaisuutena, joka voi olla joko suunnittelun tavoite tai tuotteeseen itseensä liittyvä ominaisuus (vrt. Gould & Lewis 1985; Keinonen 1998; Nielsen 1994; Norman 1991). Toisaalta käytettävyys voidaan nähdä myös tuotteen käyttöön liittyvänä ominaisuutena. Tästä näkökulmasta tarkasteltaessa käytettävyyttä voidaan ajatella joko empiirisesti mitattavissa olevana ominaisuutena (esim. käytön tehokkuus ja taloudellisuus) tai käyttäjän subjektiivisena käyttökokemuksena (vrt. Keinonen 1998; Preece 1994). Käytettävyystutkimus nojaa vahvasti sekä psykologian että ihminen-kone -vuorovaikutuksen tutkimukseen. Käsitykset käytettävyyden objektiivisuudesta tai subjektiivisuudesta vaihtelevat. Joidenkin tutkijoiden mukaan käytettävyys voidaan määritellä objektiivisesti yleistettäviksi käytettävyysindekseiksi. Toisen näkemyksen mukaan käytettävyys on aina kontekstisidonnainen ominaisuus, joka on ymmärrettävä ainutkertaisena, subjektiivisena kokemuksena. (Keinonen 1998.) Kolmannen näkökulman mukaan kulloisessakin sovelluksen käyttötilanteessa vaikuttaa joukko sekä pysyvämpiä että varsin kontekstisidonnaisia tekijöitä. Pysyvämpiä tekijöitä ovat esimerkiksi ihmisen psykologisiin ja fysiologisiin rakenteisiin liittyvät tekijät (muisti, havaitseminen, aistit, perustarpeet) sekä kulttuuriin liittyvät suhteellisen pysyvät tekijät kuten kieli, jotkut tavat ja normit. Samanaikaisesti sovelluksen käyttötilanteessa vaikuttavat lukuisat, osin ainutkertaisetkin kontekstitekijät kuten kulloinkin kohteena oleva tehtävä, käyttäjän yksilölliset kyvyt ja rajoitukset, käyttötila ja sen olosuhteet sekä varsinainen käyttötilanne. (Esim. Sinkkonen 2002, 26-30.) Käytettävyyden arvioiminen on tärkeä osa-alue opiskeluun tarkoitetun tuotteen ja sen käytön arvioinnissa. Esimerkiksi WWW-sivuston käyttöliittymän tulee tukea opiskelua tarjoamalla helppokäyttöinen väline digitaalisen oppimateriaalin käyttämiseen sekä mahdollisten toimintojen suorittamiseen kuten esim. viestin lisääminen keskustelupalstalle. Käytettävyydeltään hyvä käyttöliittymä ei kuormita käyttäjän kognitiivisia prosesseja, vaan auttaa häntä informaation jäsentämisessä ja prosessoimisessa. Toisin sanoen käytettävyydeltään hyvä käyttöliittymä antaa opiskelijalle mahdollisuuden keskittyä opittavan asian opiskeluun sen sijaan, että hän joutuisi ratkomaan sivuston tms. käyttöön liittyviä ongelmia. Käytettävyydeltään hyvä sovellus tai verkkototeutus tarjoaa siten opiskelulle pa- 19