Koe ja harjoitustehtävien siirrettävyys

Koe ja harjoitustehtävien siirrettävyys Kai Welling Helsinki 10.3.2004 Opetusteknologian tietokantasovellukset HELSINGIN YLIOPISTO Tietojenkäsittelytieteen laitos

Sisältö 1. Johdanto...1 2. IMS QTI -spesifikaatio...1 2.1 Datarakenteet...2 2.2 Tulosraportointi...3 3. Käyttötutkimus...4 4. Yhteenveto...6 5. Lähteet...7

1. Johdanto Kokeet ja harjoitukset ovat olennainen osa oppimistapahtumaa. Siksi niihin on syytä kiinnittää huomiota myös verkko-oppimisen yhteydessä. Koska virtuaalisia oppimisympäristöjä on monia, on syytä pohtia myös kokeiden ja harjoitusten siirrettävyyttä järjestelmästä toiseen muutenkin kuin leikkaa ja liitä toiminnolla. Tästä syystä IMS on kehittänyt QTI (Question & Test Interoperability) standardin helpottamaan eri sovellusten välistä tiedonvaihtoa. Tämän standardin piirteitä tarkastellaan luvussa 2. Aluksi tutkitaan kysymysaihioiden tietorakennetta ja niiden ominaisuuksia. Tämän jälkeen tarkastellaan tulosraportoinnin rakennetta spesifikaation pohjalta. Luvussa 2 esitellään Hollannissa tehty kartoitus eri ohjelmien toimivuudesta standardin mukaisen aineiston käsittelyssä. Ohjelmia tutkimuksessa oli mukana kymmenen. Tutkimus selvitti, mitkä ohjelmat eivät tue standardia ollenkaan, mitkä vain osaa siitä ja toimiiko mikään ohjelma täysin oikein standardin mukaan. 2. IMS QTI -spesifikaatio IMS QTI standardi kehitettiin helpottamaan sisällöntuottajien (kysymysten ja testien tekijät), virtuaalisten oppimisympäristöjen ja niihin liittyvien työkalujen kehittäjien sekä kysymysten ja testien käyttäjien (oppijat ja opettajat) yhteistoimintaa. Siksi standardi keskittyy mahdollistamaan kysymysaihiovaraston tuottamisen käyttäjille riippumatta heidän käyttämästään virtuaalisesta oppimisympäristöstä, antamaan mahdollisuuden käyttää eri kysymysaihiovarastoja riipumatta omasta oppimisympäristöstä, tukemaan uusien oppimisympäristöjen kehittämiseen tarkoitettujen työkalujen tuottamista riippumattomalla tavalla ja mahdollistamaan testitulosten raportoinnin riippumattomalla tavalla [SSBL02a]. Aihioiden jakelumuodoksi on valittu XML-paketti sen laajallelevinneisyyden ja siirrettävyyden vuoksi. Datarakenteet on määritelty ASI-rakenteeksi (Assessment, Section, Item) [SSBL02b]. Standardista on olemassa myös Lite-versio, joka tukee vain monivalintatehtäviä ja jossa ainoana datarakenteena on kysymysaihio. Lite-versiota suositellaan käytettäväksi standardia käyttöönotettaessa aloituslähtökohtana. 1

2.1 Datarakenteet Kysymysaihio Luokka Koeaihio Luokka Aihiopankki Luokka Kys.aihio 1... Kys.aihio k (a) (b) (c) (d) Kys.aihio 1 Luokka 1 Koeaihio Kysymysaihio 1... Luokka k... Luokka1 Luokka k Kys1 Luokka 1... Kys.aihio k Luokka x Luokka y Kys n Kysymysaihio n Luokka k (e) (f) (g) (h) Kuva 1: Mahdollisia ASI-datarakenteita IMS QTI standardin mukaan pienin jaettavissa oleva datarakenne on kysymysaihio (Item). Kysymysaihioon sisältyy kysymys, esitystapaa koskevat tiedot, vastauksen käsittelyyn liittyvät tiedot, vastauksesta annettava palaute ja kysymysta kuvaava metatieto. Kysymysaihio ei voi sisältää toista aihiota, mutta jaettava paketti voi sisältää useita aihioita. Luokka (Section) voi sisältää useita luokkia tai kysymysaihioita ja kaikkia niiden yhdistelmiä. Paketti voi sisältää useita luokkia. Luokan tarkoitus on tuottaa mahdollisuus aihioiden ryhmittämiseen esimerkiksi aihepiirin mukaan sekä mahdollistamaan ohjeiden antamisen halutulle kokonaisuudelle ja helpottamaan kokonaisuuksien kokoamista halutulla tavalla. Luokka on siis vain kokoamisen apuna käytettävä rakenne. 2

Koeaihion (Assessment) täytyy sisältää ainakin yksi luokka. Kysymysaihioita ole mahdollista ryhmittää suoraan koeaihioon, vaan ne pitää ryhmittää luokkiin, jotka voidaan liittää koeaihioon. Paketti ei voi sisältää kuin yhden koeaihion. Koeaihioiden välille ei voida määritellä suhteita. Koeaihio sisältää tarvittavat tiedot kokeen lopputuloksen määrittelyyn. Kysymysaihioita ja luokkia voidaan ryhmitellä myös aihiopankkiin (Object Bank). 2.2 Tulosraportointi QTI tulosraportointi spesifikaatiossa on esitelty neljä mahdollista datarakennetta, joita on mahdollista välittää spesifikaation avulla. Nämä rakenteet on esitelty kuvassa 2 [SBL02]. QTI tulosraportti QTI tulosraportti QTI tulosraportti QTI tulosraportti tulos liitetiedot tulos tulos tulos liitetiedot liitetiedot liitetiedot yhteenvetotulos koetulos luokkatulos kysymystulos Kuva 2: Tulosraportoinnin datarakenteet Tuloksella (result) tarkoitetaan tulosten joukkoa, joka liittyy jonkin kokonaisuuden, esimerkiksi kokeen, arvosteluun. Monta tulosta yhdelle tai useammalle osallistujalle voidaan sisällyttää samaan pakettiin. Liitetieto sisältää arvosteluun liittyvää tietoa, kuten esimerkiksi osallistujan nimen, opiskelijanumeron jne. Yhteenvetotulos sisältää tietyn arvosteltavan kokonaisuuden yhteenvetotiedot. Kukin tulos voi sisältää vain yhden yhteenvedon tiedot. Koetulos sisältää yksityiskohtaiset tiedot tietyn kokeen tietystä yrityskerrasta. Tulos voi sisältää tiedon vain yhdestä kokeesta sisältäen sen mukana olevat luokat ja kysymykset. Luokkatulos on yksityiskohtaista tietoa suoritetuista luokista tai yrityksistä niiden suorittamiseksi. Jokainen tulos voi sisältää vain yhden luokan tiedot sisältäen sen sisällä olevat luokat ja kysymykset. Kysymystulos on yksityiskohtaista tietoa suoritetusta kysymyksestä tai suorituksen yrityksestä. Tulos voi sisältää tiedot vain yhdestä kysymyksestä. 3

Nämä rakenteet on määritelty, jotta sekä yhteenveto että yksityiskohtaisempi tulostieto olisi saatavilla riippuen siitä mitä halutaan. Päämääränä on siis minimoida halutun tiedon saamiseen tarvittava työmäärä. Tämä tarkoittaa, että erilaisia käyttötarkoituksia tuetaan optimaalisesti. Lisäksi rakenteesta on pyritty tekemään kompromissi liian abstraktin ja liian toteutustapaan pohjautuvan määrittelyn välillä. 3. Käyttötutkimus QTI standardin toimivuutta on tutkittu hollantilaisen Pierre Gorissenin toimesta. Tutkimukseen valittiin kymmenen eri sovellusta, jotka olivat [Gor03]: - Respondus 2.0.2 - QuestionMark Perception 3.4.0.2 - N@tschool! 7.0 UP2 - Blackboard 5.5 - Blackboard 6.0 - WebCT 4 - Learn exact 1.7 - Testvision - TeleTOP - Lotus LearningSpace Testaamisen aluksi tutkittiin, onko ohjelma mahdollista noutaa standardin mukaista tietoa joko ohjelman omilla työkaluilla tai kolmannen osapuolen tekemällä apuvälineellä. Tässä vaiheessa ohjelmista putosi kolme (Testvision, TeleTOP ja Lotus LearningSpace), joilta tarvittavaa tukea ei löytynyt. Lisäksi kolme ohjelmista (WebCT, Blackboard 5.5 ja 6.0) ei sisältänyt itsessään työkalua standardin mukaisten tietojen lukemiseen, mutta niihin tiedot saatiin ladattua käyttäen apuna Respondus ohjelmistoa. Lisäksi Learn exact- ohjelmisto tuki vain QTI-Lite versiota, mutta se otettiin kuitenkin mukaan tarkasteluun. 4

Blackboard 5.5 XML QTI 1.2 Respondus 2.0 Blackboard 6.0 WebCT 4 N@tschool! 7 QuestionMark 3.4 XML QTI Lite Learn exact 1.7 Kuva 3: Testiasetelma Testin toisen vaiheen asetelma on esitetty kuvassa 3. Respondus ohjelma on tarkoitettu tuottamaan kysymyksiä ja kokeita Blackboard-, WebCT- ja ecollege ohjelmille, joista viimeinen ei ollut mukana testissä. Tiedon lataamisessa Respondukseen oli ongelmia. Kaikki testikysymykset piti tuoda ohjelmaan yksitellen ja sitten liittää toisiinsa ohjelmassa ennen niiden välittämistä eteenpäin. Ohjelma myös karsii lataamiaan tietoja (esim metadata) eikä tuo luokkia eikä kokeita, vaikka lataakin niiden sisältämät kysymykset. Ohjelmat, joihin Respondus tuotti aineistoa toimivat näiden rajojen sisällä oikein. N@tschool ja QuestionMark sisältävät itsessään työkalut standardin mukaisen datan lataamiseen. QuestionMark toimi pieniä ongelmia lukuun ottamatta oikein, mutta ei myöskään sisällä tukea luokkia ja kokeita varten, vaikka niiden sisältämät kysymykset lataakin. Monivalintakysymysten oikealle lataamiselle oli ehtona, että kaikille vastausvaihtoehdoille oli määritelty pistemäärä. Se oli myös ainoa ohjelma, joka toimi oikein monikohtaisen täytä tyhjät tehtävän kohdalla. N@tshcool puolestaan tukee luokkia ja kokeita, muttei osaa ladata niitä. Testattaessa kokeen lataamista, ohjelma ilmoitti lataamisen onnistuneen, vaikkei ladannut kokeen sisältämiä kysymyksiä. N@tschool ei tue essee ja täytä tyhjät tehtäviä. 5

Learn exact tukee vain standardin Lite-versiota. Tämä luonnollisesti rajoittaa ohjelman ominaisuuksia. Kysymyksistä on tuettu vain monivalintatehtävät. Ohjelma oli testin ainoa, joka ei ymmärtänyt HTML-koodia missään kohdassa. 4. Yhteenveto Koe ja harjoitustehtävien siirrettävyyden parantamiseksi IMS kehitti QTI-standardin, jonka tarkoituksena oli luoda yleismaailmallinen tapa esittää kysymyksiä ja niihin liittyviä oheistietoja, kuten esitystapa, vastaus ja pisteytys. Standardi perustuu kolmeen perusrakenteeseen, jotka ovat kysymysaihio, luokka ja koeaihio. Rakenteiden avulla pystytään rakentamaan erilaisia kokonaisuuksia eri käyttötarkoituksia varten. Rakenteen esitysmuodoksi valittiin XML-koodi sen laajalle levinneisyyden ja yleismaailmallisuuden vuoksi. Koska kokeisiin ja harjoituksiin kuuluu olennaisena osana arvostelu, oli syytä kiinnittää huomiota myös tulosten raportointiin ja niiden siirtämiseen virtuaalisesta oppimisympäristöstä toiseen. Tätä tarkoitusta varten määriteltiin myös tulosraportoinnille tietorakenteet, joita on neljä, ja joiden katsottiin riittävän tuottamaan tarvittavat tulostiedot eri tarkoituksiin, muttei kuitenkaan liikaa rajoittavan niiden käyttöönottoa uusissa ympäristöissä. Rakenteet mahdollistavat myös erilaisten kokonaisuuksia tulosten tarkastelun ilman, että halutaan tarkempaa tietoa yksittäisten tehtävien pisteistä. QTI-standardin onnistumista on tutkittu hollantilaisessa tutkimuksessa, jossa vertailtiin kymmenen eri ohjelman toimivuutta standardin mukaisen aineistoa kanssa. Osa ohjelmista ei tukenut aineistoa ollenkaan ja kaikissa muissakin oli rajoituksia aineiston käytölle. Tutkimuksessa ei löytynyt yhtään ohjelmaan, joka olisi toiminut täysin standardin mukaan. Kuitenkin moni ohjelmista noudatti edes jossakin määrin standardin antamia suuntaviivoja, joiden ansiosta aineistoa pystyttiin siirtämään lataamaan ohjelmaan, vaikka kaikki siihen liittyvä tieto ja kaikki sen ominaisuudet eivät olisikaan käytössä. 6

5. Lähteet SSBL02a Colin Smythe, Eric Shepherd, Lane Brewer, and Steve Lay, IMS Question & Test Interoperability: An Overview. Final Specification Version 1.2, IMS Global Learning Consortium, Inc., helmikuu 2002. http://www.imsglobal.org/question/qtiv1p2/imsqti_oviewv1p2.html [7.3.2004] SSBL02b Colin Smythe, Eric Shepherd, Lane Brewer, and Steve Lay, IMS Question & Test Interoperability: ASI Information Model Specification. Final Specification Version 1.2, IMS Global Learning Consortium, Inc., helmikuu 2002. http://www.imsglobal.org/question/qtiv1p2/imsqti_asi_infov1p2.html [7.3.2004] SBL02 Colin Smythe, Lane Brewer, and Steve Lay, IMS Question & Test Interoperability: Results Reporting Information Model. Final Specification Version 1.2, IMS Global Learning Consortium, Inc., helmikuu 2002. http://www.imsglobal.org/question/qtiv1p2/imsqti_res_infov1p2.html [7.3.2004] Gor03 Pierre Gorissen, Quickscan QTI Usability Study for the Digitale Universiteit, De Digitale Universiteit, heinäkuu 2003. http://learningnetworks.org/downloads/du/quickscan_qti_uk.pdf [7.3.2004] 7