OPTIA-projektin loppuraportti 30.3.2006 OPTIA-projektin kesto: 1.11.2005 31.3.2006.
1. OPTIA-hankkeen taustaa... 2 2. Tiedonhankintataitojen perusteet... 2 3. Sähköinen tenttiminen... 2 4. Muutokset Moodleen... 4 4. Sähköinen tenttiminen syksyllä 2006... 5 5. Muita tehtäviä... 5 6. Aikataulu... 5 7. Yliopistossa sähkötentin kehitystyö jatkuu... 6 1. OPTIA-hankkeen taustaa Tampereen yliopisto on kehittämässä sähköistä tenttimistä SÄHKÖTENTTI hankkeen muodossa. Tätä varten perustettiin ohjausryhmä, johon kuuluu edustajia eri yksiköistä, kuten tietokonekeskuksesta, kielikeskuksesta, hypermedialaboratoriosta ja kirjastosta. OPTIA-hankkeen (Opiskelijoiden tiedonhankintataitojen arviointi) tavoitteena oli pääkirjaston opetusvastuuseen kuuluvien kurssien sähköisen tenttimisen kehittäminen. OPTIA-ohjausryhmän kokouksissa käytiin läpi sähköisen tenttimisen kehittämisen aikana tulleita haasteita, tuotiin esiin ratkaisumalleja ja tehtiin hankkeeseen liittyviä päätöksiä. 2. Tiedonhankintataitojen perusteet Tiedonhankinnan perusteet (2 op) ovat uusille opiskelijoille suunnattuja pakollisia opintojaksoja (1 luentokerta, 4 harjoituskertaa), joita pidetään informaatiotieteiden, hallintotieteiden sekä yhteiskuntatieteiden tiedekuntien opiskelijoille. Tämän kurssin voi syksystä 2006 alkaen suorittaa kahdella vaihtoehtoisella tavalla: Vaihtoehto 1) Osallistumalla luentoon ja neljään harjoituskertaan (yht. 11h). Vaihtoehto 2) Osallistumalla ja läpäisemällä sähköisen tentin/uusintatentin. Jos opiskelija ei läpäise osaamistestiä, hän osallistuu luennolle ja harjoitusryhmiin 3. Sähköinen tenttiminen Sähköistä tenttimistä varten rakennettin Moodlen nykyiseen versioon monivalintakysymyksiin perustuva osaamistesti, joka koostuu tarkemmin seuraavasti: Tenttikysymykset 2
Moodleen siirrettiin kaikki Osaamistasotesti-dokumenttiin kuuluneet kysymykset 284 kpl ja niistä on valittiin kirjaston henkilökunnan osalta tenttikysymyksiksi 183 kpl, jotka on on jaettu aihealueisiin allaolevan mukaisesti: I. Tiedontarpeen määrittely yht. 28 kysymystä - 7 perustason kysymystä - 21 ainetason kysymystä (10 syventävän tason kysymystä muokattiin ainetasoa vastaavaksi) II. Tiedonlähteiden valinta yht. 29 kysymystä - 19 perustason kysymystä, sisältäen 4 kysymystä internettiin liittyen ja 2 Googleen - 10 ainetason kysymystä III. Tiedonhaun suunnittelu ja toteutus yht. 87 kysymystä - 60 perustason kysymystä, sisältäen 10 NELLI:iin liittyvää kysymystä - 27 ainetason kysymystä IV. Hakutuloksen arviointi yht. 39 kysymystä - 22 perustason kysymystä - 16 ainetason kysymystä - 1 syventävä kysymys liittyen RefWorksiin Osaamistestiin soveltumattomat kysymykset siirrettiin erillisiin Moodlesta löytyviin kategorioihin, joista niitä voi tarvittaessa ottaa käyttöön ja muokata. Osaamistasotesti-dokumentti Yliopistokirjastojen koulutustoiminnassa on pitkään tiedostettu myös tarve opiskelijoiden informaatiolukutaidon ja tiedonhankintataitojen taitotason arvioimiseen. Niinpä Informaatiolukutaidon opetussuunnitelma hanke nimitti huhtikuussa 2005 määräaikaisen suunnittelijan kehittämään kysymyspatteristoa, jonka avulla yliopistokirjastot voivat toteuttaa eri vaiheissa opintoja oleville opiskelijoille osaamistasotestejä. Osaamistasotesti-dokumentin kysymysten tuottamiseen ovat osallistunut valtakunnallinen yliopistokirjastojen kouluttajista ja opiskelijaedustajasta koostuva työryhmä. Tenttisovellus Moodleen rakennettiin tenttisovellus, jossa arvotaan 10 kysymystä jokaisesta edellä mainitusta aihealueesta, joten yhteensä tenttiin tulee 40 sattumanvaraisesti arvottua kysymystä. Osaamistestin suorittamiseen opiskelijoilla on aikaa 40 minuuttia. Tenttisovellukseen määriteltiin myös tarvittavat asetukset ja lisäksi saatiin kirjaston IT- 3
tuen osalta käyttöön koneiden hallintajärjestelmä, joilla pystytään estämään suurin osa mahdollisista väärinkäytöksistä. Koetentit Sähköistä tenttimistä testattiin kolmen koetentin osalta, jonka perusteella päädyttiin läpäisyyn vaadittavaan prosentuaaliseen osuuteen (70 %). Lisäksi varmistuttiin siitä, että kysymysten vaikeustaso ja kysymysten määrä ovat sopivia. 4. Muutokset Moodleen Tenttisovellusta rakennettaessa sekä testauksen yhteydessä kävi ilmi että nykyiseen Moodlen versioon tarvitaan muutoksia, jotka mahdollistavat tenttimisen. Alla listataan niistä tärkeimmät: AJANLASKU: tällä hetkellä tenttijä näkee jäljellä olevan ajan, jonka loputtua tentti päättyy ja olemassaolevat vastaukset tallennetaan. - Muutos: kello ei seuraisi sivun vierittämistä ja sekunnit otettaisiin pois. (IE:ssä ja Operassa seuraa, Firefoxissa ei) VASTAUSTEN TALLENNUS: tilanteissa, joissa tentti keskeytyy esim. teknisen vian takia. Tällä hetkellä jos tentti keskeytyy, eikä vastauksia ole välitallennettu, pyyhkiytyvät siihen mennessä annetut vastaukset pois. - Muutos: tentti välitallennetaan joka kerta kun vaihdetaan kategoriasta/sivusta toiseen. KÄYTTÖLIITTYMÄ: tentissä tulisi olla mahdollisimman yksinkertainen ja vaivaton käyttöliittymä. - Muutos: Save without submitting nappi otetaan pois. Sitä ei enää tarvita, jos otetaan käyttöön edelläkuvattu automaattinen välitallennus. Tällöin tentistä löytyy vain yksi nappi, josta tentin lähetys sekä tarkistus tapahtuvat, joka sijaitsee ainoastaan viimeisellä sivulla, eikä siis ole joka sivulla, kuten tällä hetkellä. - Muutos: englanniksi vielä löytyvät kohdat suomennetaan - Muutos: ulkomuotoa kohennetaan vielä tarkentamattomalla tavalla. TARKISTUS: ennen tentin lähettämista tarkistetaan vielä että opiskelija on vastannut kaikkiin kysymyksiin. 4
- Muutos: tarvittava ominaisuus tehdään. Tentin voisi kuitenkin päättää vaikka kysymyksiin ei olisi vastausta antanutkaan (taktiset syyt pisteiden kannalta). TULOKSEN ILMOITUS: miten tulos pitäisi ilmoittaa opiskelijalle? Tällä hetkellä tentin päätyttyä tulee esiin näkymä, jossa listataan ainoastaan opiskelijan saama pistemäärä sekä prosentuaalinen osuus. - Muutos: tentin tulosta ei ilmoitettaisi heti vaan tulos lähetetään opiskelijan sähköpostiin tietyn ajan kuluttua. Tällöin jäisi aikaa selvittää mahdollisesti tapahtuneet virhetilanteet. Yliopiston tason sähkötentti- hankkeessa kehitetään TenttiMoodlea, joka tulee sisältämään mainitut muutokset. 4. Sähköinen tenttiminen syksyllä 2006 Kirjaston OPTIA-työryhmä päätti ottaa käyttöön sähköisen tenttimisen syksyllä 2006 riippumatta siitä missä vaiheessa yliopistotason sähköinen tenttiminen on silloin. Käytyämme läpi tenttimisprosessin hallinnolliset ja tekniset yksityiskohdat, tulimme sihen tulokseen, että vaikka SÄHKÖTENTTI-projektin yhteydessä ei olisi tullut syksyyn mennessä valmiiksi teknisiä ratkaisuja, kuten esim. tentin varaamisjärjestelmää taikka erillistä TenttiMoodlea, niin kirjastossa voidaan silti aloittaa sähköinen tenttiminen. Se onnistuu tämänhetkisellä Moodlen versiolla ja sinne rakennetulla tenttisovelluksella. Tentin varaamisjärjestelmä tullaan tarvittaessa tekemään Moodleen. 5. Muita tehtäviä OPTIA-hankkeen informaatikko osallistui myös SÄHKÖTENTTI-työryhmän prosessikokouksiin sekä kirjastossa käynnistyneeseen videoprojektiin käsikirjoittamisen ja ideoinnin suhteen. 6. Aikataulu Aikataulu OPTIA-projektin suhteen oli seuraava: - vko 47 ja 48: sähköisen tenttimisprosessin analysointi sekä yksityiskohdista sopiminen. Kysymysten analysointi ja modifiointi 5
- vko 49-52: tarkempi tutustuminen Moodleen, koeympäristön rakentaminen, teknisiin yksityiskohtiin tutustuminen sekä ratkaisumallien kehittäminen. - vko 1: koeympäristön testaamista ja tulosten analysointia, mahdollisten muutosten huomioiminen tenttisovelluksessa, teknisten muutosten miettiminen tulevaan TenttiMoodleen - vko 2-4: pääsovelluksen rakentaminen - vko 5-6: pääsovelluksen testaus - vko 7-8: testauksessa esiintulevien seikkojen ratkaisemista, sovelluksen lopullinen version testaaminen.. - vko 9-13: kolmen koetentin järjestäminen, Moodle-manuaalin tekeminen sähköisestä tenttimisestä, koulutuksen pitäminen kirjaston henkilökunnalle, loppuraportti 7. Yliopistossa sähkötentin kehitystyö jatkuu Sähköisen tenttimisen kehittäminen jatkuu yliopistossa SÄHKÖTENTTI-hankkeen muodossa. Alla listataan tärkeimpien osa-alueiden tämänhetkinen status (maaliskuu 2006): a) Valvonta - Tenttien valvontamenetelmäksi on sovittu kameravalvonta. Yksi uuden kirjastotalon opetusluokista tullaan varustamaan kameroilla. b) Tentin varausjärjestelmä - Erillinen varausjärjelmä, jonka avulla opiskelija pystyy varaamaan tietokoneen, jolla hän suorittaa tentin. Tällä hetkellä sopivaa järjestelmä vielä etsitään b) Tilat - Sähköinen tenttimiseen soveltuvia tiloja valmistuu Pinniin sekä uuteen kirjastotaloon 6