K Y S E L Y J E N Y H T E E N V E D O T

K Y S E L Y J E N Y H T E E N V E D O T EXAM-konsortion käyttäjäkysely opettajille 2017 Exam-konsortio / Koosteen tehnyt Pentti Ojajärvi Karelia-amk

2 Opettajien vastaukset Montako tenttiä olet luonut EXAM-järjestelmään? kerrat kpl % 1-2 61 33 % 3-5 54 29 % yli 5 72 39 % 187 100 % 4.8.2017 Exam-konsortio

3 Opettajien vastaukset Oletko käyttänyt ennen jotakin toista tenttijärjestelmää? kpl % Kyllä 82 43 % Ei 107 57 % 189 100 % 4.8.2017 Exam-konsortio

4 Opettajien vastaukset Aiemmat tenttiympäristöt Ympäristöt Moodle 17 21 % Tenttis 29 35 % MapleTA 1 1 % TenttiWilho 1 1 % Sordino 2 2 % SoftTutor Exam 1 1 % ExamView 1 1 % Ei tietoa 30 37 % YHT 82 100 % 4.8.2017 Exam-konsortio

5 Opettajien vastaukset Väitteet Väite 1. Täysin eri mieltä 2. Osittain eri mieltä 3. Osittain samaa mielt4. Täysin samaa mieltäen osaa sanoa Tentin luominen: Tentin liittäminen opintojaksoon on helppoa 3 % 10 % 28 % 43 % 17 % Tentin luominen: Tentin perustietojen syöttäminen on sujuvaa 3 % 13 % 38 % 43 % 4 % Tentin luominen: Tentin rakentaminen etenee loogisesti 2 % 15 % 41 % 37 % 6 % Tentin luominen: Aihealueiden käyttö tentissä on selkeää 3 % 20 % 39 % 21 % 17 % Tentin luominen: Uuden kysymyksen luominen tenttiin onnistuu hyvin 3 % 15 % 29 % 44 % 9 % Tentin luominen: Kysymyksen raahaaminen kysymyspankista onnistuu hyvin 9 % 13 % 21 % 28 % 29 % Tentin luominen: Tentin esikatselu on selkeä 4 % 11 % 31 % 45 % 8 % Tentin luominen: Tentin julkaisu onnistuu hyvin 2 % 6 % 25 % 61 % 6 % Tentin luominen: Tentin tekemiseen liittyvä ohjeistus on helposti löydettävissä 10 % 22 % 37 % 15 % 16 % Tentin luominen: Tentin tekemiseen liittyvä ohjeistus on riittävä 7 % 17 % 40 % 20 % 16 % Kysymyspankin käyttö: Kysymyspankin käyttö on sujuvaa 6 % 13 % 31 % 16 % 34 % Kysymyspankin käyttö: Kysymyspankin kysymysten ja tentin yhteys on selkeä 5 % 19 % 24 % 14 % 38 % Kysymyspankin käyttö: Yhteisten tenttikysymysten käyttö on sujuvaa 4 % 7 % 17 % 8 % 64 % Tentin arviointi: Opiskelijan suoritus on helppo löytää 4 % 11 % 24 % 56 % 4 % Tentin arviointi: Suorituksen arviointi on toimiva 8 % 18 % 29 % 38 % 7 % Tentin arviointi: Sanallisen palautteen antaminen on sujuvaa 5 % 13 % 30 % 35 % 17 % Tentin arviointi: Usean tentaattorin ja/tai arvioijan tekemä arviointi on sujuvaa 5 % 9 % 17 % 14 % 56 % Tentin arviointi: Tenttisuorituksen arvioinnin tilanne on selkeästi nähtävissä 8 % 11 % 30 % 41 % 10 % Tentin arviointi: Tiedän milloin tieto arvioinnista lähtee opiskelijalle 17 % 15 % 20 % 33 % 16 % Tentin arviointi: Järjestelmän lähettämä sähköpostimäärä on sopiva 6 % 6 % 27 % 45 % 16 % 4.8.2017 Exam-konsortio

50% Opettajien väittämät 1/3 6 45% 40% 35% 43% 38% 43% 41% 37% 39% 44% 45% 30% 31% 25% 28% 29% 28% 29% 20% 20% 21% 21% 15% 17% 15% 17% 15% 10% 5% 0% 3% 10% TENTIN LUOMINEN: TENTIN LIITTÄMINEN OPINTOJAKSOON ON HELPPOA 13% 4% 3% 2% TENTIN LUOMINEN: TENTIN PERUSTIETOJEN SYÖTTÄMINEN ON SUJUVAA 4.8.2017 Exam-konsortio / Etunimi Sukunimi 6% TENTIN LUOMINEN: TENTIN RAKENTAMINEN ETENEE LOOGISESTI 3% TENTIN LUOMINEN: AIHEALUEIDEN KÄYTTÖ TENTISSÄ ON SELKEÄÄ 3% 9% TENTIN LUOMINEN: UUDEN KYSYMYKSEN LUOMINEN TENTTIIN ONNISTUU HYVIN 9% 13% TENTIN LUOMINEN: KYSYMYKSEN RAAHAAMINEN KYSYMYSPANKISTA ONNISTUU HYVIN 1. Täysin eri mieltä 2. Osittain eri mieltä 3. Osittain samaa mieltä 4. Täysin samaa mieltä En osaa sanoa 4% 11% 8% TENTIN LUOMINEN: TENTIN ESIKATSELU ON SELKEÄ

Opettajien väittämät 2/3 7 61% 64% 56% 37% 40% 38% 31% 34% 25% 22% 20% 19% 24% 24% 2% 6% 6% 10% 15% 16% 17% 16% 7% 6% 13% 16% 5% 14% 17% 8% 7% 4% 4% 11% 4% TENTIN LUOMINEN: TENTIN JULKAISU ONNISTUU HYVIN TENTIN LUOMINEN: TENTIN TEKEMISEEN LIITTYVÄ OHJEISTUS ON HELPOSTI LÖYDETTÄVISSÄ TENTIN LUOMINEN: TENTIN TEKEMISEEN LIITTYVÄ OHJEISTUS ON RIITTÄVÄ KYSYMYSPANKIN KÄYTTÖ: KYSYMYSPANKIN KÄYTTÖ ON SUJUVAA 4.8.2017 Exam-konsortio / Etunimi Sukunimi KYSYMYSPANKIN KÄYTTÖ: KYSYMYSPANKIN KYSYMYSTEN JA TENTIN YHTEYS ON SELKEÄ KYSYMYSPANKIN KÄYTTÖ: YHTEISTEN TENTTIKYSYMYSTEN KÄYTTÖ ON SUJUVAA 1. Täysin eri mieltä 2. Osittain eri mieltä 3. Osittain samaa mieltä 4. Täysin samaa mieltä En osaa sanoa TENTIN ARVIOINTI: OPISKELIJAN SUORITUS ON HELPPO LÖYTÄÄ

Opettajien väittämät 3/3 8 56% 45% 41% 38% 35% 33% 29% 30% 30% 27% 8% 18% 7% 13% 17% 5% 5% 9% 17% 14% 8% 11% 10% 17% 15% 20% 16% 16% 6% 6% TENTIN ARVIOINTI: SUORITUKSEN ARVIOINTI ON TOIMIVA TENTIN ARVIOINTI: SANALLISEN PALAUTTEEN ANTAMINEN ON SUJUVAA TENTIN ARVIOINTI: USEAN TENTAATTORIN JA/TAI ARVIOIJAN TEKEMÄ ARVIOINTI ON SUJUVAA TENTIN ARVIOINTI: TENTTISUORITUKSEN ARVIOINNIN TILANNE ON SELKEÄSTI NÄHTÄVISSÄ 4.8.2017 Exam-konsortio / Etunimi Sukunimi TENTIN ARVIOINTI: TIEDÄN MILLOIN TIETO ARVIOINNISTA LÄHTEE OPISKELIJALLE 1. Täysin eri mieltä 2. Osittain eri mieltä 3. Osittain samaa mieltä 4. Täysin samaa mieltä En osaa sanoa TENTIN ARVIOINTI: JÄRJESTELMÄN LÄHETTÄMÄ SÄHKÖPOSTIMÄÄRÄ ON SOPIVA

Tarkennuksia Postia voisi lähettää silloin, kun tulee muutosta - ei joka viikko 9 Tarvetta myös puolikkaille pisteille Tenteistä tulisi voida tarvittaessa antaa Oodi-merkinnästä poikkeavia opintopistemääriä. Arviointiin pitäisi lisätä mahdollisuus jyvittää pisteitä itse vastauksiin. Nyt joutuu käyttämään kynää ja paperia tai tulostamaan. Palauteikkuna pitäisi voida siirtää pois tieltä. Hienoa että arvioinnin tulos siirtyy opintorekisteriin automaattisesti. Emme pääsääntöisesti arvioi yksittäistä kysymystä vaan koko tenttiä kokonaisuutena. Jonkinlainen piirtotoiminto olisi myös kiva saada mukaan (antaisi opiskelijalle mahdollisuuden piirtää kuvioita vastaukseen). Examin viikkotiedote on maailman turhin. Miksei vain tule yksi ilmoitus kun siellä on joku tentin tehnyt. Yksin on hyvä hallita, kaksin laittaa vielä miettimään.! Kirjoittamani palaute ei mene opiskelijalle. En tiedä saako opiskelija tietoa arvioinnista ellen lähetä hänelle erikseen sähköpostia. Minulla on ensimmäinen arviointi menossa. En ole kokenut vielä prosessia loppuun asti. palautteenantolaatikko on aika huono. Sitä ei saa piiloon ja joskus se jää "kiinni" kursoriin eikä sitä meinaa saada "irti". On myös hieman epäselvää että näkyykö se automaattisesti opiskelijalle? Kahden arvioijan systeemi kypsyysnäytteissä aiheuttaa epäselvää klikkailua. Opiskelijat eivät ole saaneet tietoa arvioinnista vaikka ohjelma sanoo että tieto on lähtenyt Jos tentin tekee esimerkiksi 65 opiskelijaa, niin sitten menee sivulta toiselle surffaamiseksi, koska nyt aina tentin tarkastuksen jälkeen Exam hyppää ensimmäiselle sivulle. Lisäksi olisi mahtavaa, jos pystyisi yhtäaikaa arvioimaan esimerkiksi kysymyksen 1 kaikilta opiskelijoilta (voisi verrata hyvin vastausta toisiinsa).

Palautetta 10 Kun otetaan käyttöön jokin järjestelmä, on tavoitteena oltava asioiden parempi sujuminen yleensä. Opettajalle exam ei tätä tee, mutta opiskelijoille varmaan näin tapahtuu. Omalla alallani loistava toimintamahdollisuus. Sisältää myös paljon mahdollisuuksia ideoida "lisäosia" perinteiseen salitenttiin. Erityisen hyvä ominaisuus aiemmin käyttämäämme järjstelmään verrattuna on se, että opettaja saa laitettua kuhunkin kysymykseen itselleen näkymään mallivastauksen Arviointikriteerit-kohtaan. - Olisi hyvä, jos järjestelmästä voisi helposti tulostaa tuloslistan, jossa on vain tarvittavat tiedot. Tarve tosin on vähentynyt nyt, kun suoritustiedot menevät suoraan Oodiin. - Tenteistä tulisi voida tarvittaessa antaa Oodi-merkinnästä poikkeavia opintopistemääriä. - Järjestelmässä olisi hyvä olla toiminto, jolla voidaan kysymyksiä arvottaessa määrittää se, etteivät tietyt kysymykset tule samaan tenttiin. kommentti opiskelijoilta: on tosi paljon mukavampaan kirjoittaa vastaus koneella entä käsin, mutta olisi silti hyvä, jos vastausta voisi ensin hahmotella paperille. Siis onko mahdollista saada tilaan tyhjiä papereita ja kyniä tätä käyttöä varten? Järjestelmän käyttöliittymä on liian iso, joten kokonaiskuvan saaminen on vaikeaa. EXAM-järjestelmässä on runsaasti potentiaalia kunhan sen kehittelyä jatketaan ja se saadaan lähivuosiona toimimaan laajemmassa mitassa. Tällä hetkellä järjestelmän kanssa on vielä pientä alkukankeutta havaittavissa. Miksi kysymykset muuttuu monessa tentissä? Sitä en ymmärrä. En siis käytä kysymyspankkia siksi, vaan joudun aina kirjoittamaan kaikki uudestaan. Sekä jo tarkastettuja että tarkastusta odottavia kypsyynäyteitä olisi hyvä pystyä suodattamaan tai järjestämään niin suorittajan, tentaattorin kuin suorituspäivänkin jne. suhteen eli kaikkien niiden muuttujien suhteen, joita järjestelmässä näkyy. Lisäksi jo tarkastetut kypsyysnäytteet pitää saada myös kielentarkastajan nähtäväksi myös kuukausiraportista. Pelkkä palautteen näkeminen ei riitä, vaan opettaja tarvitsee nähtäväkseen myös varsinaisen kypsyysnäytteen tekstin, esimerkiksi silloin kun opiskelija tulee vastaanotolle ja tekstiä käydään yhdessä läpi. Grafiikkaa lisää näyttämään, missä vaiheesa olen. Liikaa turhia valikoita ja välivaiheita. Järjestelmän pitäisi olla mahdollisimman yksinkertainen. On järjetöntä, että esimerkiksi arvosteluasteikkoja on "hyväksytty/hylätty" ja "hyv/hyl" ja että vain niistä toinen toimii oikeasti arvosteluasteikkona.

O P I S K E L I J O I D E N V A S T A U K S E T EXAM-konsortion käyttäjäkysely opiskelijoille 2017

Miten mieluiten suoritat tentin? 12 Ei vastausta 1 % Perinteisenä paperitenttinä 27 % Perinteisenä paperitenttinä Sähköisenä tenttinä Ei vastausta Sähköisenä tenttinä 72 % 4.8.2017

13 Miksi perinteinen paperitentti? Paperille tekeminen luontevampaa ja helpompaa. Helpompi piirtää kuvia ja selittää asioita niiden avulla. Myös esseiden suunnittelu helpompaa. Enemmän aikaa ja pystyy käyttämään suttupaperia. Tilanne sähköisessä tentissä on outo. Muiden näppäimistöstä kuuluva nakutus myös häiritsee omaa keskittymistä. Matematiikassa, kemiassa ja fysiikassa se on helpoin tapa. Sähköiset tentit ovat usein monivalintatenttejä, jotka eivät ole niin järkeviä. Monivalintakysymyksiin ei jaksa lukea niin paljon, kuin perinteiseen tenttiin. Sähköinen tentti sopii ainakin tällä hetkellä vain tietyntyyppisiin tentteihin. Normaalit tentit vaikeampia eli testaavat paremmin. Saa käydä vessassa välillä ja syödä eväitä. Olen ehkä vanhanaikainen mutta pidän perinteisestä kirjoittamisesta. Mielestäni kaiken ei tarvitse olla sähköistä. 4.8.2017

14 Miksi sähköinen tentti? Helpompi muokata omia vastauksia ja nopeampi tapa. Käsi ei väsy. Sähköinen tenttiminen säästää aikaa, jolloin tenttivastauksista tulee laajempia ja kattavampia. Vapaammat tentintekoajat. Vähemmän stressaava ympäristö. Tenttisali ja 100 opiskelijaa voivat joskus olla stressaava tilanne. Käsiala ei ole helposti luettavaa Tulos heti. 4.8.2017

4.8.2017 15

Kokonaistyytyväisyys eli kaikkien väittämien yhteenveto 16 EN OSAA SANOA 8% 4. TÄYSIN SAMAA MIELTÄ 66% 3. OSITTAIN SAMAA MIELTÄ 20% 2. OSITTAIN ERI MIELTÄ 5% 1. TÄYSIN ERI MIELTÄ 1% 4.8.2017 0% 10% 20% 30% 40% 50% 60% 70%

1. Täysin eri 2. Osittain 3. Osittain 4. Täysin En osaa 17 mieltä % eri mieltä % samaa mieltä samaa mieltä sanoa % Väittämä % % Tentti-ilmoittautumisen ohjeistus on helposti löydettävissä 2 8 30 58 2 Tentti-ilmoittautumiseen liittyvä ohjeistus on riittävä 1 5 25 67 2 Kirjautuminen järjestelmään on helppoa 1 2 13 82 1 Oikea tentti on helposti löydettävissä 2 5 22 70 2 Tiedot tentistä ovat hyvin näkyvissä 1 4 26 66 2 Kalenteri on helppokäyttöinen ja selkeä 1 6 26 59 8 Ajan varaaminen on sujuvaa 1 3 16 78 2 Ajan muuttaminen on sujuvaa 1 2 10 58 29 Ajan peruminen on sujuvaa 1 1 9 56 33 EXAM-järjestelmän lähettämät sähköpostiviestit koskien ilmoittautumista ovat selkeitä 1 2 15 75 7 EXAM-järjestelmän lähettämien sähköpostiviestien määrä koskien ilmoittautumista on riittävä 1 2 14 76 8 Tentin suorittamiseen liittyvä ohjeistus on helposti löydettävissä 1 6 26 65 2 Tentin suorittamiseen liittyvä ohjeistus on riittävä 2 6 24 67 2 Tentti avautuu ongelmitta. 2 4 14 78 2 Tentin liitetiedostojen käyttäminen onnistuu ongelmitta 1 4 15 36 44 Tenttiin vastaaminen on sujuvaa (editorin käyttö, liitteiden lisääminen) 1 8 26 49 16 Tentin lähettäminen arvioitavaksi toimii ongelmitta 1 3 12 82 2 Tenttijärjestelmän käyttöliittymä on toimiva 2 5 26 63 5 Tenttitilojen kuvaukset EXAM-järjestelmässä ovat riittävät 2 6 26 56 11 Tenttitilan aukioloajat ovat riittävät 1 6 20 69 3 Tenttitilan käyttöön varattuja säilytyslokerikkoja/naulakkoja on riittävästi 3 8 20 64 5 Tenttitilan työskentelyolosuhteet (lämpötila, ilmanvaihto) ovat sopivat 2 5 23 68 2 Tenttitilan valaistus on riittävä 1 3 15 79 2 Tenttitilaa koskeva ohjeistus on riittävä 2 6 26 65 2 Tenttitilassa oleva ohjeistus kertoo selkeästi miten toimia ongelmatilanteissa 3 11 24 47 15 Tenttitilassa on työrauha 2 5 17 75 2 Tenttijän työpiste on kooltaan riittävä 2 5 16 76 2 Tenttitilan tietokone toimii moitteettomasti 2 5 16 76 2 Opiskelijan työpöytä tenttijärjestelmässä on toimiva 1 4 23 64 8 Tenttiarviointi on helposti löydettävissä 2 7 25 55 11 4.8.2017 Palvelun lähettämä sähköpostien määrä on sopiva 1 2 18 72 8

4.8.2017 Exam-konsortio / Etunimi Sukunimi 18

4.8.2017 21

23 Mielipiteitä ilmoittautumisesta + Kaikki toimii loistavasti. Olette tehneet nerokkaan keksinnön. Onneksi olkoon. + Kaikki on mielestäni ollut oikein sujuvaa. - Varausjärjestelmä tökkii usein eikä vapaita aikoja ole saatavissa sujuvasti vaan niitä pitää usein käydä seuraamassa. - Varausjärjestelmä on mielestäni sekava. - Kalenteri ei ole tehokkaasti luettavissa puhelimen selaimella. - Tenttien varausmahdollisuus tulisi ulottaa koko lukukaudelle, kolmen viikon marginaali on sietämätön, kun ei voi suunnitella lukuaikataulua. Erityisesti tieto kesän tenttiajoista pitäisi saada viimeistään maaliskuussa! - Exam voisi lähettää muistutusviestin esim 24h ennen tenttiä. - Tenttihuoneen valinnassa voisi näkyä vain ne huoneet joissa tentin voi suorittaa. Myös piirtoalustan tai kosketusnäytöllisen koneen valinta on toteutettu sekavasti. Ilmoitus tenttiajan varaamisesta tulisi olla ERITTÄIN eksplisiittinen! Päivämäärä, kellonaika, luokka, kone ja tentin nimi. isolla ja selkeällä. KAIKKi ylimääräinen teksti pois. Exam voisi lähettää muistutusviestin esim 24h ennen tenttiä. 4.8.2017

Tentin suorittaminen EXAMissa 24 + Ohjeet oli myös printattu tilaan, jossa tentti tehtiin ja se oli hyvä. - It took 5 minutes to log-in into the system. I lost 5 minutes from my exam time. - Vastauskenttä oli melko pienikokoinen ja pitkää vastausta kirjoittaessa kenttää joutui vierittämään, jotta näki aikaisemmin kirjoitetun tekstin. - Kaavojen ja laskujen kirjoittaminen editorilla on todella hidasta. - Liitetiedostojen avaamisessa on omalla kohdallani ollut ongelmia, vaikka olenkin lukenut ohjeet. - Liitetiedostojen lisääminen on ajankäytöllisesti hieman hankalaa, koska tenttivastaus lähtee ajan loputtua vaikka liite ei olisi ladattu. - Liitetiedostoa on vaikea liittää ja huomata sitä eli se meinaa helposti unohtua vastauksesta. Ensimmäisellä kerralla aikaa kului varmaan tunti selvittämään miten toimia. Kaikille voisi olla joku yhteinen tenttiharjoitus. 4.8.2017

Tenttitila 25 + Tenttitilat ovat olleet moitteettomia. - Tenttitila oli pieni ja kaikuva, joka häiritsi keskittymistä. - Välillä oma keskittyminen herpaantuu muiden tenttiöiden murahtelun ja tietokoneen näpytyksen johdosta. - Tenttisalissa on huono ilmanvaihto. - Tenttitila on hyvin ilmastoitu ja tenttiä voi tehdä rauhassa. - Tenttisalissa on kylmä. - Tenttitilassa oli hyvin kuuma. - Valaistus on melko hämärä ja kirkas näyttö yhdistettynä siihen saa aikaan päänsärkyä ja silmien väsymistä. - Lokeroita olisi voinut olla enemmän. Reppu ei sopi lokeroon. - Näppäimistö tuli olla hiljaisempi. - Isompi työtila tenttijälle. - Jos vieressä istuu tenttijä, niin hän on aika lähellä, joten erottava sermi voisi jatkua vähän pidemmälle. Jos toinen heiluu tuolillaan siinä vieressä, voi se olla välillä häiritsevää, kun se on niin lähellä. 4.8.2017

EXAM ( o p i s k e l i j a n t y ö p ö y t ä, a r v i o i n t i, s p o s t i ) 26 + Kaikki ok. + Tenttitulosten saapumisilmoitus on ollut todella kiva! + Sähköpostiin tuleva ilmoitus arvioinnista todella hyvä juttu. - Kun tentti on arvioitu, siitä ei aina tule sähköpostia??? Miksi? - Arviointi voisi näkyä heti etusivulla. - Tenttiarviointi on turhan monen linkin takana. - En tiennyt, että tenttiarviointi on löydettävissä? - Opiskelijan työpöydän funktio ei ole minulle nyt ihan täysin selvä 4.8.2017

Kehittämisehdotuksia 27 Haluaisin, että oikeat vastaukset olisivat nähtävissä tentin jälkeen, jolloin itse tentistäkin tulisi oppimistilaisuus. Paperipino pöydälle, ja kynä, niin voi hahmotella asioita! Sähköisen tenttitilan aukioloaika pitäisi olla 24/7 ja myös viikonloppuisin. Hiljaisemmat näppäimet. Enemmän tilaa ja isommat sermit. Vessassa käyminen pitäisi olla tavalla tai toisella mahdollista tentin aikana. Vesipullo olisi mukava saada viedä tenttitilaan. Ilmoitus tenttiajan loppumisesta. Pidemmät tenttiajat. Kunnolliset ohjeet. Nappi, jota painamalla saa yliopiston atk-tukihenkilön paikalle ongelmatilanteissa. Tenttijärjestelmässä on turhia varauksia. 4.8.2017

28 Jatkakaa näin, tämä on erinomainen palvelu! Tack för att det finns! I love electronic exams. Thank you for making student life better. 4.8.2017