K Y S E L Y J E N Y H T E E N V E D O T

K Y S E L Y J E N Y H T E E N V E D O T EXAM-konsortion käyttäjäkysely opettajille 2017 Exam-konsortio / Koosteen tehnyt Pentti Ojajärvi Karelia-amk

2 Opettajien vastaukset Montako tenttiä olet luonut EXAM-järjestelmään? kerrat kpl % 1-2 61 33 % 3-5 54 29 % yli 5 72 39 % 187 100 % 14.8.2017 Exam-konsortio / Koosteen tehnyt Pentti Ojajärvi Karelia-amk

3 Opettajien vastaukset Oletko käyttänyt ennen jotakin toista tenttijärjestelmää? kpl % Kyllä 82 43 % Ei 107 57 % 189 100 % 14.8.2017 Exam-konsortio / Koosteen tehnyt Pentti Ojajärvi Karelia-amk

4 Opettajien vastaukset Aiemmat tenttiympäristöt Ympäristöt Moodle 17 21 % Tenttis 29 35 % MapleTA 1 1 % TenttiWilho 1 1 % Sordino 2 2 % SoftTutor Exam 1 1 % ExamView 1 1 % Ei tietoa 30 37 % YHT 82 100 % 14.8.2017

5 Opettajien vastaukset Väitteet Väite 1. Täysin eri mieltä 2. Osittain eri mieltä 3. Osittain samaa mielt4. Täysin samaa mieltäen osaa sanoa Tentin luominen: Tentin liittäminen opintojaksoon on helppoa 3 % 10 % 28 % 43 % 17 % Tentin luominen: Tentin perustietojen syöttäminen on sujuvaa 3 % 13 % 38 % 43 % 4 % Tentin luominen: Tentin rakentaminen etenee loogisesti 2 % 15 % 41 % 37 % 6 % Tentin luominen: Aihealueiden käyttö tentissä on selkeää 3 % 20 % 39 % 21 % 17 % Tentin luominen: Uuden kysymyksen luominen tenttiin onnistuu hyvin 3 % 15 % 29 % 44 % 9 % Tentin luominen: Kysymyksen raahaaminen kysymyspankista onnistuu hyvin 9 % 13 % 21 % 28 % 29 % Tentin luominen: Tentin esikatselu on selkeä 4 % 11 % 31 % 45 % 8 % Tentin luominen: Tentin julkaisu onnistuu hyvin 2 % 6 % 25 % 61 % 6 % Tentin luominen: Tentin tekemiseen liittyvä ohjeistus on helposti löydettävissä 10 % 22 % 37 % 15 % 16 % Tentin luominen: Tentin tekemiseen liittyvä ohjeistus on riittävä 7 % 17 % 40 % 20 % 16 % Kysymyspankin käyttö: Kysymyspankin käyttö on sujuvaa 6 % 13 % 31 % 16 % 34 % Kysymyspankin käyttö: Kysymyspankin kysymysten ja tentin yhteys on selkeä 5 % 19 % 24 % 14 % 38 % Kysymyspankin käyttö: Yhteisten tenttikysymysten käyttö on sujuvaa 4 % 7 % 17 % 8 % 64 % Tentin arviointi: Opiskelijan suoritus on helppo löytää 4 % 11 % 24 % 56 % 4 % Tentin arviointi: Suorituksen arviointi on toimiva 8 % 18 % 29 % 38 % 7 % Tentin arviointi: Sanallisen palautteen antaminen on sujuvaa 5 % 13 % 30 % 35 % 17 % Tentin arviointi: Usean tentaattorin ja/tai arvioijan tekemä arviointi on sujuvaa 5 % 9 % 17 % 14 % 56 % Tentin arviointi: Tenttisuorituksen arvioinnin tilanne on selkeästi nähtävissä 8 % 11 % 30 % 41 % 10 % Tentin arviointi: Tiedän milloin tieto arvioinnista lähtee opiskelijalle 17 % 15 % 20 % 33 % 16 % Tentin arviointi: Järjestelmän lähettämä sähköpostimäärä on sopiva 6 % 6 % 27 % 45 % 16 % 14.8.2017

Opettajien väittämät 1/3 6 43% 43% 44% 45% 38% 41% 37% 39% 31% 28% 29% 28% 29% 20% 21% 21% 17% 15% 17% 15% 10% 13% 9% 9% 13% 11% 8% 3% 4% 3% 2% 6% 3% 3% 4% TENTIN LUOMINEN: TENTIN LIITTÄMINEN OPINTOJAKSOON ON HELPPOA TENTIN LUOMINEN: TENTIN PERUSTIETOJEN SYÖTTÄMINEN ON SUJUVAA TENTIN LUOMINEN: TENTIN RAKENTAMINEN ETENEE LOOGISESTI TENTIN LUOMINEN: AIHEALUEIDEN KÄYTTÖ TENTISSÄ ON SELKEÄÄ 14.8.2017 Exam-konsortio / Etunimi Sukunimi TENTIN LUOMINEN: UUDEN KYSYMYKSEN LUOMINEN TENTTIIN ONNISTUU HYVIN TENTIN LUOMINEN: KYSYMYKSEN RAAHAAMINEN KYSYMYSPANKISTA ONNISTUU HYVIN 1. Täysin eri mieltä 2. Osittain eri mieltä 3. Osittain samaa mieltä 4. Täysin samaa mieltä En osaa sanoa TENTIN LUOMINEN: TENTIN ESIKATSELU ON SELKEÄ

Opettajien väittämät 2/3 7 61% 64% 56% 37% 40% 38% 31% 34% 25% 22% 20% 19% 24% 24% 2% 6% 6% 10% 15% 16% 17% 16% 7% 6% 13% 16% 5% 14% 17% 8% 7% 4% 4% 11% 4% TENTIN LUOMINEN: TENTIN JULKAISU ONNISTUU HYVIN TENTIN LUOMINEN: TENTIN TEKEMISEEN LIITTYVÄ OHJEISTUS ON HELPOSTI LÖYDETTÄVISSÄ TENTIN LUOMINEN: TENTIN TEKEMISEEN LIITTYVÄ OHJEISTUS ON RIITTÄVÄ KYSYMYSPANKIN KÄYTTÖ: KYSYMYSPANKIN KÄYTTÖ ON SUJUVAA 14.8.2017 Exam-konsortio / Etunimi Sukunimi KYSYMYSPANKIN KÄYTTÖ: KYSYMYSPANKIN KYSYMYSTEN JA TENTIN YHTEYS ON SELKEÄ KYSYMYSPANKIN KÄYTTÖ: YHTEISTEN TENTTIKYSYMYSTEN KÄYTTÖ ON SUJUVAA 1. Täysin eri mieltä 2. Osittain eri mieltä 3. Osittain samaa mieltä 4. Täysin samaa mieltä En osaa sanoa TENTIN ARVIOINTI: OPISKELIJAN SUORITUS ON HELPPO LÖYTÄÄ

Opettajien väittämät 3/3 8 56% 45% 41% 38% 35% 33% 29% 30% 30% 27% 8% 18% 7% 13% 17% 5% 5% 9% 17% 14% 8% 11% 10% 17% 15% 20% 16% 16% 6% 6% TENTIN ARVIOINTI: SUORITUKSEN ARVIOINTI ON TOIMIVA TENTIN ARVIOINTI: SANALLISEN PALAUTTEEN ANTAMINEN ON SUJUVAA TENTIN ARVIOINTI: USEAN TENTAATTORIN JA/TAI ARVIOIJAN TEKEMÄ ARVIOINTI ON SUJUVAA TENTIN ARVIOINTI: TENTTISUORITUKSEN ARVIOINNIN TILANNE ON SELKEÄSTI NÄHTÄVISSÄ 14.8.2017 Exam-konsortio / Etunimi Sukunimi TENTIN ARVIOINTI: TIEDÄN MILLOIN TIETO ARVIOINNISTA LÄHTEE OPISKELIJALLE 1. Täysin eri mieltä 2. Osittain eri mieltä 3. Osittain samaa mieltä 4. Täysin samaa mieltä En osaa sanoa TENTIN ARVIOINTI: JÄRJESTELMÄN LÄHETTÄMÄ SÄHKÖPOSTIMÄÄRÄ ON SOPIVA

O p e t t a j i e n t a r k e n n u k s i a Postia voisi lähettää silloin, kun tulee muutosta - ei joka viikko Examin viikkotiedote on maailman turhin. Miksei vain tule yksi ilmoitus kun siellä on joku tentin tehnyt. Arviointiin pitäisi lisätä mahdollisuus jyvittää pisteitä itse vastauksiin. Nyt joutuu käyttämään kynää ja paperia tai tulostamaan. Palauteikkuna pitäisi voida siirtää pois tieltä. Piirtotoiminto olisi myös kiva saada mukaan (antaisi opiskelijalle mahdollisuuden piirtää kuvioita vastaukseen). Kirjoittamani palaute ei mene opiskelijalle. En tiedä saako opiskelija tietoa arvioinnista ellen lähetä hänelle erikseen sähköpostia. Palautteenantolaatikko on aika huono. Sitä ei saa piiloon ja joskus se jää "kiinni" kursoriin eikä sitä meinaa saada "irti". On myös hieman epäselvää että näkyykö se automaattisesti opiskelijalle? Kahden arvioijan systeemi kypsyysnäytteissä aiheuttaa epäselvää klikkailua. Jos tentin tekee esimerkiksi 65 opiskelijaa, niin sitten menee sivulta toiselle surffaamiseksi, koska nyt aina tentin tarkastuksen jälkeen Exam hyppää ensimmäiselle sivulle. Lisäksi olisi mahtavaa, jos pystyisi yhtä aikaa arvioimaan esimerkiksi kysymyksen 1 kaikilta opiskelijoilta (voisi verrata hyvin vastausta toisiinsa). 9

P a l a u t e t t a o p e t t a j i l t a Omalla alallani loistava toimintamahdollisuus. Sisältää myös paljon mahdollisuuksia ideoida "lisäosia" perinteiseen salitenttiin. Erityisen hyvä ominaisuus aiemmin käyttämäämme järjestelmään verrattuna on se, että opettaja saa laitettua kuhunkin kysymykseen itselleen näkymään mallivastauksen Arviointikriteerit-kohtaan. Olisi hyvä, jos järjestelmästä voisi helposti tulostaa tuloslistan, jossa on vain tarvittavat tiedot. Tarve tosin on vähentynyt nyt, kun suoritustiedot menevät suoraan Oodiin. Järjestelmässä olisi hyvä olla toiminto, jolla voidaan kysymyksiä arvottaessa määrittää se, etteivät tietyt kysymykset tule samaan tenttiin. Järjestelmän käyttöliittymä on liian iso, joten kokonaiskuvan saaminen on vaikeaa. Miksi kysymykset muuttuu monessa tentissä? Sitä en ymmärrä. En siis käytä kysymyspankkia siksi, vaan joudun aina kirjoittamaan kaikki uudestaan. Sekä jo tarkastettuja että tarkastusta odottavia kypsyysnäyteitä olisi hyvä pystyä suodattamaan tai järjestämään niin suorittajan, tentaattorin kuin suorituspäivänkin jne. suhteen eli kaikkien niiden muuttujien suhteen, joita järjestelmässä näkyy. Tarkastetut kypsyysnäytteet pitää saada myös kielentarkastajan nähtäväksi myös kuukausiraportista. Pelkkä palautteen näkeminen ei riitä, vaan opettaja tarvitsee nähtäväkseen myös varsinaisen kypsyysnäytteen tekstin, esimerkiksi silloin kun opiskelija tulee vastaanotolle ja tekstiä käydään yhdessä läpi. Grafiikkaa lisää näyttämään, missä vaiheessa olen. Liikaa turhia valikoita ja välivaiheita. Järjestelmän pitäisi olla mahdollisimman yksinkertainen. 10

O P I S K E L I J O I D E N V A S T A U K S E T EXAM-konsortion käyttäjäkysely opiskelijoille 2017

Miten mieluiten suoritat tentin? 12 Ei vastausta 1 % Perinteisenä paperitenttinä 27 % Perinteisenä paperitenttinä Sähköisenä tenttinä Ei vastausta Sähköisenä tenttinä 72 % 14.8.2017

13 Miksi perinteinen paperitentti? Paperille tekeminen luontevampaa ja helpompaa. Helpompi piirtää kuvia ja selittää asioita niiden avulla. Myös esseiden suunnittelu helpompaa. Enemmän aikaa ja pystyy käyttämään suttupaperia. Tilanne sähköisessä tentissä on outo. Muiden näppäimistöstä kuuluva nakutus myös häiritsee omaa keskittymistä. Matematiikassa, kemiassa ja fysiikassa se on helpoin tapa. Sähköiset tentit ovat usein monivalintatenttejä, jotka eivät ole niin järkeviä. Monivalintakysymyksiin ei jaksa lukea niin paljon, kuin perinteiseen tenttiin. Sähköinen tentti sopii ainakin tällä hetkellä vain tietyntyyppisiin tentteihin. Normaalit tentit vaikeampia eli testaavat paremmin. Saa käydä vessassa välillä ja syödä eväitä. Olen ehkä vanhanaikainen mutta pidän perinteisestä kirjoittamisesta. Mielestäni kaiken ei tarvitse olla sähköistä. 14.8.2017

14 Miksi sähköinen tentti? Helpompi muokata omia vastauksia ja nopeampi tapa. Käsi ei väsy. Sähköinen tenttiminen säästää aikaa, jolloin tenttivastauksista tulee laajempia ja kattavampia. Vapaammat tentintekoajat. Vähemmän stressaava ympäristö. Tenttisali ja 100 opiskelijaa voivat joskus olla stressaava tilanne. Käsiala ei ole helposti luettavaa Tulos heti. 14.8.2017

14.8.2017 15

100% Kokonaistyytyväisyys eli kaikkien väittämien yhteenveto 16 90% 80% 70% 60% 66% 50% 40% 30% 20% 20% 10% 8% 1% 5% 0% 14.8.2017 1. TÄYSIN ERI MIELTÄ 2. OSITTAIN ERI MIELTÄ 3. OSITTAIN SAMAA MIELTÄ 4. TÄYSIN SAMAA MIELTÄ EN OSAA SANOA

1. Täysin eri 2. Osittain 3. Osittain 4. Täysin En osaa 17 mieltä % eri mieltä % samaa mieltä samaa mieltä sanoa % Väittämä % % Tentti-ilmoittautumisen ohjeistus on helposti löydettävissä 2 8 30 58 2 Tentti-ilmoittautumiseen liittyvä ohjeistus on riittävä 1 5 25 67 2 Kirjautuminen järjestelmään on helppoa 1 2 13 82 1 Oikea tentti on helposti löydettävissä 2 5 22 70 2 Tiedot tentistä ovat hyvin näkyvissä 1 4 26 66 2 Kalenteri on helppokäyttöinen ja selkeä 1 6 26 59 8 Ajan varaaminen on sujuvaa 1 3 16 78 2 Ajan muuttaminen on sujuvaa 1 2 10 58 29 Ajan peruminen on sujuvaa 1 1 9 56 33 EXAM-järjestelmän lähettämät sähköpostiviestit koskien ilmoittautumista ovat selkeitä 1 2 15 75 7 EXAM-järjestelmän lähettämien sähköpostiviestien määrä koskien ilmoittautumista on riittävä 1 2 14 76 8 Tentin suorittamiseen liittyvä ohjeistus on helposti löydettävissä 1 6 26 65 2 Tentin suorittamiseen liittyvä ohjeistus on riittävä 2 6 24 67 2 Tentti avautuu ongelmitta. 2 4 14 78 2 Tentin liitetiedostojen käyttäminen onnistuu ongelmitta 1 4 15 36 44 Tenttiin vastaaminen on sujuvaa (editorin käyttö, liitteiden lisääminen) 1 8 26 49 16 Tentin lähettäminen arvioitavaksi toimii ongelmitta 1 3 12 82 2 Tenttijärjestelmän käyttöliittymä on toimiva 2 5 26 63 5 Tenttitilojen kuvaukset EXAM-järjestelmässä ovat riittävät 2 6 26 56 11 Tenttitilan aukioloajat ovat riittävät 1 6 20 69 3 Tenttitilan käyttöön varattuja säilytyslokerikkoja/naulakkoja on riittävästi 3 8 20 64 5 Tenttitilan työskentelyolosuhteet (lämpötila, ilmanvaihto) ovat sopivat 2 5 23 68 2 Tenttitilan valaistus on riittävä 1 3 15 79 2 Tenttitilaa koskeva ohjeistus on riittävä 2 6 26 65 2 Tenttitilassa oleva ohjeistus kertoo selkeästi miten toimia ongelmatilanteissa 3 11 24 47 15 Tenttitilassa on työrauha 2 5 17 75 2 Tenttijän työpiste on kooltaan riittävä 2 5 16 76 2 Tenttitilan tietokone toimii moitteettomasti 2 5 16 76 2 Opiskelijan työpöytä tenttijärjestelmässä on toimiva 1 4 23 64 8 Tenttiarviointi on helposti löydettävissä 2 7 25 55 11 14.8.2017 Palvelun lähettämä sähköpostien määrä on sopiva 1 2 18 72 8

14.8.2017 Exam-konsortio / Etunimi Sukunimi 18

14.8.2017 21

Mielipiteitä ilmoittautumisesta 23 + Kaikki toimii loistavasti. Olette tehneet nerokkaan keksinnön. Onneksi olkoon. + Kaikki on mielestäni ollut oikein sujuvaa. - Varausjärjestelmä tökkii usein eikä vapaita aikoja ole saatavissa sujuvasti vaan niitä pitää usein käydä seuraamassa. - Varausjärjestelmä on mielestäni sekava. - Kalenteri ei ole tehokkaasti luettavissa puhelimen selaimella. - Tenttien varausmahdollisuus tulisi ulottaa koko lukukaudelle. - Exam voisi lähettää muistutusviestin esim 24h ennen tenttiä. Ilmoitus tenttiajan varaamisesta tulisi olla ERITTÄIN eksplisiittinen! Päivämäärä, kellonaika, luokka, kone ja tentin nimi. isolla ja selkeällä. KAIKKi ylimääräinen teksti pois. 14.8.2017

Tentin suorittaminen EXAMissa 24 + Ohjeet oli myös printattu tilaan, jossa tentti tehtiin ja se oli hyvä. - It took 5 minutes to log-in into the system. I lost 5 minutes from my exam time. - Vastauskenttä oli melko pienikokoinen ja pitkää vastausta kirjoittaessa kenttää joutui vierittämään, jotta näki aikaisemmin kirjoitetun tekstin. - Kaavojen ja laskujen kirjoittaminen editorilla on todella hidasta. - Liitetiedostojen avaamisessa on omalla kohdallani ollut ongelmia, vaikka olenkin lukenut ohjeet. - Liitetiedostoa on vaikea liittää ja huomata sitä eli se meinaa helposti unohtua vastauksesta. Ensimmäisellä kerralla aikaa kului varmaan tunti selvittämään miten toimia. Kaikille voisi olla joku yhteinen tenttiharjoitus. 14.8.2017

Tenttitila 25 + Tenttitilat ovat olleet moitteettomia. - Tenttitila oli pieni ja kaikuva, joka häiritsi keskittymistä. - Välillä oma keskittyminen herpaantuu muiden tenttiöiden murahtelun ja tietokoneen näpytyksen johdosta. - Tenttisalissa on huono ilmanvaihto / hyvin ilmastoitu / kylmä / kuuma. - Valaistus on melko hämärä ja kirkas näyttö yhdistettynä siihen saa aikaan päänsärkyä ja silmien väsymistä. - Lokeroita olisi voinut olla enemmän. Reppu ei sopi lokeroon. - Näppäimistö tuli olla hiljaisempi. - Isompi työtila tenttijälle. - Jos vieressä istuu tenttijä, niin hän on aika lähellä, joten erottava sermi voisi jatkua vähän pidemmälle. Jos toinen heiluu tuolillaan siinä vieressä, voi se olla välillä häiritsevää, kun se on niin lähellä. 14.8.2017

EXAM ( o p i s k e l i j a n t y ö p ö y t ä, a r v i o i n t i, s p o s t i ) 26 + Kaikki ok. + Tenttitulosten saapumisilmoitus on ollut todella kiva! + Sähköpostiin tuleva ilmoitus arvioinnista todella hyvä juttu. - Kun tentti on arvioitu, siitä ei aina tule sähköpostia??? Miksi? - Arviointi voisi näkyä heti etusivulla. - Tenttiarviointi on turhan monen linkin takana. - En tiennyt, että tenttiarviointi on löydettävissä? 14.8.2017

Kehittämisehdotuksia 27 Haluaisin, että oikeat vastaukset olisivat nähtävissä tentin jälkeen, jolloin itse tentistäkin tulisi oppimistilaisuus. Paperipino pöydälle, ja kynä, niin voi hahmotella asioita! Sähköisen tenttitilan aukioloaika pitäisi olla 24/7 ja myös viikonloppuisin. Hiljaisemmat näppäimet. Enemmän tilaa ja isommat sermit. Vessassa käyminen pitäisi olla tavalla tai toisella mahdollista tentin aikana. Vesipullo olisi mukava saada viedä tenttitilaan. Ilmoitus tenttiajan loppumisesta. Pidemmät tenttiajat. Kunnolliset ohjeet. Nappi, jota painamalla saa yliopiston atk-tukihenkilön paikalle ongelmatilanteissa. Tenttijärjestelmässä on turhia varauksia.

28 Jatkakaa näin, tämä on erinomainen palvelu! Tack för att det finns! I love electronic exams. Thank you for making student life better. 14.8.2017