Digitalisoitu harjoitustehtävien ratkaisujen palautus sekä arviointi matematiikan ja tilastotieteen yliopisto-opinnoissa Peda-forum -päivät, Vaasan yliopisto, 16. 17.8.2017 Joonas Nuutinen, Nea Rantanen ja Sirkka-Liisa Varvio Helsingin yliopisto, matematiikan ja tilastotieteen laitos 11.8.2017 1
Harjoitukset matematiikassa ja tilastotieteessä perinteisesti Yliopistokurssien opetukseen kuuluvat yleensä luennot ja niihin liittyvät harjoitustehtävät. Harjoitustehtävien ratkaisujen läpikäyminen pienryhmissä ohjaajan johdolla esim. liitutaululla tai ohjaaja tarkistaa ja kommentoi palautettuja ratkaisuja. Perinteiset tavat ovat vaatineet paljon resursseja, ovat edellyttäneet opiskelijan läsnäoloa tai käymistä yliopistolla, eivät ole välttämättä olleet tehokkaita oppimisen kannalta. 11.8.2017 2
Uusi menetelmä ratkaisujen palautuksessa ja arvioinnissa Täysin digitaalinen järjestelmä Moodleoppimisympäristössä. Moodlessa opiskelijat palauttavat omat tehtävien ratkaisunsa, malliratkaisujen perusteella vertaisarvioivat muiden opiskelijoiden ratkaisuja, itsearvioivat omat ratkaisunsa, saavat digitaalista ohjausta ja ohjaavat myös toisiaan. Menetelmä ei sido opiskelijaa paikan eikä ajan suhteen muuten kuin kaikilla toimilla on takaraja, johon mennessä ne on tehtävä. 11.8.2017 3
Digitaalisen menetelmän kehittäminen Otettiin ensimmäisenä käyttöön tilastotieteen perusopintojen kursseilla kaksi vuotta sitten, ja nykyään koko tilastotieteen perusopintokokonaisuus 25 op koostuu digilaskarikursseista. Keskeisinä menetelmän kehittäjinä kurssien opettajien lisäksi ovat olleet kurssien harjoitusten pitäjät eli ohjaajat. Matematiikan kurssi (joka on myös tilastotieteen kurssi) on tässä esityksessä demo-esimerkkinä. 11.8.2017 4
Kokemuksia uudesta menetelmästä Digitaalinen ratkaisujen palautus ja arviointi on osoittautunut erittäin onnistuneeksi. Opiskelijat ovat tyytyväisiä. Nuorten opiskelutottumukset tukevat nykyaikaisia digitaalisia mahdollisuuksia. Oppimisen laatu on parempaa kuin aikaisemmin. Kurssien suorittajien lukumäärät ovat kasvaneet. Kurssien keskeyttäjien lukumäärät ovat vähentyneet. 11.8.2017 5
DEMO Kurssilla on harjoitukset kuutena viikkona. Työskentely Moodlessa on jaettu viikoittaisiin alueisiin, joiden otsikoiden alta löytyvät kaikki kyseisen viikon aktiviteetit ja aineistot, kuten harjoitusten tehtävänannot ja mahdolliset lisämateriaalit. Työpaja-moduuli, jossa tapahtuu olennaisin osa viikoittaisesta työskentelystä. Viikon tehtävien keskustelualue, jossa saa ohjausta tehtävien tekemiseen digitaalisesti sekä ohjaajilta että muilta opiskelijoilta. Harjoitusten malliratkaisut ja pisteytysohjeet vertaisarviointia varten. Aktiviteettien ja aineistojen näkyvyys opiskelijoille ajastetaan (esim. malliratkaisut tulevat näkyviin heti palautusten määräajan jälkeen). Jokaisella viikolla on oma vastuuohjaaja, joka on päävastuussa viikon tehtävien koostamisesta sekä malliratkaisujen ja pisteytysohjeiden laatimisesta. 11.8.2017 6
DEMO Työpaja Viikon työpajatyöskentely tapahtuu vaiheittain. Työpajan asetusten ja aikarajojen määrittely, jotka opettaja valmistelee ennen kurssin alkua. Tehtävien palautusvaihe, jossa opiskelijat palauttavat tehtävänsä viikon työpaja-alueelle annettuun määräaikaan mennessä. Heti tämän jälkeen vertaisarviointivaihe, jossa opiskelijat pisteyttävät malliratkaisujen ja pisteytysohjeiden perusteella kahden satunnaisesti valitun opiskelijan tehtävät sekä omat tehtävänsä ja antavat tehtävistä palautetta annettuun määräaikaan mennessä. Merkittävä osa kurssin suoritustapaa, joten opiskelija saa pisteitä jokaisesta tehdystä vertais- ja itsearvioinnista. Viikon vastuuohjaajan suorittama vertaisarviointien tarkistaminen, korjaaminen ja täydennys. Työpajan sulkeminen, minkä jälkeen opiskelijat näkevät saamansa palautteet ja pisteet. Opiskelijoille työpajatyöskentely on koko ajan anonyymiä. 11.8.2017 7
DEMO jatkuu Opiskelijan saamat pisteet viikon harjoituksista lasketaan saatujen vertaisarvioiden ja itsearvion pisteiden keskiarvona. Mikäli opiskelijan saamat kolme eri pisteytystä poikkeavat toisistaan liikaa, ohjaaja tekee oman arvionsa opiskelijan tehtävistä ja pisteyttää ne. Ohjaaja tekee oman arvionsa myös, jos opiskelija on saanut pisteet korkeintaan yhdestä vertais- tai itsearvioinnista. Moodlella on oma, epätyydyttävä tapansa laskea tehdyistä vertais- ja itsearvioista saatavat pisteet. Ohjaaja korjaa nämä arviointikirjassa. Korjaamisen tehosteena on omia skriptejä. Viikoittaisten tehtävien pisteytysten editointiin ennen julkaisua menee ohjaajalta aikaa muutama tunti vuorokausi. Kaikilla digilaskarikursseilla on digiohjauksen lisäksi tarjolla myös viikoittaista lähiohjausta, johon osallistuminen on vapaaehtoista. Käytettävissä on myös Moodlen anonyymi palautekanava sekä yleensä myös Presemo nopeaan anonyymiin viestittelyyn. 11.8.2017 8
Eikä siinä vielä kaikki: tyytyväisyystakuu Loppuarvosanaan vaikuttavat laskuharjoituspisteet ovat muodostuneet opiskelijoiden toisilleen ja itselleen antamista pisteistä, ja jos näissä on liian suuri ero, on ohjaaja tehnyt oman arvionsa. Vaikka lopullinen vastuu pisteistä onkin ohjaajilla ja kurssin vastuuopettajalla, niin voi kuitenkin jokin pisteytys jäädä harmittamaan. Ei saa jäädä mitään hampaankoloon, ja lopuksi avataankin valituslaatikko. 11.8.2017 9
Valitukset pisteytyksistä Jokaisella on mahdollisuus pyytää korjausta sellaiseen pisteytykseen, josta seuraisi arvosanan nouseminen. Valituksia on tullut 0-5 opiskelijalta (*) / kurssi. Kursseja on ollut kahden vuoden aikana 13, opiskelijoita yhteensä n. 3500, yksittäisiä tehtävien ratkaisuja n. 100 000, 10 / 100 000 tehtävien ratkaisua on edellyttänyt pisteiden korjaamista. (*) Suurin osa valituksista on koskenut palautusten teknisen / satunnaisen epäonnistumisen huomioimista. 11.8.2017 10
Kurssit joilla digimalli käytössä Demossa käytetyn todennäköisyyslaskennan matematiikan kurssin lisäksi kaikki tilastotieteen perusopintojen (25 op) viisi kurssia toimivat digimallilla. Kaikki nämä kurssit ovat suuria, n. 350 450 opiskelijaa ja he ovat useista eri tiedekunnista eikä heidän tarvitse matkustaa Kumpulan kampukselle Helsingin keskustakampukselta tai Viikin ja Meilahden kampuksilta. Kurssit Data-analyysi R-ohjelmistolla (ensimmäinen jolla mallia käytettiin 2015) Tilastotiede tutuksi I ja II Todennäköisyyslaskenta I Tilastollinen päättely I 11.8.2017 11
Jatkojalostus Nykyiseen digimallin versioon on päädytty useiden kehitysvaiheiden kautta kahden vuoden aikana; esim. itsearviointi tuli mukaan keväällä 2016. Jatkossa kurssien muidenkin osien digitalisointia: Todennäköisyyslaskenta I ja Tilastollinen päättely I Luento-osiot auditoriossa, mutta niiden rinnalle ja digitaaliseksi vaihtoehdoksikin tehdään videoklippejä. Kurssit joissa paperitentti: examinariumiin. Tehtävien automaattiset tarkistukset (esim. stack)? Eivät sovellu todennäköisyyslaskennan eivätkä tilastollisen päättelyn tehtäviin koska numeeriset automaattisesti tarkistettavat tulokset harvoin ovat pääasia. R-ohjelmointitehtävien automaattiseen tarkistukseen pyritään! 11.8.2017 12