Arviointiympäristö muuttuu muuttuuko arviointi? Elina Harjunen ja Juhani Rautopuro 30.9.2015 Forum Criteriorum
Äidinkielen ja kirjallisuuden 9. luokan oppimistulosten arviointi vuonna 2014 Sähköisen arvioinnin kokeilu Keskiössä kielentuntemus ja kirjoittaminen 2
Aineisto kerättiin huhtikuussa 2014 Paperiversiona tehty arviointi 99 koulussa: 3345 oppilaan vastaukset (tehtävät sekä kysely) 210 äidinkielen ja kirjallisuuden opettajan (tai esim. erityisopettajan) vastaukset opettajakyselyyn 98 rehtorin vastaukset rehtorikyselyyn Sähköinen arviointi 50 koulussa: 1799 oppilaan vastaukset (tehtävät sekä kysely) 102 äidinkielen ja kirjallisuuden opettajan (tai esim. erityisopettajan) vastaukset opettajakyselyyn 30 rehtorin vastaukset rehtorikyselyyn 3
Tutkimuksia sähköisestä kirjoittamisesta Tekstin tuottaminen tietokoneella eroaa käsin kirjoittamisesta esim. suunnitteluprosessiltaan. Nordmark (2014, 238 239) osoittaa, että oppilaat eivät suunnittele tietokoneella kirjoitettuja tekstejä tekstikokonaisuuden näkökulmasta vaan asia ja virke kerrallaan. Myös Åkerfeldt (2014, 189) on havainnut, että tietokoneella kirjoitettaessa oppilaat ulkoistavat ajatuksiaan näytölle ja käyttävät näyttöä ja näppäimistöä ajatusten organisoinnin välineenä. Käsin kirjoittavat pitävät taas ajattelutaukoja ennen kirjoittamaan ryhtymistä ja kirjoittamisen aikana eivätkä muokkaa tekstejään edellisten tavoin. Käsin ja tietokoneella kirjoitettujen tekstien vertailu osoittaa, että tietokoneella kirjoitettaessa tekstiä syntyy käsin kirjoitettua enemmän ja virkkeet ovat pidempiä (Rakovic 2013,34; Nyström 2000, 173; Tengbom Zetterman 2013, 33; vrt. Makkonen-Craig 2015). Tietokoneella kirjoitettua tekstiä pidetään helposti käsin kirjoitettua tekstiä valmiimpana, joten siltä vaaditaan enemmän, virheet erottuvat siinä käsin kirjoitettua tekstiä selvemmin ja sitä myös arvioidaan ankarammin (Weigle 2011 [2002], 105 106). Sähköinen ympäristö vaatii erilaisia taitoja kuin kynä-paperitekniikka: rullaamista, näppäilyä ja klikkaamista, jotta esim. tehtävänanto tai pohjateksti saadaan näkyviin. Näiden tekijöiden on havaittu kuormittavan testiä tekeviä oppilaita ja olevan yhteydessä myös tuloksiin kynä-paperitekniikalla tehtyihin tehtäviin verrattuna (Clariana & Wallace 2002, 600). * 4
Kirjoittamisen viitekehys POPS 2004: vuorovaikutus, konteksti, tekstilaji ja tavoite Kolme tehtävää Kesätyöpaikkahakemus Vastine Kuvaus tai uutinen (vuoden 2001 tehtävä) Painopistealueet: Tekstilajit ja Yleiskielen normit Kriteerien laadinta: kirjoittajan kompetenssit (esim. Makkonen- Craig 2011) 5
Päätulokset: kirjoittaminen Osaamisen yleistaso (keskimääräinen ratkaisuosuus) Arvioinnin paperiversio: 59 % (tytöt 68,2 % ja pojat 50,5 %) Arvioinnin sähköinen versio: 57 % (tytöt 65,0 % ja pojat 47,5 %) Osaamisen ero oli tyttöjen ja poikien välillä suuri ja poikien taitojen vaihtelu hieman tyttöjen taitojen vaihtelua suurempaa. Tyttöjen ja poikien erot olivat suurimmillaan parhaiten osatussa kirjoitustehtävässä eli kesätyöpaikkahakemuksessa. Tekstilajin mukainen kirjoittaminen hallittiin päätulosten tapaan. Tytöt hallitsivat yleiskielen normit poikia paremmin (paperi tytöt 72 % ja pojat 50 %; sähkö tytöt 66 %, pojat 48 %). 6
alle 10 % 10 %- alle 20 % 20 %- alle 30 % 30 %- alle 40 % 40 % - alle 50 % 50 %- alle 60 % 60 %- alle 70 % 70 % - alle 80 % 80 %- alle 90 % 90 %tai yli alle 10 % 10 %- alle 20 % 20 %- alle 30 % 30 %- alle 40 % 40 % - alle 50 % 50 %- alle 60 % 60 %- alle 70 % 70 % - alle 80 % 80 %- alle 90 % 90 %tai yli Osuus oppilaista (%) KUVIO 1. Kirjoittamisen ratkaisuosuuksien jakauma sukupuolen mukaan sähköisessä ja paperiversiossa 7
Kirjoittamisen opiskelun yleisimpiä käytänteitä Yhdessä kirjoittaminen Vuorovaikutteinen kirjoittaminen Prosessikirjoittaminen Palautteen antaminen ja saaminen Yksin kirjoittaminen ja numeroarviointi Eri tekstilajien kirjoittaminen Tekstien kirjoittaminen tekstinkäsittelyohjelmalla Mahdollisuus ilmaista itseä omalla persoosoonallisella tavalla Opettajat 3,1 3,0 3,1 3,4 4,3 3,8 3,2 4,0 Oppilaat 2,7 2,5 2,7 2,8 4,1 3,3 3,0 3,2 TAULUKKO 1. Kirjoittamisen opetuksen ja opiskelun käytänteet opettajien ja oppilaiden käsitysten mukaan (asteikko 1 5) 8
Tiedonhankintaan Tekstien muokkaamiseen ja viimeistelyyn Kotitehtävien tekoon Visuaalisen materiaalin kanssa työskentelyyn Palautteenantoon ja kommentointiin Viestien kirjoittamiseen 2,3 1,9 1,7 1,6 3,4 3,7 Blogin kirjoittamiseen Blogikommenttien kirjoittamiseen Koevastauksen kirjoittamiseen Some-päivityksien tekoon Verkkolehden tekoon Muuhun, mihin? 1,4 1,4 1,3 1,3 1,3 2,6 Ei lainkaan Hyvin vähän Jonkin verran Melko paljon Erittäin paljon KUVIO 2. Tietokoneen käyttö opetuksessa opettajien mukaan 9
Tehtävä 1: Kesätyöpaikkahakemus Haet kesätöitä ja kiinnostut oheisesta lehti-ilmoituksesta. Avustaja vanhusten hoitotiimiin Hoivapalvelu Iltatähti Oy, Helsinki Hoivapalvelu Iltatähti Oy on hoitajien perustama yritys. Olemme välittäneet hoitoalan sijaisia ja aputyöntekijöitä vuodesta 1995. Etsimme nuoria kesätyöntekijöitä yksityisiin vanhusten hoitotiimeihin koko maan alueella. Työtehtävissä ei niinkään korostu hoidollinen osaaminen, vaan kyky seurustella vanhusten kanssa. Sinun tulee olla pienten avustusrutiinien lisäksi valmis juttelemaan, pelaamaan lautapelejä, ulkoilemaan, lukemaan lehtiä ja kirjoja yksinkertaisesti tuottamaan hyvää mieltä ja vähentämään vanhuksen yksinäisyyttä. Odotamme, että olet suorittanut peruskouluopinnot kesään mennessä ja että sinulla on kokemusta ja/tai mielenkiintoa vanhusten kanssa työskentelyyn. Tarjoamme sinulle mahdollisuuden arvokkaaseen ja mielenkiintoiseen työhön, tiimin tuen sekä neuvoteltavat työajat. Palkkaus on hoitoalan työehtosopimuksen mukainen. Hakemus tulee lähettää postitse tai sähköpostin liitetiedostona 30.4.2014 mennessä: Koordinaattori Salla Mielonen, salla.mielonen@iltatahti.fi Syyskatu 7 a, 00500 Helsinki Kirjoitusohjeet, tehtävä 1 Kirjoita hakemus Hoivapalvelu Iltatähti Oy:lle. Kerro hakemuksessa, mitä työpaikkaa olet hakemassa. Ota huomioon työnantajan odotukset sekä toiveet ja kuvaa omaa soveltuvuuttasi sekä osaamistasi. Kirjoita hakemus, joka herättää työnantajassa kiinnostusta. Kirjoitustilan ylälaidassa näet hakemuksen alkuun merkittävät olennaiset tiedot (kuten hakijan osoitteen). Sinun ei tarvitse kuitenkaan kirjoittaa kohtiin mitään. Kirjoita vain varsinainen hakemusteksti. Kiinnitä huomiota tekstin aloitukseen ja lopetukseen. Kirjoita teksti joka riville selkeällä käsialalla. Lopullinen hakemus on tarkoitus toimittaa työnantajalle joko postitse tai sähköpostin liitetiedostona. 10
26.5.2014 11
26.5.2014 12
Ratkaisuosuus % Kriteeri Paperi Sähkö Paperi Sähkö Paperi Sähkö Kaikki Kaikki Pojat Pojat Tytöt Tytöt A. Hakemuksen tarkoituksen kuvaaminen ja johdonmukaisuus 65,4 65,6 58,0 56,6 73,4 73,9 B. Työnantajan näkökulman huomioiminen ja oman osaamisen kuvaus 64,4 66,4 53,9 55,5 75,4 76,4 C. Myönteisen vuorovaikutussuhteen synnyttäminen 66,3 66,2 57,8 56,6 75,3 74,9 D. Yleiskielen normien hallinta 64,9 61,4 54,7 51,6 75,8 70,6 TAULUKKO 2. Hakemuksen kriteerien ratkaisuosuudet sähköisessä ja paperiversiossa sukupuolen mukaan 13
Sensorien ja opettajien arviointien korrelaatiot HAKEMUS ja VASTINE paperi ja sähkö 0.77 Hakemus: Korrelaatio on suurin piirtein sama 13 %:ssa, korkeampi paperiversiossa 29 %:ssa ja sähköisessä versiossa 58 %:ssa kriteereistä Vastine: Korrelaatio on suurin piirtein sama 24 %:ssa, korkeampi paperissa 21 %:ssa ja sähkössä 50 %:ssa kriteereistä 14
KUVAUS paperi 0.81 ja sähkö 0.79 Korrelaatio suurin piirtein sama 19 %:ssa, korkeampi paperissa 35 %:ssa ja sähkössä 46 %:ssa kriteereistä UUTINEN paperi ja sähkö 0.71 Korrelaatio suurin piirtein sama 3 %:ssa, korkeampi paperissa 49 %:ssa ja sähkössä 47 %:ssa kriteereistä 15
Opettajien pistejakaumat (sensoroidut) 16
Sensoreiden pistejakauma (Hakemus_A, tarkoitus) 17
Sensoreiden pistejakauma (Hakemus_D, yleiskielen normit) 18
Sensorien keskimääräiset erot opettajien pisteisiin Hakemus Vastine Kuvaus Uutinen Paperi Sähkö Paperi Sähkö Paperi Sähkö Paperi Sähkö S1-1,69-1,79-2,78-0,73-2,04-6,50-3,23-3,11 S2-0,77-1,25-0,54-1,60-0,44-1,00-0,59-2,50 S3-2,35-1,83-1,92 0,48-1,57-2,29-2,03-2,39 S4-1,11-1,50-1,77-1,52-2,33-3,11-1,43-5,11 S5-1,10-0,59 5,07 0,48 5,83-1,56 4,63-4,08 S6-1,44-1,06-2,35-0,94-2,52-2,44-2,17-2,44 19
Johtopäätöksiä Sensorien määrä ei nosta sensoroinnin laatua Sähköisten ympäristöjen käyttöönotto vaatii perehdyttämistä Kynä-paperitehtäväksi suunniteltujen tehtävien siirtäminen sähköiseen ympäristöön on ongelmallista 20
Lähteitä Clariana, R. & Wallace, P. 2002. Paper-based versus computer-based assessment: key factors associated with the test mode effect. British Journal of Educational Technology 33(5), 593 602. Makkonen-Craig, H. 2011. Kirjoittajan kompetenssit ja äidinkielellä kirjoittaminen. Teoksessa A. Kauppinen, H. Lehti-Eklund, H., Makkonen-Craig. & R. Juvonen (toim.) Lukiolaisten äidinkieli. Suomen- ja ruotsinkielisten lukioiden opiskelijoiden tekstimaailmat ja kirjoitustaitojen arviointi. Helsinki: SKS, 62 88. Makkonen-Craig, H. 2015. Lausesujuvuudesta tilanteiseen sujuvuuteen. Teoksessa E. Harjunen (toim.) Tekstit puntarissa. Ajatuksia äidinkielen ja kirjallisuuden oppimistuloksista perusopetuksen päättöarvioinnissa 2014 ja 2010. Helsinki: Kansallinen koulutuksen arviointikeskus, 51 72. Luettavissa http://karvi.fi/publication/tekstitpuntarissa/ Nordmark, M. 2014. Digitalt skrivande i gymnasieskolans svenskundervisning. En ämnesdidaktisk studie av skrivprocessen. Örebro Studies in Education 45. Örebro Studies in Educational Sciences with an Emphasis on Didactics, Örebro universitet. Nyström, C. 2000. Gymnasisters skrivande: en studie av genre, textstruktur och sammanhang. Skrifter utgivna av Institutionen för nordiska språk vid Uppsala universitet 51, Uppsala universitet. Rakovic, S. 2013. Va? Ska vi skriva för hand? En kvalitativ studie av datorskrivna och handskrivna elevtexter. Opublicerad uppsats, 15 hp, skriven vid Institutionen för nordiska språk, Uppsala universitet. Tengbom Zetterman, E. 2013. Skrivförmåga i förfall? En undersökning av elevers argumenterande skrivande 2002 och 2012. Opublicerad uppsats, 15 hp, skriven vid Institutionen för nordiska språk, Uppsala universitet. Weigle, S. C. 2011 [2002]. Assessing writing. Cambridge: Cambridge University Press. Åkerfeldt, A. 2014. Re-shaping of writing in the digital age. A Study of pupils writing with different resources. Nordic Journal of Digital Literacy 9(3), 172 193. 21
Kielenkäytön ajattelua ja ajattelun kielentämistä. Äidinkielen ja kirjallisuuden oppimistulokset perusopetuksen päättövaiheessa 2014: keskiössä kielentuntemus ja kirjoittaminen Harjunen, Elina & Rautopuro, Juhani 2015. www.karvi.fi http://karvi.fi/publication/kielenkayton-ajattelua-ja-ajattelun-kielentamista 22