Oppimistulosten digitaalinen arviointi PISA. Eri maissa eri tahdilla, miten vaikuttaa? Arto K. Ahonen & Kari Nissinen 27.11.2018
Tilaisuuden ohjelma Luento-osuus n. 45 min Yleisesitys PISA-tutkimuksesta PISA-tutkimuksen toteutus ja digisiirtymä Tehtävien tyypit ja PISA-kokeen rakenne Aineistonkeruu ja hallinnointi Tehtävien pisteytys Toiminnallinen osuus n. 45 min Demo PISA kokeesta Tutustutaan PISA tutkimuksen kognitiivisen kokeen toteutukseen ja tehdään omaan tahtiin muutama vapautettu digiaikana laadittu luonnontieteen ja lukutaidon vapautettu tehtävä talo tarjoaa kannettavat tietokoneet käyttöönne
PISA-tutkimusohjelma OECD:n, kansallisten ministeriöiden ja tutkimuslaitosten yhteishanke Uusi tutkimus joka kolmas vuosi (tällä kierroksella esikoe 2017 ja pääkoe 2018) Seitsemäs tutkimus käynnissä, kaksi täyttä kierrosta takana (lukutaito, matematiikka, luonnontieteet): vuosina 2000, 2003, 2006, 2009, 2012, 2015 Arvioidaan 15-vuotiaiden lukutaitoa, matematiikan ja luonnontieteiden osaamista Lukutaito pääalueena 2018 Suomi osallistui myös ensimmäistä kertaa kansainvälisenä optiona tarjottavaan talousosaamisen arviointiin
PISA-tutkimushankkeen tarkoitus PISAn keskeisin tutkimuskysymys on, miten nuoret hallitsevat tulevaisuuden kannalta keskeisiä avaintaitoja osallistujamaissa ja kuinka osaaminen jakautuu oppilaiden, koulujen ja koulujärjestelmän eri osien kesken. HUOM! PISA ei arvioi osaamista opetussuunnitelmaperusteisesti. Vrt. esim. TIMSS, PIRLS Perimmäisenä tarkoituksena on kehittää koulutusjärjestelmiä ja opetusta parempiin oppimistuloksiin pääsemiseksi Kyseessä ei ole yksittäisten oppilaiden, koulujen tai opettajien arviointi. Kerätään laajasti koulua ja oppilasta koskevaa taustatietoa oppimistulosten tason ja laadun ymmärtämiseksi. Millä tavoin oppilaan taustaan, koulun piirteisiin ja opetuksen organisointiin liittyvät tekijät ovat yhteydessä oppilaiden osaamiseen?
Laaja kansainvälinen yhteishanke PISA = Programme for International Student Assessment The Organisation for Economic Co-operation and Development (OECD) ja kansallisten ministeriöiden ja tutkimuslaitosten yhteishanke Mukana vuoden 2018 tutkimuksessa on 81 maata tai aluetta Koordinointi: kansainvälinen konsortio, päävastuussa Educational Testing Services (ETS), USA Tutkimuksen toimeenpano Suomessa: Opetus- ja kulttuuriministeriö päättää osallistumisesta ja rahoittaa Toteuttajat: Koulutuksen tutkimuslaitos, Jyväskylän yliopisto ja Helsingin yliopiston koulutuksen arviointikeskus
PISA 2018 -tutkimuksen organisaatio Suomessa OKM Tommi Karjalainen, PISA Governing Board PISA 2018 -tutkimuksen kansallinen koordinaattori (NPM) Yliopistotutkija Arto K. Ahonen, puh. 0408394209, arto.k.ahonen@jyu.fi Arviointialueiden vastuututkijat: lukutaito, luonnontiede, matematiikka, talousosaaminen Datamanageri + Otantamanageri IT-koordinaattori Suunnittelija: ruotsinkieliset materiaalit Projektisihteeri Lisäksi palkataan noin 20 henkilöä tilapäisiin avustaviin tehtäviin aineistokeruun aikoihin Helsingin yliopisto, Koulutuksen arviointikeskus, erityisopetus
PISA-tutkimuksen kansallinen otos Pääkokeeseen osallistui tällä kierroksella Suomesta runsaat 8000 15-vuotiasta oppilasta (synt. 1.2.2002 31.1.2003) Alueellisesti edustava otos kouluista (217 koulua), fin-fin, swe-fin Kaupunki maaseutu, tilastolliset suuralueet: Helsinki-Uusimaa, Etelä-, Länsi-, Itä- ja Pohjois-Suomi Talousosaamisen arviointiin osallistuminen kasvatti osallistuvien oppilaiden määrää noin 2000:lla, normaaliotos noin 6300 oppilasta ja 160 koulua Valitaan satunnaisesti 42 oppilasta/koulu, tai kaikki oppilaat jos heitä koulussa tätä vähemmän Ei varaoppilaita, osallistumaan valittua oppilasta ei saa korvata toisella
PISA 2018 Lukutaito pääalue Matematiikka Luonnontiede Talousosaaminen Oppilaskysely, taloustaitokysely tietotekniikkakysely, koulukysely rehtoreille
PISAn arviointien analyysit ja metodologia Oppilas tekee 2 tuntia kestävän tiedollisen kokeen ja vastaa taustakyselyihin, yleisimmin tehtäviä on kahdelta arviointialueelta. Vuonna 2015 oli 66 erilaista tehtäväkombinaatiota, 150 yksittäistä tehtävää => osaamisen kansallinen jakauma kartoitetaan kattavasti ja monipuolisesti Pääalueelle laaditaan (osin) uusia tehtäviä, muiden alueiden osalta vastataan ns. trenditehtäviin (=> vertailu aiempiin PISA-tuloksiin) Tehtävät pisteytetään IRT-analyysien avulla eri vaikeustasoihin Oppilaan osaamisen taso arvioidaan sen mukaan kuinka vaikeita tehtäviä hän osaa ratkaista oikein. Osaamista kuvaavat plausible value -arvot jokaiselle oppilaalle ja jokaiselle arviointialueelle. Skaalaus: ensimmäisessä PISAssa kiinnitettiin OECD-maiden keskiarvoksi 500 pistettä ja keskihajonnaksi 100 pistettä
PISAssa menestyminen on Suomelle tärkeää: Otteet vuoden 2018 valtion talousarviosta OECD:n PISA-tutkimuksen tulokset Suomen osalta 2006 2015 ja tavoite 2018. 2006 toteutuma 2009 toteutuma 2012 toteutuma 2015 toteutuma 2018 1) tavoite Lukutaito 547 536 524 526 538 550 Matematiikka 548 541 519 511 538 550 Luonnontiede 563 554 546 531 550 560 Sosioekonomisen taustan vaikutus oppimistuloksiin: PISA-tutkimuksen pääalueen pistemäärän muutos sosioekonomisen kertoimen (ESCS) kasvaessa yhdellä keskihajonnalla 2006 toteutuma 2009 toteutuma 2012 toteutuma 2015 toteutuma 2018 3) tavoite Pääalue Luonnontiede Lukutaito Matematiikka Luonnontiede Lukutaito Pistemäärä 31 29 33 41 20 28
PISA-luonnontieteiden osaamisen ja tasa-arvon muutos vuodesta 2006 vuoteen 2015 JYU. Since 1863. 11
Poimintoja 2015 - tutkimuksen tuloksista
PISA 2015 -tutkimuksesta Viimeiset saatavilla olevat tulokset ovat vuoden 2015 tutkimuksesta -> Ensitulokset julkaistu joulukuussa 2016 ja Pääraportti, PISA pintaa syvemmältä julkaistiin hiljattain Kasvatustieteen seuran kirjana. Kuudes tutkimus PISA-ohjelmassa: pääalueena 2015 kierroksella oli luonnontieteiden osaaminen - edellisen kerran vuonna 2006 Luonnontieteen alueen tulosten analyysit ja raportit pääosin vastuututkija Jouni Vettenrannan: Vettenranta, J., Välijärvi, J., Ahonen, A., Hautamäki, J., Hiltunen, J., Leino, K., Lähteinen, S., Nissinen, V., Puhakka, E., Rautopuro, J. & Vainikainen, M-P. (2016). PISA 2015: Ensituloksia. Huipulla pudotuksesta huolimatta. Opetus- ja kulttuuriministeriön julkaisuja 2016:41. http://urn.fi/urn:isbn:978-952-263-436-8
PISA 2015 -tutkimuksen tuloksista Tutkimukseen osallistui 72 maata tai aluetta Suomen aineisto: 168 koulua ja 5882 oppilasta Suomen otoksen oppilaista 93 % osallistui tutkimukseen Aluksi muutamia yleisiä tuloksia ja trendejä Tulokset ovat vertailukelpoisia tutkimuskierrosten välillä Jatkuvuus varmistetaan ns. trenditehtävillä, jotka pysyvät samoina kierrokselta toiseen Tehtävät ovat salassa pidettäviä, osa vanhoista tehtävistä vapautetaan tutkimuksen jälkeen
PISA 2015
PISA 2015 Koulutuksen tutkimuslaitos
PISA 2015 Koulutuksen tutkimuslaitos
Suomen osaaminen PISA 2000-2015 -tutkimuksissa Koulutuksen tutkimuslaitos
Digitaalisuus ja PISA PISA-tutkimuksessa siirrytään sähköiseen toteutukseen vaiheittain ja siirtymä on edelleen käynnissä. Ensimmäiset kaikille maille tarjolla olleet tehtävät olivat vuoden 2012 ongelmanratkaisun tehtäviä. Vuoden 2015 tutkimus oli ensimmäinen joka oli tarjolla kokonaisuudessaan sähköisesti Vain pääalueena olleen luonnontieteen tehtävät laadittiin uudestaan digitaalisen arvioinnin mahdollisuudet huomioiden. Mode effect testattiin esikokeessa (osa oppilaista vastasi paperiseen kokeeseen ja osa sähköiseen). Suomen tuloksissa ei systemaattista eroa vastaamistavan suhteen. Vuoden 2021 tutkimuksessa myös matematiikan alueen uusia tehtäviä laaditaan sähköinen toteutus huomioiden
PISA-tutkimuksen osallistujamaat kierroksittain ja sähköiseen kokeeseen osallistuminen 80 70 60 57 Chart Title 65 65 Vain ongelmanra tkaisu sähköisesti 56 72 50 40 30 32 40 44 20 10 0 16 10 0 0 0 0 2000 2003 2006 2009 2012 2015 2018 Paperi Sähköinen
Digitaalisuuden vaikutus PISA-tuloksiin? PISA 2015 -esikokeessa (kevät 2014) testattiin, saadaanko paperisella ja sähköisellä kokeella samanlaisia tuloksia Suomessa ei havaittu systemaattista eroa, mutta: tehtäväkohtaisia eroja löytyi jonkin verran joissakin paperikoe antoi paremmat tulokset, joissakin päinvastoin => keskimäärin ei eroa Eräissä PISA-maissa tulosten muutokset 2012 (paperikoe) -> 2015 (sähköinen koe) herättivät kysymyksiä Esim. Ruotsin tulokset paranivat, Korean tulokset heikkenivät Johtopäätöksiä vaikeuttaa se, että PISA:n tuloslaskentamallia korjattiin samaan aikaan (vanha malli oli saanut paljon kritiikkiä) ETS:n selvitys: laskentamalli vaikuttanut muutamassa maassa (esim. Korea osin hyötynyt vanhasta mallista, Viro kärsinyt, Suomessa ei vaikutusta)
Digitaalisuuden vaikutus PISA-tuloksiin: ruotsalainen selvitys Ruotsin tulosten paraneminen ei selittynyt laskentamallin muutoksella => johtuiko digitaalisuudesta? Skolverket (vastaa Suomen Opetushallitusta) teetti selvityksen ulkopuolisella asiantuntijalla (Monseur, 2016) Päätelmä: Vuoden 2015 sähköisessä kokeessa oppilaat olivat aikaisempaa paremmin jaksaneet/viitsineet/ehtineet tehdä kokeen loppuun Kahden tunnin koeajan loppupuolen tehtävät oli osattu aikaisempia PISA-kierroksia paremmin Huom! Tehtävien järjestys PISA-kokeissa rotatoitu, ts. kaikkia tehtäviä esiintyy tasaisesti kokeen alussa/keskellä/lopussa
Tehtävätyypit Ns. trenditehtävät alun perin paperivihkoissa, siirretty sähköiseen muotoon mutta tehtävän rakenne on samalainen Staattisia, perinteisiä monivalinta- tai avovastaustehtäviä Uudet tehtävät PISA 2015:sta lähtien kehitetty sähköisenä toteutettaviksi. Dynaamisia, esimerkiksi erilaisia simulaatioita ja vuorovaikutteisuutta sisältäviä ratkaisutapoja. Lukutaidossa esimerkiksi tekstejä joissa hyperlinkkejä ja monentyyppisiä tekstisisältöjä. Perinteisiä ns. staattisen tekstin lukemista ja ymmärtämistä edellyttäviä tehtäviä on mukana myös uusissa tehtävissä. Kierros kerrallaan myös trenditehtäviä korvataan sähköiseen toteutukseen kehitetyillä tehtävillä.
Trenditehtävät ja uudet tehtävät 2000 Pääalue Lukutaito 2003 Pääalue Matematiikka Ongelmanratk. 2006 Pääalue Luonnontiede 2015 Pääalue luonnontiede, uudet Lukut, Mat trendit CPS 2012 Pääalue Matematiikka,uudet SCI, Lukut. Trendit, Ongelmanratk 2009 Pääalue Lukutaito Trendit Mat,SCI trendit 2018 Pääalue Lukutaito uudet Mat, SCI trendit Global competence 2021 Pääalue Matematiikka, uudet Lukutaito, SCI uudet trendit Creative Thinking
PISA 2018 Lukutaitotehtävien adaptiivinen koe
Vain uudet lukutaitotehtävät! Koulutuksen tutkimuslaitos
Tutkimuksen toteutus Toteutetaan kokonaisuudessaan tietokoneilla 42 oppilasta / koulu Voidaan toteuttaa useina koetilaisuuksina ja eri päivinä Koe ajetaan USB-tikuilta, koneissa tulee olla Windowskäyttöjärjestelmä ja USB-portti (1 tikku/oppilas) SDS-ohjelmisto tallentaa tikulle oppilaan työskentelyn (annetut vastaukset, työskentelyn lokitiedot, ) Internet-yhteyttä ei tarvita, tikuilla ns. portable-versio Firefoxselaimesta, jonka kautta tutkimuksen koetehtävät ja kyselyt tehdään Kouluille toimitetaan jaettavat tehtävät ja SDS-ohjelmiston sisältävät muistitikut muun koemateriaalin mukana
Tutkimuksen toteutus 2018 Jokainen oppilas kirjautuu ohjelmaan omilla tunnuksillaan Oppilastunnus ohjaa kyseiselle oppilaalle tarkoitettuihin tehtäväkokonaisuuksiin. Itseohjautuva koe, joka sisältää tiedollisen kokeen sekä taustatietoja kartoittavan kyselyosuuden. Jokaisella oppilaalla on muista oppilaista poikkeava tiedollinen koe Erilaisia tehtäväyhdistelmiä on kaikkiaan 48 kappaletta + adaptaatiot lukutaidossa. Kaikki oppilaat tekevät lukutaitotehtäviä vähintään 30 min, yleensä yhden tunnin ajan. Toinen tunti Mat, Sci, tai FL. Oppilaskysely, taloustaitokysely ja tietotekniikkakysely ovat kaikille oppilaille samanlaisia. Koetilaisuuden vastuuhenkilön tulee noudattaa tarkasti koetilaisuuden käsikirjoitusta ja huolehtia ajan kulusta.
PISA-kokeen kulku Yhtäjaksoinen aika 2 h 40 min Yhtäjaksoinen aika 50 min Oppilaiden aika kokeessa yhteensä 3 h 40 min valmisteluineen. Voidaan tehdä kahdessa osassa. Välissä esim. lounastauko.
Toiminnallinen osuus
PISA koetehtävien demo Ota itsellesi yksi kannettava tietokone Kuittaa itsellesi yksi USB-muistitikku ja tunnuspaperi Noudata seuraavan dian ohjeita ja käynnistä koeohjelmisto ja kirjaudu saamillasi tunnuksilla kokeen demoversioon Tutustu sen jälkeen koetehtäviin omaan rauhalliseen tahtiisi, aikaa noin 30 minuuttia. TARKEMMAT OHJEET ANNETAAN TILAISUUDESSA