Oppimistulosten digitaalinen arviointi PISA. Eri maissa eri tahdilla, miten vaikuttaa? Arto K. Ahonen & Kari Nissinen 28.11.2018
Tilaisuuden ohjelma Luento-osuus n. 45 min Yleisesitys PISA-tutkimuksesta PISA-tutkimuksen toteutus ja digisiirtymä Tehtävien tyypit ja PISA-kokeen rakenne Aineistonkeruu ja hallinnointi Tehtävien pisteytys Toiminnallinen osuus n. 45 min Demo PISA kokeesta Tutustutaan PISA tutkimuksen kognitiivisen kokeen toteutukseen ja tehdään omaan tahtiin muutama vapautettu digiaikana laadittu luonnontieteen ja lukutaidon vapautettu tehtävä talo tarjoaa kannettavat tietokoneet käyttönne 22.11.2018 Koulutuksen tutkimuslaitos - Finnish Institute for Educational Research
PISA-tutkimusohjelma OECD:n, kansallisten ministeriöiden ja tutkimuslaitosten yhteishanke Uusi tutkimus joka kolmas vuosi (Tällä kierroksella esikoe 2017 ja pääkoe 2018) Seitsemäs tutkimus käynnissä, kaksi täyttä kierrosta takana (lukutaito, matematiikka, luonnontieteet): vuosina 2000, 2003, 2006, 2009, 2012, 2015 Arvioidaan 15-vuotiaiden lukutaitoa, matematiikan ja luonnontieteiden osaamista Lukutaito pääalueena 2018 Suomi osallistui myös ensimmäistä kertaa kansainvälisenä optiona tarjottavaan Talousosaamisen arviointiin 22.11.2018
PISA-tutkimushankkeen tarkoitus PISAn keskeisin tutkimuskysymys on miten nuoret hallitsevat tulevaisuuden kannalta keskeisiä avaintaitoja osallistujamaissa ja kuinka se jakautuu oppilaiden, koulujen ja koulujärjestelmän eri osien kesken. HUOM PISA ei arvioi osaamista opetussuunnitelmaperusteisesti. Vrt. esim. TIMSS Perimmäisenä tarkoituksena on kehittää koulutusjärjestelmiä ja opetusta parempiin oppimistuloksiin pääsemiseksi Kyseessä ei ole yksittäisten oppilaiden, koulujen tai opettajien arviointi. Kerätään laajasti koulua ja oppilasta koskevaa taustatietoa oppimistulosten tason ja laadun ymmärtämiseksi. Millä tavoin oppilaan taustaan, koulun piirteisiin ja opetuksen organisointiin liittyvät tekijät ovat yhteydessä oppilaiden osaamiseen? 22.11.2018
Laaja kansainvälinen yhteishanke PISA = Programme for International Student Assessment The Organisation for Economic Co-operation and Development (OECD) ja kansallisten ministeriöiden ja tutkimuslaitosten yhteishanke Mukana vuoden 2018 tutkimuksessa on 81 maata tai aluetta Koordinointi kansainvälinen konsortio: päävastuu Educational Testing Services, ETS Tutkimuksen toimeenpano Suomessa: Opetus- ja kulttuuriministeriö päättää osallistumisesta ja rahoittaa Toteuttajat: Koulutuksen tutkimuslaitos, Jyväskylän yliopisto ja Helsingin yliopiston koulutuksen arviointikeskus 22.11.2018
PISA 2018 -tutkimuksen organisaatio Suomessa OKM Tommi Karjalainen, PISA Governing Board PISA 2018 -tutkimuksen kansallinen koordinaattori (NPM) Yliopistotutkija Arto K. Ahonen, puh. 0408394209, arto.k.ahonen@jyu.fi Arviointialueiden vastuututkijat: Lukutaito, Luonnontiede, Matematiikka, Talousosaaminen Datamanageri + Otantamanageri IT-koordinaattori Suunnittelija ruotsinkieliset materiaalit Projektisihteeri Lisäksi palkataan noin 20 henkilöä tilapäisiin avustaviin tehtäviin aineistokeruun aikoihin Helsingin yliopisto, Koulutuksen arviointikeskus, erityisopetus 22.11.2018 Koulutuksen tutkimuslaitos - Finnish Institute for Educational Research
PISA-tutkimuksen kansallinen otos Pääkokeeseen osallistui tällä kierroksella Suomesta noin 8200 15- vuotiasta oppilasta (synt. 1.2.2002 31.1.2003) Alueellinen otos kouluista (n. 220 koulua), fin-fin, swe-fin kaupunki maaseutu, tilast. suuralueet: Pääkaup., Etelä-, Länsi-, Itä- ja Pohjois-Suomi) -> painokertoimet Talousosaamisen arviointiin osallistuminen kasvatti osallistuvien oppilaiden määrää noin 2000:lla, normaaliotos noin 6300 oppilasta ja 160 koulua Valitaan satunnaisesti osallistumaan 42 oppilasta/koulu, tai kaikki oppilaat jos vähemmän Ei varaoppilaita, osallistumaan valittua oppilasta ei saa korvata toisella 22.11.2018 Koulutuksen tutkimuslaitos - Finnish Institute for Educational Research
PISA 2018 Lukutaito pääalue Matematiikka Luonnontiede Talousosaaminen Oppilaskysely, Taloustaitokysely Tietotekniikkakysely, Koulukysely rehtoreille 22.11.2018 Koulutuksen tutkimuslaitos - Finnish Institute for Educational Research
PISAn arviointien analyysit ja metodologia Oppilas tekee 2 tuntia kestävän tiedollisen kokeen ja vastaa taustakyselyihin, yleisimmin tehtäviä on kahdelta arviointialueelta. Kymmeniä erilaisia tehtäväkombinaatioita ja yksittäisiä tehtäviä useita satoja. Pääalueelle laaditaan uusia tehtäviä ja muiden alueiden osalta vastataan ns. trenditehtäviin Tehtävät pisteytetään IRT-analyysien avulla eri vaikeustasoihin Oppilaan osaamisen taso arvioidaan sen mukaan kuinka vaikeita tehtäviä hän osaa ratkaista oikein. Plausible value arvot jokaiselle oppilaalle ja jokaiselle arviointialueelle. OECD-n keskiarvo 500 pistettä ja keskihajonta on 100 23.11.2018 Koulutuksen tutkimuslaitos - Finnish Institute for Educational Research
PISAssa menestyminen on Suomelle tärkeää: Otteet vuoden 2018 valtion talousarviosta OECD:n PISA-tutkimuksen tulokset Suomen osalta 2006 2015 ja tavoite 2018. 2006 toteutuma 2009 toteutuma 2012 toteutuma 2015 toteutuma 2018 1) tavoite Lukutaito 547 536 524 526 538 550 Matematiikka 548 541 519 511 538 550 Luonnontiede 563 554 546 531 550 560 Sosioekonomisen taustan vaikutus oppimistuloksiin: PISA-tutkimuksen pääalueen pistemäärän muutos sosioekonomisen kertoimen (ESCS) kasvaessa yhdellä keskihajonnalla 2006 toteutuma 2009 toteutuma 2012 toteutuma 2015 toteutuma 2018 3) tavoite Pääalue Luonnontiede Lukutaito Matematiikka Luonnontiede Lukutaito Pistemäärä 31 29 33 41 20 28 23.11.2018 Koulutuksen tutkimuslaitos - Finnish Institute for Educational Research
PISA-luonnontieteiden osaamisen ja tasa-arvon muutos vuodesta 2006 vuoteen 2015 JYU. Since 1863. 23.11.2018 11
Poimintoja 2015-tutkimuksen tuloksista
PISA 2015 tutkimuksesta Viimeiset saatavilla olevat tulokset ovat vuoden 2015 tutkimuksesta -> Ensitulokset julkaistu joulukuussa 2016 ja Pääraportti, PISA pintaa syvemmältä julkaistiin hiljattain Kasvatustieteen seuran kirjana. Kuudes tutkimus PISA-ohjelmassa: pääalueena 2015 kierroksella oli luonnontieteiden osaaminen - edellisen kerran vuonna 2006 Luonnontieteen alueen tulosten analyysit ja raportit pääosin vastuututkija Jouni Vettenrannan: Vettenranta, J., Välijärvi, J., Ahonen, A., Hautamäki, J., Hiltunen, J., Leino, K., Lähteinen, S., Nissinen, V., Puhakka, E., Rautopuro, J. & Vainikainen, M-P. (2016). PISA 2015: Ensituloksia. Huipulla pudotuksesta huolimatta. Opetus- ja kulttuuriministeriön julkaisuja 2016:41. http://urn.fi/urn:isbn:978-952-263-436-8 22.11.2018 Koulutuksen tutkimuslaitos - Finnish Institute for Educational Research
PISA 2015 tutkimuksen tuloksista Tutkimukseen osallistui 72 maata tai aluetta Suomen aineisto: 168 koulua ja 5882 oppilasta Suomen otoksen oppilaista 93 % osallistui tutkimukseen Aluksi muutamia yleisiä tuloksia ja trendejä Tulokset ovat vertailukelpoisia tutkimuskierrosten välillä Jatkuvuus varmistetaan ns. trenditehtävillä, jotka pysyvät samoina kierrokselta toiseen Tehtävät ovat salassa pidettäviä, osa uusista tehtävistä vapautetaan tutkimuksen jälkeen 22.11.2018 Koulutuksen tutkimuslaitos - Finnish Institute for Educational Research
PISA 2015 22.11.2018 Koulutuksen tutkimuslaitos - Finnish Institute for Educational Research
PISA 2015 Koulutuksen tutkimuslaitos
PISA 2015 Koulutuksen tutkimuslaitos
Suomen osaaminen PISA 2000-2015 tutkimuksissa Koulutuksen tutkimuslaitos
Digitaalisuus ja PISA PISA tutkimuksessa siirrytään sähköiseen toteutukseen vaiheittain ja siirtymä on edelleen käynnissä. Ensimmäiset kaikille maille tarjolla olleet tehtävät olivat vuoden 2012 ongelmanratkaisun tehtäviä. Vuoden 2015 tutkimus oli ensimmäinen joka oli tarjolla kokonaisuudessaan sähköisesti Vain pääalueena olleen luonnontieteen tehtävät laadittiin uudestaan digitaalisen arvioinnin mahdollisuudet huomioiden. Mode effect testattiin esikokeessa (eli osa oppilaista vastasi paperiseen kokeeseen ja osa sähköiseen). Suomessa ei eroa osaamisen ja vastaamistavan suhteen. Vuoden 2021 tutkimuksessa myös matematiikan alueen uusia tehtäviä laaditaan sähköinen toteutus huomioiden 23.11.2018 Koulutuksen tutkimuslaitos - Finnish Institute for Educational Research
PISA-tutkimuksen osallistujamaat kierroksittain ja sähköiseen kokeeseen osallistuminen 80 70 60 57 Chart Title 65 65 Vain ongelmanra tkaisu sähköisesti 56 72 50 40 30 32 40 44 20 10 0 16 10 0 0 0 0 2000 2003 2006 2009 2012 2015 2018 Paperi Sähköinen 22.11.2018 Koulutuksen tutkimuslaitos - Finnish Institute for Educational Research
Tehtävätyypit Ns. trenditehtävät alun perin paperivihkoissa, siirrety sähköiseen muotoon mutta tehtävän rakenne on samalainen Staattisia, perinteisiä monivalinta- tai avovastaus tehtäviä Uudet tehtävät PISA 2015 lähtien kehitetty sähköisenä toteutettaviksi. Dynaamisia, esimerkiksi erilaisia simulaatioita ja vuorovaikutteisuutta sisältäviä ratkaisutapoja. Lukutaidossa esimerkiksi tekstejä joissa hyperlinkkejä ja monentyyppisiä tekstissisältöjä. Myös perinteisiä ns. staattisen tekstin lukemista ja ymmärtämistä edellyttäviä tehtäviä on mukana myös uusissa tehtävissä. Kierros kerrallaan myös trenditehtäviä korvataan sähköiseen toteutukseen kehitetyillä tehtävillä. 23.11.2018 Koulutuksen tutkimuslaitos - Finnish Institute for Educational Research
Trenditehtävät ja uudet tehtävät 2000 Pääalue Lukutaito 2003 Päalue Matematiikka Ongelmanratk. 2006 Pääalue Luonnontiede 2015 Pääalue luonnontiede, uudet Lukut, Mat trendit CPS 2012 Päalue Matematiikka,uudet SCI, Lukut. Trendit, Ongelmanratk 2009 Pääalue Lukutaito Trendit Mat,SCI trendit 2018 Pääalue Lukutaito uudet Mat, SCI trendit Global competence 2021 Pääalue Matematiikka, uudet Lukutaito, SCI uudet trendit Creative Thinking 23.11.2018 Koulutuksen tutkimuslaitos - Finnish Institute for Educational Research
PISA 2018 Lukutaitotehtävien adaptiivinen koe
Vain uudet lukutaitotehtävät! Koulutuksen tutkimuslaitos
Tutkimuksen toteutus Toteutetaan kokonaisuudessaan tietokoneilla 42 oppilasta / koulu Voidaan toteuttaa useina koetilaisuuksina ja eri päivinä Koe ajetaan USB-tikuilta, koneissa tulee olla Windows käyttöjärjestelmä ja USB portti Internet-yhteyttä ei tarvita, tikuilla ns. portable versio Firefoxselaimesta, jonka kautta tutkimuksen koetehtävät ja kyselyt tehdään Kouluille toimitetaan SDS-ohjelmiston sisältävät muistitikut muun koemateriaalin mukana 22.11.2018 Koulutuksen tutkimuslaitos - Finnish Institute for Educational Research
Tutkimuksen toteutus 2018 Jokainen oppilas kirjautuu ohjelmaan omilla tunnuksillaan Oppilastunnus ohjaa kyseiselle oppilaalle tarkoitettuihin tehtäväkokonaisuuksiin. Itseohjautuva koe, joka sisältää tiedollisen kokeen sekä taustatietoja kartoittavan kyselyosuuden. Jokaisella oppilaalla on muista oppilaista poikkeava tiedollinen koe Erilaisia tehtäväyhdistelmiä on kaikkiaan 48 kappaletta + adaptaatiot lukutaidossa. Kaikki oppilaat tekevät lukutaitotehtäviä vähintään 30 min, yleensä yhden tunnin ajan. Toinen tunti Mat, Sci, tai FL. Oppilaskysely, taloustaitokysely ja tietotekniikkakysely ovat kaikille oppilaille samanlaisia. Koetilaisuuden vastuuhenkilön tulee noudattaa tarkasti koetilaisuuden käsikirjoitusta ja huolehtia ajan kulusta. 22.11.2018 Koulutuksen tutkimuslaitos - Finnish Institute for Educational Research
PISA-kokeen kulku Yhtäjaksoinen aika 2 h 40 min Yhtäjaksoinen aika 50 min Oppilaiden aika kokeessa yhteensä 3 h 40 min valmisteluineen. Voidaan tehdä kahdessa osassa. Välissä esim. lounastauko. 22.11.2018
Aineiston hallinta ja pisteytykset
Sisältö valmistuu myöhemmin 22.11.2018 Koulutuksen tutkimuslaitos - Finnish Institute for Educational Research
Toiminnallinen osuus
PISA koetehtävien demo Ota itsellesi yksi kannettava tietokone Kuittaa itsellesi yksi usb-muistitikku ja tunnuspaperi Noudata seuraavan dian ohjeita ja käynnistä koeohjelmisto ja kirjaudu saamillasi tunnuksilla kokeen demoversioon Tutustu sen jälkeen koetehtäviin omaan rauhalliseen tahtiisi, aikaa noin 30 minuuttia. TARKEMMAT OHJEET ANNETAAN TILAISUUDESSA 22.11.2018 Koulutuksen tutkimuslaitos - Finnish Institute for Educational Research