Oppimistulosten digitaalinen arviointi PISA. Eri maissa eri tahdilla, miten vaikuttaa? Arto K. Ahonen & Kari Nissinen

Transkriptio

1 Oppimistulosten digitaalinen arviointi PISA. Eri maissa eri tahdilla, miten vaikuttaa? Arto K. Ahonen & Kari Nissinen

2 Tilaisuuden ohjelma Luento-osuus n. 45 min Yleisesitys PISA-tutkimuksesta PISA-tutkimuksen toteutus ja digisiirtymä Tehtävien tyypit ja PISA-kokeen rakenne Aineistonkeruu ja hallinnointi Tehtävien pisteytys Toiminnallinen osuus n. 45 min Demo PISA kokeesta Tutustutaan PISA tutkimuksen kognitiivisen kokeen toteutukseen ja tehdään omaan tahtiin muutama vapautettu digiaikana laadittu luonnontieteen ja lukutaidon vapautettu tehtävä talo tarjoaa kannettavat tietokoneet käyttönne Koulutuksen tutkimuslaitos - Finnish Institute for Educational Research

3 PISA-tutkimusohjelma OECD:n, kansallisten ministeriöiden ja tutkimuslaitosten yhteishanke Uusi tutkimus joka kolmas vuosi (Tällä kierroksella esikoe 2017 ja pääkoe 2018) Seitsemäs tutkimus käynnissä, kaksi täyttä kierrosta takana (lukutaito, matematiikka, luonnontieteet): vuosina 2000, 2003, 2006, 2009, 2012, 2015 Arvioidaan 15-vuotiaiden lukutaitoa, matematiikan ja luonnontieteiden osaamista Lukutaito pääalueena 2018 Suomi osallistui myös ensimmäistä kertaa kansainvälisenä optiona tarjottavaan Talousosaamisen arviointiin

4 PISA-tutkimushankkeen tarkoitus PISAn keskeisin tutkimuskysymys on miten nuoret hallitsevat tulevaisuuden kannalta keskeisiä avaintaitoja osallistujamaissa ja kuinka se jakautuu oppilaiden, koulujen ja koulujärjestelmän eri osien kesken. HUOM PISA ei arvioi osaamista opetussuunnitelmaperusteisesti. Vrt. esim. TIMSS Perimmäisenä tarkoituksena on kehittää koulutusjärjestelmiä ja opetusta parempiin oppimistuloksiin pääsemiseksi Kyseessä ei ole yksittäisten oppilaiden, koulujen tai opettajien arviointi. Kerätään laajasti koulua ja oppilasta koskevaa taustatietoa oppimistulosten tason ja laadun ymmärtämiseksi. Millä tavoin oppilaan taustaan, koulun piirteisiin ja opetuksen organisointiin liittyvät tekijät ovat yhteydessä oppilaiden osaamiseen?

5 Laaja kansainvälinen yhteishanke PISA = Programme for International Student Assessment The Organisation for Economic Co-operation and Development (OECD) ja kansallisten ministeriöiden ja tutkimuslaitosten yhteishanke Mukana vuoden 2018 tutkimuksessa on 81 maata tai aluetta Koordinointi kansainvälinen konsortio: päävastuu Educational Testing Services, ETS Tutkimuksen toimeenpano Suomessa: Opetus- ja kulttuuriministeriö päättää osallistumisesta ja rahoittaa Toteuttajat: Koulutuksen tutkimuslaitos, Jyväskylän yliopisto ja Helsingin yliopiston koulutuksen arviointikeskus

6 PISA tutkimuksen organisaatio Suomessa OKM Tommi Karjalainen, PISA Governing Board PISA tutkimuksen kansallinen koordinaattori (NPM) Yliopistotutkija Arto K. Ahonen, puh , Arviointialueiden vastuututkijat: Lukutaito, Luonnontiede, Matematiikka, Talousosaaminen Datamanageri + Otantamanageri IT-koordinaattori Suunnittelija ruotsinkieliset materiaalit Projektisihteeri Lisäksi palkataan noin 20 henkilöä tilapäisiin avustaviin tehtäviin aineistokeruun aikoihin Helsingin yliopisto, Koulutuksen arviointikeskus, erityisopetus Koulutuksen tutkimuslaitos - Finnish Institute for Educational Research

7 PISA-tutkimuksen kansallinen otos Pääkokeeseen osallistui tällä kierroksella Suomesta noin vuotiasta oppilasta (synt ) Alueellinen otos kouluista (n. 220 koulua), fin-fin, swe-fin kaupunki maaseutu, tilast. suuralueet: Pääkaup., Etelä-, Länsi-, Itä- ja Pohjois-Suomi) -> painokertoimet Talousosaamisen arviointiin osallistuminen kasvatti osallistuvien oppilaiden määrää noin 2000:lla, normaaliotos noin 6300 oppilasta ja 160 koulua Valitaan satunnaisesti osallistumaan 42 oppilasta/koulu, tai kaikki oppilaat jos vähemmän Ei varaoppilaita, osallistumaan valittua oppilasta ei saa korvata toisella Koulutuksen tutkimuslaitos - Finnish Institute for Educational Research

8 PISA 2018 Lukutaito pääalue Matematiikka Luonnontiede Talousosaaminen Oppilaskysely, Taloustaitokysely Tietotekniikkakysely, Koulukysely rehtoreille Koulutuksen tutkimuslaitos - Finnish Institute for Educational Research

9 PISAn arviointien analyysit ja metodologia Oppilas tekee 2 tuntia kestävän tiedollisen kokeen ja vastaa taustakyselyihin, yleisimmin tehtäviä on kahdelta arviointialueelta. Kymmeniä erilaisia tehtäväkombinaatioita ja yksittäisiä tehtäviä useita satoja. Pääalueelle laaditaan uusia tehtäviä ja muiden alueiden osalta vastataan ns. trenditehtäviin Tehtävät pisteytetään IRT-analyysien avulla eri vaikeustasoihin Oppilaan osaamisen taso arvioidaan sen mukaan kuinka vaikeita tehtäviä hän osaa ratkaista oikein. Plausible value arvot jokaiselle oppilaalle ja jokaiselle arviointialueelle. OECD-n keskiarvo 500 pistettä ja keskihajonta on Koulutuksen tutkimuslaitos - Finnish Institute for Educational Research

10 PISAssa menestyminen on Suomelle tärkeää: Otteet vuoden 2018 valtion talousarviosta OECD:n PISA-tutkimuksen tulokset Suomen osalta ja tavoite toteutuma 2009 toteutuma 2012 toteutuma 2015 toteutuma ) tavoite Lukutaito Matematiikka Luonnontiede Sosioekonomisen taustan vaikutus oppimistuloksiin: PISA-tutkimuksen pääalueen pistemäärän muutos sosioekonomisen kertoimen (ESCS) kasvaessa yhdellä keskihajonnalla 2006 toteutuma 2009 toteutuma 2012 toteutuma 2015 toteutuma ) tavoite Pääalue Luonnontiede Lukutaito Matematiikka Luonnontiede Lukutaito Pistemäärä Koulutuksen tutkimuslaitos - Finnish Institute for Educational Research

11 PISA-luonnontieteiden osaamisen ja tasa-arvon muutos vuodesta 2006 vuoteen 2015 JYU. Since

12 Poimintoja 2015-tutkimuksen tuloksista

13 PISA 2015 tutkimuksesta Viimeiset saatavilla olevat tulokset ovat vuoden 2015 tutkimuksesta -> Ensitulokset julkaistu joulukuussa 2016 ja Pääraportti, PISA pintaa syvemmältä julkaistiin hiljattain Kasvatustieteen seuran kirjana. Kuudes tutkimus PISA-ohjelmassa: pääalueena 2015 kierroksella oli luonnontieteiden osaaminen - edellisen kerran vuonna 2006 Luonnontieteen alueen tulosten analyysit ja raportit pääosin vastuututkija Jouni Vettenrannan: Vettenranta, J., Välijärvi, J., Ahonen, A., Hautamäki, J., Hiltunen, J., Leino, K., Lähteinen, S., Nissinen, V., Puhakka, E., Rautopuro, J. & Vainikainen, M-P. (2016). PISA 2015: Ensituloksia. Huipulla pudotuksesta huolimatta. Opetus- ja kulttuuriministeriön julkaisuja 2016: Koulutuksen tutkimuslaitos - Finnish Institute for Educational Research

14 PISA 2015 tutkimuksen tuloksista Tutkimukseen osallistui 72 maata tai aluetta Suomen aineisto: 168 koulua ja 5882 oppilasta Suomen otoksen oppilaista 93 % osallistui tutkimukseen Aluksi muutamia yleisiä tuloksia ja trendejä Tulokset ovat vertailukelpoisia tutkimuskierrosten välillä Jatkuvuus varmistetaan ns. trenditehtävillä, jotka pysyvät samoina kierrokselta toiseen Tehtävät ovat salassa pidettäviä, osa uusista tehtävistä vapautetaan tutkimuksen jälkeen Koulutuksen tutkimuslaitos - Finnish Institute for Educational Research

15 PISA Koulutuksen tutkimuslaitos - Finnish Institute for Educational Research

16 PISA 2015 Koulutuksen tutkimuslaitos

17 PISA 2015 Koulutuksen tutkimuslaitos

18 Suomen osaaminen PISA tutkimuksissa Koulutuksen tutkimuslaitos

19 Digitaalisuus ja PISA PISA tutkimuksessa siirrytään sähköiseen toteutukseen vaiheittain ja siirtymä on edelleen käynnissä. Ensimmäiset kaikille maille tarjolla olleet tehtävät olivat vuoden 2012 ongelmanratkaisun tehtäviä. Vuoden 2015 tutkimus oli ensimmäinen joka oli tarjolla kokonaisuudessaan sähköisesti Vain pääalueena olleen luonnontieteen tehtävät laadittiin uudestaan digitaalisen arvioinnin mahdollisuudet huomioiden. Mode effect testattiin esikokeessa (eli osa oppilaista vastasi paperiseen kokeeseen ja osa sähköiseen). Suomessa ei eroa osaamisen ja vastaamistavan suhteen. Vuoden 2021 tutkimuksessa myös matematiikan alueen uusia tehtäviä laaditaan sähköinen toteutus huomioiden Koulutuksen tutkimuslaitos - Finnish Institute for Educational Research

20 PISA-tutkimuksen osallistujamaat kierroksittain ja sähköiseen kokeeseen osallistuminen Chart Title Vain ongelmanra tkaisu sähköisesti Paperi Sähköinen Koulutuksen tutkimuslaitos - Finnish Institute for Educational Research

21 Tehtävätyypit Ns. trenditehtävät alun perin paperivihkoissa, siirrety sähköiseen muotoon mutta tehtävän rakenne on samalainen Staattisia, perinteisiä monivalinta- tai avovastaus tehtäviä Uudet tehtävät PISA 2015 lähtien kehitetty sähköisenä toteutettaviksi. Dynaamisia, esimerkiksi erilaisia simulaatioita ja vuorovaikutteisuutta sisältäviä ratkaisutapoja. Lukutaidossa esimerkiksi tekstejä joissa hyperlinkkejä ja monentyyppisiä tekstissisältöjä. Myös perinteisiä ns. staattisen tekstin lukemista ja ymmärtämistä edellyttäviä tehtäviä on mukana myös uusissa tehtävissä. Kierros kerrallaan myös trenditehtäviä korvataan sähköiseen toteutukseen kehitetyillä tehtävillä Koulutuksen tutkimuslaitos - Finnish Institute for Educational Research

22 Trenditehtävät ja uudet tehtävät 2000 Pääalue Lukutaito 2003 Päalue Matematiikka Ongelmanratk Pääalue Luonnontiede 2015 Pääalue luonnontiede, uudet Lukut, Mat trendit CPS 2012 Päalue Matematiikka,uudet SCI, Lukut. Trendit, Ongelmanratk 2009 Pääalue Lukutaito Trendit Mat,SCI trendit 2018 Pääalue Lukutaito uudet Mat, SCI trendit Global competence 2021 Pääalue Matematiikka, uudet Lukutaito, SCI uudet trendit Creative Thinking Koulutuksen tutkimuslaitos - Finnish Institute for Educational Research

23 PISA 2018 Lukutaitotehtävien adaptiivinen koe

24

25 Vain uudet lukutaitotehtävät! Koulutuksen tutkimuslaitos

26

27

28

29 Tutkimuksen toteutus Toteutetaan kokonaisuudessaan tietokoneilla 42 oppilasta / koulu Voidaan toteuttaa useina koetilaisuuksina ja eri päivinä Koe ajetaan USB-tikuilta, koneissa tulee olla Windows käyttöjärjestelmä ja USB portti Internet-yhteyttä ei tarvita, tikuilla ns. portable versio Firefoxselaimesta, jonka kautta tutkimuksen koetehtävät ja kyselyt tehdään Kouluille toimitetaan SDS-ohjelmiston sisältävät muistitikut muun koemateriaalin mukana Koulutuksen tutkimuslaitos - Finnish Institute for Educational Research

30 Tutkimuksen toteutus 2018 Jokainen oppilas kirjautuu ohjelmaan omilla tunnuksillaan Oppilastunnus ohjaa kyseiselle oppilaalle tarkoitettuihin tehtäväkokonaisuuksiin. Itseohjautuva koe, joka sisältää tiedollisen kokeen sekä taustatietoja kartoittavan kyselyosuuden. Jokaisella oppilaalla on muista oppilaista poikkeava tiedollinen koe Erilaisia tehtäväyhdistelmiä on kaikkiaan 48 kappaletta + adaptaatiot lukutaidossa. Kaikki oppilaat tekevät lukutaitotehtäviä vähintään 30 min, yleensä yhden tunnin ajan. Toinen tunti Mat, Sci, tai FL. Oppilaskysely, taloustaitokysely ja tietotekniikkakysely ovat kaikille oppilaille samanlaisia. Koetilaisuuden vastuuhenkilön tulee noudattaa tarkasti koetilaisuuden käsikirjoitusta ja huolehtia ajan kulusta Koulutuksen tutkimuslaitos - Finnish Institute for Educational Research

31 PISA-kokeen kulku Yhtäjaksoinen aika 2 h 40 min Yhtäjaksoinen aika 50 min Oppilaiden aika kokeessa yhteensä 3 h 40 min valmisteluineen. Voidaan tehdä kahdessa osassa. Välissä esim. lounastauko

32 Aineiston hallinta ja pisteytykset

33 Sisältö valmistuu myöhemmin Koulutuksen tutkimuslaitos - Finnish Institute for Educational Research

34 Toiminnallinen osuus

35 PISA koetehtävien demo Ota itsellesi yksi kannettava tietokone Kuittaa itsellesi yksi usb-muistitikku ja tunnuspaperi Noudata seuraavan dian ohjeita ja käynnistä koeohjelmisto ja kirjaudu saamillasi tunnuksilla kokeen demoversioon Tutustu sen jälkeen koetehtäviin omaan rauhalliseen tahtiisi, aikaa noin 30 minuuttia. TARKEMMAT OHJEET ANNETAAN TILAISUUDESSA Koulutuksen tutkimuslaitos - Finnish Institute for Educational Research