UNIVERSITY OF JYVÄSKYLÄ Aikuisten osaamisen arviointi Antero Malin Koulutuksen tutkimuslaitos Jyväskylän yliopisto antero.malin@jyu.fi
Kansainvälinen aikuistutkimus PIAAC Survey of Adult Skills PIAAC: Programme for the International Assessment of Adult Competencies Aikuisväestön työ- ja arkielämän perustaitojen osaamista ja käyttöä arvioiva tutkimus. lukutaito numerotaito tietotekniikkaa soveltava ongelmanratkaisutaito Tutkimukseen osallistui 24 maata. Kohdejoukkona kaikki 16 65-vuotiaat maassa asuvat henkilöt Koko kohdejoukko lähes 600 miljoonaa henkilöä, osallistujia 160 000 Tiedonkeruu: elokuu 2011 maaliskuu 2012
Kansainvälinen aikuistutkimus Suomessa Suomessa otantahetkellä keväällä 2011 noin 3,5 miljoonaa. Otokseen kuuluvista henkilöistä (8 099) tutkimukseen osallistui Suomessa 5 464. Suomen vastausosuus oli 66 prosenttia. Tilastokeskuksen haastattelijat toteuttivat tiedonkeruun käyntihaastatteluina. Ensin tehtiin haastattelijan tekemä tietokoneavusteinen taustahaastattelu. Sen jälkeen haastateltava teki perustaitojen osaamista arvioivat tehtävät itsenäisesti tietokoneella (myös paperinen tehtävävihko oli käytössä).
Lukutaito Kirjoitettujen tekstien ymmärtäminen, arvioiminen ja käyttäminen sekä niiden lukemiseen sitoutuminen. Mukana myös erilaisilla sähköisillä näyttöruuduilla esitettävät tekstit. Lukutaitotehtävien (yhteensä 58 kpl) muotoilussa tekstien vaatimia lukemisprosesseja tai lukutaidon osa-alueita jäsennettiin sen mukaan, mikä on lukemistilanteessa pääasiallinen tehtävä. Näitä lukemisen osaalueita oli kolme: Tiedon haku ja paikantaminen tekstistä (32 tehtävää) Tiedon yhdistäminen ja tulkitseminen tai tekstin osien suhteuttaminen toisiinsa (17 tehtävää) Tiedon arviointi ja pohdinta (9 tehtävää)
Suomi on kansainvälisessä vertailussa huipulla Suomi Ruotsi Alankomaat Japani Norja Tanska Australia Belgia (Flanderi) Kanada Slovakia Tšekki Saksa Viro Iso-Britannia (E, PI) Itävalta Korea Yhdysvallat Puola Irlanti Ranska Kypros Espanja Italia % PIAAC-maat kokonaissijoituksen mukaisessa järjestyksessä Ongelmanratkaisutaito Tasot 2,3 Numerotaito Tasot 3,4,5 Lukutaito Tasot 3,4,5 0 10 20 30 40 50 60 70 80 Järjestys Maa L N PS KA Järjestys Suomi 2 2 2 2,0 1 Ruotsi 4 3 1 2,7 2 Alankomaat 3 4 3 3,3 3 Japani 1 1 10 4,0 4 Norja 6 5 4 5,0 5 Tanska 12 6 5 7,7 6 Australia 5 13 6 8,0 7 Belgia (Flanderi) 9 8 11 9,3 8 Kanada 10 14 7 10,3 9 Slovakia 8 7 17 10,7 10 Tšekki 11 9 12 10,7 11 Saksa 15 11 8 11,3 12 Viro 7 12 16 11,7 13 Iso-Britannia (E, PI) 14 16 9 13,0 14 Itävalta 17 10 13 13,3 15 Korea 13 15 15 14,3 16 Yhdysvallat 16 21 14 17,0 17 Puola 18 17 19 18,0 18 Irlanti 19 19 18 18,7 19 Ranska 20 18 19,0 20 Kypros 21 20 20,5 21 Espanja 22 23 22,5 22 Italia 23 22 22,5 23
Vaihtelu Suomen sisällä on suurta Väestön jakaantuminen eri suoritustasoille Suomessa 100 % 90 % 80 % 70 % 60 % 22 19 38 41 8 33 Tasolla 1 tai sen alapuolella olevien lukumäärät: Lukutaidossa 370 000 Numerotaidossa 450 000 Luku- ja numerotaito yhdessä 280 000 50 % 40 % 30 % 20 % 27 29 29 11 Tietotekniikkaa soveltava ongelmanratkaisutaito: Tason 1 alapuolella 385 000 Tieto puuttuu 650 000 10 % 0 % 8 10 19 03 0 3 Lukutaito Numerotaito Ongelmanratkaisutaito Tieto puuttuu Alle tason 1 Taso 1 Taso 2 Taso 3 Taso 4/5
Miten osaamista arvioitiin PIAAC:n tavoitteena oli arvioida koko perusjoukon osaamisen tasoa, ei yksittäisten ihmisten. Osaamista arvioitiin tekemällä tehtäviä, jotka muistuttivat erilaisia työ- ja arkielämän todellisia tilanteita, joissa vastaajan pitää käyttää arvioinnin kohteena olevia taitoja. Osaamisen luotettavaan arviointiin ja suoritustasojen määrittelyyn tarvittiin suuri joukko tehtäviä, joiden oli vaihdeltava vaikeustasoiltaan ja sisällöiltään. Päätutkimuksessa oli lukutaitotehtäviä yhteensä 58, numerotaidon arviointitehtäviä 56, ja ongelmanratkaisutaidon tehtäviä 14. Kukin tutkimukseen osallistunut teki vain osan tehtävistä ennalta määrätyn tutkimusasetelman mukaisesti. Lisäksi käytettiin adaptiivista testaamista.
Miten osaamista arvioitiin Kullekin henkilölle laskettiin hänen tekemiensä tehtävien perusteella hänen osaamistaan kuvaava pistemäärä (vaihteluväli 0 500). Osaamispistemäärien perusteella määriteltiin lisäksi, mille suoritustasolle henkilö sijoittui. Tasojen määrittely tehtiin tehtävien vaikeuden ja vaativuuden perusteella. Lukutaidossa ja numerotaidossa on viisi suoritustasoa: Taso 1 on alin ja taso 5 on korkein. Ongelmanratkaisussa tasoja on 3: Taso 1 on alin ja taso 3 korkein. Lisäksi osa henkilöistä jäi tason 1 alapuolelle.
Arviointimittarin laatiminen 1) Arviointitehtävien laadinta Kansainvälinen asiantuntijaryhmä määrittelee arvioinnin kohteen, teoriaperustan, tehtävien laadinnan periaatteet ja arvioinnin päälinjat => kriteerien mukainen tehtävien kuvaus 2) Esitutkimus: testataan kuinka hyvin tehtävät toimivat Tiedon keruu => IRT (Item Response Theory) => Tehtävien toimivuuden testaus: vaikeustaso ja erottelukyky => Tehtävien valinta ja muokkaus 3) Päätutkimus Tiedon keruu => IRT (Item Response Theory) => saadaan laskettua tehtävien vaikeustasoille pistemäärät 4) Tehtävät voidaan laittaa jatkumolle vaikeustasojärjestyksessä => saadaan mitta-asteikko 5) Mitta-asteikolle sovitaan katkaisukohdat =>saadaan suoritustasot 6) Laaditaan suoritustasojen kuvaukset kullakin tasolla olevien tehtävien perusteella
Lukutaito alle suoritustason 1 0 175 pistettä Vastaajan on luettava lyhyitä tekstejä tutuista aiheista ja tunnistaa siitä jokin tieto. Vain perussanavarastoa tarvitaan. Tekstissä esiintyy harvoin kilpailevaa tietoa. Tekstistä on löydettävä tieto, joka on identtinen tai merkitsee samaa kuin kysymyksessä tai tehtävänannossa annettu tieto Sähköisiä tekstejä ei esiinny. Väestön osuus tällä tasolla: Suomi 2.7 % OECD ka 3.4 %
Esimerkki alle tason 1 tehtävän kuvauksesta: Vaalitulokset Lukutaidon osa-alue (lukemisprosessi): Tiedon haku ja paikantaminen Tekstimuoto: Suorasanaisen ja ei-jatkuvan yhdistelmä Media: Painettu Lukemisen konteksti: Julkinen Vaikeus: 162 Teksti on lyhyt raportti ammattiliiton vaalin tuloksista. Siinä on useita lyhyitä kappaleita ja yksinkertainen taulukko, jossa on kolmen ehdokkaan vaaleissa saamat äänimäärät. Vastaajan tehtävänä on tunnistaa ehdokas, joka sai vähiten ääniä. Vastaajan on verrattava ehdokkaiden saamia äänimääriä ja löydettävä vähiten ääniää saaneen ehdokkaan nimi. Sana ääniä esiintyy sekä kysymyksessä että taulukossa, mutta ei muualla tekstissä.
Lukutaito suoritustaso 4 326 375 pistettä Vastaajan on usein suoritettava monimutkaisia operaatioita yhdistelläkseen ja tulkitakseen tietoa monimutkaisista ja pitkistä muodoltaan erilaisista teksteistä. Monet tehtävät edellyttävät monimutkaista päättelyä annetusta tiedosta ja sen soveltamista. Monet tehtävät edellyttävät yhden tai useamman erityisen mutta ei keskeisen ajatuksen tunnistamista ja ymmärtämistä. Ehdollista tietoa esitetään usein ja se täytyy ottaa huomioon vastattaessa. Kilpailevaa tietoa esitetään ja joskus se on vahvemmin esillä kuin oikea tieto. Väestön osuus tällä tasolla: Suomi 20.0 % OECD ka11.3 %
Esimerkki tason 4 tehtävän kuvauksesta: Kirjastohaku Lukutaidon osa-alue (lukemisprosessi): Tiedon yhdistäminen ja tulkitseminen Tekstimuoto: Monimuotoinen teksti Media: Sähköinen teksti Konteksti: Opiskeluun liittyvä Vaikeus: 348 Vastaajaan pyydetään tunnistamaan kirja, jonka mukaan väitteet sekä geneettisesti muunnetun ruuan puolesta että sitä vastaan ovat epäluotettavia. Kirjastohaku on antanut kymmenen kirjaa, ja tunnistaakseen oikean kirjan vastaajan on luettava jokaisen kirjan otsikko ja kuvaus kirjan sisällöstä. Tehtävässä on paljon harhauttavaa tietoa. Oikea vastaus täytyy päätellä kirjan selostuksesta, jonka mukaan kirjan kirjoittaja kuvailee, kuinka molemmat kuuman väittelyn osapuolet ovat lietsoneet propagandaa ja yrittäneet huijata suurta yleisöä, sekä [teksti päättyy].
Kaiken kaikkiaan Kansainvälisen arviointikokeen laatiminen edellyttää erilaisten asiantuntijoiden yhteistyötä kestää monta vuotta vaatii paljon työtä ja maksaa paljon rahaa Mutta onnistuessaan antaa varsin luotettavan käsityksen kohderyhmän osaamisesta ja sen vaihtelusta Samaa menettelytapaa voidaan käyttää yksilötason arvioinnissa. Näiden periaatteiden soveltamisesta oppilasarviointiin kirjoittaa Ronald Mead (2009).
Lähteitä Malin, A., Sulkunen, S., & Laine, K. (2013). Kansainvälisen aikuistutkimuksen tuloksia. PIAAC 2012. Opetus- ja kulttuuriministeriön julkaisuja 2013:19. http://www.minedu.fi/opm/julkaisut/2013/piaac_2012.html. Mead, R. (2009) The ISR: Intelligent Student Reports. Journal of Applied Measurement, 10(2), 208-224. OECD (2012). Literacy, Numeracy and Problem Solving in Technology-Rich Environments: Framework for the OECD Survey of Adult Skills. OECD Publishing. http://dx.doi.org/10.1787/9789264128859-en. OECD (2013a). OECD Skills Outlook 2013: First Results from the Survey of Adult Skills. OECD Publishing. http://dx.doi.org/10.1787/9789264204256-en. OECD (2013b). The Survey of Adult Skills: Reader s companion. OECD Publishing. http://dx.doi.org/10.1787/9789264204027-en. OECD. (2013c). Technical Report of the Survey of Adult Skills (PIAAC). OECD Publishing. http://www.oecd.org/site/piaac/_technical%20report_17oct13.pdf.
UNIVERSITY OF JYVÄSKYLÄ Kiitos!