Aikuisten osaamisen arviointi

Transkriptio

1 UNIVERSITY OF JYVÄSKYLÄ Aikuisten osaamisen arviointi Antero Malin Koulutuksen tutkimuslaitos Jyväskylän yliopisto

2 Kansainvälinen aikuistutkimus PIAAC Survey of Adult Skills PIAAC: Programme for the International Assessment of Adult Competencies Aikuisväestön työ- ja arkielämän perustaitojen osaamista ja käyttöä arvioiva tutkimus. lukutaito numerotaito tietotekniikkaa soveltava ongelmanratkaisutaito Tutkimukseen osallistui 24 maata. Kohdejoukkona kaikki vuotiaat maassa asuvat henkilöt Koko kohdejoukko lähes 600 miljoonaa henkilöä, osallistujia Tiedonkeruu: elokuu 2011 maaliskuu 2012

3 Kansainvälinen aikuistutkimus Suomessa Suomessa otantahetkellä keväällä 2011 noin 3,5 miljoonaa. Otokseen kuuluvista henkilöistä (8 099) tutkimukseen osallistui Suomessa Suomen vastausosuus oli 66 prosenttia. Tilastokeskuksen haastattelijat toteuttivat tiedonkeruun käyntihaastatteluina. Ensin tehtiin haastattelijan tekemä tietokoneavusteinen taustahaastattelu. Sen jälkeen haastateltava teki perustaitojen osaamista arvioivat tehtävät itsenäisesti tietokoneella (myös paperinen tehtävävihko oli käytössä).

4 Lukutaito Kirjoitettujen tekstien ymmärtäminen, arvioiminen ja käyttäminen sekä niiden lukemiseen sitoutuminen. Mukana myös erilaisilla sähköisillä näyttöruuduilla esitettävät tekstit. Lukutaitotehtävien (yhteensä 58 kpl) muotoilussa tekstien vaatimia lukemisprosesseja tai lukutaidon osa-alueita jäsennettiin sen mukaan, mikä on lukemistilanteessa pääasiallinen tehtävä. Näitä lukemisen osaalueita oli kolme: Tiedon haku ja paikantaminen tekstistä (32 tehtävää) Tiedon yhdistäminen ja tulkitseminen tai tekstin osien suhteuttaminen toisiinsa (17 tehtävää) Tiedon arviointi ja pohdinta (9 tehtävää)

5 Suomi on kansainvälisessä vertailussa huipulla Suomi Ruotsi Alankomaat Japani Norja Tanska Australia Belgia (Flanderi) Kanada Slovakia Tšekki Saksa Viro Iso-Britannia (E, PI) Itävalta Korea Yhdysvallat Puola Irlanti Ranska Kypros Espanja Italia % PIAAC-maat kokonaissijoituksen mukaisessa järjestyksessä Ongelmanratkaisutaito Tasot 2,3 Numerotaito Tasot 3,4,5 Lukutaito Tasot 3,4, Järjestys Maa L N PS KA Järjestys Suomi ,0 1 Ruotsi ,7 2 Alankomaat ,3 3 Japani ,0 4 Norja ,0 5 Tanska ,7 6 Australia ,0 7 Belgia (Flanderi) ,3 8 Kanada ,3 9 Slovakia ,7 10 Tšekki ,7 11 Saksa ,3 12 Viro ,7 13 Iso-Britannia (E, PI) ,0 14 Itävalta ,3 15 Korea ,3 16 Yhdysvallat ,0 17 Puola ,0 18 Irlanti ,7 19 Ranska ,0 20 Kypros ,5 21 Espanja ,5 22 Italia ,5 23

6 Vaihtelu Suomen sisällä on suurta Väestön jakaantuminen eri suoritustasoille Suomessa 100 % 90 % 80 % 70 % 60 % Tasolla 1 tai sen alapuolella olevien lukumäärät: Lukutaidossa Numerotaidossa Luku- ja numerotaito yhdessä % 40 % 30 % 20 % Tietotekniikkaa soveltava ongelmanratkaisutaito: Tason 1 alapuolella Tieto puuttuu % 0 % Lukutaito Numerotaito Ongelmanratkaisutaito Tieto puuttuu Alle tason 1 Taso 1 Taso 2 Taso 3 Taso 4/5

7 Miten osaamista arvioitiin PIAAC:n tavoitteena oli arvioida koko perusjoukon osaamisen tasoa, ei yksittäisten ihmisten. Osaamista arvioitiin tekemällä tehtäviä, jotka muistuttivat erilaisia työ- ja arkielämän todellisia tilanteita, joissa vastaajan pitää käyttää arvioinnin kohteena olevia taitoja. Osaamisen luotettavaan arviointiin ja suoritustasojen määrittelyyn tarvittiin suuri joukko tehtäviä, joiden oli vaihdeltava vaikeustasoiltaan ja sisällöiltään. Päätutkimuksessa oli lukutaitotehtäviä yhteensä 58, numerotaidon arviointitehtäviä 56, ja ongelmanratkaisutaidon tehtäviä 14. Kukin tutkimukseen osallistunut teki vain osan tehtävistä ennalta määrätyn tutkimusasetelman mukaisesti. Lisäksi käytettiin adaptiivista testaamista.

8 Miten osaamista arvioitiin Kullekin henkilölle laskettiin hänen tekemiensä tehtävien perusteella hänen osaamistaan kuvaava pistemäärä (vaihteluväli 0 500). Osaamispistemäärien perusteella määriteltiin lisäksi, mille suoritustasolle henkilö sijoittui. Tasojen määrittely tehtiin tehtävien vaikeuden ja vaativuuden perusteella. Lukutaidossa ja numerotaidossa on viisi suoritustasoa: Taso 1 on alin ja taso 5 on korkein. Ongelmanratkaisussa tasoja on 3: Taso 1 on alin ja taso 3 korkein. Lisäksi osa henkilöistä jäi tason 1 alapuolelle.

9 Arviointimittarin laatiminen 1) Arviointitehtävien laadinta Kansainvälinen asiantuntijaryhmä määrittelee arvioinnin kohteen, teoriaperustan, tehtävien laadinnan periaatteet ja arvioinnin päälinjat => kriteerien mukainen tehtävien kuvaus 2) Esitutkimus: testataan kuinka hyvin tehtävät toimivat Tiedon keruu => IRT (Item Response Theory) => Tehtävien toimivuuden testaus: vaikeustaso ja erottelukyky => Tehtävien valinta ja muokkaus 3) Päätutkimus Tiedon keruu => IRT (Item Response Theory) => saadaan laskettua tehtävien vaikeustasoille pistemäärät 4) Tehtävät voidaan laittaa jatkumolle vaikeustasojärjestyksessä => saadaan mitta-asteikko 5) Mitta-asteikolle sovitaan katkaisukohdat =>saadaan suoritustasot 6) Laaditaan suoritustasojen kuvaukset kullakin tasolla olevien tehtävien perusteella

10 Lukutaito alle suoritustason pistettä Vastaajan on luettava lyhyitä tekstejä tutuista aiheista ja tunnistaa siitä jokin tieto. Vain perussanavarastoa tarvitaan. Tekstissä esiintyy harvoin kilpailevaa tietoa. Tekstistä on löydettävä tieto, joka on identtinen tai merkitsee samaa kuin kysymyksessä tai tehtävänannossa annettu tieto Sähköisiä tekstejä ei esiinny. Väestön osuus tällä tasolla: Suomi 2.7 % OECD ka 3.4 %

11 Esimerkki alle tason 1 tehtävän kuvauksesta: Vaalitulokset Lukutaidon osa-alue (lukemisprosessi): Tiedon haku ja paikantaminen Tekstimuoto: Suorasanaisen ja ei-jatkuvan yhdistelmä Media: Painettu Lukemisen konteksti: Julkinen Vaikeus: 162 Teksti on lyhyt raportti ammattiliiton vaalin tuloksista. Siinä on useita lyhyitä kappaleita ja yksinkertainen taulukko, jossa on kolmen ehdokkaan vaaleissa saamat äänimäärät. Vastaajan tehtävänä on tunnistaa ehdokas, joka sai vähiten ääniä. Vastaajan on verrattava ehdokkaiden saamia äänimääriä ja löydettävä vähiten ääniää saaneen ehdokkaan nimi. Sana ääniä esiintyy sekä kysymyksessä että taulukossa, mutta ei muualla tekstissä.

12 Lukutaito suoritustaso pistettä Vastaajan on usein suoritettava monimutkaisia operaatioita yhdistelläkseen ja tulkitakseen tietoa monimutkaisista ja pitkistä muodoltaan erilaisista teksteistä. Monet tehtävät edellyttävät monimutkaista päättelyä annetusta tiedosta ja sen soveltamista. Monet tehtävät edellyttävät yhden tai useamman erityisen mutta ei keskeisen ajatuksen tunnistamista ja ymmärtämistä. Ehdollista tietoa esitetään usein ja se täytyy ottaa huomioon vastattaessa. Kilpailevaa tietoa esitetään ja joskus se on vahvemmin esillä kuin oikea tieto. Väestön osuus tällä tasolla: Suomi 20.0 % OECD ka11.3 %

13 Esimerkki tason 4 tehtävän kuvauksesta: Kirjastohaku Lukutaidon osa-alue (lukemisprosessi): Tiedon yhdistäminen ja tulkitseminen Tekstimuoto: Monimuotoinen teksti Media: Sähköinen teksti Konteksti: Opiskeluun liittyvä Vaikeus: 348 Vastaajaan pyydetään tunnistamaan kirja, jonka mukaan väitteet sekä geneettisesti muunnetun ruuan puolesta että sitä vastaan ovat epäluotettavia. Kirjastohaku on antanut kymmenen kirjaa, ja tunnistaakseen oikean kirjan vastaajan on luettava jokaisen kirjan otsikko ja kuvaus kirjan sisällöstä. Tehtävässä on paljon harhauttavaa tietoa. Oikea vastaus täytyy päätellä kirjan selostuksesta, jonka mukaan kirjan kirjoittaja kuvailee, kuinka molemmat kuuman väittelyn osapuolet ovat lietsoneet propagandaa ja yrittäneet huijata suurta yleisöä, sekä [teksti päättyy].

14 Kaiken kaikkiaan Kansainvälisen arviointikokeen laatiminen edellyttää erilaisten asiantuntijoiden yhteistyötä kestää monta vuotta vaatii paljon työtä ja maksaa paljon rahaa Mutta onnistuessaan antaa varsin luotettavan käsityksen kohderyhmän osaamisesta ja sen vaihtelusta Samaa menettelytapaa voidaan käyttää yksilötason arvioinnissa. Näiden periaatteiden soveltamisesta oppilasarviointiin kirjoittaa Ronald Mead (2009).

15 Lähteitä Malin, A., Sulkunen, S., & Laine, K. (2013). Kansainvälisen aikuistutkimuksen tuloksia. PIAAC Opetus- ja kulttuuriministeriön julkaisuja 2013:19. Mead, R. (2009) The ISR: Intelligent Student Reports. Journal of Applied Measurement, 10(2), OECD (2012). Literacy, Numeracy and Problem Solving in Technology-Rich Environments: Framework for the OECD Survey of Adult Skills. OECD Publishing. OECD (2013a). OECD Skills Outlook 2013: First Results from the Survey of Adult Skills. OECD Publishing. OECD (2013b). The Survey of Adult Skills: Reader s companion. OECD Publishing. OECD. (2013c). Technical Report of the Survey of Adult Skills (PIAAC). OECD Publishing.

16 UNIVERSITY OF JYVÄSKYLÄ Kiitos!