Lukutaitotutkimukset arviointiprosessina Sari Sulkunen Koulutuksen tutkimuslaitos, JY sari.sulkunen@jyu.fi
Kansainväliset arviointitutkimukset Arvioinnin kohteena yleensä aina (myös) lukutaito Kansallisista intresseistä ja opetussuunnitelmista rippumaton arviointi Pitkä prosessi: suunnittelu alkaa vuosia ennen aineistonkeruuta Arvioinnin perusta valetaan asiantuntijaryhmässä, joka määrittelee arvioitavan taidon ja laatii arvioinnin viitekehyksen Esikokeella testataan koemateriaaleja ja käytänteitä pääkokeen aineistonkeruuta varten Ohjeistuksella ja laaduntarkkailulla varmistetaan vertailukelpoinen toteutus kaikissa maissa
Esimerkkinä PISA OECD:n Programme for International Student Assessment Toistuu kolmen vuoden välein Arvioinnin kohteena 15-vuotiaiden lukutaito, matematiikan ja luonnontieteiden osaaminen Pääarviointialue vaihtuu: lukutaito fokuksessa 2000, 2009 ja 2018 Enemmän koeaikaa Päivitetty viitekehys ja uutta koemateriaalia Edustava otos ikäryhmästä jokaisessa maassa
Lukutaidon arvioinnin viitekehys Reading Expert Group (REG) määrittelee lukutaidon ja laatii viitekehyksen Lukutaitoasiantuntijoita eri maista ja eri koulukunnista Työ alkaa noin 4 vuotta ennen pääkoetta Muodostaa teoriaperustan koko arvioinnille Määrittelee lukutaitokokeen laadinnan periaatteet ja käytännön ratkaisujen päälinjat
Lukutaidon määrittely PISAssa Keskeinen kysymys on, millaista lukutaitoa tämän päivän nuoret nyt ja tulevaisuudessaan tarvitsevat? Lukutaito on kirjoitettujen tekstien ymmärtämistä, käyttöä ja arviointia sekä niiden lukemiseen sitoutumista lukijan omien tavoitteiden saavuttamiseksi, tietojen ja valmiuksien kehittämiseksi sekä yhteiskuntaelämään osallistumiseksi. (OECD 2009.)
Lukutaidon määritelmä konkretisoituu lukutaitokokeessa Lukutaidon osa-alueet/aspektit/prosessit Tiedon haku ja paikantaminen tekstistä Luetun ymmärtäminen ja tulkinta Luetun pohdinta ja arviointi Tekstien valinta Tekstin muoto (suorasanaiset tekstit, epälineaariset dokumentit) Tekstityypit (funktio kertova, kuvaava, ohjeistava, esittelevä, vaikuttamaan pyrkivä jne.) Eri lukemistilanteet (opiskelu, ammatillinen, yksityinen, julkinen) Painetut ja sähköiset tekstit => päivitys 2018 Tehtävätyypit (avoimia ja monivalintatehtäviä)!
Lukutaitotehtävien arviointi Avovastaukset arvioidaan ja niille annetaan pisteytysohjeiden perusteella numeerinen koodi Monivalintatehtävissä tämä tapahtuu automaattisesti Arviointikriteerit nousevat lukutaitoaspektista tai -prosessista, jonka hallintaa tehtävä mittaa Realisoituvat pisteytysohjeissa Nimeävät tehtävän lukutaitoprosessin Kuvaavat kunkin koodikategorian kriteerit Antavat esimerkkejä koodikategorian vastauksista
Esimerkki: Korkeat rakennukset
KORKEITA RAKENNUKSIA Mikä kuviossa 2 olevista rakennuksista oli maailman korkein valmis rakennus, kun kyseinen artikkeli julkaistiin? KORKEITA RAKENNUKSIA PISTEITYS 1 TEHTÄVÄN TARKOITUS: Tiedonhaku Kuvaajassa suoranaisesti mainitun tiedon paikantaminen.! Täydet pisteet Koodi 1: CN Tower. Ei pisteitä Koodi 0: Muut vastaukset. Burj Tower. Koodi 9: Puuttuva vastaus.
KORKEITA RAKENNUKSIA Radisson SAS Plaza Oslossa, Norjassa on vain 117 metriä korkea. Miksi se on otettu mukaan kuvioon 2? KORKEITA RAKENNUKSIA PISTEITYS 5 TEHTÄVÄN TARKOITUS: Pohdinta ja arviointi: Tekstin sisällön pohdinta ja arviointi Lukijakunnan merkityksen ymmärtäminen tekstin sisältöä valittaessa Koodi 2: Ilmaisee, että artikkeli on peräisin norjalaislehdestä tai että lukijat ovat todennäköisesti norjalaisia. Se on norjalaisesta lehdestä. Koska se on kirjoitettu norjalaisille, he saavat siitä perspektiiviä asiaan. Se osoittaa norjalaisille, ettei heillä tosiaankaan ole kovin korkeita rakennuksia! Osittaiset pisteet Koodi 1: Ilmaisee, että SAS Plaza toimii vertailukohtana, muttei viittaa norjalaisiin lukijoihin. Vertailun vuoksi. Se antaa vertailukohdan. Jotta saa käsityksen siitä, mitä asteikko merkitsee. Ei pisteitä Koodi 0: Riittämätön tai epämääräinen vastaus. 117 metriä on kuitenkin aika korkea. Koska se on yksi maailman korkeimmista rakennuksista. Se on ainakin 30 kerrosta korkea. Teksti ymmärretty väärin, tai vastaus on epäuskottava tai asiaankuulumaton. Se on näistä ainoa, joka on hotelli. [Totta, mutta tämä ei ole syynä siihen, miksi se on mukana tekstissä] Koodi 9: Puuttuva vastaus.
Lukutaidon suoritustasot Vastaajille lasketaan lukutaitopistemäärät, joiden perusteella he sijoittuvat suoritustasoille Suoritustasot kuvaavat sille sijoittuneiden vastaajien lukutaitoa Taso 6 huippulukutaito yli 698 p. Taso 5 erinomainen lt. 626 698 p. Taso 4 hyvä lt. 553 625 p. Taso 3 tyydyttävä lt. 481 552 p. Taso 2 välttävä lt. 408 480 p. Taso 1a heikko lt. 335 407 p. Taso 1b erittäin heikko lt. 262 334 p. Taso 0 ei voida kuvata alle 262 p.
Suomalaisnuorten sijoittuminen lukutaidon suoritustasoille, PISA 2009 ja 2012 2009 8 17 30 31 13 2 Taso 1a tai alle Taso 2 Taso 3 Taso 4 Taso 5 2012 11 19 29 27 11 2 Taso 6 0 % 20 % 40 % 60 % 80 % 100 %
Suoritustaso 3: Tyydyttävä lukutaito Tason 3 tiedon haun tehtävissä lukijan täytyy paikantaa useita tietoja, jotka vastaavat useita eri kriteerejä. Tulkintatehtävissä lukijan pitää yhdistää useita tekstikohtia tunnistaakseen tekstin pääajatuksen, ymmärtääkseen asioiden välisen yhteyden tai tulkitakseen sanan tai ilmauksen merkityksen. Verratessaan eri tekstikohtien sisältöä lukijoiden tulee huomioida useita seikkoja. Usein kysytty tieto ei ole ilmeistä tai selkeästi esillä, tekstissä on runsaasti harhauttavaa tietoa tai odotuksenvastaisia ajatuksia. Pohdintatehtävissä lukijalta edellytetään asioiden välisten yhteyksien hahmottamista, niiden vertaamista toisiinsa, selityksiä tai tekstipiirteen arvioimista. Joissain pohdintatehtävissä lukijan tulee suhteuttaa tekstin yksityiskohtaista sisältöä arkitietoon tai pääajatuksia vähemmän tunnettuun tietoon.
Suoritustaso 1b: erittäin heikko lukutaito Tämän tason tiedonhakutehtävissä lukijan täytyy paikantaa yksittäinen, selkeästi esillä oleva tieto tekstistä, joka on lyhyt, syntaktisesti yksinkertainen ja edustaa tuttua lukemistilannetta ja tekstityyppiä, kuten kertomusta tai yksinkertaista listaa. Tekstissä on typillisesti lukijaa tukevia elementtejä, kuten toistoa, kuvia ja tuttuja symboleita. Harhauttavaa tietoa on vain vähän. Tulkintatehtävissä lukijan täytyy yhdistää vierekkäin olevaa sisältöä.
Arviointiprosessi alkaa tavoitteiden määrittelystä Taidon määrittely Osataidot Pisteytyskoodien kriteerit Taitotason kuvaaminen (suoritustasot) Arviointitutkimukset Koulun oppilasarviointi Oppimistavoitteet Osatavoitteet Piste- ja arvosanakriteerit Taitojen kuvaaminen (yksilöpalaute, kriteerikuvaukset)
Kiitos!