Oppimisen ja osaamisen arviointi Jyväskylä 28.9. 2016 Klo 13-16.00 Najat Ouakrim-Soivio (KT, FL) 1
Luennossa käsiteltävät sisällöt I Arviointiajattelu - Arviointiparadigmoja Oppimiskäsityksen ja arvioinnin yhteys perusopetuksessa ja lukiokoulutuksessa. II Arviointitaidot Opettajien arviointitaidoista (assessment literacy). Arvioinnin erilaiset tehtävät: oppimisen ja osaamisen arviointi sekä arviointi. Tavoitteiden, toteutuksen ja arvioinnin yhteydestä opetustyössä: itse-ja vertaisarviointi sekä ryhmäarviointi. Suhteellisesta arvioinnista kriteeriperusteiseen arviointiin. Päättöarvioinnin haasteita. Osaamisen arviointi Andersonin ja Krathwohlin taksonomian (2001) avulla. III Arviointikulttuuri Koulun arviointikulttuuri ja sen kehittäminen. 2
ARVIOINTIAJATTELU + ARVIOINTITAIDOT + ARVIOINTIKULTTUURI ARVIOINTIAJATTELU ARVIOINTIAJATTELU - ARVIOINTIPARADIGMAT MITÄ? ARVIOINNIN KOHDENTAMINEN OIKEIN/ ARVIOINNIN TEHTÄVÄT - MIKSI? HYÖDYTTÄÄ SEKÄ ARVIOITAVAA ETTÄ ARVIOITSIJAA - MITEN? MAHDOLLISIMMAN HYVIN SOVELTUVIN MENETELMIN -MILLOIN OIKEA-AIKAISESTI ARVIOINTITAIDOT ARVIOINTIKULTTUURI ARVOT + NORMIT + TOIMINTATATVAT, JOTKA JAETAAN KOMMUNIKOIDEN JA JOTKA KIRJATAAN, JOTTA NIIHIN VOIDAAN PALATA JA NIITÄ VOIDAAN KEHITTÄÄ. YHTEISTEN PELISÄÄNTÖJEN LUOMINEN 3
ARVIOINTIAJATTELU 4
POHDINTA: Miten olet itse tullut arvioitua oppilaana? Mikä on sinun arviointifilosofiasi opettajana ja arviointityön ammattilaisena? 5
OPETTAJAT ARVIOINTITYÖN ASIANTUNTIJAT Tutkimuksessaan Guskey ja Bailey (2001, 16-17) löysivät neljä tekijää, jotka vaikuttivat opettajien arviointikäytänteisiin: 1) opettajien omat kokemukset siitä, miten heitä itseään oli oppilaina arvioitu, 2) se mitä opettajat olivat oppineet opettajakoulutuksen aikana, 3) opettajien henkilökohtainen filosofia tai näkemys opettamisesta sekä 4) se, miten ylempi taho, kuten opetushallinto, aluehallinto tms. arvosanan antamista. Arviointi on aina epäluotettavaa ja subjektiivista, mutta silti arviointityössä pyrittävä objektiiviseen arviointiin. Koulumenestystä ja siinä kehittymistä, erilaisia koulutukseen liittyviä filosofioita ja ristiriitoja on jo teknisestikin vaikea mitata, koska opettajat ovat työssään kaksinaisroolissa opettajana ja arvioijana (Cross & Frary 1999, 53). 6
LUOKKATYÖSKENTELYN ARVIOINTIPROSESSI (Kane 2006, 38) 7
ARVIOINTITAIDOT 8
OPETTAJIEN ARVIOINTITAIDOT Ei yhtenäistä kuvaa arvioititaidoista, koska toistaiseksi vain vähän tutkittu Suomessa (Mattila 2010). Opettajakoulutuslaitokset poikkeavat suuresti toisistaan siinä, kuinka paljon ja missä yhteydessä arvioinnista opetetaan (Jakku-Sihvonen 2002, Atjonen 2016). -> Kerrannaisvaikutus esim. sen suhteen, missä määrän opettajien täydennyskoulutusta tarjotaan. Oppimiskäsitys muuttuu entä arviointi? 9
OPPIMISEN, OSAAMISEN, OPETTAMISEN JA ARVIOINNIN YHTEYS Arvioinnissa ei ole kyse irrallisesta tehtävästä tai toiminnasta. Oppiminen, opettaminen ja arviointi liittyvät kiinteästi toisiinsa. Oppiminen ja osaaminen Opettaminen Oppimisen ohjaaminen ja opettamisen kehittäminen tapahtuvat arvioinnin avulla. Arviointi 10
JOHDATUS ARVIOINNIN KESKEISIIN PERIAATTEISIIN (1/3) Arviointia ja oppimista ei voi erottaa toisistaan. Arviointi on aina kontekstisidonnaista. Arviointia ei voi erottaa oppimiskäsityksestä (Jakku- Sihvonen 2001; Atjonen 2007) Suunnittele (plan) Kehitä (act) Toteuta ( do) Arvioi (check) 11
Oppimiskäsitys Arvioinnin periaatteet Esimerkki oppimiskäsityksen yhteydestä arviointiin. Empiristinen oppimiskäsitys: Oppimisen lähtökohtana ajatus tiedon staattisuudesta. Tieto pysyvää ja oppiminen tasaista. Yksilöiden kyvyt pysyviä, testein mitattavia ja arvioitavia. Arviointi kohdistuu, kuinka hyvin ja täsmällisesti oppilas pystyy toistamaan opettajan tarjoamaa tietoa. Behavioristinen oppimiskäsitys: Oppiminen käyttäytymisen muutosta. Kognitiivisessa oppimiskäsitys: Oppiminen riippuu oppijan aikaisemmista tiedoista, metakognitiivisista taidoista, omasta halusta ponnistella ja hänen käyttämistään oppimisstrategioista. Oppijan suoritusten mittaaminen. Arvioinnin ja siinä numeroarvostelun asema oli korostunut. Arvioitin kohdistuu tiedon prosessointiin, oppijan kykyyn analysoida ja soveltaa tietoa sekä oppimisstrategioiden valintaan ja käyttöön. Arviointi kohdistuu tietojen ja taitojen arviointiin, ei esimerkiksi työskentelyyn. Oppimistulos arvioidaan vertaamalla lopputuotosta lähtötilanteeseen. Arvioinnissa kiinnitettään huomiota oppijan ongelmaratkaisutaitoihin ja kykyyn ymmärtää oppimiaan tietoja ja taitoja. Konstruktivistisessa oppimiskäsitys: Oppiminen yhteisöllistä ja sosiaaliseen vuorovaikutukseen perustuva prosessi. Oppijan omien kokemusten ja oman toiminnan arviointi keskeisiä. Oppijan oma reflektointi ja itsearviointi on tärkeää ja niiden merkitystä korostetaan osana arviointia. Oppijalähtöinen eli autenttinen oppimiskäsitys: Korostaa aktiivisia ja kriittisiä ajattelu- ja tiedonhankintataitoja sekä tiedon soveltamistaitoja. Suoritusarviointi korostaa yksilön persoonallista kasvua, kehittymistä ja itsearviointitaitojen kehittämistä arvioinnin avulla. Arvioidaan oppijan kykyä rakentaa tietoja ja taitoja todellisista elämästä, autenttisista tilanteista tai oppijan ympäristöstä käsin. 12
ESIMERKKI POPSIN (2014, 17) OPPIMISKÄSITYKSESTÄ Oppimisprosessistaan tietoinen ja vastuullinen oppilas oppii va hitellen toimimaan itseohjautuvasti. Oppimisprosessin aikana ha n oppii tyo skentely- ja ajattelutaitoja seka ennakoimaan ja suunnittelemaan oppimisen eri vaiheita. Jotta oppilas voisi oppia uusia ka sitteitä ja syventa a ymma rrysta opittavista asioista, ha nta ohjataan liitta ma a n opittavat asiat ja uudet ka sitteet aikaisemmin oppimaansa. Tietojen ja taitojen oppiminen on kumuloituvaa ja se vaatii usein pitka aikaista ja sinnika sta harjoittelua. 13
ESIMERKKI LUKION LOPSIN (2015, 6) OPPIMISKÄSITYKSESTÄ Opetussuunnitelman perusteet pohjautuvat oppimiska sitykseen, jonka mukaan oppiminen on seurausta opiskelijan aktiivisesta, tavoitteellisesta ja itseohjautuvasta toiminnasta. Oppimisprosessin aikana opiskelija tulkitsee, analysoi ja arvioi eri muodoissa esitettyä informaatiota, rakentaa uutta tietoa ja syventää siten osaamistaan aikaisempien kokemustensa ja tietojensa pohjalta. Ohjaus ja rakentava palaute vahvistavat itseluottamusta ja auttavat opiskelijaa kehittämään ajatteluaan ja työskentelemään tarkoituksenmukaisella tavalla. 14
POPSISTA (2014) JA LOPSISTA (2015) EI OLE LÖYDETTÄVISSÄ YHTÄ OPPIMISKÄSITYSTÄ. MITÄ SE TARKOITTAA OPETTAJAN ARVIOINTITYÖN KANNALTA? 15
JOHDATUS ARVIOINNIN KESKEISIIN PERIAATTEISIIN (2/3) Arviointi on asetettujen tavoitteiden ja saavutettujen tulosten välistä vertailua (Guba & Lincoln 1989, 22-26; Raivola 1995, 22-30) Vain asetettujen tavoitteiden saavuttamista voidaan arvioida. Arvioinnin kiinnittäminen tavoitteisiin tekee arvioinnista läpinäkyvämpää ja konkreettisempaa. Mitkä ovat oppimiselle ja/tai osaamiselle asetetut tavoitteet? Tavoitteet Miksi, mitä ja miten arvioidaan? Missä yhteydessä arviointipalautetta annetaan, jotta se palvelee sekä arvioitavaa että arvioitsijaa? Miten tavoitteet saavutetaan parhaiten? Ts. menetelmät, työskentelytavat, sisällöt jne.? Toteutus Arviointi 16
TAVOITTEET ARVIOINNIN OSANA (Ouakrim-Soivio 2016, 69-73) Tavoitteiden määrittelyssä tulee olla mainittu mitä tietoja, taitoja, arvoja, asenteita tai kognitiivisia prosesseja oppilaan tai opiskelijan tulisi hallita. Kuvataan lopputulosta tai aiottua tulosta. Tavoitteieet voidaan luokitella sen mukaan ovatko ne: oyleisellä tasolla asetettuja (opetussuunnitelmat, laajoja, saavuttaminen kestää vuosia esim. oppimaan oppimisen taidot, työelämätaidot) okoulutukselliset tavoitteet (esim. faktan erottaminen fiktiosta) o ohjaavia tavoitteita ( tuntisuunnitelmat, tarkaan rajattuja, kapeaalaisia, saavuttaminen kestää tunteja). 17
TAVOITTEIDEN ASETTAMINEN YHDESSÄ OPPILAIDEN KANSSA Edelliset tavoitteet ja niiden saavuttaminen Täytyy saavuttaa ennen seuraavien tavoitteiden asettamista Uusien tavoitteiden asettaminen 18
ASETETTUJEN TAVOITTEIDEN ARVIOINTI POPS (2014) tavoitteet opetukselle. -> paikallisesti oppilaan oppimisen tavoitteet. LOPS (2015) tavoitteet opiskelijan tavoitteita. Edellyttää opettajalta kokonaisuuksien suunnittelua ja ymmärrystä siitä, ovatko tavoitteet tieto-,taito-, asenne- vai arvotavoitteita. Tavoitteiden asettelu yhdessä oppilaiden/opiskelijoiden ja opettajan kanssa -> tekee oppimista ja osaamista läpinäkyvämmäksi. Osaamisen ja oppimisen arviointi suhteessa tavoitteisiin (ei ryhmän muihin oppilaisiin tai heidän suorituksiinsa). 19
ARVIOIDAANKO ASENNETAVOITTEITA VAI EI? Kaikissa perusopetuksen oppiaineissa on määritelty tiedollisia ja taidollisia tavoitteita, jotka on otettu myös huomioon perusopetuksen 6.vuosiluokan päättyessä ja perusopetuksen päättyessä, kun määritellään hyvää osaamista eli arvosanaa kahdeksan ja päättöarvioinnin kriteerissä arvosanalle kahdeksan. Joissain oppiainekohtaisissa osioissa saattaa olla määritelty oppiaineen välittämiä arvoja ja asenteita. T1 synnyttää ja ylläpitää oppilaan kiinnostusta ympäristöön ja ympäristöopin opiskeluun sekä auttaa oppilasta kokemaan kaikki ympäristöopin tiedonalat merkityksellisiksi itselleen. S1-S6 Ympäristöopin merkityksen hahmottami nen. Oppilas osaa antaa esimerkkejä ympäristöopin tiedonalojen merkityksestä. HUOM! Oppiaineet poikkeavat tässä suhteessa paljon toisistaan.
KRITEERIPERUSTEINEN ARVIOINTI Tavoitteiden saavuttamista arvioidaan yhdessä ennalta sovituin kriteerein. Kriteeri = Mittatikku, jolla asetettuja tavoitteita arvioidaan. TAVOITE KRITEERI ARVIOINTI KRITEEREIN JA SUHTEESSA TAVOITTEISIIN 21
Diagnostinen arviointi= Toteava arviointi= Lähtötason arviointi Formatiivinen arviointi= Jatkuva palautteen antaminen = Oppimisprosessin arviointi Summatiivinen arviointi= Osaamisen arviointi= Tulokset, tuotokset, produktio jne. Prognostinen arviointi= Ennakoiva arviointi = Tulevaisuuden ennustaminen arvioinnin avulla 22
JOHDATUS ARVIOINNIN KESKEISIIN PERIAATTEISIIN (3/3) Arvioinnilla on monia erilaisia tehtäviä esimerkiksi a) opintojen aikana tai b) kurssin päättyessä tai lukiokoulutuksen päättyessä. FORMATIIVINEN ARVIOINTI = Oppimisen (ts. oppimisprosessin) ja siinä edistymisen arviointi. Laadullista, kuvailevaa, solmukohtia analysoivaa. Tehtävänä antaa opiskelijalle monenlaista, kannustavaa ja opiskelua ohjaavaa palautetta. HUOM! Kannustava arviointi ei ole sama kuin kannustavan arvosanan antaminen. SUMMATIIVINEN ARVIOINTI = Osaamisen arviointi. Arvosanan antaminen opintokokonaisuuden päättyessä (numero tai kirjain). Tehtävänä kertoa suoritustasosta: kvalifioiva ja selektoiva tehtävä. 23
ARVIOINNIN TULISI MUODOSTAA KONAISUUS, JOSSA ARVIOINNIN ERILAISET TEHTÄVÄT ON OTETTU HUOMIOON! Diagnostinen toteava arviointi Formatiivinen oppimisen arviointi Summatiivinen osaamisen arviointi Formatiivinen oppimisen arviointi Prognostinen ennakoiva arviointi 24
Ennen arviointia= diagnostinen=toteava arviointi (preassessment) Oppimisen arviointi (formative assessment) Osaamisen arviointi (summative assessment) Milloin? Ennen työskentelyn alkamista. Toteaa oppilaan/opiskelijoiden lähtötason Työskentelyn aikana Työskentelyn päätyttyä Miksi? Jotta: tiedettäisiin, mitä oppilas osaa. ohjeet kohdentuisivat oikein jo suunnitteluvaiheessa. oppilas huomaa, että arvostat hänen aiempaa osaamistaan. Jatkuva palautteen antaminen. Seurataan oppimisprosessin ajan, miten oppiminen edistyy. Antaa mahdollisuuden tarkistaa oppilaan ja/tai opetusryhmän työskentelyä. Tehdä näkyväksi, mitä oppilas on oppinut. Miten? Niin, että: sopii yhteen asetettavien tavoitteiden kanssa. ei tarvitse tehdä kirjallisesti. antaa oppilaalle mahdollisuuden osoittaa osaamistaan monella eri tavalla. arvioidaan vain yhtä asiaa kerrallaan. Esimerkiksi: tarkistuslistat, oppimispäiväkirjat, itsenäisesti tarkistettavat tehtävät, oppilaiden vastaukset, yhteenvedot, kysymysten laatiminen, reflektiot oppimisesta, projekti, ka dennosto/ liikennevalot oppimisesta Täytyy sopia yhteen tavoitteiden, sisältöjen ja opetusmenetelmien kanssa. Voi olla suullista tai kirjallista. Voidaan toteuttaa yksilöllisesti tai ryhmässä. Voidaan tarvittaessa eriyttää opiskelijan (erityis)tarpeet huomioon ottaen. HUOM! Mikään ylläolevista ei tarvitse olla kirjallinen/ Voidaan toteuttaa oppimisalustalla/ Tulee kohdistua oppimisprosessiin! Mitä muuta? Antaa mahdollisuuden havaita, mitä ei enää tarvitse opettaa Ei arvosanaa. (=oppilaat osaavat jo). Voidaan toteuttaa nopeastikin. Suunnitellaan tulevaa oppilaiden tarpeet huomioon ottaen. Opiskelijan tulee myös ymmärtää, miksi oppimista Muodosta joustavia opetusryhmiä työskentelyn alussa. arvioidaan. Reflektion väline, jolla oppimista suunnataan eteenpäin. Arviointi / arvosanan antaminen: perustuu tavoitteisiin ja opetuksen sisältöihin. on aina perusteltua. 25
MONIPUOLINEN ARVIOINTI = Monta eri kertaa, monella eri tavalla + Monipuoliset ja tarkoituksenmukaiset arviointikeinot. EDISTYMISEN ARVIOINTI = Laadullista ja kuvailevaa, sanallista eli suullista tai kirjallista. 6.10.2016 26
OPETTAJAN ARVIOINTITAIDOT OPPIMISEN JA OSAAMISEN MONIPUOLINEN ARVIOINTI MITÄ? Teoria/käytäntö prosessi/tulos Esiintyminen/ ryhma tyo skentely KUKA? Opiskelutoveri tai toverit, itse, opettaja, opettajat yhdessä, ryhma MIKSI? Motivointi, arvosanan antaminen, palaute, virheiden korjaaminen, suunnan valitseminen, ohjaaminen MILLOIN? Jatkuvasti oppimiskokonaisuuden aikana, alussa, ennen kokonaisuuden aloittamista, puolivälissä, kokonaisuuden päättyessä, opintokokonaisuuden opiskelun ja lkeen MITEN? Itsearviointi, vertaisarviointi, ryhmäarviointi, kirjallisesti, suullisesti, portfolio, yksilökoe, muistiinpanot mukaankoe, esitelma, esitys MISSÄ MUODOSSA ARVIOINTI ANNETAAN? Sähköisesti, paperilla, todistuksena, suullisesti Najat Ouakrim-Soivio (KT, FL), najat@arviointi.fi, 6.10.2016 27
ITSEARVIOINTITAIDOT (2/4) Oppilaan tai opiskelijan itsearviointitaidot voidaan jakaa kolmeen osaan: reflektioon, itsearviointiin ja metakognitioon. Reflektiossa oppilas tai opiskelija tarkkailee ja omia tunteitaan, ajatuksiaan, toimintatapojaan ja oppimistaan. Itsearviointi on edellä kuvattuun reflektioon perustuvaa oman toiminnan jäsentynyttä arviointia. Metakognitiolla tarkoitetaan muun muassa tarkkailun ja arvioinnin perusteella tapahtuvaa oman kognitiivisen toiminnan ymmärtämistä (Patrikainen 1999, 154; Kasanen 2003, 26). Reflektio Omien tunteiden, ajatusten ja oppimisen tarkkailua. Itsearviointi Oman toiminnan jäsentynyttä arviointia. Metakognitio Reflektion ja itsearvioinnin perusteella tapahtuvaa kognitiivista toiminnan ymmärtämistä. 28
ITSEARVIOINTITAIDOT (3/4) Itsearvioinnin kytkemistä oppilaan/ opiskelijan oppimisen arviointiin pidetään tehokkaana, sillä se lisää oppilaan tai opiskelijan tietoisuutta esimerkiksi arvioinnin kriteereistä. (Keurulainen 2013, 56). Toisenlaisia näkemyksiä itsearvioinnin hyödyllisyydestä on esittänyt Kasanen (2003), jonka mukaan itsearvioinnista voi olla alaluokkien oppilaalle haittaa. Mikäli oppilas ei ymmärrä itsearvioinnin tavoitetta ja tarkoitusta tai hänellä ei ole vielä kykyä reflektoida tai arvioida omaa toimintaansa, itsearvioinnit saattavat vaikuttaa kielteisesti lapsen minäkuvaan ja itsetunnon kehittymiseen. Oppimisen arvioinnin, näin myös itsearviointien, täytyy kohdistua ensisijaisesti toimintaan, ei henkilöön, ja sen tulee vahvistaa koulunkäyntimotivaatiota ja oppimisen edistymistä (Ouakrim-Soivio ym. 2015). 29
ITSEARVIOINTITAIDOT(4/4) Osittain itsearvioinnin haasteellisuuteen saattaa liittyä se, että lapset tarvitsevat aikaa ja kokemusta oman toimintansa arvioimiseksi. Tutkimuksessa on todettu että lapset osaavat tehdä esimerkiksi muiden oppilaiden kyvyistä loogisia arviointeja ennen kuin osaavat arvioida omia kykyjään. Arvioissaan lapset käyttävät sitä tietoa, mitä heillä on omista ja toisten aiemmista suorituksista (Stipek & McIver 1989, 523 537). Tutkimuksella on myös osoitettu, että lasten itsearvioinnit tulevat realistisemmiksi iän myötä (Marsh, Craven & Debus 1998, 1030). 30
VERTAISARVIOINTI Arvioinnin suorittajat edustavat arvioitavan kaltaista kokemusta. Arviointipalautetta annetaan osana oppimisprosessia. Vertaisarvioinnin merkitys kasvanut sitä mukaa, kun on otettu käyttöön erilaisia tapoja toteuttaa ryhmätyöskentelyn arviointia tai työskentelylle asetettujen tavoitteiden arviointia. Vertaisarvioinnin tavoitteena on: - tukea yksittäisen opiskelijan sitoutumista yhteisesti asetettuihin tavoitteisiin ja työskentelyyn, - ohjata kantamaan vastuuta sekä omasta että muiden oppimisesta, työskentelystä ja työskentelyn loppuunsaattamisesta. 31
KRITEERIPERUSTEINEN ARVIOINTI 32
KRITEERIPERUSTEINEN ARVIOINTI (1/2) Periaatteena, että henkilön tuotos/suoritus arvioidaan sen perusteella, kuinka hyvin se vastaa ennalta määriteltyjä kriteereitä. Kriteeriperusteisessa arvioinnissa toiminnan laatua ja tuloksia siis verrataan yhdessä sovittuihin kriteereihin. Virta (1999, 96, 141) puolestaan määrittelee kriteerin vaatimustasona, jonka perusteella oppilaan osaamista eli tietoja, taitoja tai tuotoksia arvioidaan. 33
KRITEERIPERUSTEINEN ARVIOINTI (2/2) Keskeisimpiä tavoitteita on luoda järjestelmä, jossa arvioidaan, miten oppilas hallitsee etukäteen määriteltyjä tieto- ja taitoalueita. Mitä yksityiskohtaisimmin ja selkeämmin kriteerit on kuvattu, sitä helpompaa on arviointituloksen luotettavuuden toteaminen (Jakku-Sihvonen 2001, 119). Arviointikriteerien määrittely edellyttää, että kansallisista tavoitteista on päätetty yhteisesti ja että kriteerit on tulkittavissa yksimielisesti. (Koulutuksen tuloksellisuuden arviointimalli 1998, 13.) Kriteereihin perustuvalla arvioinnilla uskotaan lisättävän arvioinnin oikeudenmukaisuutta ja sitä pidetään opiskelijan kannalta oikeudenmukaisena ja reiluna, koska kriteerien tavoitteet on määritelty etukäteen ja ne perustuvat opetussuunnitelmaan. (Jakku-Sihvonen 2001, 119; Atjonen 2007, 156.) 34
SUOMALAINEN KRITEERIPERUSTEINEN ARVIOINTI ON HYBRIDI! POPS (2014) KOULUJEN ARVIOINTITYÖ LOPS (2003, 2015) YOtutkinto 35
Andersonin ja Krathwohlin taksonomia (2001 KOGNITIIVSEN PPROSESSIN ULOTTUVUUS TIEDON ULOTTUVUUS 1. MUISTAA - Edeltää tunnistaminen. 2. YMMÄRTÄÄ - Tulkita, havainnollistaa, luokitella, summata, päätellä, vertailla ja selittää. 3. SOVELTAA - Tiedon soveltaminen käytäntöön esim. harjoitustehtävässä. - Tiedon käyttöön otto. 4. ANALYSOIDA - Erotella tietoa+ jäsentää / järjestää tietoa uudelleen + liittää tietoa uudelleen/uusiin yhteyksiin. - Faktan erottaminen mielipiteestä, syiden ja seurausten yhdistäminen tai oleellisen tiedon erottaminen epäoleellisesta. 5. ARVIOIDA Edellyttää päättelyä, joka perustuu annettuihin kriteereihin. - Arviointiin kuuluu asian tarkastaminen ja asioiden kriittinen tarkastelu. 6. LUODA -Erilaisten tiedon elementtien yhdistäminen toisiinsa johdonmukaisesti ja toimivalla tavalla. - Liitetään aikaansaamiseen, suunnitteluun ja tuottamiseen. - Edellyttää kognitiivisena prosessina kehittämistä esim. ilmiön, hypoteesin tai jo olemassa olevan kriteerin uudenlaista tarkastelua. A. FAKTATIETO (Yksittäiset asiat) B. KÄSITETIETO (Mitä? Tiedon kokonaisuudet) C. MENETELMÄ-TIETO (Miten? Taidot, tietojen prosessointi) D. METAKOGNITIIVINEN TIETO (Oman toiminnan, tietojen ja ajattelun arviointia) 36
Tiedon ulottuvuus Kognitiivisen prosessin ulottuvuus Faktatieto Käsitetieto Muistaa Ymmärtää Soveltaa Analysoida Arvioida Luoda Muistaa historiallisia termejä tai yksittäisiä historiallisia tapahtumia. Nimeää historiallisia ajanjaksoja. Tietoja historiallisista tapahtumista tai historian henkilösitä tai vuosiluvuista. Ymmärtää historiallisen faktatiedon ja tulkinnan eron. Osaa tehdä johtopäätöksiä osaamiensa historiallisten faktojen perusteella. Osaa soveltaa tietojaan Toisen maailmasodan syihin tai seurauksiin. Analysoi oppimiaan historiallisia faktoja. Analysoi historiallisten käsitteiden eroja. Arvioi historiallisten faktojen luotettavuutta. Arvioi, mikä tutkimusmenetelmä sopii parhaiten kyseisen historiantutkimusongelman ratkaisemiseksi. Tuottaa uutta tietoa esimerkiksi historiantutkimukseen. Luo tutkimuksen pohjalta uuden käsitteen ja perustelee sen. Menetelmätieto Tunnistaa historian tutkimuksen menetelmistä esimerkiksi ensikäden lähteen. Ymmärtää, mikä ero on primaari -ja sekundaarilähteellä historian tutkimuksessa. Tulkitsee historiallista dokumenttia. Soveltaa tietämiään faktoja dokumentin tulkitsemisessa.. Osaa suunnitella tutkimusprosessin. Kykenee tutkimushypoteesien esittämiseen. Pystyy arvioimaan, mikä menetelmä sopii parhaiten tietyn ongelman ratkaisemiseksi. Kehittää vaihtoehtoisen/ uuden menetelmän historiallisen ongelman ratkaisemiseksi. Metakognitiivinen tieto Laatii muistisääntöjä itselleen historian faktojen muistamiseksi. Tietää, milloin mitäkin historian tutkimusmenetelmää käytetään. Osaa eritellä omia kiinnostuksen kohteitaan historiassa. Tietää omat vahvuutensa ja heikkoutensa historian eri osaalueilla. Pystyy muodostamaan omia mielipiteitä analysoituaan historian tutkimuksen tuloksia. Kykenee arvioimaan valitsemaansa tutkimusprosessia. Kykenee arvioimaan saamiensa tutkimustulosten luotettavuutta. Pystyy luomaan uuden tai paremman tutkimusprosessin, jolla tietty tutkimusongelma voidaan ratkaista 37
TAVOITTEIDEN ARVIOINTI Taksonomia perustuu: kaksisuuntaisuuteen, siihen, että tavoiteverbi on arvioitavissa = Esim. muistaa, osaa antaa esimerkin, osaa soveltaa vs. Osaa käyttää julkisia palveluita. Edellyttää: opetuskokonaisuuden suunnittelua niin, että tavoitteet, toteutus ja arviointi liittyvät toisiinsa. Mitkä ovat oppimiselle asteteut tavoitteet (tiedot, taidot, asenteet, soveltaminen)? Tavoitteet Miksi arvioidaan? Mitä ja miten arvioidaan? Miten ja missä yhteydessä arviointipalautetta annetaan, jotta se palvelee sekä arvioitavaa että arvioitsijaa? Arviointi Miten oppimiselle astetut tavoitteet parhaiten tulee saavutettua (menetelmät, työskentelytavat, sisällöt jne.)? Toteutus 38
Perusopetuksen päättöarviointi ei toimi niin yhdenvertaisesti, kun on luultu (Ouakrim-Soivio 2013) 85 Koulujen väliset erot suuria, jopa kaksi arvosanaa. 80 81 Samalla osaamistasolla eri arvosanoja. -> Mitä parempi koulun keskimääräinen osaamistaso on, sitä vaikeampaa on saada arvosanoja ja päin vastoin. Tutkimustulokset, joissa mukana hi, yh, matematiikka, tervystieto, A1 vieraat kielet ja B1 vieraat kielet (Hildén, Ouakrim-Soivio, Rautopuro 2016) Yhteiskuntaopin ratkaisuosuus (%) 75 70 65 60 58 66 72 58 78 65 71 Q1 Q2 Q3 Q4 -> Mukana lähes 20 000 perusopetuksen 9. vuosiluokan oppilasta ja satoja kouluja. 55 55 53 -> Tulokset saman suuntaiset kuin viereisessä kuviossa. 50 45 45 48 6.10.2016 41 40 4 5 Yhteiskuntaopin 6 7 arvosana 8 9 10 Najat Ouakrim-Soivio (KT, FL) najat@arviointi.fi 39
Päättöarvosanojen suhteuttaminen jatkuu yhä edelleen Yhä edelleen vain päättöarvioinnin kriteerit arvosanalle 8 Arvosanan 5 (välttävä) kuvaus POPS (2014, 54): Oppilas on saavuttanut perusopetuksen yleisen oppimäärän mukaiset tavoitteet oppiaineessa välttävästi (5): mikäli hän osoittaa jossakin määrin oppiaineelle asetettujen tavoitteiden mukaista osaamista. Arvosanan muodostaminen perustuu myös tässä tapauksessa oppilaan osoittamaan keskimääräiseen osaamiseen, eli välttävän tason ylittäminen joidenkin tavoitteiden osalta voi kompensoida hylätyn (4) suoriutumisen joidenkin muiden tavoitteiden osalta. 40
Päättöarvosanojen suhteuttaminen jatkuu yhä edelleen Historian opetuksen tavoitteena on Sisältö-alueet Arvioinnin kohteet oppiaineessa TUKIMATERIAALI: Arvosanan kahdeksan alle jäävä osaaminen Päättöarvioinnin kriteerit arvosanalle 8 TUKIMATERIAALI: Arvosanan kahdeksan ylittävä osaaminen T9 ohjata oppilasta selittämään ihmisen toiminnan tarkoitusperiä S1 S6 Ihmisen toiminnan selittäminen Oppilas tunnistaa joitain ihmisen toiminnan tarkoitusperistä. Oppilas osaa kuvailla ihmisen toiminnan tarkoitusperiä. Oppilas osaa analysoida ihmisen toiminnan erilaisia tarkoitusperiä. 6.10.2016 41
Päättöarvosanojen suhteuttaminen jatkuu yhä edelleen Oppilas ottaa pääsääntöisesti vastuun omasta oppimisestaan ja kykenee työskentelemään ryhmässä. Oppilas osaa antaa esimerkkejä mahdollisuuksista toimia luonnossa kestävällä tavalla vs. Oppilas osaa selittää ja perustella monipuolisten esimerkkien avulla miten luonnossa toimitaan kestävällä ja luonnon monimuotoisuutta säilyttävällä tavalla. Oppilas osaa ohjatusti hakea terveyteen liittyvää luotettavaa tietoa eri laisista lähteistä ja käyttää sitä pääosin vs. Oppilas osaa itsenäisesti hakea terveyteen liittyvää luotettavaa tietoa monipuolisista lähteistä ja käyttää ja soveltaa sitä. 6.10.2016 42
Miksi juuri Andersonin ja Krathwohlin taksonomia? POPSin oppiaineet on rakennettu kyseistä taksonomiaa käyttäen. YTL:n tehtäväryhmät käyttävät jo nyt Andersonin ja Krathwohlin taksonomiaa eri oppiaineiden tehtäviä laadittaessa. Artikkeli Kasvatus ja Aika-Lehdessä 3/2013 http://www.kasvatus-jaaika.fi/site/?page_id=566, jossa analysoitiin, miten yo-tutkinnon yhteiskuntaopin koetehtävät tulkitsevat ja painottavat opetussuunnitelman perusteiden opetuksen tavoitteita, etenkin taidollisia? Analyysissä opetussuunnitelman mukaiset yhteiskuntaopin opetuksen tavoitteet purettiin osiin, joita verrattiin yhteiskuntaopin koetehtäviin vuosilta 2006 2010. Tulos: Arvioinnin taidot olivat hyvin heikosti edustettuina koetehtävissä, ja luominen rajoittui paljolti tekstin tuottamiseen. 43
Työpajaosuus Klo 17-19.00 6.10.2016 44
TYÖPAJA I MONIPUOLINEN ARVIOINTI JA SEN TOTEUTTAMINEN Työskentely: Työskentelyryhmä valitsee oppiaineen ja miettii suhteessa oppiaineessa asetettuihin tavoitteisiin mitä, miten, miksi ja milloin arvioidaan? Jokainen ryhmän jäsen kirjaa pohdintansa esim. kehälle (työskentelypohja, dia 3). 1) Keskustelkaa pareittain/ryhmässä, miten muut arvioivat kyseistä oppiainetta tai tiettyä kokonaisuutta siinä. Kirjaa kehälle esim. toisella värillä, mitä uusia ja/tai toteuttamiskelpoisia ideoita kuulit. 3) Jatkakaa keskustelua ryhmässä siitä, mitä monipuolinen arviointi konkreettisesti tarkoittaa valitsemassanne oppiaineessa? Antakaa käytännön esimerkkejä. 5) Miten oppilaat osallistuvat arviointiin? 6) Miten ja missä yhteydessä käytät omassa opetustyössäsi saamaasi arviointipalautetta? 7) Millaista yhteistyötä opetussuunnitelma velvoittaa tekemään arviointiin liittyen kotien kanssa? HUOM! Voitte halutessanne ka ytta a apuna arvioinnin peruskysymyksia tai vuosikelloa (Työskentelypohja/ diat 2 ja 3). 6.10.2016 Najat Ouakrim-Soivio (KT, FL), najat@arviointi.fi, 45
Lukio Valitkaa jokin pakollinen kurssi ja miettikää suhteessa kurssin keskeisimpiin tavoitteisiin mitä, miten, miksi ja milloin arvoit opiskelijoita kurssin aikana? Kirjaa pohdintasi kehälle (dia 47) Keskustelkaa pareittain/ryhmässä, miten muut arvioivat valitsemaansa pakollista kurssia. Kirjaa kehälle esim. toisella värillä, mitä uusia ja/tai toteuttamiskelpoisia ideoita kuulit. Jatkakaa keskustelua ryhmässä siitä, - Miten otatte kurssin suunnittelussa ja toteutuksessa huomioon arvioinnin monipuolisuuden? - Arvioidaanko oppiaineessanne/ pakollisissa kursseissa myös taitoja? Miten ja milloin? - Miten opiskelijat osallistuvat kurssin aikana arviointiin? - Miten opettajana käytät saamaasi arviointipalautetta? - Vaikuttaako yo-tutkinto kurssin arviointikäytänteisiin? Miten? 46
OPPIMISEN JA OSAAMISEN MONIPUOLINEN ARVIOINTI MITÄ? Teoria/käytäntö prosessi/tulos Esiintyminen/ ryhma tyo skentely KUKA? Opiskelutoveri tai toverit, itse, opettaja, opettajat yhdessä, ryhma MIKSI? Motivointi, arvosanan antaminen, palaute, virheiden korjaaminen, suunnan valitseminen, ohjaaminen MILLOIN? Jatkuvasti oppimiskokonaisuuden aikana, alussa, ennen kokonaisuuden aloittamista, puolivälissä, kokonaisuuden päättyessä, opintokokonaisuuden opiskelun ja lkeen MITEN? Itsearviointi, vertaisarviointi, ryhmäarviointi, kirjallisesti, suullisesti, portfolio, yksilökoe, muistiinpanot mukaankoe, esitelma, esitys MISSÄ MUODOSSA ARVIOINTI ANNETAAN? Sähköisesti, paperilla, todistuksena, suullisesti Najat Ouakrim-Soivio (KT, FL), najat@arviointi.fi, 6.10.2016 47
Oppimiskokonaisuus alkaa Oppimiskokonaisuus päättyy Najat Ouakrim-Soivio (KT, FL), najat@arviointi.fi, 6.10.2016 48
TYÖPAJA II TIETOJEN OHELLA TAITOJEN ARVIOINTIA Työskentelyohjeet: Työskentelyryhmä valitsee yhteisen oppiaineen, jonka tavoitteita aletaan työstää. Tavoitteet jaetaan tiedollisiin, taidollisiin, asenne-ja arvotavoitteisiin. 1) Katsokaa tavoite kerrallaan (T1, T2 jne.) minkälaista tiedon ja kognitiivisen ulottuvuuden osaamista tavoite edellyttää? 2) Sijoittakaa palastellut tavoitteet taksonomiatauluun (työskentelypohja/ dia 49 ) sen mukaan, mihin ryhmä keskustelujen pohjalta niissä päätyy. 3) Poimikaa luokittelemistanne tavoitteista taidolliset tavoitteet? 4) Miten arvioisitte taidossa edistymistä? HUOM! Edistymisen arviointi on laadullista ja kuvailevaa. 5) Miten taidossa edistymistä ja sen saavuttamista voisi konkretisoida oppilaalle? 6) Miten huoltajille voisi viestiä oppilaan tavoitteiden saavuttamisesta? 7) Jakakaa ja kirjatkaa hyväksi koettuja käytännön toimintatapoja. Najat Ouakrim-Soivio (KT, FL), najat@arviointi.fi, 49
Oppiaine: Vuosiluokan päättyessä arvioitava osaaminen Kognitiivisen prosessin ulottuvuus Tiedon ulottuvuus 1. Muistaa 2. Ymmärtää 3. Soveltaa 4. Analysoida 5. Arvioida 6. Luoda A. Faktatieto A. Käsitetieto A. Menetelmätieto A. Metakognitiivinen tieto
Andersonin ja Krathwohlin taksonomia (2001) KOGNITIIVSEN PPROSESSIN ULOTTUVUUS TIEDON ULOTTUVUUS 1. MUISTAA - Edeltää tunnistaminen. 2. YMMÄRTÄÄ - Tulkita, havainnollistaa, luokitella, summata, päätellä, vertailla ja selittää. 3. SOVELTAA - Tiedon soveltaminen käytäntöön esim. harjoitustehtävässä. - Tiedon käyttöön otto. 4. ANALYSOIDA - Erotella tietoa+ jäsentää / järjestää tietoa uudelleen + liittää tietoa uudelleen/uusiin yhteyksiin. - Faktan erottaminen mielipiteestä, syiden ja seurausten yhdistäminen tai oleellisen tiedon erottaminen epäoleellisesta. 5. ARVIOIDA Edellyttää päättelyä, joka perustuu annettuihin kriteereihin. - Arviointiin kuuluu asian tarkastaminen ja asioiden kriittinen tarkastelu. 6. LUODA -Erilaisten tiedon elementtien yhdistäminen toisiinsa johdonmukaisesti ja toimivalla tavalla. - Liitetään aikaansaamiseen, suunnitteluun ja tuottamiseen. - Edellyttää kognitiivisena prosessina kehittämistä esim. ilmiön, hypoteesin tai jo olemassa olevan kriteerin uudenlaista tarkastelua. A. FAKTATIETO (Yksittäiset asiat) B. KÄSITETIETO (Mitä? Tiedon kokonaisuudet) C. MENETELMÄ-TIETO (Miten? Taidot, tietojen prosessointi) D. METAKOGNITIIVINEN TIETO (Oman toiminnan, tietojen ja ajattelun arviointia) 51
Tiedon ulottuvuus Kognitiivisen prosessin ulottuvuus Faktatieto Käsitetieto Muistaa Ymmärtää Soveltaa Analysoida Arvioida Luoda Muistaa historiallisia termejä tai yksittäisiä historiallisia tapahtumia. Nimeää historiallisia ajanjaksoja. Tietoja historiallisista tapahtumista tai historian henkilösitä tai vuosiluvuista. Ymmärtää historiallisen faktatiedon ja tulkinnan eron. Osaa tehdä johtopäätöksiä osaamiensa historiallisten faktojen perusteella. Osaa soveltaa tietojaan Toisen maailmasodan syihin tai seurauksiin. Analysoi oppimiaan historiallisia faktoja. Analysoi historiallisten käsitteiden eroja. Arvioi historiallisten faktojen luotettavuutta. Arvioi, mikä tutkimusmenetelmä sopii parhaiten kyseisen historiantutkimusongelman ratkaisemiseksi. Tuottaa uutta tietoa esimerkiksi historiantutkimukseen. Luo tutkimuksen pohjalta uuden käsitteen ja perustelee sen. Menetelmätieto Tunnistaa historian tutkimuksen menetelmistä esimerkiksi ensikäden lähteen. Ymmärtää, mikä ero on primaari -ja sekundaarilähteellä historian tutkimuksessa. Tulkitsee historiallista dokumenttia. Soveltaa tietämiään faktoja dokumentin tulkitsemisessa.. Osaa suunnitella tutkimusprosessin. Kykenee tutkimushypoteesien esittämiseen. Pystyy arvioimaan, mikä menetelmä sopii parhaiten tietyn ongelman ratkaisemiseksi. Kehittää vaihtoehtoisen/ uuden menetelmän historiallisen ongelman ratkaisemiseksi. Metakognitiivinen tieto Laatii muistisääntöjä itselleen historian faktojen muistamiseksi. Tietää, milloin mitäkin historian tutkimusmenetelmää käytetään. Osaa eritellä omia kiinnostuksen kohteitaan historiassa. Tietää omat vahvuutensa ja heikkoutensa historian eri osaalueilla. Pystyy muodostamaan omia mielipiteitä analysoituaan historian tutkimuksen tuloksia. Kykenee arvioimaan valitsemaansa tutkimusprosessia. Kykenee arvioimaan saamiensa tutkimustulosten luotettavuutta. Pystyy luomaan uuden tai paremman tutkimusprosessin, jolla tietty tutkimusongelma voidaan ratkaista 52
ARVIOINTIKULTTUURI 53
ARVIOINTIKULTTUURIN KEHITTÄMINEN ARVIOINNISSA JATKAN ALAN VÄHEN- NÄN LISÄÄN LOPETAN 54
ARVIOINTIKULTTUURI Arviointikulttuuri on käsitteenä laaja, koska sillä voidaan kuvata monia erilaisia asioita. Arviointikulttuuri = arvot+ normit+ toimintatavat, joita yhteisössä jaetaan yhteistyössä kielen avulla kommunikoiden (Ouakrim-Soivio 2016, 91). Koulun tai oppilaitoksen arviointikulttuurin määritteleminen edellyttää, että opettajat ja rehtorit kykenevät analysoimaan arviointiin liittyviä arvojaan eli arviointi-ideologiaansa, arviointitoimintaansa ja siihen kytkeytyviä ajatteluja toimintamalleja. Arvioinnilla ei ole merkitystä, mikäli se ei palvele sekä arvioitavaa että arvioijaa. 55
MITÄ ON HYVÄ ARVIOINTIKULTTUURI? Kouluissa ja oppilaitoksissa tehtävä arviointityö edellyttää, että arviointitoiminnan pelisäännöt ovat kaikille selviä. Hyvään arviointikulttuuriin kuuluu, että arvioinnista saatavan palautteen vaikutuksia valintoihin ja arvioinnin perusteella tehtäviä päätöksiä ennakoidaan jo silloin, kun arviointia aletaan suunnitella. Jotta arviointikulttuuria voidaan kehittää, olemassa olevat toimintamallit ja rakenteet tulisi kirjata. Niihin tulee voida palata, niitä tulee voida arvioida, ja niiden pohjalta voidaan asettaa uusia tavoitteita (Jakku-Sihvonen & Heinonen 2001, 148). 56
KESKEISIÄ KYSYMYKSIÄ ARVIOINTIKULTTUURIN MÄÄRITTELEMISEKSI Mitkä eri toimijoiden (rehtori, opettajat, opiskelijat, huoltajat, sidosryhmät ) tehtävät ja vastuut ovat oppilaitoksessanne tehtävässä arviointityössä? Käydäänkö arvioinnista ammatillista keskustelua säännöllisesti, jos käydään, niin missä yhteydessä? Jos ei käydä, niin miksi ei ja pitäisikö käydä? Mitä arviointiin liittyviä käytänteitä tai toimintamalleja teillä on jo olemassa? Mitä pidätte ehdottomasti säilyttämisen arvoisina? Miksi? Miten muuttaisitte olemassa olevia käytänteitä tai toimintamalleja? Miksi? 57
KESKEISIÄ KYSYMYKSIÄ ARVIOINTIKULTTUURIN MÄÄRITTELEMISEKSI keitä oppilaitoksen arviointikulttuuri koskee, miltä arviointikulttuuri näyttäytyy suhteessa eri toimijoihin, kuten opettajiin, opiskelijoihin tai huoltajiin, mitkä eri toimijoiden roolit ovat arvioinnissa, mitä arviointiin liittyviä käytänteitä tai toimintamalleja on jo olemassa, onko käytänteitä tai toimintamalleja syytä kehittää tai muuttaa, käydäänkö arvioinnista ammatillista keskustelua säännöllisesti, tukevatko olemassa olevat käytänteet, toimintamallit, keskustelut ja muut mahdolliset rakenteet opettajan ja rehtorin arviointityötä, miten arvioinnin eri tehtävät otetaan huomioon käytännön arviointityössä, miten arvioinnin monipuolisuus ilmenee käytännössä, miten opetuksen tai koulutuksen laatua arvioidaan, miten ja keille laadun arvioinnin tuloksista tiedotetaan, miten arviointitietoa käytetään toiminnan kehittämisessä? 58
MITEN TÄSTÄ ETEENPÄIN? NYKYTILA TAHTOTILA ESTEET REALISMI 59
KIITOS JA HYVÄÄ LUKUVUODEN JATKOA! @najatouakrim najat@arvointi.fi 60
Lähteet Anderson, L. W., Krathwohl, D. R., Airasian, P.W., Cruikshank, K. A., Mayer, R. E., Pintrich, P. R., Raths, J., Wittrock, M. C. (toim.) 2001. A Taxonomy for Learning, Teaching, and Assessing. A Revision of Bloom s Taxonomy of Educational Objectives. Abridged Edition. New York: Addison Wesley Longman. Atjonen, P. 2005. Arviointi opetuksen ja oppimisen tueksi. Teoksessa Lyytinen, H. K. & Räisänen, A. (toim.). Kehittämissuuntaa arvioinnista. Koulutuksen arviointineuvoston julkaisuja6. Jyväskylä: Koulutuksen arviointineuvosto, 143 152. Atjonen, P. 2007. Hyvä, paha arviointi. Helsinki: Kustannusosakeyhtiö Tammi. Atjonen, P. 2015. Kehittävä arviointi kasvatusalalla. Tampere: Kirjokansi. Cross, L. H. & Frary, R. B. 1999. Hodgebodge Grading: Endorsed by Students and Teachers alike. Applied measurement in Education, 12(1), 53 72. Guskey, T. R. & Bailey, J. M. 2001. Developing Grading and Reporting Systems for Student Learning. California: Corwin Press. Heinonen, S. 2001. Arvioinnin teoreettisia lähtökohtia. Teoksessa Jakku-Sihvonen, R. & Heinonen S.2001. Johdatus koulutuksen uudistuvaan arviointikulttuuriin. Arviointi 2/2001. Helsinki: Opetushallitus, 21 46. Hirvonen, K. 2012. Onko laskutaito laskussa? Matematiikan oppimistulokset perusopetuksen päättövaiheessa 2012. Koulutuksen seurantaraportit 2012: 4. Helsinki: Opetushallitus. Kupiainen, S.2014. Kupiainen, S. 2014. Toisen asteen valinta Metropolialueena. koulutuksellisen tasa-arvon toteutuminen yläkoulussa ja toisen asteen valinnassa. Helsingin yliopisto Koulutuksen Arviointikeskus. Jakku-Sihvonen, R. 2001. Arviointitiedon luotettavuuden osoittaminen. Teoksessa Jakku-Sihvonen, R. & Heinonen, S. Johdatus koulutuksen uudistuvaan arviointikulttuuriin. Arviointi 2/2001. Helsinki: Opetushallitus, 111 135. Jakku-Sihvonen, R. 2013. Oppimistulosten arviointijärjestelmiä ja niiden kehittämishaasteista. Teoksessa Räisänen, A. (toim.). Oppimisen arvioinnin kontekstit ja käytännöt. Raportit ja selvitykset 2013:3. Helsinki: Opetushallitus, 13 36. Kuukka, K. & Metsämuuronen,J. 2016. Perusopetuksen päättövaiheen suomi toisena kielenä (S2) -oppimäärän oppimistulosten arviointi 2015. Helsinki: Karvi. Koulutuksen tuloksellisuuden arviointimalli 1998. Arviointi 7/98. Helsinki: Opetushallitus. Ouakrim-Soivio, N. 2013. Toimivatko päättöarvioinnin kriteerit? Helsinki: Opetushallitus. Ouakrim-Soivio, N. Rinkinen, A., Karalainen, T. 2015. Tulevaisuuden peruskoulu. Helsinki: Opetus-ja kulttuuriministeriö. Ouakrim-Soivio, N. 2016. Oppimisen ja osaamisen arviointi. Helsinki: Kustannusosakeyhtiö Otava. POPS 2014. Perusopetuksen opetussuunnitelman perusteet. Määräykset ja ohjeet 2014:96. Helsinki: Opetushallitus. Raivola, R. 1995. Mitä evaluaatio on ja mihin sitä tarvitaan? Teoksessa Aikuiskoulutuksenarviointi. Panoraamoja ja lähikuvia. Aikuiskasvatuksen 36. Vuosikirja. Kansanvalistusseura ja Aikuiskasvatuksen Tutkimusseura. Helsinki: BTJ Kirjastopalvelu,21 60. Tuohilampi, L. & Hannula, M. S. 2013 Perusopetuksen matematiikan oppimistulosten pitkittäisarviointi vuosina 2005-2012. Metsämuuronen, J. (toim.). Helsinki: Opetushallitus, s. 231-253 23 Sivumäärä (Koulutuksen seurantaraportit; nro 2013:4) Virta, A. 1999. Uudistuva oppimisen arviointi. Mahdollisuuksia ja varauksia. Turun yliopiston kasvatustieteiden tiedekunta. Julkaisusarja B:65. Turku. 61