PEDAGOGISEN PROSESSIN KRIITTISET KOHDAT Oppimistulosten arvioinnin kannalta Opetusneuvos Anu Räisänen 24.9.2013 Osaamisen ja sivistyksen parhaaksi
ARVIOINTI TEHTÄVÄ, LUONNE JA VAATIMUKSET Tulkinnallinen analyysi suhteessa toiminnalle asetettuihin tavoitteisiin & vaatimuksiin MIKSI? Evaluation for accountability (intelligent) Evaluation for development & learning Evaluation for knowledge Arviointitiedon tuottaminen? Formatiivinen arviointi Summatiivinen arviointi Arvioijan ja arvioitavan välinen suhde Tehtävä: arviointitiedon käyttö Luotettavuus arvioinnissa Anu Räisänen 2011
METODOLOGISIA HAASTEITA 1 Koulutuksellinen tasa-arvo & arvioinnin oikeudenmukaisuus ja vertailtavuus Käsitys ammatista, työelämän edellyttämistä vaatimuksista ja koulutuksen tuottamasta osaamisesta: Osaamisen sisältö käsitys ammatista ja työn vaatimuksista Syvällisyys: noviisista ekspertiksi kriteereiden logiikka Käsitys pedagogista toimintavoista, joilla tavoitteena oleva osaaminen tuotetaan Riippuvuussuhteet yhteydet Arvioinnin kriteeriperusteisuus Tutkintojen perusteiden osuvuus ja toimivuus
METODOLOGISIA HAASTEITA 2 Arviointimenetelmän formatiiviset ja summatiiviset tarkoitukset Kontekstiperusteisen arviointitiedon käyttö, yleistettävyys ja siirrettävyys Kontekstiperusteisen arvioinnin laatuvaatimukset Erilaisten arviointi- ja laadunvarmennusmenetelmien käyttö Tilivelvollisuus -käsitteen määrittäminen intelligent accountability
KRITEERIPERUSTEINEN ARVIOINTI osaaminen suhteessa ennalta asetettuihin osaamisvaatimuksiin (tutkinnon peruste) kriteeri = arviointi- ja arvosteluperuste, mittatikku ja erotteleva tekijä neliportaisuus vrt. minimikriteerin alittaminen vaatimustasojen määrittäminen ja niiden tulkinta mikä on luokkien olennaisin ja ennalta määritetty ero tarkoitus tuottaa luotettavaa tietoa vaatimukseksi asetetuista tiedoista ja taidoista suhteessa ammatin vaatimuksiin (vrt. työelämän vaatimukset ja ammattikuva)
AMMATTIOSAAMISEN NÄYTTÖJEN LAATUVAATIMUKSET Opetussuunnitelmaperusteisuus Työelämälähtöisyys Tavoitelähtöinen ja kriteeriperusteinen opiskelijan arviointi Laaja-alaisen osaamisen arviointi Yhteisarviointi Dokumentoinnin yhdenmukaisuus ja läpinäkyvyys
LAAJA-ALAISEN OSAAMISEN ARVIOINTI JA SIIRTOVAIKUTUS (TRANSFER) Työelämässä tarvittava osaaminen Ammatillinen osaaminen: Työmenetelmien hallinta Työprosessien hallinta Elinikäisen oppimisen avaintaidot Tietoperustan hallinta Aika osaamisvaatimus: tavoite mittaamisen kohde: osaaminen (ei tehtävä) kriteeri: peruste johtopäätöksille kontekstin (arvioija, tehtävä, ympäristö) vaikutus näytön laajuus (osanäyttö toimintakokonaisuus) opiskelijan kehitys
VAIKUTTAVATKÖ TEHDYT VALINNAT OPPIMISTULOKSIIN ARVOSANOIHIN? Onko oppiminen ja osaaminen toiminnan ja tehtyjen valintojen seuraus? (vrt. kompleksiset interventiot) Onko resursseilla yhteyttä oppimistuloksiin? Miten aika vaikuttaa? Onko koulutuksesta saatu hyöty jotain muuta kuin oppimistulos?
OPPIMISTULOSTEN RIIPPUVUUDET & vaikuttavien tekijöiden tunnistaminen Järjestäjien taustatiedot: koko, sijainti, opetuskieli, järjestämismuoto, koulutustehtävän monipuolisuus Opiskelijan taustatiedot: sukupuoli, äidinkieli, valintatoive, aiemman koulutuksen keskiarvo, työkokemus Erityisopiskelijoiden erityispiirteet: esimerkiksi opetussuunnitelman mukauttaminen Prosessien laatu Työssäoppimista ja ammattiosaamisen näyttöjä koskevat muuttujat Prosessi-indikaattorit: keskeyttäminen, läpäisy, opiskelijoiden tyytyväisyys Oppimistulos arvosanat Edellytykset Yhteys vaikutuksiin ja vaikuttavuuteen - keskeyttäminen - läpäisy - työllistyminen - jatko-opinnot Opettajien kelpoisuus Opettajien koulutus, työelämäjaksot Lähiopetus, opetuksen/ohjauksen määrä, koulutetut työpaikkaohjaajat kustannukset (top, näytöt) Ennustavat mittarit (hyvinvointi-, tyytyväisyysmittarit, opetuksen/ohjauksen laatu) Seuraustulokset (oppimistulos, työllistyminen) Tulos toiminnan seurauksena
OPPIMISTULOSTEN ARVIOINNIN LUOTETTAVUUS JA VERTAILTAVUUS Laatuvaatimusten toteutuminen Arvioinnissa tarvittavan tiedon riittävyys ja osuvuus Arviointiprosessin laatu ja laadun varmistusmenettelyt opiskelijan arvioinnin kriteeriperusteisuus tehtävien osuvuus ja kattavuus sekä vaativuuden tasaisuus (vrt. näytöt) arviointitilanteen (esim. näyttöympäristön) vaikutukset arvioijan vaikutukset toimintakulttuuri ja perinne Tiedonhallintaprosessien laatu ja järjestelmien toimivuus Opiskelijan henkilökohtaisten tekijöiden vaikutukset
ARVIOINTI YDINTOIMINNAN LIIKUTTAJANA YDINTOIMINTO Opetus & oppiminen LIIKUTTAAKO OPPIMISTULOSTEN ARVIOINTI SISINTÄ YDINTÄ? Onko arvioinnissa/toiminnassa ritualistisia piirteitä? Asetetaanko ydintoiminnolle vaatimuksia, mutta ei luoda edellytyksiä arviointitulosten perusteella tapahtuvaan kehittämiseen ja ritualisoituneiden toimintojen poisoppimiseen ja toisilta oppimiseen?
HAASTEIDEN LOPUTTOMUUS Näyttöjen ulkopuolelle jäävän osaamisen arviointi Tietojärjestelmien laatu ja hyödyntäminen Raportointi- ja palautejärjestelmän toimivuus Arviointitiedon julkistaminen Tulosten levittäminen Tulosten hyödyntäminen paikallisella ja kansallisella tasolla Arvioinnin vaikuttavuus (follow up) Varmistaminen, että kyse on arvioinnista.
KRIITTISET TEKIJÄT ARVIOINTITULOSTEN VALOSSA Työelämälähtöisyyden toteutumattomuus Ammatti-identiteetin kehityksen huomioon ottaminen Ammattiosaamisen näytöt ei riitä oppimistulostiedoksi Yksittäiset opiskelijat hukkuvat ryhmään Opiskelijoiden taustan huomioon ottaminen arvioinnissa Pedagogisten käytäntöjen ja arvosanojen väliset yhteydet Oppimistulosten ja yleinen retoriikan ristiriita Tietoperustan vähenevä merkitys Vertailu muihin järjestäjiin vertailukelpoisuus