Forum Criteriorum Luottamus ja luotettavuus ammattiosaamisen näyttöihin perustuvassa oppimistulosten arvioinnissa Mari Räkköläinen

Transkriptio

1 Forum Criteriorum Luottamus ja luotettavuus ammattiosaamisen näyttöihin perustuvassa oppimistulosten arvioinnissa Mari Räkköläinen Opetusneuvos, FT, VTM Karvi

2 OPPIMISTULOSTEN ARVIOINTI Arvioidaan, miten hyvin tutkinnon perusteissa määritetyt, työelämän edellyttämät tavoitteet on saavutettu Opiskelijan arviointi on ohjaavaa ja opiskelua kannustavaa, arviointi kehittää opiskelijan edellytyksiä itsearviointiin ja antaa tietoa opiskelijan osaamisesta ja osaamisen tasosta Arvioinnilla varmistetaan ammattitaitovaatimusten ja osaamistavoitteiden saavuttaminen -> Assessment of learning (oppimistulosten osoittaminen) -> Assessment for learning (oppimisen edistäminen) (L630/1998, muutokset 787/2014 & 245/2015; Koulutuksen tuloksellisuuden arviointimalli OPH 9/ /1998; Gardner 2006) 2

3 Ammattiosaamisen näyttö - Ammatillisessa peruskoulutuksessa opiskelijan ammatillista osaamista arvioidaan opiskelijan työtilanteissa työpaikalla tai oppilaitoksessa antamien näyttöjen perusteella ( alkaen) - Näyttö on koulutuksen järjestäjän (opettajan) ja työelämän yhdessä suunnittelema, toteuttama ja arvioima työtilanne tai työprosessi, jossa opiskelija osoittaa, miten hyvin hän on saavuttanut ammatillisten opintojen tavoitteissa määritellyn ja työelämän edellyttämän ammattitaidon -Arvioinnista päättävät opettaja ja työelämän edustaja yhdessä tai erikseen, opiskelija osallistuu arviointikeskusteluun (itsearviointi) -Näyttöjä on useita ja niitä toteutetaan koko koulutuksen ajan -Opiskelija saa näyttötodistuksen ja tutkintotodistuksen (OPM:N päätös 212/430/1998; L 601/2005; A 603/2005; OPH:n määräys M 32/011/2005) 3

4 Arvioinnin kohteiden ja kriteerien määrittäminen opintokokonaisuuksien näytöissä OPPIMISTULOSTEN ARVIOINTIJÄRJESTELMÄN INTEGROINTI NÄYTTÖJÄRJESTELMÄÄN Arvioinnin kohteet ja kriteerit Opintokokonaisuuden keskeiset arviointikohteet Arviointikriteerit Työelämän toimintakokonaisuus Ammatilliset osaamisalueet T y ö e l ä m ä Tutkinnon perusteet /OPS T H K T H K T H K T H K Opintokokonaisuuden keskeiset osaamisalueet muodostetaan ja arvioidaan arviointikohteittain. Yleiset arviointikriteerit sovelletaan opetussuunnitelman perusteiden tavoitteista ja sisällöistä. Toiminnallinen Kognitiivinen Sosiaalinen Reflektiivinen osaaminen Näyttö 1. Työprosessi 2. Työtehtävä 3. Tieto 4. Elinikäisen oppimisen avaintaidot Räkköläinen 2005 (arviointikokeilu); 2011

5 Ammattiosaamisen näytöt Data Koulutuksen järjestäjä/ Oppilaitos Data Data Tietoverkko (Karvi, OPH) (Koulutuksen järjestäjä ym.) KOULUTUKSEN JÄRJESTÄJÄN PALAUTE Koulutuksen järjestäjän oma tulos Kansallinen vertailutieto Laadunvarmennuksen/ itsearvioinnin tulokset Taustatekijät ja -muuttujat opiskelija, opettaja, oppilaitos näyttöprosessi toimintaympäristö KANSALLINEN TULOS Koonti Analyysi Arviointiraportti Seuranta Kehittämistarpeet, parhaat käytännöt Kehittämistoimenpiteet SYVÄANALYYSI Teemat Poikkeamat Kehittämiskohteet Seuranta-arvioinnit, arviointitutkimus Palaute Ammattiosaamisen näyttöihin perustuva oppimistulosten arviointijärjestelmä (ks. OKM päätös 212/ ; OKM työryhmien muistioita 14:1999; KESU ; OKM:n päätös 3/502/2007; ks. myös Räkköläinen 2005 ja 2011; Räisänen & Räkköläinen 2014 ) 5

6 Esimerkki: Liiketalouden perustutkinnon arviointiasetelma TUTKINTOJEN PERUSTEET ARVIOINTIKYSYMYKSET MÄÄRÄLLISET TUNNUSLUVUT: Arvosanat (n = ) Opiskelijan taustatiedot (n = 4 274) Erityisopiskelijoiden näytöt (n = 1 252) Koulutuksen järjestäjät (n = 51) KOULUTUKSEN JÄRJESTÄJIEN ITSEARVIOINTI (n = 48) Ammattiosaamisen näyttöprosessien laatu Järjestäjämuuttujat ARVIOINTIKÄYNNIT (n = 3) NÄYTTÖSUUNNITELMAT (n = 47) NÄYTTÖJEN KUVAUKSET (n = ) ARVIOINTI- RAPORTTI - Kansallinen - Koulutuksen järjestän palaute /2014

7 NÄYTTÖPERUSTEINEN OSAAMISEN ARVIOINTI (vrt. ammattiosaamisen näytöt) Huomio toimintaprosessiin, toimijoihin ja prosessin omistajiin sekä tietojen ja taitojen soveltamiseen (autenttinen arviointi) Osaamista arvioidaan työelämän toimintaympäristöissä (kontekstiperusteinen ja prosessuaalinen arviointi) Osaamista arvioidaan suhteessa asetettuihin tavoitteisiin. Kriteeri on peruste, johon nojautuen arvioiva johtopäätös tehdään (kriteeriperusteinen arviointi) (vrt. criterion-referenced / norm-referenced) (vrt. combetence-based assessment, oucome-based assessment, achieved-based assessment) (Virta 1999, Wolf 1996, Poikela 2004; 2006; Ecclestone 1999, 2005; Räkköläinen 2005; 2011; Räisänen & Räkköläinen 2014) 7

8 Luotettavuudesta ja luottamuksesta näyttöperusteisessa arvioinnissa Näyttöperusteisen arviointijärjestelmän käytännön kehittämistyö, tutkimus ja arvioinnit ovat nostaneet esiin arviointitiedon ja koko uuden järjestelmän luotettavuuden (osuvuus, vertailtavuus ja käyttökelpoisuus) Esiin nousee myös kysymys arvioijan ja arvioinnin kohteen välisestä suhteesta (luottamus) Luotettavuus ja luottamus tulevat myös arviointikirjallisuudessa ja arviointiteoreettisessa keskustelussa esiin tavalla tai toisella; ovat keskeisiä arvioinnin kysymyksiä eri arviointitraditioissa Eri arviointinäkemyksissä otetaan aina kantaa arvioinnin luotettavuuskriteereihin ja arviointisuhteeseen (kontrolliin perustuva vs. vuorovaikutukseen perustuva) Mari Räkköläinen

9 Arvioinnin luotettavuus näyttöperusteisessa arvioinnissa Lähtökohtana ammattiosaamisen näyttöjen laatu (opiskelijan arvioinnin laadun varmistaminen): tavoitelähtöinen ja kriteeriperusteinen arviointi, aidot työelämän näyttötehtävät, laajaalaisen osaamisen arviointi (yhtenevät osaamisen arvioinnin kohteet) -> Työelämälähtöisyys Näyttöprosessin (suunnittelu, toteuttaminen, arviointi) laadun varmistaminen (säädökset ja laatuvaatimukset): yhteisarviointi, näyttöympäristön valinta, yhtenevä dokumentointi, näyttösuunnitelmat, toimielimen seurantatehtävä ->Työelämäläheisyys Kansallisessa arvioinnissa: - aineiston edustavuus - monipuolinen arviointiaineisto (koul.järj. itsearvioinnit, näyttöjen kuvaukset, arviointikäynnit) - taustatiedot (opiskelijaa, näyttöä ja koulutuksen järjestäjää koskevat) - arvioijien (arviointiryhmän) pätevyys - indikaattorit (tulevaa esim. opiskelijan osaamisen itsearviointi) 9

10 Mitä näytöt näyttävät? Tutkimuksen tuloksia : Näytöillä myönteisiä vaikutuksia opetukseen ja oppimiseen sekä arvioinnin laatuun Näytöt lisäävät osaamisen arvioinnin validiteettia, merkitystä ja autenttisuutta Näytöissä arvioinnin ongelmat liittyvät erityisesti vertailtavuuteen, reliabiliteettiin Näyttöihin luotetaan, mutta niiden vertailukelpoisuutta epäillään MUTTA: arviointi näytöissä koetaan pääsääntöisesti oikeudenmukaiseksi ja motivoivaksi (kaikki osapuolet) Osallisuus arvioinnissa edistää luottamusta (Räkköläinen 2011; ks. myös näyttöjärjestelmän toimivuuden kansallinen arviointi KAN 2010) 10

11 Keskeisiä arviointien tuloksia Ammattiosaamisen näyttöjen arvosanat ovat erittäin hyviä tai hyviä Näyttöjen sisällöt eivät usein vastaa tutkinnon perusteiden edellyttämiä ammattitaitovaatimuksia (rinnakkaisarvioinnit) Arvosanat vaihtelevat arvioijien ja näyttöpaikkojen mukaan Oppimistulosten ja pedagogisen prosessin yhteydet heikot Osaamisen kehittyminen eikä siirrettävyys tule esiin Työssäoppiminen ja ammattiosaamisen näytöt pääosin tukevat työelämälähtöisyyden toteutumista Eniten eroja/haasteita näyttöjen suorittamisessa työpaikoilla, koulutettujen työpaikkaohjaajien määrissä, to-paikkojen saatavuudessa Koulutuksen järjestäjien välillä on suuria eroja toimielimen seurantatehtävän toteutumisessa, näyttösuunnitelmien ja näytön kuvausten laadussa Ammattiosaamisen näyttöjen seuranta ja arviointi sekä kehittäminen ovat heikkoja Räisänen & Räkköläinen

12 Näyttöjen eri tarkoitukset (funktio) aiheuttavat jännitteitä oppimistulosten arvioinnissa Näyttöjä käytetään eri tarkoituksessa. Osana opiskelijan arviointia ne ovat formatiivista, kehittävää arviointia ja edistävät oppimista. Arviointi ei ole julkista, vaan liittyy opetuksen ja oppimisen sisäisiin prosesseihin. Oppimistulosten kokoaminen näytöistä on summatiivista arviointia, samoin arvosanojen antaminen ja niiden kirjaaminen näyttötodistukseen. Tällöin arviointi on julkista ja vertailtavaa. Kansallisen oppimistulosten arvioinnin kehittäminen näyttöperusteiseksi (arviointitieto suoraan ammattiosaamisen näytöistä, järjestelmä käyttöön 2007) tuo näytöt osaksi tilivelvollisuutta (accountability) 12

13 ARVIOINNIN ULOTTUVUUKSIEN JÄNNITTEET (Räkköläinen 2011) SISÄINEN yksityinen, henkilökohtainen, paikallinen FORMATIVINEN validiteetti autententisuus LUOTTAMUS paikallinen autonomia, asiantuntijuus Tarve Tarkoitus Suhde ULKOINEN julkinen yleinen SUMMATIIVINEN reliabiliteetti, vertailtavuus KONTROLLI keskitetty ohjaus standardit 13

14 Tutkimuksen tuloksia: Luotettavuus ja luottamus näyttöperusteisessa arvioinnissa Luotettavuus ja luottamuksen ilmeneminen ovat myönteisellä tavalla yhteydessä toisiinsa Samat asiat, jotka lisäävät luotettavuutta, ovat yhteydessä myös luottamukseen (kriteeriperusteisuus, yhteisarviointi, autenttisuus, arvioijien kouluttaminen) Kontrollin ja sääntelyn lisääminen tiettyyn pisteeseen vaikuttaa myönteisesti luottamukseen. Kontrolli ja sääntelyn keskeneräisyys tai epämääräisyys tai liiallinen joustavuus heikentävät luottamusta Osallistavat laadunvarmennuksen menetelmät, kuten vertaisarviointi, vahvistavat luottamusta (erityisesti opettajat) Räkköläinen

15 Johtopäätöksiä näyttöperusteisen arvioinnin luotettavuudesta -Tilivelvollisuus sinällään ei ole uhka luottamukselle, vaan pikemminkin voi olla luottamusta edistävää - Liiallinen läpinäkyvyyden vaatimus on uhka luottamukselle - Pelkkä joustavuus ei vielä tee arvioinnista kehittävää eikä hyödyllistä arvioinnin kohteelle -Julkistamisella voi olla joko myönteisiä tai kielteisiä vaikutuksia arvioijan ja arvioinnin kohteen väliseen luottamukseen, vaikutukset riippuvat kontekstista -Arvioinnin tarkoituksen (funktio) kirkastaminen edellytys luottamuksen ja luotettavuuden välisen yhteyden vahvistamiseksi Räkköläinen

16 Arvioinnin tarkoituksenmukaisuuden varmistaminen - DEPENDABILITY (it depends ) vähemmän tieteellinen käsite ja antaa enemmän vapauksia arviointiasetelmissa (kontekstuaalisuus) -Reliabiliteettia ja validiteettia ei tulisi erottaa liian jyrkästi toisistaan -Joissakin konteksteissa arvioinnin osuvuus (validiteetti) on tärkeämpää kuin vertailtavuus (reliabiliteetti) -Toisissa konteksteissa vertailtavuuden ja yleistettävyyden painottaminen on tarkoituksenmukaisempaa kuin validiteetin painottaminen - Arvioinnin tarkoituksen selkeys ja fitness for purpose (transparency) -Arvioinnin vaikutusten seuraaminen opetukseen ja oppimiseen keskeistä -Arvioinnin pitäminen niin autenttisena kuin mahdollista (Mukaellen G. Stobart, G. 2008) Räkköläinen

17 LOPUKSI Näyttöjärjestelmän myötä on siirrytty selkeä askel kohti kehittävää arviointia, jossa keskeistä on luottamus eri osapuolten kesken Arviointi ei ehkä koskaan ole täysin oikeudenmukaista, mutta siitä voi aina tehdä oikeudenmukaisempaa Osaamisperustaisuus haastaa entistä enemmän arvioinnin oikeudenmukaisuuden sekä hyödyn (arvioinnin seuraamukset) -> Arvioinnin tarkoituksen kirkastaminen ( fitness-for-purpose ) -> Arvioinnin laatuvaatimusten määrittäminen ( dependability )

18 Lähteitä Räkköläinen, M. (2005). Kansallisen näyttöperusteisen oppimistulosten arviointijärjestelmän kehittäminen ammatillisiin perustutkintoihin. Arviointikokeilusta kohti käytäntöä. Arviointi 3/2005. Opetushallitus Helsinki:Hakapaino. Koulutuksen arviointineuvosto (2010): Näyttöä on! Ammattiosaamisen näyttöjen toteuttaminen käytännössä. Koulutuksen arvioinineuvoston julkaisuja. Räkköläinen, M. (2011). Mitä näytöt näyttävät? Luotettavuus ja luottamus ammatillisten perustutkintojen näyttöperusteisessa arviointiprosessissa. Akateeminen väitöskirja. Acta Universitatis Tamperensis Tampere. Räisänen, A. & Räkköläinen, M. (2013). Assessment of learning outcomes in Finnish vocational education and training. Assessment in education: Principles, Policy & Practice. Published on line 22 oct Routledge. Taylor & Francis Group. http//dx.doi.org/ / x Räisänen, A. & Räkköläinen, M. (2014). Developmental assessment of Learning Outcomes. Teoksessa Satu Kalliola (toim.) Evaluation as a tool for Research, Learning and making things better, Cambridge Scholars Publishing,