VAIKUTTAAKO ARVIOINTI?

Transkriptio

1 VAIKUTTAAKO ARVIOINTI? Arvioinnin vaikutukset/vaikuttavuus Arviointi ja sen arviointi: Mistä on kyse? Kansallinen arviointi ja sen tulosten hyödyntäminen Johtamiskulttuuri ja päätöksenteko Organisaation oppiminen Kansallisen arvioinnin hyödyntäminen (case) Anu Räisänen 2012

2 VAIKUTUKSET JA VAIKUTTAVUUS Vaikutukset/vaikuttavuus käsite Arvioinnin seurauksena syntyvät muutokset toiminnassa Panokset vaikutusten aikaansaamiseksi (=kustannukset, taloudellisuus) Odotetut & odottamattomat vaikutukset Näkyvät vaikutukset / piilovaikutukset/välilliset vaikutukset Voiko arvioinnista olla haittaa? Arvioinnin lähestymistapojen, menetelmien ja prosessien merkitys Arvioinnin teoreettisen perustan ja menetelmien merkitys (lähestymistavat & mallit, mittarit ) Vaikutusten kietoutuminen muihin tekijöihin Taustalla / kontekstissa olevat muut vaikuttavat tekijät Hyödynsaajat Organisaation, henkilöstön, kansalaisten ja muiden osapuolten näkökulma Anu Räisänen 2012

3 ARVIOINNIN TEHTÄVÄ, LUONNE JA VAATIMUKSET MIKSI? Evaluation for accountability (intelligent) Evaluation for development & learning Evaluation for knowledge Arviointitiedon tuottaminen? Formatiivinen arviointi Summatiivinen arviointi Arvioinnin väliset jännitteet: luottamus-kontrolli Arvioijan ja arvioitavan välinen suhde Arviointitiedon käyttö Luotettavuus arvioinnissa (vrt. Räkköläinen 2011) Anu Räisänen 2011

4 ARVIOINNIN ARVIOINTI (META-ANALYYSI) LIIKUTTAAKO ARVIOINTI KETÄÄN TAI MITÄÄN? JÄTTÄÄKÖ JÄLJEN? MILLAISESTA ARVIOINNIN LÄHESTYMISTAVASTA, YMMÄRRYKSESTÄ, METODEISTA JA PROSESSEISTA ON HYÖTYÄ JA MIKSI? MILLAISEEN MAAPERÄÄN ARVIOINTIKULTTUURIA JUURRUTETAAN JA MILLAISESSA MAAPERÄSSÄ SILLÄ ON OLEMISEN OIKEUTUS? MILLAISEN TOTUUDEN VALITTU ARVIOINTITAPA TUOTTAA TOIMINNASTA JA TULOKSISTA? Tuloskeskeisyys & prosessikeskeisyys & osallisuus Mittareiden merkitys Tulkinnallisuus arvioinnissa Itse- /ulkoa ohjautuvuuden merkitys arvioinnissa Arviointi ja vallankäyttö Anu Räisänen 2012

5 ARVIOINNIN ULOTTUVUUKSIEN JÄNNITTEET (Mari Räkköläinen 2011) SISÄINEN Yksityinen, henkilökohtainen FORMATIIVINEN LUOTTAMUS ULKOINEN Julkinen, yleinen SUMMATIIVINEN KONTROLLI

6 MITEN EDISTÄN ARVIOINNIN VAIKUTTAVUUTTA Arvioinnin näkyvä arvostus Organisaation toimintakulttuuri, arvot, asenteet ja motiivit tukevat arviointia (oppiva organisaatio) Arvioidaan vain olennaisia asioita Sitoutuminen, tuki ja voimavarat sekä osaaminen arviointiin Dokumentoinnin ja seurannan sekä tietojärjestelmien toimivuus Arviointimenetelmien osuvuus Arviointitulosten kuvaamisen ja analysoinnin selkeys Arviointitiedon ymmärrettävyys ja kyky tulkita tietoa Arviointien ja raporttien laadun korkeataso Tiedon hyödyntäminen johtamisessa ja päätöksenteossa

7 KANSALLINEN CASE: RAKENNUSALA: OPPIMISTULOKSET

8 JÄRJESTÄJÄT TUTKINNON OSIEN NÄYTÖN ARVOSANOJEN KESKIARVON MUKAAN Arvosana Koulutuksen järjestäjä Heikoin keskiarvo oli 2,0 ja paras 2,61.

9 ARVOSANAJAKAUMAT ARVIOINTIKOHTEITTAIN % % Parhaimmat: työmenetelmien, -välineiden ja materiaalin hallinta Heikoimmat: työn perustana olevan tiedon hallinta Tutkinnon osien välisiä eroja

10 ARVOSANAT TAUSTAMUUTTUJIEN VALOSSA Arvosanat paranevat hieman opintojen edetessä Miesten arvosanat naisia paremmat Ruotsinkielisten opiskelijoiden arvosanat hieman suomenkielisiä paremmat Lapin alueella heikommat arvosanat kuin muilla alueilla sijainneiden järjestäjien, Etelä- ja Keski- Suomessa parhaimmat

11 NÄYTTÖJEN ARVOSANAT ARVIOIJAN MUKAAN RYHMITELTYNÄ 3 2,5 Opiskelija ja opettaja (n=5694) 2 Opiskelija ja työelämän edustaja (n=337) Opiskelija, opettaja ja työelämän edustaja (n=4561) 1,5 Opettaja ja työelämän edustaja (n=168) Arviointikeskustelua ei pidetty (n=47) 1 Työprosessin hallinta Työmenetelmien, - välineiden ja materiaalin hallinta Työn perustana olevan tiedon hallinta Elinikäisen oppimisen avaintaitojen hallinta Tutkinnon osan näytön arvosana

12 PEDAGOGISTA TOIMINTAA KOSKEVIA TUNNUSLUKUJA (heikoin ja paras neljännes) Lähiopetus tuntia Työssäoppiminen viikkoa Opettajien viikkotuntimäärä 1 35 tuntia Ammattiopettajien pedagoginen pätevyys % Ammattiopettajien työelämäjaksot 0 75 % Koulutetut työpaikkaohjaajat % Top -paikkojen saatavuus (1-5) 2 5 Näyttöpaikkojen saatavuus (1-5) 2-5

13 MUITA TULOKSIA Tutkinnon osien arvosanoissa on eroja Pedagogista toimintaa kuvaavat tekijät eivät erottele arvosanoja Erityisopiskelijat suorittavat tavoitteiden mukaiset näytöt, arvosanat hieman muita heikommat 78 % näyttöjen sisällöistä vastaa ammattitaitovaatimuksia, liian vaikeita vaatimuksia ei ilmennyt (n = kuvausta) Näyttösuunnitelmissa erittäin suuria eroja: kaikki eivät ymmärrä suunnitelman merkitystä Ammattiosaamisen näyttöjen toimielimestä saatava hyöty ei konkretisoidu laajasti

14 KOULUTUKSEN JÄRJESTÄJIEN ITSEARVIOINTI 6,0 5,0 4,0 3,0 2,0 1,0 0,0 Ammattiosaamisen näyttöjen toteuttaminen työelämässä Ammattiosaamisen näyttöjen toteuttaminen oppilaitoksessa Ammattiosaamisen näyttöjen integrointi työssäoppimiseen Ammattitaitoa täydentävien tutkinnon osien integrointi ammattiosaamisen näyttöön Elinikäisen oppimisen avaintaitojen integrointi ammattiosaamisen näyttöön Opiskelijan ohjaus ja tuki näytössä ja työssäoppimisessa Opiskelijan oppimisen arviointi työssäoppimisessa Opiskelijan osaamisen arviointi näytössä Opiskelija-arvioinnin laadun varmistaminen Järjestäjien kokonaispisteiden vaihtelu: 24 61/84 pisteestä

15 ARVIOIVAT JOHTOPÄÄTÖKSET Työelämälähtöisyys ei toteudu kauttaaltaan tavoitteiden mukaisesti (esim. oppilaitosnäytöt) Arvosanat erittäin hyviä onko liian hyviä? Heikkeneekö tietoperustan hallinta? Tutkinnon perusteet eivät näkyvästi tue transferia osaaminen paranee opintojen edetessä hieman Prosessimuuttujilla ja resursseilla ei yhteyttä tuloksiin Työpaikkaohjaajilla suuri vastuu Arvosana-asteikko ei erottele opiskelijoita: erittäin suuri tyytymättömyys

16 Toimielimen hyväksymät näyttösuunnitelmat eivät varmista näyttöjen laatua Näyttöjen sisällöt vastaavat hyvin ammattitaitovaatimuksia Elinikäisen oppimisen avaintaitojen integrointia näyttöihin ei ole sisäistetty: erot tutkinnon perusteissa Arvioinnin luotettavuuden riskit ovat erittäin suuret (arvioija, ympäristö, tehtävä, kriteerit, ),

17 MATKA ARVIOINNISTA OPPIVIIN OGANISAATIOIHIN EI OLE PITKÄ! - oppimisen puitteet - omaehtoisuus -verkostoituminen.