Kehittävä arviointi kehittämistyön tukena Jyri Manninen Tutkimusjohtaja Helsingin yliopisto Koulutus- ja kehittämiskeskus Palmenia Professori Joensuun yliopisto Kasvatustieteen laitos
Vaihtoehtoisia arviointimalleja Manageriaalinen - arviointi kontrollina ja päätöksenteon välineenä; resurssien uudelleen jakaminen Toteava koulutuksen toteutuksen jälkeen; tavoitteet ja niiden saavuttaminen Kehittävä yhteisöllinen tiedon tuottaminen ja hyödyntäminen toiminnan kehittämisessä
ARVIOINNIN JA TOTEUTUKSEN SUHDE? Suunnittelu Projektin toteutus Arviointi Lähtötilannearviointi Suunnittelu projektin toteutus ja kehittäminen Vaikuttavuuden arviointi Kehittävä arviointi
Kehittävän arvioinnin piirteitä tiedon keräämistä toiminnan kehittämiseksi prosessiarviointia arviointi ja kehittäminen kytkeytyvät yhteen itsearviointia - toimijoiden osallistamista kehittämiseen kontekstuaalista ja yhteistoiminnallista hyödyntää erilaisia arvioinnin menetelmiä
Taustalla myös: Benchmarking opitaan toisilta ja hyvistä käytännöistä ( parastaminen ) Osallistava arviointi Osallistuva arviointi Itsearviointi Sidosryhmäpohjainen arviointi Prosessiarviointi (CIPP-malli) Toimintatutkimus Verkkotuettu aineistonkeruu
Kehittävän arvioinnin tavoitteet OKO:ssa 1. Valtakunnallisen oppilaanohjauksen kehittämishankkeen ohjaaminen kunnissa ja kouluissa 2. Tiedon tuottaminen kuntien ja koulujen kehittämistyön etenemisestä ja sen tuloksista 3. Hyvien käytäntöjen paikantaminen ja levitys kuntiin ja kouluihin 4. Hanketta tukevan kehittäjäkoulutuksen toteutuksen ja vaikuttavuuden arviointi
Peilin tarjoamista Miten meillä menee? Miten ohjaus toimii nyt? Onnistuuko koulutus? Kehittyykö kehitys? Olemmeko oikealla polulla? Riittääkö vauhti? Missä nyt ollaan? Minne asti pääsimme?
Arviointiryhmä (Joensuun yliopisto, Täydennyskoulutuskeskus & Kasvatustieteen laitos) päätoiminen tutkija prof. Jyri Manninen (hankkeen vastuullinen johtaja) prof. Päivi Atjonen (arviointiasiantuntija) prof. Marjatta Vanhalakka-Ruoho (ohjausasiantuntija) Manninen, J. 2008. Matkalla osallisuuteen. Osallistuva oppilas yhteisöllinen koulu hankkeen vaikuttavuuden arviointi. Opetusministeriön työryhmämuistioita ja selvityksiä 2008:8. http://www.minedu.fi/opm/julkaisut/2008/matkalla_osallisuuteen
Arviointikolmio Kehittävä arviointi Kehittämishankkeet kunnissa Tuki Kehittämistä tukeva koulutus
Tausta ja aloitusvaihe Arvioidaan oppilaanohjauksen nykytilanne hankekouluissa, hankkeen lähtökohtaoletukset, toimijoiden esille nostamat tarpeet, odotukset ja tavoitteet. Tavoitteiden ja toteutustapojen täsmennys tarvittaessa. Koulutus- ja kehittämisprosessi Hankkeen etenemisen seuranta koulutusjaksoilla ja kunnissa. Toisiaan tukevien menetelmien laaja käyttö (osallistuva havainnointi, verkkokyselyt, haastattelut, materiaalit ym.). Ongelmakohtien paikannus, hyvien käytäntöjen, vahvuuksien ja innovaatioiden levitys. Tulokset ja vaikuttavuus Oppilaanohjauksen tilannekartoituksen uusinta hankekouluissa, hankkeen välittömät ja viivästetyt vaikutukset; hyvät käytännöt, tavoitteiden saavuttaminen ja muut vaikutukset osallistujien, koulujen ja kuntien tasolla.
Kehittävän arvioinnin toteutus Verkkokysely (oppilaanohjauksen nykytilanteen arviointi; sama lopputilannekyselynä 2010) Koulutuksen lähijaksoilla tapahtuva osallistuva havainnointi, keskustelut, haastattelut, materiaalien keruu Koulutuspalautelomakkeet verkossa Laadulliset koulutusjaksojen arviointisessiot (ryhmäpalaute, arviointikeskustelut) Koulutukseen liittyvien materiaalien ja dokumenttien analyysi (oppimistehtävät, toiminta- ja kehittämissuunnitelmat) Sidosryhmäpohjaiset teemahaastattelut kolmessa kunnassa kolmessa vaiheessa (lähtötilanne, kehittämisvaihe ja vaikuttavuuden arviointi)
Tehtävää kuntien toimijoille lähtötilannearviointiin osallistuminen (verkkolomake tai koulutuksen ennakkotehtävä?) muutamia haastatteluita mahdollisesti arviointikeskustelut koulutusjaksoilla verkkokyselyt (1-2) koulutuspalautteet Periaate ja tavoite: kevyt mutta riittävä aineistonkeruu
Arviointikulttuurin luomisen merkitys Arviointi luonteva osa kehittämistä (itse)arvioiva kehittäminen Kehittävän arvioinnin hanke ei erillinen osio, vaan keskeinen kuntien omien hankkeiden ja koulutuksen tuki Pain in the ass resurssi
Arvioinnin filosofiaa Kun Pöllö kerää Tietoa vaikuttaakseen viisaalta, niin ei täytä mittoja myöskään aasi Ihaa, joka kerää Tietoa saadakseen Valittamisen Aihetta. Jokainen, jolla ei ole tällaista Ihaa-asennetta, näkee, että se estää todellisen Viisauden syntymistä. Hoff: Nalle Puh ja Tao
Julkaisuja Atjonen, P. 2007. Hyvä, paha arviointi. Helsinki: Tammi. Atjonen, P., Halinen, I. Hämäläinen, S., Korkeakoski, E., Knubb-Manninen, G., Kupari, P., Mehtäläinen, J., Risku, A-M., Salonen, M. & Wikman, T. 2008. Perusopetuksen pedagogiikan arviointi. Koulutuksen arviointineuvoston julkaisuja 28 Vanhalakka-Ruoho, M. 2007. Vastuuta ja vapautta Nuori oman elämänsä. suunnanottajana. Teoksessa: Kasurinen, Helena & Launikari, Mika (toim.): Chances - Opinto-ohjauksen kehittäminen nuorten syrjäytymisen ehkäisemiseksi. Helsinki: Opetushallitus. Manninen, J. 2008. Matkalla osallisuuteen. Osallistuva oppilas yhteisöllinen koulu hankkeen vaikuttavuuden arviointi. Opetusministeriön työryhmämuistioita ja selvityksiä 2008:8. Manninen, J. & Kauppi, A. 2008. Kehittävä arviointi. Teoksessa: Esko Korkeakoski & Heikki Silvennoinen (toim.) Avaimia arviointitoiminnan kehittämiseen. Koulutuksen arviointineuvoston julkaisuja/2008.