KEHITTÄVÄ ARVIOINTI Jukka Ahonen
KESKEISET PERIAATTEET AKTIVOINTI * Arvioitavien osallistaminen * Sidosryhmien sisällyttäminen METODI * Monimenetelmäisyys * Vuorovaikutteisuus PÄÄMÄÄRÄ * Nykykäytäntöjen paljastaminen * Tulevaisuuteen suuntautuminen MUKAUTUVUUS * Kontekstisensitiivisyys * Prosessin huomioiminen 2
KEHITTÄVÄN ARVIOINNIN TUTKIMUKSISTA OPETUS- JA KASVATUSALALLA Päivi Atjosen tutkimus kehittävän arvioinnin periaatteiden ilmenemisestä arviointiraporteissa vuosina 2005 2012 (N = 22) Kasvatus-lehti 3/2014 Osallisuus 85 Monimenetelmäisyys 77 Vuorovaikutuksen mahd. 62 Tulevaisuusorientaatio 52 Kontekstisensitiivisyys 49 Sidosryhmien muk.ott. 41 Prosessin huomioiminen 34 Nykykäyt. paljastavuus 17 Maininnat yhteensä 417 3
Tärkeämpää kuin saada kaikki osa-alueet arviointiin mukaan yhtäaikaisesti, on kahden tai kolmen elementin intensiteetti ja niiden keskinäinen yhdenmukaisuus ja loogisuus (koherenssi). Länsimaissa vahvistuu ns. näyttöperustainen arviointi ja kehittäminen (evidence- based evaluation and improvement) Arviointivallan siirtäminen asiantuntijoilta toimijoille ja em:jen keskinäisen yhteistyön kehittyminen ovat osoittaneet, että kun vain ulkoiseen mittaamiseen perustuvaan muutokseen sitoudutaan usein heikosti, toimijakeskeisen arvioinnin havainnoista seuraa aktiivista toimintaa muutoksen aikaan saamiseksi 4
KESKEISET PERIAATTEET AKTIVOINTI * Arvioitavien osallistaminen * Sidosryhmien sisällyttäminen METODI * Monimenetelmäisyys * Vuorovaikutteisuus PÄÄMÄÄRÄ * Nykykäytäntöjen paljastaminen * Tulevaisuuteen suuntautuminen MUKAUTUVUUS * Kontekstisensitiivisyys * Prosessin huomioiminen 5
AKTIVOINTI 1/2 Osallistava arviointi ei ole synonyymi kehittävälle arvioinnille: osallistavassa arvioinnissa korostuu lähestymistapa, kehittävässä arvioinnissa päämäärä Kumppanuuteen perustuva arviointi keventää stressiä ja kunnioittaa toimijoiden autonomiaa. Tärkeää on huomioida eri toimijoiden erilaiset roolit ja vastuut prosessissa (opettajat, johto, ohjausryhmä, ulkopuolinen asiantuntija). Itsearvioinnin toteuttajana toimiminen parantaa sitoutumista havaittujen toimenpiteiden suorittamiseen 6
AKTIVOINTI 2/2 Sidosryhmien mukaan ottaminen; arvioinnissa käytetään yleisesti käsitettä stakeholder, jolla kerrotaan siitä, että mukaan arviointiin on otettava sellaiset tahot, joilla on jokin stake eli osuus tai panos arvioitavassa asiassa. Näennäinen osallistuminen sekä ristiriidat, jotka syntyvät sidosryhmien erilaisista intresseistä on minimoitava; jos näin ei tehdä, seuraa tulosten hyödyn mitätöimistä ja jopa olemassa olevan hyvänkin toiminnan halvaantumista 7
METODI 1/2 Monimenetelmäisyys; Valtauttavalle ja kehittävälle arvioinnille on ominaista menetelmällinen monipuolisuus. (P.Atjonen, 2014) Menetelmiä: kyselyt, haastattelut, havainnoinnit, varjostaminen, narratiivit, käsitekartat, simuloinnit Kaikki edellä mainitut menetelmät voivat palvella kehittämistä. Tärkeää on palata säännöllisesti arviointituloksiin ja seurata tehtyjen toimenpiteiden vaikutusta; parhaassa tapauksessa oma sisäinen arviointikulttuuri tuo automaattisesti tärkeää tietoa toiminnan tarkoituksenmukaisuuden varmistamiseksi 8
METODI 2/2 Vuorovaikutteisuutta voi kuvata dialogin määrällä yhteisössä. Dialogi ei tähtää vain konsensukseen, vaan sillä pyritään saamaan aikaan vastavuoroiseen ja tasavertaiseen neuvotteluun perustuvaa kehitystä On hyvä, että arvioitavat joutuvat täsmentämään ja myös tarkistamaan omia kantojaan Arvioinnissa on pyrittävä tietoisesti hyödyntämään sitä, että eri intressiryhmät antavat toisistaan poikkeavan kuvan todellisuudesta Vuorovaikutusta kuvaavia termejä: verkostotoiminta, reflektointi, dialogi-istunnot 9
KESKEISET PERIAATTEET AKTIVOINTI * Arvioitavien osallistaminen * Sidosryhmien sisällyttäminen METODI * Monimenetelmäisyys * Vuorovaikutteisuus PÄÄMÄÄRÄ * Nykykäytäntöjen paljastaminen * Tulevaisuuteen suuntautuminen MUKAUTUVUUS * Kontekstisensitiivisyys * Prosessin huomioiminen 10
MUKAUTUVUUS 1/2 Kontekstisensitiivisyys kuvaa arvioinnin kohteena olevan organisaation/yhteisön tuntemista. Kehittävän arvioinnin keskeinen lähtökohta on organisaatioiden kompleksisuus (Patton, 2011) Toimintaympäristöt muuttuvat; jos arviointituloksista halutaan olevan hyötyä, arviointimenetelmien on oltava joustavia joskus etukäteen lukkoon lyödyistä kriteereistä ja tiedonkeruista seuraa hyödytön arviointi, joka onnistuu sivuuttamaan jopa julkitavoitteita ansiokkaammat sivuvaikutukset. (P.Atjonen, 2014) 11
MUKAUTUVUUS 2/2 Prosessin huomioiminen: Yksi kehittävän arvioinnin ydinperusteluista on, että pelkästään päättötuloksien tai vaikuttavuuden arviointi ei tee oikeutta kasvatus- ja yhteiskunta-alan projektien saavutuksille. Oleellista on ymmärtää prosessimekanismien esiintymistä ja merkitystä monimuotoisten vaikutusten tunnistamiseksi. (Wilson & McCormack, 2006) Jos tavoitteena on arvioivan kulttuurin juurruttaminen, prosesseilla on vähintään yhtä suuri merkitys kuin tuloksilla. (P.Atjonen, 2014) Fokus ei ole kuitenkaan prosessissa, vaan tavoite on käyttökelpoisten tulosten aikaan saaminen. 12
PÄÄMÄÄRÄ 1/2 Nykykäytäntöjen paljastaminen. Kommunikatiivisessa arvioinnissa korostuu paljastavuuden periaate; onnistunut arviointi valottaa jotain, mitä ei ole ennen huomattu, se tuo esiin jotain uutta (mm. H.Niemi, 2012 ja 2013) Kehittävän arvioinnin monitahotyöskentelyä on ohjattava taiten. Tietoa on myös kerättävä metodisesti oikein. Vastuuvetäjien rooli on tärkeä; sisäinen tai ulkoinen asiantuntija/konsultti, erikseen nimetty ohjausryhmä, johtoryhmä, muu johto On löydettävä turvattavat, toimivat käytännöt ja toisaalta epätarkoituksenmukaiset käytänteet; näin avautuvat uudet tulevaisuuden vaihtoehdot 13
PÄÄMÄÄRÄ 2/2 Tulevaisuuteen suuntautuminen: Kehittävä arviointi pitää jo terminä sisällään eteenpäin katsomisen. Työssä tarvitaan kehittämistä edistävää tietoa ja ideoita. Työn on perustuttava havaintoihin ja ammattilaisten keskenään työstämiin kokemuksiin. Termejä: jatkuvuus, vakiinnuttaminen ja juurruttaminen Monet tutkijat, mm. Leithwood, Patton ja Stame, epäilevät arviointitulosten siirrettävyyttä -> prosessi on aina uniikki! Vaativimpiin odotuksiin kuuluu arviointikohteiden, esim. oppilaitosten juurruttaminen evaluoivaan kulttuuriin On opittava tarkastelemaan omaa toimintaa ilman ulkoista motivointia 14
Jukka Ahonen Oppilaitosjohdon kouluttaja ja työnohjaaja jukka.ahonen@mestariluokka.fi 050-5919665 www.mestariluokka.fi