Arviointi työtavaksi

Transkriptio

1 Arviointi työtavaksi kokemuksia asiakastyön arvioinnin kehittämisestä Helsingin sosiaalivirastossa Pekka Borg Stina Högnabba Marja-Riitta Kilponen Kaisa Kopisto Pertti Korteniemi Ilkka Paananen Niina Pietilä MENETELMIEN PILOTOINTI 1

2 Helsingin kaupungin sosiaalivirasto, Oppaita ja työkirjoja 2008:2 Toimitustyö: Tuula Lehtinen Ulkoasu: Tuula Lehtinen Kansi: Vinjetti Paino: Yliopistopaino ISBN ISSN

3 Esipuhe Eija Bergman Helsingin sosiaalivirastossa innostuttiin vaikuttavuuden arvioinnista ja arvioivasta työotteesta jo 1980-luvulla. Kuitenkin seuraavalla vuosikymmenellä niin Helsingissä kuin muuallakin Suomessa huomio arviointitoiminnassa kiinnittyi laadun arviointiin ja laatutyöhön, kunnes tämän vuosituhannen alussa katsottiin ajankohtaiseksi työstää sosiaalitoimelle uudenlainen toiminta-ajatus sekä visio ja strategia. Tavoitteeksi otettiin, että sosiaalitoimi tuottaa hyviä vaikutuksia ihmisten elämässä, elämänkaaren eri vaiheissa. Sosiaaliviraston strategiassa tämä merkitsi muun muassa sitä, että yhdeksi keskeiseksi tavoitteeksi otettiin seurata sekä asiakas- ja palvelukohtaista että yhteiskunnallista vaikuttavuutta. Tavoitteena oli hyödyntää työstä kerätty arvioiva tieto niin toiminnan ohjaamisessa ja kehittämisessä kuin johtamisessakin. Siten arviointi limittyy osaksi ammatillista käytäntöä. Vuonna 2003 laadittiin arvioinnin kehittämis- ja toteuttamissuunnitelma, joka sisälsi laajasti arvioinnin koko kirjon sekä kehittävän arvioinnin että vaikuttavuuden arviointia. Tavoitteeksi otettiin kehittää arviointitoimintaa tukevaa johtamista ja osaamista, arvioinnin menetelmiä, tietoteknisiä sovelluksia sekä asiakasnäkökulmaa. Suunnitelman toteutuksesta kehkeytyi laaja, edelleenkin jatkuva ohjelma, joka sisältää muun muassa yli kaksikymmentä pilottihanketta. Arviointiohjelman yhtenä lähtökohtana oli arviointiin liittyvän ymmärryksen ja osaamisen lisääminen. Tähän liittyen olemme muutaman viime vuoden aikana yhteistyössä Stakesin ja Helsingin yliopiston kanssa järjestäneet koulutusta erityisosaajille sekä koulutusta ja konsultaatiota viraston työntekijöille ja työyhteisöille. Koulutuksiin on osallistunut yli 1600 sosiaalialan työntekijää. Julkaisussaan Vaikuttavuuden arvioinnin rakenne ja mahdollisuus sosiaalialalla sosiaaliviraston arviointipäällikkö Petteri Paasio (2003) kuvaa systemaattisesti vaikuttavuuden arvioinnin kokonaisuutta sosiaalialalla. Tämä kokonaisnäkemys antoi ideologisen pohjan viraston vaikuttavuuden arviointityölle. Tavoitteena on ammatillinen käytäntö, jossa seurataan ja arvioidaan järjestelmällisesti toiminnan vaikuttavuutta. Ajattelun muuntuminen työmalleiksi, menetelmiksi ja työkulttuuriksi on vain ollut hitaampi prosessi kuin osasimme aavistaakaan. Käsillä olevaan julkaisuun olemme keränneet kiinnostavimpia esimerkkejä erilaisista arviointihankkeista. Työmenetelmiä ja erilaisten arviointimallien sovelluksia on kokeiltu innostuneessa pioneerihengessä sosiaaliviraston työyhteisöjen kanssa. Inspiraation lähteinä ovat olleet kansainväliset arvioinnin asiatuntijat, kuten Mansoor Kazi, Huey-Tsyh Chen ja Peter Sommerfeldt sekä FinSocin kanssa kokeillut menetelmät, ESIPUHE 3

4 kuten Bikva-arviointi. Olemme työskennelleet lujasti myös keskenämme kehittääksemme systemaattista, asiakkaan kanssa laadittavaa tilannearviointia. Nyt, monen vuoden työn tuloksena, aikuissosiaalityöhön on syntynyt yhtenäinen tilannearviomalli. Mallin ensimmäiset sovellukset löytyvät jo asiakastietojärjestelmästä ja niiden ottaminen käyttöön on aloitettu. Julkaisussa kuvattuja menetelmiä kehitetään edelleen. Haluamme kuitenkin jo tässä vaiheessa kertoa työstämme, koska toivomme sosiaalialan kehittäjien saavan kokemuksistamme virikkeitä ja innostusta vaikuttavuuden arviointiin ja oman työnsä kehittämiseen. Ohjelman toteutuksessa saimme monipuolista asiantuntijatukea Stakesin FinSoc-ryhmältä ja taloudellista tukea Etelä-Suomen lääninhallitukselta. Erityiset kiitokset kuuluvat arviointihankkeen ohjausryhmän puheenjohtajille Helinä Hulkkoselle ja Raili Metsälälle sekä sosiaaliviraston arviointitoiminnan varsinaiselle käynnistäjälle, Aulikki Kananojalle ja väsymättömälle kannustajallemme Tuija Kotirannalle. Tekijät PEKKA BORG STINA HÖGNABBA Koulutus ja nykyinen työtehtävä Dipl.fil., kehittämiskonsultti, Helsingin sosiaalivirasto, Kehittämispalvelu VTM, projektipäällikkö, Helsingin sosiaalivirasto, Kehittämispalvelu, Asko-hanke (asiakkaat toiminnan arvioijina ja konsultteina). MARJA-RIITTA KILPONEN YTM, johtava kehittämiskonsultti, Helsingin sosiaalivirasto, Kehittämispalvelu KAISA KOPISTO PERTTI KORTENIEMI KM, opintoasiainkoordinaattori, Helsingin yliopisto, Käyttäytymistieteellinen tiedekunta VTM, kehittämiskonsultti, Helsingin sosiaalivirasto, Kehittämispalvelu ILKKA-TAPANI PAANANEN YTM, tutkija, Helsingin sosiaalivirasto, Kehittämispalvelu NIINA PIETILÄ YTM, johtava sosiaalityöntekijä, Espoon sosiaalija terveystoimi 4

5 Sisältö Eija Bergman Esipuhe... 3 Kirjoittajat...4 Stina Högnabba ja Pertti Korteniemi Lukuohje...7 I ARVIOINNIN KÄSITTEITÄ, MÄÄRITELMIÄ JA TYÖVÄLINEITÄ Stina Högnabba Arviointi, arviointitutkimus ja arviointimenetelmien kehittäminen Pekka Borg Chenin tieteellinen luokittelu ohjelman arviointiin Pekka Borg Ohjelmateoria II MENETELMIEN PILOTOINTI Pertti Korteniemi Käsitekarttamenetelmä Pekka Borg ja Marja-Riitta Kilponen Tapauskohtainen arviointi Pertti Korteniemi ja Niina Pietilä Itsearviointi työyksikön asiakastyössä Niina Pietilä Kehittävä arviointi työotteena Kaisa Kopisto Hyvää hämmennystä ja keskustelua Varhaiskasvatuksen arvioinnin kehittäminen päivähoidossa Stina Högnabba Kompetenssi työyhteisöä voimaannuttava menetelmä III ASIAKASNÄKÖKULMAN HYÖDYNTÄMINEN ARVIOINNISSA Stina Högnabba Bikva asiakasosallisuutta ja oppimista Ilkka-Tapani Paananen Näkökulmia asiakaspalautteen keräämiseen VI SUUNTAUTUMINEN TULEVAISUUTEEN Pekka Borg ja Pertti Korteniemi Näyttöön perustuvat käytännöt SISÄLTÖ 5

6 6

7 Lukuohje Stina Högnabba ja Pertti Korteniemi Arviointi työtavaksi on menetelmäkirja, joka kuvaa Helsingin sosiaaliviraston kehittämistyössä hyviksi todettuja arviointimenetelmiä. Kirja toimii käsikirjana pohdittaessa työyhteisön arviointikäytäntöjen kehittämistä tai asiakaslähtöisen arvioinnin kysymyksiä. Erityisesti toivomme menetelmäkirjan hyödyttävän asiakastyön kehittämistä. Kirja sisältää yhteensä kaksitoista, neljäksi luvuksi ryhmiteltyä artikkelia. Kirjan kolmessa ensimmäisessä artikkelissa, luvussa Arvioinnin käsitteitä, määritelmiä ja työvälineitä pohditaan arvioinnin olemusta ja esitellään arvioinnin keskeisiä käsitteitä, määritelmiä ja työvälineitä. Luvun ensimmäisessä artikkelissa Stina Högnabba kuvaa, mitä arvioinnilla ymmärretään ja miten arvioinnin rooli on muuttunut hallinnon ja sosiaalipalvelujen kehittämisen välineenä. Arvioinnin ja arviointitutkimuksen tehtävä on tuoda järjestelmällisyyden avulla luotettavuutta arviointitoimintaan, jota toteutetaan arvioitavan toiminnan luontaisissa puitteissa. Arviointi voidaan toteuttaa joko arviointitutkimuksena tai muuna arviointina. Arvioinnin pitää kuitenkin aina perustua järjestelmälliseen tiedon hankintaan ja sosiaalitieteellisten menetelmien hyödyntämiseen. Sinänsä arviointi voi olla ulkopuolisen tekemää, mutta yhtä hyvin se voi olla organisaation sisäistä, arkityöhön linkitettyä toimintaa. Hyväksi todetut menetelmät ovat omiaan helpottamaan arvioinnin suunnittelemista, suorittamista ja kehittämistä eri työyhteisöissä. Luvun toisessa artikkelissa Pekka Borg kuvaa Huey-Tsyh Chenin kehittämää arvioinnin tieteellistä luokittelua, taksonomiaa. Luokittelussa esitetään millaisesta arvioinnista voitaisiin hyötyä parhaiten projektin, sosiaalisen ohjelman tai esimerkiksi kehitteillä olevan palvelun eri vaiheissa. Tosin kirjoittaja toteaa, etteivät aina sen paremmin projektit kuin palvelujen kehittäminenkään etene todellisessa elämässä johdonmukaisesti vaiheesta toiseen, vaan yhtä usein ne limittyvät ja välillä tulee palattavaksi askel taaksepäinkin. Kolmannessa artikkelissa Pekka Borg kuvaa Chenin ohjelmateoriaa ja teorian laatimista vaiheittain. Ohjelmateoria jäsentää tarvittavat teot toivottujen vaikutusten saavuttamiseksi sekä sen, mitä muita merkittäviä vaikutuksia projektilla, sosiaalisella ohjelmalla tai vaikkapa sosiaalipalvelulla voidaan ennakoida saavutettavan: mikä saa nämä tulokset ja vaikutukset syntymään. Ohjelmateoria voidaan jakaa muutosmalliin ja toimintamalliin. Ohjelmateorian muutosmalli on keino jäsentää ohjelman tai toiminnon ideaa ja oletuksia siitä, millä edellytyksillä voimme esimerkiksi projektilla tai sosiaalipalvelulla saavuttaa tavoittelemiamme tuloksia. Toimintamallissa puolestaan voimme systemaattisesti määritellä, miten esimerkiksi jokin uusi tai kehitteillä oleva sosiaalipalvelu olisi tuotettava, jotta muutosmallin oletetut vaikutukset voisivat toteutua. Menetelmien pilotointi -luvun kuudessa artikkelissa esitellään arviointimenetelmiä ja nii- LUKUOHJE 7

8 den käyttöä esimerkkien avulla. Esimerkit on otettu niistä asiakastyön kehittämishankkeista, joissa kirjoittajat ovat itse olleet mukana arviointeja suunnittelemassa ja toteuttamassa. Luvun ensimmäisessä artikkelissa Pertti Korteniemi kuvaa niin sanottua käsitekarttamenetelmää. Menetelmän avulla on mahdollista kartoittaa erilaisten työyhteisöjen ja organisaatioiden toimintamalleja, luoda yhteisiä viitekehyksiä ja visioita siten, että työyhteisön kaikille jäsenille avautuu mahdollisuus ideoiden tuottamiseen. Tuotettuja ideoita on mahdollista analysoida kvalitatiivisten ja kvantitatiivisten menetelmien avulla. Tulokseksi saadaan niin sanottuja käsitekarttoja, joita voidaan hyödyntää nykytilan tunnistamisessa mutta myös työn kehittämisen, suunnittelun ja arvioinnin viitekehyksenä sekä lähtökohtana. Artikkelissa kerrotaan, miten menetelmää on sovellettu A-klinikoiden ja nuorisoaseman vaikuttavuushankkeessa. Luvun toisessa artikkelissa Pekka Borg ja Marja-Riitta Kilponen esittelevät tapauskohtaisen arvioinnin perusteita. Tapauskohtainen arviointi tarkoittaa asiakkaan muutoksen systemaattista seurantaa tai interventioiden vaikuttavuuden arviointia mittaamalla toistuvasti asiakkaan ongelman tai elämäntilanteen muutoksia. Mittaamiseen käytetään joko valmiita tai yhdessä asiakkaan kanssa luotuja mittareita. Esimerkkinä Borg ja Kilponen käyttävät tapauskohtaisen arvioinnin toteuttamista sosiaalityössä vanhusten omaishoitoperheissä. Tapauskohtaista arviointia voidaan hyödyntää yksittäisessä asiakassuhteessa, jolloin se toimii välineenä seurattaessa muutoksen toteutumista esimerkiksi asiakkaan valtaistamisessa. Välinettä voidaan käyttää myös empiirisessä tutkimuksessa esimerkiksi tietyn intervention vaikuttavuuden arvioinnissa. Artikkelissaan Itsearviointi työyksikön asiakastyössä Pertti Korteniemi ja Niina Pietilä esittelevät itsearviointiprosessin eri vaiheita. Esittelyssä rajaudutaan malleihin, jotka soveltuvat asiakastyön menetelmien ja asiakastulosten itsearviointiin. Työmenetelmien ja asiakastulosten arviointiin rajattuna itsearviointi voidaan määritellä seuraavasti: Itsearvioinnissa on kyse työyksikön asiakastyömenetelmien ja palvelujen arvioinnista suhteessa asiakkaiden tarpeisiin ja asetettuihin tavoitteisiin. Itsearvioinnin avulla työyksiköt kokoavat itse palautetietoa toiminnastaan, toiminnan tuloksista ja vaikutuksista sekä kehittävät toimintaa arviointitulosten pohjalta. Arviointi perustuu järjestelmällisesti koottuun tietoon ja määriteltyihin arviointikriteereihin. Esimerkkinä itsearvioinnista toimii Metsälän vastaanottokeskus. Artikkelin lopussa esitellään asiakastyön toimintalogiikkaan perustuvaa itsearviointimallia. Asiakastyön toimintalogiikkaan perustuvan itsearviointimallin tarkoitus on luoda luotettava perusta arvioida vaikuttavuutta ja kehittää työmentelmiä sekä auttaa työyhteisöjä rakentamaan looginen malli työyksikön toiminnan rationaaliseksi perusteluksi ja perustaksi. Seuraavassa artikkelissa Niina Pietilä kuvaa esimerkin avulla, miten kehittävä arviointi voi toimia lastensuojelutyön työotteena. Lapsiperheiden vastuualueella käynnistyi keväällä 2006 Lastensuojelun arviointihanke, jonka tavoitteena oli systematisoida asiakasprosesseja säännöllisesti toteutettujen tilannearvioiden avulla. Kehittämistyön kohteena olivat erityisesti huoltosuunnitelmat ja säännöllisesti toistuvien tilannearviointimallien kehittäminen ja kokeileminen. Hankkeesta keskusteltiin perhekeskusten ja sijaishuollon perhehoidon henkilökunnan kanssa työryhmäkohtaisissa tapaamisissa. Mukaan hankkeeseen lähti kymmenen työryhmää. Yksi työryhmistä oli Itäisen perhekeskuksen Vuosaaren toimipisteen sosiaaliohjaajien ryhmä. Ryhmän kehittämishanketta kuvataan artikkelissa esimerkkinä siitä, miten kehittävää arviointia toteutetaan osana perustyötä. 8

9 Viidennessä artikkelissa Kaisa Kopisto esittelee keväällä 2006 käynnistynyttä varhaiskasvatuksen arvioinnin tutkimus- ja kehittämishankketta. Kopiston artikkeli poikkeaa julkaisun muista artikkeleista siten, että varhaiskasvatuksen arvioinnin kehittämiseen on osallistunut Helsingin yliopisto. Artikkelissa tarkastellaan sosiaaliviraston arviointitoimintaa ulkopuolisen näkökulmasta. Hankkeessa on sekä kartoitettu arviointikäytäntöjä ja -menetelmiä koko kaupungin päivähoidon tasolla että pyritty kehittämään tiettyjä arviointikäytäntöjä ja -menettelytapoja viidessä pilottina toimineessa päiväkodissa. Hankkeessa on pyritty pääsemään käsiksi arvioinnin monimuotoisuuteen sekä kartoittamalla arviointikäytäntöjä ja -menetelmiä koko kaupungin tasolla että myös kehittämällä tiettyjä arviointikäytäntöjä ja -menettelytapoja pilottina toimineissa päiväkodeissa. Hankkeessa on pyritty sekä kehittämään että ottamaan käyttöön päiväkotien toimintakulttuureihin soveltuvia erityisesti pedagogisen toiminnan sisältöön keskittyviä dokumentointi- ja arviointimenetelmiä. Näiden avulla voitaisiin saada monipuolisesti hyödynnettävää tietoa lapsen kasvusta, kehittymisestä ja oppimisesta sekä saattaa varhaiskasvatus- ja esiopetussuunnitelma näkyviksi. Artikkelissa annetaan yleiskuva koko hankkeesta, mutta artikkelin painopiste on hankkeeseen sisältyneessä pilotoinnissa. Luvun viimeisessä artikkelissa Stina Högnabba tarkastelee sekä empowerment-käsitettä että empowermentin ja arvioinnin välistä yhteyttä. Empowerment- eli kompetenssiarvioinnissa yhdistetään systemaattisesti arviointi, oppiminen, valtaistuminen ja menetelmien kehittäminen. Kompetenssiarvioinnille on ominaista yksinkertainen toteutus neljässä vaiheessa: kenttätyöntekijät mahdollisine yhteistyökumppaneineen kehittävät visioita, asettavat tavoitteita, laativat kehittämisstrategioita ja luovat työlle arviointitapoja. Artikkelissa esitellään esimerkkinä tapaus, jossa kompetenssiarviointia on sovellettu. Kolmannessa luvussa, Asiakasnäkökulman hyödyntäminen arvioinnissa, tarkastellaan yhtä asiakaslähtöistä arviointimenetelmää sekä pohditaan asiakaskyselyn haasteita. Luvun ensimmäisessä artikkelissa Stina Högnabba kuvaa lyhyesti BIKVA-menetelmää. BIKVA eli Brugerinddragelse I KVAlitetsvurdering on Tanskassa kehitetty, Suomessakin laajasti sovellettu arviointimenetelmä. Suomessa menetelmän nimi on vakiintunut muotoon asiakkaiden osallisuus laadunvarmistajina. BIKVA-mallin tavoitteena on ottaa asiakkaat mukaan arviointiin ja luoda siten yhteys asiakkaiden ongelmien ymmärtämisen ja julkisen intervention välille. Menetelmä on kehitetty nostamaan esille asiakkaiden kokemuksia palvelujen laadusta kuljettamalla tietoa poliittisen päätöksenteon tasolle saakka. Menetelmää on käytetty tuloksekkaasti useassa Helsingin sosiaaliviraston toimipisteessä. Onnistuessaan menetelmä tuottaa muutoksia työkäytäntöihin edistämällä työyhteisön oppimista ja käynnistämällä arvokeskustelua. Millaisia haasteita liittyy asiakaskyselyjen toteuttamiseen? Luvun toisessa artikkelissa Ilkka-Tapani Paananen kuvailee asiakaskyselyjen ja asiakaspalautteen käyttöä sosiaalivirastossa. Asiakaspalautteella on oma roolinsa niin yksityisten kuin julkistenkin palvelujen kehittämisessä, sillä asiakkaiden tyytyväisyys on palvelun tai palvelutuotteen laadun yksi kriteeri. Artikkelissa luodaan katsaus asiakaspalautteen määrittelyihin ja keskitytään erityisesti asiakaskyselyjen toteutukseen liittyviin näkökohtiin. Luku Suuntautuminen tulevaisuuteen päättää kirjan. Artikkelissaan Näyttöön perustuvat käytännöt Pekka Borg ja Pertti Korteniemi suuntaavat katseen tulevaisuuteen. Artikkelissa selvitetään sosiaalipalvelujen vaikuttavuuden arvioinnin tilannetta Suomessa ja Helsingissä. Katsaus käsittää koko maata koskevan tilanteen, koska se, mitä Helsingissä tehdään LUKUOHJE 9

10 tai on mahdollista tehdä, riippuu koko maan tilanteesta. Kysymystä vaikuttavuudesta on jäsennetty ensisijaisesti näyttöön perustuvien käytäntöjen näkökulmasta. Kirjoittajien näkemyksen mukaan maamme sosiaalipalveluissa ei päästä laajamittaisesti hyödyntämään näyttöön perustuviin käytäntöihin pohjaavaa lähestymistapaa, ennen kuin on toteutettu pitkäkestoinen kehittämistyö tarvittavien rakenteiden luomiseksi. Artikkeli on lyhennelmä keväällä 2008 julkaistavasta kirjasta. 10

11 I luku Arvioinnin käsitteitä, määritelmiä ja työvälineitä ARVIOINNIN KÄSITTEITÄ, MÄÄRITELMIÄ JA TYÖVÄLINEITÄ 11

12 Arviointi, arviointitutkimus ja arviointimenetelmien kehittäminen Stina Högnabba Arviointi on odotuksia ja jännitteitä herättävä sana. Kuitenkaan arviointi itsessään ei ole uusi ilmiö vaan pikemminkin perusinhimillistä toimintaa. Havainnoiva ja arvioiva suhde ympäristöön on kaiken tekemisen takana ihmisen pyrkiessä löytämään havainnoimastaan säännönmukaisuuksia ja suhteuttamaan toimintaansa havaitsemansa mukaan. Tällaisella luonnollisella merkityksenannolla on kuitenkin rajoituksensa. Subjektiiviset arviot ilman yhdessä hyväksyttyjä kriteerejä ja systemaattisia menetelmiä saattavat johtaa harhaan. Arvioinnin ja arviointitutkimuksen tehtävänä onkin järjestelmällisyyden kautta tuoda luotettavuutta toimintaamme ohjaavalle merkityksenannolle (Mark & Henry & Julnes 2000, 4 5). Arviointi on sosiaalitieteellisten menetelmien systemaattista soveltamista yhteiskunnallisten erilaisten toimenpideohjelmien ja projektien arvioimiseksi, suunnittelemiseksi, toimeenpanemiseksi ja hyödyllisyyden takaamiseksi. Arviointi voidaan toteuttaa joko arviointitutkimuksena tai muuna arviointina. Arvioinnin pitää kuitenkin aina perustua systemaattiselle tiedon hankinalle ja sosiaalitieteellisten menetelmien hyödyntämiselle. Arvioinnin eli arviointitutkimuksen ja muun tutkimuksen ero on siinä, että arviointi pitää sisällään ajatuksen arvon määrittelemisestä, kun taas perinteisen tutkimuksen katsotaan selittävän, ymmärtävän tai kuvailevan ilmiöitä (Robson 2001, 25). Arviointia tehtäessä tulee miettiä, miksi sitä tehdään, kuka tekee ja kenelle, mitä menetelmiä käytetään ja miten saatu arviointitieto hyödynnetään. Arviointisuunnitelman tulee sisältää ainakin seuraavat seikat: arviointikysymykset, arvioinnin tarkoitus, mihin teoriaan arviointi perustuu, mitä menetelmiä käytetään ja miten aineisto hankitaan. (Robson 2001, ja Virtanen 2007, ) Arvioinnista on viimeisen kymmenen vuoden kuluessa tullut yhä tärkeämpi hallinnon ja sosiaalipalvelujen kehittämisen väline. Samoin kuntasektorilla on koettu lisääntyvästi tarvetta kehittää palveluja, työkäytäntöjä ja -menetelmiä arvioinnin avulla. 12

13 Aikaisemmin arvioinnin avulla tutkittiin ennen kaikkea tavoitteiden saavuttamista suhteessa panoksiin. Toimeksiannot tulivat julkisilta päätöksentekijöiltä ja arvioinnit suorittivat organisaation ulkopuolelta tulevat, akateemiset tutkijat. Arvioinnin tulokset hyödynnettiin organisaatioiden johtotasolla poliittisessa päätöksenteossa. Nykyään arviointi on muuttunut aikaisempaa demokraattisemmaksi, koska hyvin usein arvioinneissa otetaan huomioon erilaisten sidosryhmien, yhteistyökumppaneiden, työntekijöiden ja asiakkaiden näkemykset ja mielipiteet. (Vedung 2003, 26.) Arviointitutkimuksen voi paikantaa myös suhteessa erilaisiin yhteiskuntatieteellisiin tutkimussuuntauksiin. Tällaisia suuntauksia ovat muun muassa realismi, konstruktivismi, empirismi, hermeneutiikka ja metodologinen pluralismi. Näiden lähentymistapojen yhteydessä puhutaan usein niin sanotuista evaluaation mustista, harmaista ja valkoisista laatikoista. Laatikot kertovat, miten ympärillä olevaa maailmaa ajatellaan. (Korteniemi 2005, ) Empirismin perusideana pidetään sitä, että tieteen tehtävä rajoittuu havaittavien ilmiöiden ja niiden välisten säännönmukaisten yhteyksien kuvailuun. Hermeneuttinen lähestymistapa sisältää asioiden merkityksen ja mielen tutkimuksen. Hermeneutiikasta käytetään usein myös nimeä tulkinnallinen menetelmä. Konstruktivismissa katsotaan, ettei tutkimus ole maailman objektiivista kuvausta, vaan objektiivisen totuuden sijasta ajatellaan vallitsevan monta subjektiivista todellisuutta. Jotkut konstruktivistiset suuntaukset kieltävät minkäänlaisen meidän omista tulkinnoistamme riippumattoman todellisuuden olemassaolon. Metodologisen pluralismin lähtökohtana puolestaan on pragmaattisuus, mikä tarkoittaa muun muassa sitä, että tutkimuksessa käytetään niitä menetelmiä (esim. kvantitatiivisia tai kvalitatiivisia) ja lähestymistapoja, joita kulloisessakin tilanteessa vaaditaan. Realismissa ajatellaan, että sosiaalinen todellisuus on monikerroksinen ja monitasoinen, ja näin ollen maailmaa voidaan tarkastella monikerroksisesti. (emt.) Realistisen arvioinnin ytimenä on pyrkiä ymmärtämään ei vain mittaamaan asiakkaan tilanteessa tapahtunutta muutosta. Realistinen arviointi vastaa kysymykseen mikä toimii, kenelle ja missä olosuhteissa. Realistisessa arviointiteoriassa korostetaan interventioiden vaikutusten selvittämistä arviointitutkimuksen tärkeimpänä tehtävänä. Ajatellaan, että on olemassa ja löydettävissä mekanismeja, jotka aiheuttavat muutoksen. ( Niin sanottu mustan laatikon evaluaatio tarkoittaa sitä, että arviointitutkimuksessa keskitytään liiaksi tuloksiin ja vaikutuksiin, mutta ei tiedetä, mistä tulokset johtuvat, eikä tunneta riittävästi esimerkiksi tietyn sosiaalisen ohjelman prosesseja ja interventioita. Harmaan laatikon evaluaatiossa saadaan tietoja esimerkiksi jonkin sosiaalisen ohjelman prosesseista ja interventioista, mutta ei pystytä riittävästi selvittämään eri prosessien ja interventioiden välisiä syy- ja seuraussuhteita. Myös tulosten ja interventioiden välisten suhteiden analyysi saattaa jäädä puutteelliseksi. Valkoisen laatikon evaluaatiossa pystytään selvittämään tietyn sosiaalisen ohjelman tulokset ja vaikutukset, prosessit ja prosessien sekä vaikutusten väliset syy- ja seuraussuhteet. (Korteniemi 2005, 18.) Käytettävissä on monenlaisia arviointimalleja ja monia tapoja lähestyä arviointia. Sosiaaliviraston arviointiohjelmaa kehitettäessä työ kohdistettiin asiakasrajapintoihin ja huomion kohteeksi otettiin erityisesti kehittävä arviointi ja vaikuttavuuden arviointi. Kehittävässä arvioinnissa painotetaan prosessiin osallistuvien työntekijöiden tai asiakkaiden osallisuutta ja oletetaan vaikuttavuuden lisääntyvän välillisten tulosten kautta. Vaikuttavuuden arvioinnissa on kyse prosessien, palveluiden ja interventioiden aikaansaamista muutoksista ARVIOINNIN KÄSITTEITÄ, MÄÄRITELMIÄ JA TYÖVÄLINEITÄ 13

14 asiakkaiden elämäntilanteissa. Vaikuttavuuden arvioinnilla selvitetään, missä määrin asiakkaan elämäntilanteessa, sosiaalisissa olosuhteissa, hyvinvoinnissa tai ongelmissa tapahtuneet muutokset ovat sosiaalipalvelun, projektin, sosiaalityön tai intervention tuottamia. Vaikuttavuuden arviointiin sisältyy sekä vaikuttamisen prosessi että prosessin seuraus eli vaikutus. Selvitetään, mikä vaikuttaa mihin, milloin, miten ja millä edellytyksillä. (www. socca.fi/arvo) Sosiaalityössä, kuten usein myös muissa sosiaalipalveluissa, korostetaan toiminnan yksilöllisyyttä. Katsotaan, että esimerkiksi sosiaalityön käytännöistä on vaikea saada yleistettävää tietoa. Toisaalta on olemassa paineita kehittää standardoituja työkäytäntöjä ja toimintamalleja. Vaikuttavuuden arviointia voidaan toteuttaa kummasakin toimintamallissa. Yksilöiden eroista huolimatta on olemassa sosiaalisia ongelmia, jotka ovat pelkästään sosiaalisia, ei yksilöllisiä. Sosiaalipoliittiset interventiot ovat vastaavasti useimmiten poliittisten päättäjien ja organisaatioiden määrittämiä eli nekään eivät ole pelkästään yksilöllisiä. (Dahler-Larsen 2005, 8 12.) On olemassa arviointimalleja (esim. tapauskohtainen arviointi), joissa on mahdollista ottaa huomioon myös yksilöllisiä eroja. Asiakaslähtöiset ja työyhteisölähtöiset arvioinnit edustavat usein kriittisen arvioinnin suuntauksia, joissa pidetään tärkeänä paitsi ihmisten tietoisuuden ja resurssien vahvistamista myös yhteisöjen valtaistamista ja sosiaalista muutosta. Kriittinen arviointitapa liittyy emansipatoriseen ajatukseen, jolle on ominaista kohderyhmän tietoisuuden lisääminen sekä muutosprosessien käynnistäminen ja edistäminen. Kyseessä ovat valtarakenteisiin ja oikeudenmukaiseen vallankäyttöön liittyvät tekijät. ( Kriittisen arvioinnin menetelmillä pyritään edistämään eettisiä periaatteita ja niiden edustamia arvoja. Tarvitaan sekä teoreettisia että menetelmällisiä välineitä, jotta sosiaaliviraston asiakkaiden osallisuus arvioinneissa mahdollistuu ja saadaan esiin heidän edustamiaan näkökulmia ja tarpeita. Kriittisen arvioinnin tehtävänä on Minna Kivipellon (2006, 47) mukaan tuoda esille esimerkiksi sosiaalityön toimintatapojen ja käytäntöjen sekä halutun vaikuttavuuden välisiä ristiriitoja ja kehittämisen kohteita. Asiakaslähtöisen arvioinnin uutuutena voidaan pitää lähinnä näkökulmaa tai toimintatapaa, jossa asiakkaat itse saavat asettaa omat laatukriteerinsä ja tehdä arvionsa niiden mukaan. Arviointiperusteet ovatkin vaihtumassa hallinnon ja politiikan tyytyväisyystavoitteista asiakkaiden omiin laatutavoitteisiin. Tulevaisuuden kehittämisen visioina asiakaslähtöisessä arvioinnissa voidaan pitää ainakin seuraavia asioita: Tulee generoida sellaista uutta osaamista, jonka pohjalta kehkeytyy hyviä käytäntöjä yhtäältä asiakastyön vaikuttavuuden todentamiseksi ja toisaalta interventioiden ja toimintaympäristössä vaikuttavien tekijöiden yhteisvaikutuksen arvioimiseksi. Tämä tapahtuu kehittämällä työmenetelmiä ja -orientaatioita sekä ottamalla huomioon erilaiset toiminnalliset rajapinnat. Tulee vahvistaa asiakkaiden osallistumis- ja vaikutusmahdollisuuksia. (Julkunen & Hänninen 2005.) Asiakkaiden osallistaminen tulisi nähdä jatkumona tai kehänä, joka alkaa dialogista ja johtaa asiakkaiden asiantuntijuuden hyväksymiseen ja käyttämiseen palvelujen suunnittelussa, toteutuksessa ja vaikutusten arvioimisessa. Arvioinnin ja arvioivan työotteen kehittyminen sosiaalipalveluissa edellyttää oppimista, oivaltamista ja kriittistä reflektiota organisaation kaikilla tasoilla. Parhaimmillaan arviointi 14

15 tuottaa asiakkailta palautetta hyvin ja huonosti toimivista käytännöistä. Arviointitieto auttaa työyhteisöjä kehittämään ja parantamaan käytäntöjään ja antaa johdolle ja poliittisille päättäjille eväitä suunnata toiminta vastaamaan tulevaisuuden haasteisiin. Arviointitiedon omaksuminen, ymmärtäminen ja käyttöönotto vaativat oppivan organisaation. Arviointi ei kuitenkaan saa olla itsetarkoitus, vaan aina perustelua ja hyödyllistä. Arvioinnissa tarvitaan sekä sosiaalitieteellisten tutkimusmenetelmien että substanssin osaamista. Hyväksi todetut arviointimenetelmät helpottavat ja systematisoivat arvioinnin tekemistä ja kehittämistä. Arviointi voi olla ulkopuolisen tekemää, mutta yhtä hyvin organisaation sisäistä ja arkityöhön linkitettyä toimintaa. Koko sosiaaliviraston arviointitoiminnan perusidea on ollut tuoda arviointi osaksi ammatillisia käytäntöjä käyttäen hyväksi sosiaalitieteellisiä tutkimus- ja arviointimenetelmiä. Kokemus on osoittanut, että arviointikäytännöt eivät synny itsestään. Vaikka olemme tottuneita arvioimaan asiakastyön sujuvuutta lähinnä yksilötyötasolla tai projektien prosesseina tämä ei tarkoita sitä, etteikö arviointitiedon ja -taidon nostaminen sekä yhteisötasolle että rakenteelliselle tasolle olisi edellyttänyt koulutusta ja edellyttäisi sitä edelleenkin. Helsingin sosiaalivirastossa oppimisen tasoa on nostettu koulutuksilla, konsultoinneilla, tuottamalla oppimateriaaleja ja ohjaamalla sekä työyhteisöjen että johdon arviointihankkeita. Lähteet Dahler-Larsen, Peter (2005) Vaikuttavuuden arviointi. FinSoc arviointiraportteja 3/2005. Helsinki: Stakes. Julkunen, Ilse & Hänninen, Kaija (2005) BIKVA. Asiakaslähtöinen arviointi. Luentomoniste Helsinki: Stakes. Kivipelto, Minna (2006) Sosiaalityön kriittinen arviointi. Sosiaalityön kriittisen arvioinnin perustelut, teoriat ja määritelmät. Seinäjoen ammattikorkeakoulun julkaisusarja A. Tutkimuksia 3. Seinäjoki: Seinäjoen ammattikorkeakoulu. Korteniemi, Pertti (2005) Realismi ja realismin sovellus. Teoksessa Julkunen Ilse, Lindqvist Tuija ja Kainulainen Sakari (toim.) Realistisen arvioinnin ensimmäiset askeleet. FinSoc työpapereita 3/2005. Helsinki: Stakes. Mark, Melvin & Henry, Gary & Julnes, George (2000) Evaluation. San Fransisco. Robson, Colin (2001) Käytännön arvioinnin perusteet. Tampere: Tammer-Paino Oy. Vedung, Evert (2003) Arviointiaalto ja sen liikkeelle panevat voimat. FinSoc työpaperit 2/2003. Helsinki. Helsinki: Stakes. Virtanen, Petri (2007) Arviointi. Arviointitiedon luonne, tuottaminen ja hyödyntäminen. Helsinki: Edita Prima Oy ARVIOINNIN KÄSITTEITÄ, MÄÄRITELMIÄ JA TYÖVÄLINEITÄ 15

16 Chenin tieteellinen luokittelu ohjelman arviointiin Pekka Borg Tässä artikkelissa esitellään lyhyesti Huey-Tsyh Chenin ohjelmaarvioinnin taksonomiaa eli tieteellistä luokittelua. Ohjelman sijaan voidaan yhtä hyvin puhua projektien, hankkeiden tai vakiintuneen palvelun arvioinnista. Taksonomiassa on esitetty, minkälaisesta arvioinnista voisi olla hyötyä ohjelman kehityksen eri vaiheissa. Taksonomian englanninkieliselle termistölle ei ole käytettävissä vakiintuneita suomennoksia ja sisältöä on vaikea saada pelkällä otsikkotasolla ymmärrettäväksi. Tekstiosuuteen onkin sulkeisiin sijoitettu englanninkieliset termit. Toiminnan arviointia suunniteltaessa on usein vaikeata päätellä, minkälaisesta arvioinnista olisi eniten hyötyä. Chen (2005) on laatinut tähän tarpeeseen apuvälineeksi ohjelman arvioinnin tieteellisen luokittelun. Arvioinnilla on erilaisia rooleja riippuen siitä, mikä on ohjelman toteuttamisen vaihe. Vain tietynlaiset arvioinnit ovat hyödyllisiä ja toteuttamiskelpoisia tietyssä toiminnan kehitysvaiheessa. Taksonomiassa on oivallisesti esitetty arviointistrategioiden ja -lähestymistapojen vaihtoehtoja ohjelman eri vaiheisiin. Tosin Chen huomauttaa, että todellisessa elämässä hankkeet eivät välttämättä etene johdonmukaisesti vaiheesta toiseen, vaan usein ne limittyvät ja välillä palataan askel taaksepäinkin. Suunnitteluvaihe Arviointi voi olla monin tavoin avuksi jo hankkeen suunnitteluvaiheessa. Ensimmäinen tehtävä on kartoittaa taustatilanne ja selvittää tarpeet. Seuraava tehtävä on selkeyttää hankkeen toimintaideaa tai ohjelmateoriaa, jonka pohjalta tehdään hankkeen suunnitelma. Tarvearvioinnin tarkoituksena on tunnistaa ja priorisoida hankkeen mahdollisen kohderyhmän tarpeet. Arvioijan tyypillinen rooli on selvittää tarpeita kyselemällä tai haastattelemalla alueen kohderyhmää ja muita mahdollisia osallisia. 16

17 Ohjelman arvioinnin taksonomia (Chen 2005) Ohjelman vaihe ja arvioinnin tarkoitus Arviointistrategia Arvioinnin lähestymistapa Ohjelman suunnitteluvaihe Olennaisen tiedon hankinta ja Taustatiedon hankkiminen Tarvearviointi osallisten avustaminen Formatiivinen tutkimus ohjelmateorian ja suunnitelman Kehittämisen fasilitointi Käsitteellistämis-fasilitointi kehittämisessä Käsitekartoitus Ongelmakohtien etsintä Relevanttiuden testaus Pilotointi Kommentointi tai neuvonta Kehittämiskumppanuus Kaksipuolinen valtaistava arviointi Toimeenpanon alkuvaihe Ajantasaisen tiedon hankinta Ongelmakohtien etsintä Formatiivinen arviointi toimeenpano-ongelmista ja Ohjelman uudelleenarvionti/ keinoista joilla osalliset voivat kehittämistapaaminen korjata ongelman ja vakauttaa Kehittämiskumppanuus Kaksipuolinen valtaistava ohjelman arviointi Vakiintunut toimeenpanovaihe Tiedon hankinta toimeenpano- Ongelmakohtien etsintä Formatiivinen arviointi ongelmista ja keinoista parantaa Kehittämisen fasilitointi Ohjelman uudelleenarvionti/ toimeenpanoprosessia kehittämistapaaminen Käsitteellistämis-fasilitointi Käsitekartoitus Toimeenpanon laadun arviointi Tutkimusorientoitunut Toimeenpanon ja suunnitelman tilivelvollisuusnäkökulmasta suoritusten arviointi vastaavuuden arviointi Toimeenpanon edistymisen Suoritusten seuranta Prosessin seuranta seuranta Kokonaisvaltainen Tietoa ja ymmärrystä tuottava Teorialähtöinen toimeenpanoprosessin arviointi arviointitutkimus prosessiarviointi Tulosarvioinnin vaihe Arviointi, täyttyvätkö ohjelman Kehittämisen fasilitointi Arvioitavuuden arviointi valmiudet tulosarvioinnin tekemiselle Asiakkaiden edistymisen seuranta Suoritusten seuranta Tulosten seuranta Vaikuttavuuden arviointi Tutkimusorientoitunut Vaikuttavuuden arviointi suoritusten arviointi koeolosuhteissa Vaikuttavuuden arviointi todellisissa olosuhteissa Kokonaisvaltainen ohjelman Tietoa ja ymmärrystä tuottava Teorialähtöinen vaikuttavuuden arviointi sekä arviointitutkimus vaikuttavuuden arviointi tilivelvollisuuden että ohjelman parantamisen näkökulmista Chenin taksonomiassa lähestymistapoihin sisältyy formatiivinen tutkimus (formative research) ja formatiivinen arviointi (formative evaluation). Yksi perinteinen jako arvioinnin ARVIOINNIN KÄSITTEITÄ, MÄÄRITELMIÄ JA TYÖVÄLINEITÄ 17

18 käsitteistössä on jako formatiiviseen ja summatiiviseen arviointiin. Summatiivisen arvioinnin kohteena on ohjelman lopputulos tai vaikuttavuus, kun taas formatiivisessa arvioinnissa, jossa tuotetaan tietoa toiminnan parantamiseksi jo ohjelman toteuttamisen aikana, ollaan kiinnostuneita ohjelman toimeenpanosta ja prosesseista. Formatiivinen arviointi liittyykin taksonomiassa toimeenpanon käynnistymisen jälkeisiin vaiheisiin. Sen sijaan formatiivinen tutkimus kuuluu Chenillä jo projektin suunnitteluvaiheeseen. Sillä tarkoitetaan empiirisen tiedon kokoamista kohderyhmän ja -alueen tunnuspiirteistä ja vaihtoehtoisten interventioiden toimintaedellytyksistä. Toisena suunnitteluvaiheen arviointistrategiana on kehittämisen fasilitointi (development facilitation). Fasilitoivan arvioijan tehtävänä on saada osalliset itse tuottamaan kehittämisratkaisunsa, esim. toimimalla työyhteisön kehittämispäivien vetäjänä. Käsitteellistämis-fasilitoinnissa (conceptualization facilitation) arvioija avustaa osallisia selkeyttämään ohjelman toimintalogiikkaa tai havaitsemaan ongelmia ja löytämään niille ratkaisuja. Näin luodaan yhteistä näkemystä asiasta. Käsitekartan (concept mapping) tekemisessä hyödynnetään keskustelun lisäksi myös kvantitatiivisia työkaluja ohjelman tavoitteiden ja peruselementtien keskinäisten suhteiden määrittelyssä. Ongelmakohtien etsintästrategiassa (troubleshooting) pyritään systemaattisesti tunnistamaan varhaisessa vaiheessa ohjelman toteuttamisen esteet ja ongelmat, ja tuomaan esiin vaihtoehtoisia lähestymistapoja korjata toimeenpanoa. Yhtenä lähestymistapana tähän on relevanttiuden testaus (relevancy testing), jossa arvioidaan pienimuotoisesti, ovatko ohjelman kausaaliset taustaoletukset myös käytännössä kestäviä. Tavoitteena on parantaa ohjelmateoriaa, erityisesti sen muutosteoriaa (kts. erillinen artikkeli ohjelmateoriasta). Toinen lähestymistapa ongelmakohtien etsinnässä on pilotointi (pilot testing). Pilotointi eroaa relevanttiuden testaamisesta siten, että siinä kokeillaan ohjelman toimivuutta pienimuotoisesti ennen kuin sitä toteutetaan täysimuotoisesti. Pilotoinnissa parantamisen kohteena on erityisesti ohjelmateorian toimintamalli. Kommentoiva tai neuvova (commentary or advisory) lähtökohta ongelmanetsintään poikkeaa edellisistä siinä, että siihen ei sisälly aineiston keräämistä kentältä. Arvioija käyttää asiantuntemustaan kommentoidessaan jo olemassa olevaa ohjelmateoriaa. Hän tuo esiin ohjelman vahvuuksia ja heikkouksia ja tekee ehdotuksia ohjelman parantamiseksi. Kehittämiskumppanuus-strategia (development partnership) merkitsee ohjelman osallisten ja arvioijan pitkäaikaista ja tiivistä yhteistyötä. Se käynnistyy jo ohjelman suunnitteluvaiheessa, mutta kattaa myös ohjelman toimeenpanovaiheen. Chen esittää tämän strategian lähestymistavaksi kaksipuolista valtaistavaa arviointia (bilateral empowerment evaluation). Siinä arvioija on kehittäjätiimin jäsen ja osallistuu myös päätöstentekoon. Kumppanuusstrategia merkitsee yleensä sitä, että arvioija tuo arviointiasiantuntemuksensa ohjelman kehittämiseen, mutta ei voi kovin uskottavasti olla tekemässä ohjelman tilivelvollisuusarviointia. Toimeenpanon alkuvaihe Taksonomiassa on huomioitu se, että toimeenpanon alkuvaiheessa arviointi ei vielä voi vastata samoihin kysymyksiin kuin vakiintuneemmassa vaiheessa. Arvioinnin roolina on avustaa pikaisesti havaitsemaan toimeenpano-ongelmia ja tukea toiminnan vakiinnuttami- 18

19 sessa. Ylipäätään kehittämisarviointi on hyvä lähestymistapa ohjelman ja toiminnan parantamiseen, mutta se ei tuota varteenotettavaa näyttöä toiminnan vaikuttavuudesta. Toimeenpanovaiheessakin oleellinen arviointistrategia on ongelmakohtien etsintä, vaikka lähestymistavat ovat erilaisia kuin suunnitteluvaiheessa. Formatiivisen arvioinnin lisäksi lähestymistapana on ohjelman uudelleenarviointi kehittämistapaamisilla (program review / development meeting). Siinä ohjelman toimeenpanijoiden tapaamisissa arvioidaan systemaattisin keskusteluin ohjelman toteuttamisen kokemuksia, kartoitetaan toimeenpanossa havaittuja ongelmia ja esteitä ja kehitetään strategioita ongelmien korjaamiseksi. Toiseksi alkuvaiheen strategiaksi Chen nimeää kehittämiskumppanuuden, jota esiteltiin jo suunnitteluvaiheessa. Vakiintunut toimeenpanovaihe Kun toiminta on saavuttanut riittävän vakiintuneisuuden asteen, voi arviointi palvella ohjelmaa uusin lähestymistavoin. Edelleen arviointia voidaan hyödyntää ongelmakohtien ja niiden syiden havaitsemiseen. Vielä ei ole varsinaisen vaikuttavuuden tutkimisen vaihe, mutta ohjelman toimivuudesta ja tuloksista voidaan jo tuottaa seurantatietoa. Toimeenpano-ongelmien selvittämisen strategioina on ongelmakohtien etsintä ja kehittämisen fasilitointi jo aiemmista vaiheista tutuin menetelmin. Tässä vaiheessa keskeinen arvioinnin tehtävä on ohjelman toimeenpanon laadun arviointi tilivelvollisuusnäkökulmasta. Strategiana on tutkimusorientoitunut suoritusten arviointi (performance assessment). Lähestymistapana on arvioida, onko ohjelma toimeenpantu suunnitellulla tavalla (fidelity evaluation). Sitä voidaan arvioida muun muassa mittaamalla, onko ohjelma toteutettu suunnitellussa laajuudessa, sisältääkö se kaikki suunnitellut toiminnot suunnitellussa intensiteetissä ja oikealle kohderyhmälle. Toimeenpanon edistymistä arvioidaan suoritusten seuranta-strategialla (performance monitoring) ja ehdotettu lähestymistapa on prosessin seuranta (process monitoring). Siinä kerätään toistuvasti tietoa ohjelman toimeenpanosta, asiakaskunnan taustamuuttujista ja heidän saamistaan palveluista. Näiden tietojen pohjalta ohjelman toimeenpanijat voivat saada ajantasaista tietoa esimerkiksi siitä, ketkä ovat asiakkaina ja osallistuvatko he suunnitellusti toimenpiteisiin. Kokonaisvaltaisella toimeenpanoprosessin arvioinnilla (holistic assessment of implementation process) on tavoitteena saada syvempää ymmärrystä siitä, miksi ohjelma toimii ja minkälaiset mekanismit selittävät muutosta. Strategiana on tietoa ja ymmärrystä tuottava arviointitutkimus (enlightenment assessment) ja toimeenpanovaiheessa sen lähestymistapana on teorialähtöinen prosessiarviointi (theory-driven process evaluation). Teorialähtöisessä prosessiarvioinissa arvioidaan systemaattisesti ohjelmateorian, erityisesti toimintamallin kaikkien oleellisten komponenttien toimeenpanoa. Kokonaisvaltaisuudessaan se eroaa esimerkiksi toimeenpanon ja suunnitelman vastaavuuden arvioinnista, jossa kohteena on yleensä vain joitakin toimintamallin osia. Teorialähtöisessä prosessiarvioinnissa käytetään monimuotoisia menetelmiä, kuten osallisten tiimien kanssa toteutettavia workshoppeja ja laadullista sekä määrällistä tutkimusta. Teorialähtöinen prosessiarviointi palvelee niin kehittämis- kuin tilivelvollisuusarviontiakin. ARVIOINNIN KÄSITTEITÄ, MÄÄRITELMIÄ JA TYÖVÄLINEITÄ 19

20 Tulosarvioinnin vaihe Tulosarvioinnin vaiheessa halutaan yleensä näyttöä siitä, saavuttaako ohjelma tavoitellut tulokset, mutta puhdas kehittämisarvioinnin tavoitekin on mahdollinen. Mielekäs tulosten tai vaikuttavuuden arviointi on mahdollista vasta siinä vaiheessa, kun ohjelman valmiudet vaikuttavuusarvioinnin tekemiselle täyttyvät. Tämän selvittämisen lähestymistapana on arvioitavuuden arviointi (evaluability assessment). Arvioitavuuden kriteereitä ovat muun muassa sellaiset seikat, kuten onko ohjelman tavoitteet määritelty selkeästi, ovatko ne varteenotettavia ja ovatko ne mitattavia. Jos arvioitavuuden edellytyksiä ei vielä ole, antaa arvioitavuuden arviointi suuntaa sille, mitä on tehtävä arvioitavuuden saavuttamiseksi. Tulosarviointia voidaan tehdä erilaisilla syvyyksillä riippuen siitä, minkälaista tietoa tarvitaan ja kuinka paljon voimavaroja on käytettävissä tutkimukseen. Usein ohjelman tai hankkeen johtamiseen tai ohjaukseen saadaan riittävä tieto asiakkaiden edistymisen seurannalla (monitoring client s progress of outcomes), johon lähestymistapana on tulosten seuranta (outcome monitoring). Tämä tarkoittaa asiakkaan muutoksen toistuvaa mittaamista, ainakin kerran ennen ja kerran jälkeen toimenpiteen. Tärkeä vaihe on ohjelman tavoitteiden operationalisointi tulosmittareiksi. Jos käytössä on lisäksi asiakkaan taustaa kuvaavia mittareita, saadaan seurannassakin monimuotoisemmin tietoa vaikutuksista eri asiakasryhmissä. Tulosseurannalla saadaan tietoa siitä, mihin suuntaan asiakkaan tilanne muuttui toimenpiteiden jälkeen, mutta ei siitä, missä määrin toimenpide on vaikuttanut muutokseen. Verrattuna varsinaiseen vaikuttavuustutkimukseen tulosseurannan etu on sen helpompi toteutettavuus ja pienemmät kustannukset. Varsinaisen vaikuttavuuden arvioinnin (assessing the effect on outcomes) arviointistrategiana Chenillä on tutkimusorientoitunut suoritusten arviointi (performance assessment). Tutkimusorientoituneessa arvioinnissa vaaditaan tiukkoja tutkimuskriteereitä ja täsmällistä tutkimusasetelmaa. Tämä koskee sekä kvantitatiivisia että kvalitatiivisia menetelmiä ja niiden yhdistelmiä. Vaikuttavuuden arviointiin on kaksi lähestymistapaa: vaikuttavuuden arviointi koeolosuhteissa (efficacy evaluation) ja vaikuttavuuden arviointi todellisissa olosuhteissa (effectiveness evaluation). Vaikuttavuuden arviointi koeolosuhteissa on tutkimusta ideaaliolosuhteissa. Tiukkaan kontrolloiduissa olosuhteissa tutkittavat jaetaan satunnaistetusti koe- ja vertailuryhmiin, jolloin saadaan tilastollisesti vakuuttavaa näyttötietoa toimenpiteiden vaikuttavuudesta optimioloissa. Sosiaalialan toimenpiteitä tutkittaessa on kuitenkin vaikea saada eristettyä laboratoriomaisesti pois muut ihmisten elämään liittyvät tekijät, jotka mahdollisesti vaikuttavat tuloksiin. Hyvällä tutkimuksellakaan ideaaliolosuhteissa saadut tulokset eivät välttämättä päde todellisissa olosuhteissa. Siten koeolosuhteissa tehtyä tutkimusta pitäisi seurata vaikuttavuuden tutkiminen todellisissa olosuhteissa. Todellisissa olosuhteissa tapahtuva vaikuttavuustutkimus antaa tietoa siitä, miten erilaiset työmenetelmät ja interventiot toimivat käytännön tilanteissa. Nämä tutkimukset auttavat selvittämään, miten tietyt interventiot sopivat erilaisten asiakasryhmien, erilaisista ongelmista kärsivien ja erilaisissa olosuhteissa olevien asiakkaiden kanssa työskentelyyn. Avoimessa maailmassa tehtävässä tutkimuksessa asiakkaaksi tulemista ja osallistumista ja interventioiden toteuttamista ei voida kontrolloida samassa määrin kuin ideaalioloissa, jolloin tämä pitää ottaa huomioon tutkimusasetelmassa. Koeasetelmia käytetään myös to- 20