Vaikuttavuuden arviointi Kehittämispäivä Aki Heiskanen 30.11.2007
Arviointi on toimintakulttuuri Toimintakulttuuri lepää vahvasti tiedepohjaisten ammatillisten käytäntöjen ja ammatillisen etiikan varassa Sosiaalityössä nämä perustat eivät ole vahvoja, MIKSI? Sosiaalityö auktoriteettiperusteinen ammatti, tiedeperustaisen ammatin sijaan Asioita pyritään hallitsemaan vakuuttelulla, kun tosiasiassa puheitten ja todennettujen aikaansaannosten välillä on kuilu Kuilu johtuu siitä, että meiltä puuttuu empiirisesti vakuuttava näyttö toimintamme vaikuttavuudesta 4.4.2008 Aki Heiskanen 2
Seuranta Puhekielessä seuranta ja arviointi, tässä järjestyksessä perustuu väärinkäsitykseen Arviointi edeltää sekä ajallisesti että loogisesti seurantaa: arviointi vastaa kysymyksiin miksi ja mitä seurataan Ilman arviointia seurannasta ei ole hyötyä, arviointi tuo informaation merkityksen ja tekee siitä tietoa KAIKKEIN RATKAISEVINTA TULEVAISUUTEMME KANNALTA ON TUOTTAA ARVIOINNIN OSANA SYSTEMAATTISTA SEURANTATIETOA ASIAKKAIDEN HYVINVOINNIN MUUTOKSESTA. 4.4.2008 Aki Heiskanen 3
Arviointi Arviointi on suomen kielen väärinkäytetyin käsite. Arvioinniksi kutsutaan mitä tahansa arvostelmaa, näkemystä tai arvausta Arviointi on systemaattiseen luotettavaan, empiiriseen aineistoon perustuvaa toiminnan tai intervention arvon määrittelyä viimekädessä sillä perusteella, onko interventio ollut edesauttamalla positiivista muutosta asiakkaan elämäntilanteessa 4.4.2008 Aki Heiskanen 4
Arvioinnin määrittelyä Arviointi on Yhteiskuntatieteellisten tutkimusmenetelmien käyttöä vaikuttavuuden systemaattisessa selvittämisessä niin, että syntynyttä tietoa käytetään poliittisessa ja organisatorisessa toimintaympäristössä, jotta yhteiskunnallinen toiminta voisi parantaa ihmisten sosiaalisia olosuhteita (Rossi & Freeman & Lipsey 1999) Systemaattista informaation keräämistä toiminnan toteutuksesta, luonteesta ja vaikutuksista, jotta toiminnan arvo voidaan määritellä, sen vaikuttavuutta voidaan parantaa tai, jotta saadaan tietoa päätöksentekoon tulevaisuuden ratkaisuja varten (Patton 1997) 4.4.2008 Aki Heiskanen 5
Arvioinnin perusajatus Pitää haluta tietää, kuinka asiat ovat ja pitää olla rohkeutta tunnustaa, ettemme tällä hetkellä tiedä tai emme tiedä ainakaan riittävän tarkasti Arvioinnissa pyritään vastaamaan todellisiin arviointikysymyksiin. Jos tiedämme kaiken arviointiin ei pidä ryhtyä 4.4.2008 Aki Heiskanen 6
Arvioinnin osa-alueet On olemassa 5 arvioinnin peruskysymystä Mikä on intervention kohteena olevan ilmiön luonne? Mikä on intervention toiminnan logiikka ja teoria? Miten interventio on toteutettu? Mitkä ovat intervention vaikutukset? Mikä on intervention kustannusvaikuttavuus? 4.4.2008 Aki Heiskanen 7
Ongelman analyysi Toiminta ei voi olla vaikuttavaa, mikäli se ei tavoita ongelmaa ja sen synnyn logiikkaa Ilman selkeää ymmärrystä kohteena olevasta ilmiöstä, ja ilman näyttöä juuri tähän ongelmaan soveltuvasta interventiosta, emme kykene osoittamaan ammatillisen käytännön arvoa (DePoy ja Gibson 2003) 4.4.2008 Aki Heiskanen 8
Tarvearviointi (Ongelma, tarve, ehkäisevät tekijät) Vastaa kysymykseen sosiaalisista oloista ja ihmisten tarpeista Kysymys on ihmisten ja alueiden tilanteesta ja olosuhteista, jotka ovat intervention taustalla Kyse asukkaiden todellisuuden analyysista, ei palvelumaailman tai organisaation analyysistä Toiseksi kyse on ihmisten voimavaroista ja resursseista Mitä ihmiset tarvitsisivat ja haluaisivat Lisäksi selvitetään, onko olemassa rakenteita ja toimintakäytäntöjä, jotka ehkäisevät ongelmien pitkittymistä tai riskien toteutumista. Tiedonhankinta 1)Tutkimuksiin perehtyminen 2) Kysytään ihmisiltä, jotka tekemisissä ongelman kanssa 3) Kysytään ongelmallisessa tilanteessa olevilta ihmisiltä 4.4.2008 Aki Heiskanen 9
Toiminnan teoria (Prosessiteoria ja vaikutusteoria) Formatiivinen ja summatiivinen arviointi Ne oletukset, joita meillä on toimintamme ja sen tavoitteleman hyvinvoinnin tai ongelman vähenemisen välisestä suhteesta Miksi juuri tämä toiminta vähentää sosiaalisia ongelmia tai lisää hyvinvointia? Testataan pitävätkö olettamuksemme paikkaansa Heikosti perusteltu toiminta kertoo ammatillisen käytännön tiedon puutteesta Olettamusten tuominen julki tuo esiin epäloogiset tai empiirisesti virheelliset olettamukset 4.4.2008 Aki Heiskanen 10
Toiminnan teoria Kokonaisnäkemys jonkin asian tai ilmiön rakenteesta ja osatekijöiden välisistä suhteista (Kuvattava toimintaa, ei käsitepeliä) Jakaantuu prosessiteoriaan ja vaikutusteoriaan Jos halutaan tietoa vaikuttavuudesta on kuvattava myös oletuksia siitä, mikä yhteys interventiolla on ihmisen elämäntilanteen muutokseen 4.4.2008 Aki Heiskanen 11
4.4.2008 Aki Heiskanen 12
Toteutuksen arviointi Asiakasmuutoksen seuranta toimintaprosessien arvioinnin keskeinen osa Mitä todellisuudessa tehtiin ja mitä palveluja todellisuudessa toteutettiin? Keskeinen menetelmä kun halutaan kehittää toimintaa Keskeinen vaikuttavuuden arvioinnissa koska pystytään tunnistamaan huonosti toimiva palvelu Tapa osoittaa luotettavuus KUVAILU EI OLE ARVIOINTIA 4.4.2008 Aki Heiskanen 13
Toteutuksen arviointi Arvioinnissa keskeistä ettei toiminta ja asiakkaat ole erillisiä maailmoja (toimintaedellytykset + asiakkaiden elämän ja hyvinvoinnin muutos) Tilivelvollisuus = vastuullisuutta siitä, mitä on luvattu ja mihin on sitouduttu Toiminnan arvioinnissa tarvitaan tietojärjestelmiä, tietoa pitää kerätä laajasti Johdon tietojärjestelmä: kustannuksista, suoritteista, henkilöstöstä Asiakastietojärjestelmä: tietoa asiakkaista ja toiminnasta asiakkaiden kanssa 4.4.2008 Aki Heiskanen 14
Toteutuksen arviointi Ei toiminnan kuvailua, vaan haetaan vastausta arvotetuille kriteereille Kuvataan prosessiteoria ja vaikutusteoria, kriittiset osatekijät, toiminnot ja suhteet, joiden ajatellaan olevan välttämättömiä, jotta palvelu voisi toimia tehokkaasti kuvauksen perusteella voidaan valita seurattavat toiminnot ja aikaansaannokset 4.4.2008 Aki Heiskanen 15
Vaikutusten arviointi Empiirinen ammatillisen käytännön mallin periaatteet Ei ole olemassa sellaista asiaa kuin vaikuttavuus, ellei ole mitattavissa olevaa positiivista muutosta asiakkaan ongelmissa tai tilanteessa Ammatillisen käytännön tieteellinen ja ammatillinen perusta rakentuu sille, että mitattavissa tai havaittavissa olevan positiivisen muutoksen osoitetaan olevan toteutetun intervention tai palvelun seuraus Hyvinvointipalvelujen ammattilaisten ammatillinen etiikka edellyttää heidän ottavan selvää ja käyttämään niitä palveluja ja interventioita, joilla on osoitettu olevan, luotettavaan tieteelliseen näyttöön perustuen suuri todennäköisyys edesauttaa tavoiteltua positiivista muutosta. 4.4.2008 Aki Heiskanen 16
Realistinen arviointi Perustuu Pawsonin ja Tilleyn 1997 julkaistuun teokseen Realistic Evaluation Realistisen arvioinnin tarkoitus on selvittää miksi jokin interventio toimii joidenkin kohdalla ja joidenkin osalta ei Ei ole sidoksissa mihinkään tutkimusmenetelmään 4.4.2008 Aki Heiskanen 17
Realistinen arviointi Tulos = mekanismi + konteksti Koeasetelmassa A on B:n syy mikäli A edeltää ajallisesti B:tä ja A on B:lle riittävä ja välttämätön ehto Generatiivinen kausaalisuus Tietyt tilanteet (konteksti) mahdollistavat tai estävät tiettyjä asioita 4.4.2008 Aki Heiskanen 18
Realistinen arviointi Realistisessa arvioinnissa lähdetään siitä, että palvelut tai interventiot eivät tuota tai aikaansaa muutosta, vaan ne mahdollistavat tietyissä tilanteissa ihmisten elämään kuuluvien muutosvoimien toiminnan Ammattilaisten ensisijaisena tehtävänä ei ole tuottaa palveluja vaan tunnistaa, löytää ja mahdollistaa ihmisten elämässä, elämäntilanteissa ja olosuhteissa toimivia muutosvoimia muutoksen subjekti on asiakas 4.4.2008 Aki Heiskanen 19
Tapauskohtainen arviointi realistisessa viitekehyksessä Tapauskohtaisessa arvioinnissa on tarkoitus mitata toistuvasti tietyin väliajoin työskentelyn kohteena olevaa asiaintilaa 4 komponenttia tapauskohtaiseen arviointiin (Rostila & Mäntysaari 1997) 1. Asiakkaan ongelma voidaan täsmentää 2. Asiakkaan ongelma voidaan mitata 3. Asiakkaan ongelman muuttumista voidaan seurata ajassa, ennen ja jälkeen 4. Asiakassuhteessa voidaan tehdä suunniteltu interventio rento mittaus ovatko intervention kohteena olevat ongelmat muuttuneet vai eivät? 4.4.2008 Aki Heiskanen 20
Seitsemän edellytystä vaikuttavuuden tietämiselle 1. Tarvitaan aito tutkiva asenne, itsekriittinen, rehellinen ja johdonmukainen halu tietää, miten asiat ovat TODELLISUUDESSA ja halu tietää MILLAINEN toiminta on vaikuttavaa KEIDEN OSALTA ja MISSÄ MÄÄRIN 2. Jonkinlainen käsitys siitä, miten vaikutus syntyy 4.4.2008 Aki Heiskanen 21
Seitsemän edellytystä vaikuttavuuden tietämiselle Työntekijä tietää, että asiakkaan hyvinvoinnissa tai elämäntilanteessa tapahtuva muutos rakentuu niin, että hän voi olla 1) edesauttamassa yhteisellä interventiolla tietyissä tilanteessa olevan asiakkaan omia, juuri siinä tilanteessa olennaisten 2) muutosvoimien toimintaa, jotta asiakkaan itsensä tavoittelema muutos tapahtuisi 4.4.2008 Aki Heiskanen 22
Seitsemän edellytystä vaikuttavuuden tietämiselle Ymmärrettyään tämän, hän ei kerää vain mahdollisimman luotettavaa aineistoa toteutuneesta interventiosta ja toteutuneesta asiakasmuutoksesta vaan myös asiakkaan tilanteesta, asetetusta tavoitteesta ja potentiaalisista muutosvoimista Näin toteutuvat vaikuttavuuden tietämisen ehdot 3. ymmärrys muutoksen luonteesta 4. dokumentoitu asiakasmuutos 5. toteutuneet interventiot 6. asiakkaan elämäntilanne laajasti eli konteksti ja toteutuneet muutosvoimat 4.4.2008 Aki Heiskanen 23
Seitsemän edellytystä vaikuttavuuden tietämiselle Seitsemäs edellytys Kertyvää aineistoa analysoidaan vaikuttavuuden osoittamiseksi ja tämä tieto johtaa toiminnan muutoksiin Vaikuttavuuden arvioinnissa on kyse vaiheiden 1-7 toteuttamisesta Kaksi koski ymmärtämistä ja loput toimintaa 4.4.2008 Aki Heiskanen 24
Älykäs organisaatio Ei ole sellainen, joka tietää paljon ja ymmärtää paljon, vaan sellainen joka käyttää tietoaan ja ymmärrystään eli toimii 4.4.2008 Aki Heiskanen 25
Muutosmittarit Hyvinvoinnin lisääntyminen ja ongelman lieventymisen mittaaminen on yksinkertaista: mitataan mikä on muuttunut. Verrataan kahtena eri ajanjaksona tehtyä havaintoa todellisuudesta ja näiden ero on muutos Vaikuttavuuden arvioinnissa tätä mittaria on käytettävä kattavasti ja systemaattisesti, mittaaminen toistetaan samassa muodossa eri ajan hetkinä. 4.4.2008 Aki Heiskanen 26
Asiakasmuutoksen mittareiden neljä tyyppiä 1. Asiakastyytyväisyys - ei voi olla lopullinen asiakasmuutoksen mittari, asiakastyytyväisyys ei ole asiakasmuutoksen tae. Voi käyttää yhdessä muiden mittareiden kanssa 2. Laaja-alaisen muutoksen mittarit - yksinkertainen mittari, että havaitaan ne, jotka ovat saavuttaneet intervention päämäärän esim. päässeet töihin tai lopettaneet päihteiden käytön 3. Toimintakyvyn tason mittarit - mittari, joka ilmaisee täsmällisesti toimintakyvyn, toiminnan tai ongelman eri tasojen ilmeneminen ja antaa asiakkaan toimintakyvylle arvo 4. Standardoidut mittarit - kysymyssarjoja, jotka mittaavat tietyn ongelman tai ongelmaryhmän määrää yleensä asiakkaan kokemana ja niiden luotettavuus ja validius on testattu eli ne on toistettavissa ja testaavat sitä, mitä on tarkoituskin - ydin on, että ne ovat samalla tilannearvion tekemisen välineitä ja kun niitä käytetään toistuvasti, niistä tulee asiakasmuutoksen mittareita, joiden tuloksilla on tieteellistä näyttöä VOIDAAN KYSYÄ MIKÄ ESTÄÄ NÄIN MERKITTÄVÄN AMMATILLISEN KÄYTÄNNÖN ARVIOINNIN VÄLINEEN SYSTEMAATTISEN KÄYTÖN 4.4.2008 Aki Heiskanen 27
Lähde Paasio, Petteri. Vaikuttavuuden arvioinnin rakenne ja mahdollisuus sosiaalialalla. Finsoc työpapereita 3/2003. Stakes. 4.4.2008 Aki Heiskanen 28