Vaikuttavuuden arviointi

Transkriptio

1 Vaikuttavuuden arviointi Kehittämispäivä Aki Heiskanen

2 Arviointi on toimintakulttuuri Toimintakulttuuri lepää vahvasti tiedepohjaisten ammatillisten käytäntöjen ja ammatillisen etiikan varassa Sosiaalityössä nämä perustat eivät ole vahvoja, MIKSI? Sosiaalityö auktoriteettiperusteinen ammatti, tiedeperustaisen ammatin sijaan Asioita pyritään hallitsemaan vakuuttelulla, kun tosiasiassa puheitten ja todennettujen aikaansaannosten välillä on kuilu Kuilu johtuu siitä, että meiltä puuttuu empiirisesti vakuuttava näyttö toimintamme vaikuttavuudesta Aki Heiskanen 2

3 Seuranta Puhekielessä seuranta ja arviointi, tässä järjestyksessä perustuu väärinkäsitykseen Arviointi edeltää sekä ajallisesti että loogisesti seurantaa: arviointi vastaa kysymyksiin miksi ja mitä seurataan Ilman arviointia seurannasta ei ole hyötyä, arviointi tuo informaation merkityksen ja tekee siitä tietoa KAIKKEIN RATKAISEVINTA TULEVAISUUTEMME KANNALTA ON TUOTTAA ARVIOINNIN OSANA SYSTEMAATTISTA SEURANTATIETOA ASIAKKAIDEN HYVINVOINNIN MUUTOKSESTA Aki Heiskanen 3

4 Arviointi Arviointi on suomen kielen väärinkäytetyin käsite. Arvioinniksi kutsutaan mitä tahansa arvostelmaa, näkemystä tai arvausta Arviointi on systemaattiseen luotettavaan, empiiriseen aineistoon perustuvaa toiminnan tai intervention arvon määrittelyä viimekädessä sillä perusteella, onko interventio ollut edesauttamalla positiivista muutosta asiakkaan elämäntilanteessa Aki Heiskanen 4

5 Arvioinnin määrittelyä Arviointi on Yhteiskuntatieteellisten tutkimusmenetelmien käyttöä vaikuttavuuden systemaattisessa selvittämisessä niin, että syntynyttä tietoa käytetään poliittisessa ja organisatorisessa toimintaympäristössä, jotta yhteiskunnallinen toiminta voisi parantaa ihmisten sosiaalisia olosuhteita (Rossi & Freeman & Lipsey 1999) Systemaattista informaation keräämistä toiminnan toteutuksesta, luonteesta ja vaikutuksista, jotta toiminnan arvo voidaan määritellä, sen vaikuttavuutta voidaan parantaa tai, jotta saadaan tietoa päätöksentekoon tulevaisuuden ratkaisuja varten (Patton 1997) Aki Heiskanen 5

6 Arvioinnin perusajatus Pitää haluta tietää, kuinka asiat ovat ja pitää olla rohkeutta tunnustaa, ettemme tällä hetkellä tiedä tai emme tiedä ainakaan riittävän tarkasti Arvioinnissa pyritään vastaamaan todellisiin arviointikysymyksiin. Jos tiedämme kaiken arviointiin ei pidä ryhtyä Aki Heiskanen 6

7 Arvioinnin osa-alueet On olemassa 5 arvioinnin peruskysymystä Mikä on intervention kohteena olevan ilmiön luonne? Mikä on intervention toiminnan logiikka ja teoria? Miten interventio on toteutettu? Mitkä ovat intervention vaikutukset? Mikä on intervention kustannusvaikuttavuus? Aki Heiskanen 7

8 Ongelman analyysi Toiminta ei voi olla vaikuttavaa, mikäli se ei tavoita ongelmaa ja sen synnyn logiikkaa Ilman selkeää ymmärrystä kohteena olevasta ilmiöstä, ja ilman näyttöä juuri tähän ongelmaan soveltuvasta interventiosta, emme kykene osoittamaan ammatillisen käytännön arvoa (DePoy ja Gibson 2003) Aki Heiskanen 8

9 Tarvearviointi (Ongelma, tarve, ehkäisevät tekijät) Vastaa kysymykseen sosiaalisista oloista ja ihmisten tarpeista Kysymys on ihmisten ja alueiden tilanteesta ja olosuhteista, jotka ovat intervention taustalla Kyse asukkaiden todellisuuden analyysista, ei palvelumaailman tai organisaation analyysistä Toiseksi kyse on ihmisten voimavaroista ja resursseista Mitä ihmiset tarvitsisivat ja haluaisivat Lisäksi selvitetään, onko olemassa rakenteita ja toimintakäytäntöjä, jotka ehkäisevät ongelmien pitkittymistä tai riskien toteutumista. Tiedonhankinta 1)Tutkimuksiin perehtyminen 2) Kysytään ihmisiltä, jotka tekemisissä ongelman kanssa 3) Kysytään ongelmallisessa tilanteessa olevilta ihmisiltä Aki Heiskanen 9

10 Toiminnan teoria (Prosessiteoria ja vaikutusteoria) Formatiivinen ja summatiivinen arviointi Ne oletukset, joita meillä on toimintamme ja sen tavoitteleman hyvinvoinnin tai ongelman vähenemisen välisestä suhteesta Miksi juuri tämä toiminta vähentää sosiaalisia ongelmia tai lisää hyvinvointia? Testataan pitävätkö olettamuksemme paikkaansa Heikosti perusteltu toiminta kertoo ammatillisen käytännön tiedon puutteesta Olettamusten tuominen julki tuo esiin epäloogiset tai empiirisesti virheelliset olettamukset Aki Heiskanen 10

11 Toiminnan teoria Kokonaisnäkemys jonkin asian tai ilmiön rakenteesta ja osatekijöiden välisistä suhteista (Kuvattava toimintaa, ei käsitepeliä) Jakaantuu prosessiteoriaan ja vaikutusteoriaan Jos halutaan tietoa vaikuttavuudesta on kuvattava myös oletuksia siitä, mikä yhteys interventiolla on ihmisen elämäntilanteen muutokseen Aki Heiskanen 11

12 Aki Heiskanen 12

13 Toteutuksen arviointi Asiakasmuutoksen seuranta toimintaprosessien arvioinnin keskeinen osa Mitä todellisuudessa tehtiin ja mitä palveluja todellisuudessa toteutettiin? Keskeinen menetelmä kun halutaan kehittää toimintaa Keskeinen vaikuttavuuden arvioinnissa koska pystytään tunnistamaan huonosti toimiva palvelu Tapa osoittaa luotettavuus KUVAILU EI OLE ARVIOINTIA Aki Heiskanen 13

14 Toteutuksen arviointi Arvioinnissa keskeistä ettei toiminta ja asiakkaat ole erillisiä maailmoja (toimintaedellytykset + asiakkaiden elämän ja hyvinvoinnin muutos) Tilivelvollisuus = vastuullisuutta siitä, mitä on luvattu ja mihin on sitouduttu Toiminnan arvioinnissa tarvitaan tietojärjestelmiä, tietoa pitää kerätä laajasti Johdon tietojärjestelmä: kustannuksista, suoritteista, henkilöstöstä Asiakastietojärjestelmä: tietoa asiakkaista ja toiminnasta asiakkaiden kanssa Aki Heiskanen 14

15 Toteutuksen arviointi Ei toiminnan kuvailua, vaan haetaan vastausta arvotetuille kriteereille Kuvataan prosessiteoria ja vaikutusteoria, kriittiset osatekijät, toiminnot ja suhteet, joiden ajatellaan olevan välttämättömiä, jotta palvelu voisi toimia tehokkaasti kuvauksen perusteella voidaan valita seurattavat toiminnot ja aikaansaannokset Aki Heiskanen 15

16 Vaikutusten arviointi Empiirinen ammatillisen käytännön mallin periaatteet Ei ole olemassa sellaista asiaa kuin vaikuttavuus, ellei ole mitattavissa olevaa positiivista muutosta asiakkaan ongelmissa tai tilanteessa Ammatillisen käytännön tieteellinen ja ammatillinen perusta rakentuu sille, että mitattavissa tai havaittavissa olevan positiivisen muutoksen osoitetaan olevan toteutetun intervention tai palvelun seuraus Hyvinvointipalvelujen ammattilaisten ammatillinen etiikka edellyttää heidän ottavan selvää ja käyttämään niitä palveluja ja interventioita, joilla on osoitettu olevan, luotettavaan tieteelliseen näyttöön perustuen suuri todennäköisyys edesauttaa tavoiteltua positiivista muutosta Aki Heiskanen 16

17 Realistinen arviointi Perustuu Pawsonin ja Tilleyn 1997 julkaistuun teokseen Realistic Evaluation Realistisen arvioinnin tarkoitus on selvittää miksi jokin interventio toimii joidenkin kohdalla ja joidenkin osalta ei Ei ole sidoksissa mihinkään tutkimusmenetelmään Aki Heiskanen 17

18 Realistinen arviointi Tulos = mekanismi + konteksti Koeasetelmassa A on B:n syy mikäli A edeltää ajallisesti B:tä ja A on B:lle riittävä ja välttämätön ehto Generatiivinen kausaalisuus Tietyt tilanteet (konteksti) mahdollistavat tai estävät tiettyjä asioita Aki Heiskanen 18

19 Realistinen arviointi Realistisessa arvioinnissa lähdetään siitä, että palvelut tai interventiot eivät tuota tai aikaansaa muutosta, vaan ne mahdollistavat tietyissä tilanteissa ihmisten elämään kuuluvien muutosvoimien toiminnan Ammattilaisten ensisijaisena tehtävänä ei ole tuottaa palveluja vaan tunnistaa, löytää ja mahdollistaa ihmisten elämässä, elämäntilanteissa ja olosuhteissa toimivia muutosvoimia muutoksen subjekti on asiakas Aki Heiskanen 19

20 Tapauskohtainen arviointi realistisessa viitekehyksessä Tapauskohtaisessa arvioinnissa on tarkoitus mitata toistuvasti tietyin väliajoin työskentelyn kohteena olevaa asiaintilaa 4 komponenttia tapauskohtaiseen arviointiin (Rostila & Mäntysaari 1997) 1. Asiakkaan ongelma voidaan täsmentää 2. Asiakkaan ongelma voidaan mitata 3. Asiakkaan ongelman muuttumista voidaan seurata ajassa, ennen ja jälkeen 4. Asiakassuhteessa voidaan tehdä suunniteltu interventio rento mittaus ovatko intervention kohteena olevat ongelmat muuttuneet vai eivät? Aki Heiskanen 20

21 Seitsemän edellytystä vaikuttavuuden tietämiselle 1. Tarvitaan aito tutkiva asenne, itsekriittinen, rehellinen ja johdonmukainen halu tietää, miten asiat ovat TODELLISUUDESSA ja halu tietää MILLAINEN toiminta on vaikuttavaa KEIDEN OSALTA ja MISSÄ MÄÄRIN 2. Jonkinlainen käsitys siitä, miten vaikutus syntyy Aki Heiskanen 21

22 Seitsemän edellytystä vaikuttavuuden tietämiselle Työntekijä tietää, että asiakkaan hyvinvoinnissa tai elämäntilanteessa tapahtuva muutos rakentuu niin, että hän voi olla 1) edesauttamassa yhteisellä interventiolla tietyissä tilanteessa olevan asiakkaan omia, juuri siinä tilanteessa olennaisten 2) muutosvoimien toimintaa, jotta asiakkaan itsensä tavoittelema muutos tapahtuisi Aki Heiskanen 22

23 Seitsemän edellytystä vaikuttavuuden tietämiselle Ymmärrettyään tämän, hän ei kerää vain mahdollisimman luotettavaa aineistoa toteutuneesta interventiosta ja toteutuneesta asiakasmuutoksesta vaan myös asiakkaan tilanteesta, asetetusta tavoitteesta ja potentiaalisista muutosvoimista Näin toteutuvat vaikuttavuuden tietämisen ehdot 3. ymmärrys muutoksen luonteesta 4. dokumentoitu asiakasmuutos 5. toteutuneet interventiot 6. asiakkaan elämäntilanne laajasti eli konteksti ja toteutuneet muutosvoimat Aki Heiskanen 23

24 Seitsemän edellytystä vaikuttavuuden tietämiselle Seitsemäs edellytys Kertyvää aineistoa analysoidaan vaikuttavuuden osoittamiseksi ja tämä tieto johtaa toiminnan muutoksiin Vaikuttavuuden arvioinnissa on kyse vaiheiden 1-7 toteuttamisesta Kaksi koski ymmärtämistä ja loput toimintaa Aki Heiskanen 24

25 Älykäs organisaatio Ei ole sellainen, joka tietää paljon ja ymmärtää paljon, vaan sellainen joka käyttää tietoaan ja ymmärrystään eli toimii Aki Heiskanen 25

26 Muutosmittarit Hyvinvoinnin lisääntyminen ja ongelman lieventymisen mittaaminen on yksinkertaista: mitataan mikä on muuttunut. Verrataan kahtena eri ajanjaksona tehtyä havaintoa todellisuudesta ja näiden ero on muutos Vaikuttavuuden arvioinnissa tätä mittaria on käytettävä kattavasti ja systemaattisesti, mittaaminen toistetaan samassa muodossa eri ajan hetkinä Aki Heiskanen 26

27 Asiakasmuutoksen mittareiden neljä tyyppiä 1. Asiakastyytyväisyys - ei voi olla lopullinen asiakasmuutoksen mittari, asiakastyytyväisyys ei ole asiakasmuutoksen tae. Voi käyttää yhdessä muiden mittareiden kanssa 2. Laaja-alaisen muutoksen mittarit - yksinkertainen mittari, että havaitaan ne, jotka ovat saavuttaneet intervention päämäärän esim. päässeet töihin tai lopettaneet päihteiden käytön 3. Toimintakyvyn tason mittarit - mittari, joka ilmaisee täsmällisesti toimintakyvyn, toiminnan tai ongelman eri tasojen ilmeneminen ja antaa asiakkaan toimintakyvylle arvo 4. Standardoidut mittarit - kysymyssarjoja, jotka mittaavat tietyn ongelman tai ongelmaryhmän määrää yleensä asiakkaan kokemana ja niiden luotettavuus ja validius on testattu eli ne on toistettavissa ja testaavat sitä, mitä on tarkoituskin - ydin on, että ne ovat samalla tilannearvion tekemisen välineitä ja kun niitä käytetään toistuvasti, niistä tulee asiakasmuutoksen mittareita, joiden tuloksilla on tieteellistä näyttöä VOIDAAN KYSYÄ MIKÄ ESTÄÄ NÄIN MERKITTÄVÄN AMMATILLISEN KÄYTÄNNÖN ARVIOINNIN VÄLINEEN SYSTEMAATTISEN KÄYTÖN Aki Heiskanen 27

28 Lähde Paasio, Petteri. Vaikuttavuuden arvioinnin rakenne ja mahdollisuus sosiaalialalla. Finsoc työpapereita 3/2003. Stakes Aki Heiskanen 28