Vaikuttavuuden arvioinnin menetelmiä

Transkriptio

1 Vaikuttavuuden arvioinnin menetelmiä Esityksen sisältö: Vaikutusten arviointi prosessina Eri vaiheisiin soveltuvat menetelmät ja työkalut Vaikutuspuu, vaikutusketju, vaikutustarina Vaikutusten arviointi kanvaasin kokeileminen Vaikutusten arviointi seminaari Setlementtiliitto,

2 Yhteiskunnalliset vaikutukset Elinajanodote Palvelut Työura Koettu terveys Työkyky Koulutustaso Oppiminen HPI Kaverit Nuori Koulu Perhe Poliisi Naapurusto Kansanterveys Verokertymä Paikallistalous Teko Kohde Muutos Kerrannaisvaikutus - Minkälaiset ovat toimintasi renkaat ja rajaukset?

3 Vaikuttavuuden arvioinnin tasot

4 Vaikutusten arvioinnin portaat Millä portaalla olette tällä hetkellä? ARVIOINTI ON OSA ARKEA Vaikuttavuustiedon keruu on osa arkea. Kerättävä tieto ohjaa toimintaa. TASO 4: VAIKUTTAVUUDEN TODENTAMINEN Seurantatietoa muutosten kertautumisesta laajemmas. Oman toiminnan suhde tarpeeseen selkeä. TASO 3: MUUTOSTEN TODENTAMINEN Luotettavaa tietoa kohderyhmien elämään tavoiteltujen muutosten toteutumisesta. TASO 2: VAIKUTTAVUUDEN MALLINNUS Tietoon perustuva malli, joka kuvaa toiminnan tarpeen ja tavoitellut muutokset ja kertoo miten ja miksi ne saavutetaan. TASO 1: TOIMINNANOHJAUS JA -KUVAUS Tieto kustannusrakenteesta, asiakas- ja kontaktimääristä, suoritteista. Kohderyhmät ja alueet on määritelty. Inspiraation lähde: Puttick, R. & Ludlow, J Standards of Evidence: an Approach that Balances the Need for Evidence with Innovation. London: Nesta

5 Arviointiprosessi

6 Nuorten huono-osaisuuden lievittäminen asumisessa LEHVÄSTÖ: VAIKUTUKSET Yksilötason muutokset RUNKO: PALVELULUPAUS JUURET: MIHIN VAIKUTETTAVA? Edellytykset Riskit RAVINTEET: TOIMENPITEET Kerrannaisvaikutukset Asunnottomuusriski pienenee Ammattitaito Velkakierre katkeaa Talouden hallinta paranee Nuori tuntee saavansa henkilökohtaista tukea ja kuuluvansa aktiiviseen taloyhteisöön Toimeentulo Luottamus Työkyky paranee Nuoren motivaatio Työ- ja op. valmiudet vahvistuvat Henkinen ja fyysinen terveys kohenee Elämäntavat Osallistuminen Palveluiden käyttö vähenee Kiinnittyminen taloyhteisöön Ihmissuhteet Inklusiivinen yhteisö Tulevaisuuden usko kohenee Copyright, Antti Honkasalo

7 Vaikutusketju TAVOITE RATKAISU TEOT & TUOTOS MUUTOS VAIKUTUS V tamperelaista alakoululaisperhettä: vahvistetaan vanhemmuutta, vuorovaikutusta ja voimavaroja. Näistä 30-40% vaikeassa asemassa olevia perheitä: vuoden kuluessa saavat ja käyttävät kunnan palveluita, tulevat ajoissa tuetuksi. Oletukset: Vertaistoimintaa ja mielekästä vapaaaika perheille. - Toiminta keskustassa ja lähiöissä - Koulutetut vertaisperheet - Yhteistyössä kouluth ja neuvola sekä kulttuuri- ja liikuntajärjestöt 1) Tavoitetaan riskiperheitä -Kouluth ohjaus - Sijainti ja toiminnan monipuolisuus 2) Vertaisten aktiivisuus Kaikki: -Perheet kokeilevat 4 lajia tai harrastetta. - Osallistumis% 50 Riskiperheet: -25% toiminnasta vertaistukea. - Kaikki saavat palveluohjausta, sitoutuvat suunnitelmaan. - Vertaisten valmiudet - Mielekkään tekemisen löytäminen - Palveluiden piiriin pääsy - Osallistujien aktiivisuus 90% jaksaa arkea paremmin. 75% perheessä vuorovaik paranee. 40% lapsista, 20% perheistä alkaa harrastaa ja jatkaa vielä Riskiryhmät saavat ja tuntevat saavansa apua. Palvelutarpeeseen vastataan Raskaat lastensuojelutoimet kohdealueella vähenevät 2020 mennessä. - Palveluiden laatu - Palveluiden vertailtavuus 2018 ja 2010 välillä - Riskiryhmien seuranta

8 Vaikutusketjun hiominen Miten (yli)yksinkertainen ketjumalli sovitetaan paremmin kuvaamaan monimutkaista maailmaa? Oletusten pohtiminen ja lisääminen Sidosryhmäkohtaiset ketjut Samanaikaisten ketjujen määrittely Kynnysarvot ja feedback loopit

9 Sidosryhmäkohtainen ketju PANOS MUUTOS VAIKUTUS TUOTOS Riskiperheet Aika Yhteinen aika ja harrastus Vertaistuki Voimavarat ja jaksaminen Inhimilliset- / elämänlaatuhyödyt Vanhemmuuden taidot Palveluohjaus Perhedynamiikka Luottamus palvelujärj. Järjestöt Ryhmien ohjaus Vertaisperheiden koulutus Fasiliteetit Uusia resursseja Uudenlaista toimintaa Konkreettiset kumppanuudet Uusia harrastajia ja jäseniä Näkyvyys ja maine Prosessi -/ organisaatiohyödyt Rahoitus vahvistuu Toiminnan moninaisuus Julkisen sektorin säästö / tuotto Tampere Kouluth ja neuvola Rahoitus Tarvittavien palveluiden tuottaminen Riskiperheitä palveluiden piiriin Perhe- ja lastens. palveluiden tarpeen väheneminen

10 Vaikutustarina Vaikutustarina ei ole Heikki Hyödynsaajan elämäntarina, onnistumistarina eikä testimonial. Tarina muuttuu vaikutustarinaksi, kun päähenkilö edustaa tietyn hyödynsaajaryhmän arkkityyppiä. valitaan jakso hyödynsaajan elämäntarinasta ja -tilanteesta. juonenkäänteet ovat vaikutusmallin avain- ja muutoskohtia. avainkohtiin kiinnitetään mahdollisuuksien mukaan eri sidosryhmiltä saatuja tietoja, tilastotietoa, tietoja kustannuksista tai hyödyistä.

11 Esimerkki: Jyränkölän hoitopolut Tietopohja: johtajien haastattelu, fokusryhmät työntekijöiden ja ikäihmisten kanssa, omaisten ja asukkaiden kyselyt. Lähde: Setlementtiliiton Rajapinnat näkyväksi -arvionti

12 Lopputulos

13 KIITOS Harjoitus

14 TYÖKALU: Vaikutusten arviointi -kanvaasi Täytettävä ja oheistettu kanvaasi ladattavissa täältä. Vaikutusten arvioinnin prosessia kuvataan myös Setlementtiliiton Rajapinnat näkyväksi arviointi prezissä

15 Mitä yhdessä arvioidaan? Minkä toimintamallin, palvelun tai hankkeen avulla aletaan kanvaasia kokeilla? Rajattu ja selkeä toimintamalli Toiminnasta kokemusta Kaikille ymmärrettävä esimerkki

16 Arvioinnin lähtökohdat Mitä? Kenelle? Vaikuttavuusvisio, millaista maailmaa olemme luomassa Miten visiota toteutetaan?

17 Tarve ja yhteistyökumppanit Yhteiskunnallinen taso! Miksi ratkaisua tarvitaan? Kuka, miksi? Kuka tarpeesta puhuu? Yhteistyökumppanit voivat löytyä myös arvioinnin kuluessa tai tuloksena. TAI kuvaa ongelman juurisyyt.

18 SMART-tavoitteet Tavoite johdetaan tarpeesta. Tarkistuslista: Tarkka kohderyhmä Muutos ja sen suuruus Aikajänne Saavutettavissa ko. resursseilla? Viekö kohti vaikuttavuusvisiota? Pitääkö tavoite jakaa pää- ja alatavoitteisiin? Onko useita kohderyhmiä tai kohderyhmän sisällä erilaisia segmenttejä? - Vaikka tavoitteet ovat arvioinnin lähtökohta, ne todennäköisesti tarkentuvat ja paranevat arvioinnin tuloksena

19 Paholainen asuu tavoitteissa Koko prosessi mallintamisesta mittaamiseen rakentuu (tai kaatuu) kirkkaasti määriteltyjen tavoitteiden varaan. Hyvä tavoite kertoo ainakin nämä asiat: Kohderyhmä; keitä, millaisia, kuinka monta ja missä Muutoksen laatu, suuruus ja aikajänne Tavoite on insentiivi, voi ohjata myös harhaan. Tavoitteiden räätälöinti kohderyhmittäin voi olla tarpeen.

20 Segmenttikohtaiset tavoitteet Muokattu NHG:n Vamoksesta tekemästä Hyvän Mitta hankkeen arvioinnista.

21 Vaikutusketju TULOKSELLISUUS JA VAIKUTTAVUUS Tulosten ja vaikutusten suhde tarpeeseen ja tavoitteisiin TARVE TAVOITE RATKAISU TEOT MUUTOS VAIKUTUS Ratkaisun yhteiskunnallinen merkitys Arvioitavan ratkaisun muutostavoite: Minkälainen Kuinka suuri Kenelle Missä ajassa Palvelu, toimintamalli Toiminnot Ominaisuudet Resurssit Osaaminen Raha Partnerit Määrälliset Tavoitetut ihmiset Teot, tapahtumat Laadulliset Tyytyväisyys Aktiivisuus Sitoutuminen Välittömät ja välilliset muutokset kohderyhmien hyvinvoinnissa, toiminnassa, kyvykkyyksissä Muutosten kertautuminen ja leviäminen laajempiin yhteisöihin ja yhteiskuntaan. OLETUS: OLETUS: OLETUS:

22 Muutoksen todentaminen Vähintään seuranta, vertailuasetelmakin on usein mahdollinen. Vertailu tilastoihin voi tarkoittaa myös muutoksen todentamista esimerkiksi kunnan tilastojen avulla. Edellyttää suurta volyymiä ja asian tilastointia.

23 Hyvä mittaristo seuraa matkaa kohti vaikuttavuustavoitetta. kattaa kaikki vaikutusmallin vaiheet ja siirtymäkohdat. todentaa lyhyen ja (keski)pitkän aikavälin muutoksia. tuottaa tietoa eri sidosryhmien näkökulmista. sisältää subjektiivisia ja objektiivisia sekä laadullisia ja määrällisiä mittareita. on hallittava. - Hyvä mittaristo sopii arkeen ja auttaa laadunvarmennuksessa

24 Mittaristo RATKAISU TEOT MUUTOS VAIKUTUS EUR HTV Yhteistyökumppanit Tilat TEOT Mikä, kpl, Kesto IHMISET Keitä, kpl, tyytyväisyys, aktiivisuus Onko löydettävissä yksi, suoraviivainen ja määrällinen tulosmittari? Rinnalle kokonaisvaltaisen muutoksen mittaaminen Mikä vaikutus on todennettavissa? Mieluummin yksi kunnolla kuin viisi huonosti.

25 Toiminnan seuranta ja ohjaus - esimerkki Lähde: Muotialan Hyvän Mitta -arviointi

26 Tavoitteista mittaamissuunnitelmaan TAVOITE Peruskoulusta valmistuminen MUUTOS Kokonaisvaltainen muutos Vaikutustavoite Kokonaisvaltainen muutos Vaikutustavoite Toiminnallinen tavoite/seuranta Muokattu Iceheartsin Hyvän Mitta -arvionnista

27 Tietopohja Sotkanet.fi, indikaattoreista ohjeet käyttöön ja tehdyt tutkimukset TOIMIA-tietokanta, monipuolisesti toimintakyvyn mittareita ja käytetyt tutkimukset THL:n tutkimukset ja aineistot, mm: Terveytemme.fi Alueellinen terveys- ja hyvinvointitutkimus (ATH), löytyy tarkkaakin aluetason tietoa Aikuisväestön terveyskäyttäytyminen ja Eläkeikäisen väestön terveyskäyttäytyminen. Kansallinen syntymäkohortti 1987 lasten ja nuorten terveyteen vaikuttavista tekijöistä. mm. Nuorisobarometrit ja Nuorten elinolotutkimukset. Tilastokeskuksen aineistot, kuten ajankäyttötutkimus, tulonjakotilastot, työolotutkimus, vapaa-aikatutkimus, jne. Työterveyslaitos. Erityisesti Työ ja terveys -tutkimus. Ministeriöt. esim. VNK:n ehdotus sote-palveluiden kansalliseksi mittaristoksi, YM:n asumisen kehittämisohjelmat, Opetushallitus Hyvän Mitta arviointien yhteenveto

28 Mitä seuraavaksi? Kenelle tuloksista pitää kertoa, miten? Miten valitun ratkaisun vaikutusten arviointia jatketaan? Mihin muualle opittua voisi soveltaa?

29 Vaikutusten arviointi on panoraamakuvan ottamista ja muodostamista

30 KIITOS!