Vaikutusten ja vaikuttavuuden arviointi. Arviointiverkoston tapaaminen 2.9. Folkhälsan Mervi Aalto-Kallio ja Niina Haake, erityisasiantuntijat

Transkriptio

1 Vaikutusten ja vaikuttavuuden arviointi Arviointiverkoston tapaaminen 2.9. Folkhälsan Mervi Aalto-Kallio ja Niina Haake, erityisasiantuntijat

2 Päivän ohjelma Lämmittely- ja tutustumisosuus Tutustumista ja lämmittelyä päivän teemaan täydennettävin lausein Tietoisku- ja keskusteluosuus Vaikutusten ja vaikuttavuuden arviointi: RAY:n näkökulma SOSTEn säestyksellä Tuomas Koskela, RAY (terveiset dioilla) Tulokset ja vaikutukset näkyviin kohti merkityksellistä arviointia, Tuula Kumpumäki, Yhteiset lapsemme ry Vaikutusten arviointi osana Yksi elämä -hanketta, Sari Koski, Suomen Diabetesliitto ry Kahvia A-kiltojen Liiton koulutuspalvelun arviointi, Noora Nieminen, A- Kiltojen liitto ry Työskentelyosuus Mitä liikkuu arvioinnin aallolla? Mitä teemoja käsittelemme ensi vuonna? Äänestys Verkostotapaaminen päättyy

3 Hae Innopalkintoa ja voita 3000 euroa! Innopalkinnon haku on alkanut! Kilpailun myötä Innokylä haastaa hyvinvointi- ja terveysalan toimijoita etsimään ja kuvaamaan hankkeissa ja perustyössä syntyneitä ratkaisuja. Kilpailuun osallistuminen edellyttää, että kehitetty ratkaisu on kuvattu Innokylään toimintamallina ja verstaana. Hakuaika on Palkinnon arvo on 3000 euroa ja se jaetaan Innomarkkinoilla Innopalkinnon luovuttaa sosiaali- ja terveysministeri Laura Räty. Lisäksi jaetaan 1000 euron palkinto yleisön suosikille.

4 Verkosto kokoontuu laivalla Kilistellään yksivuotiselle SOSTEn arviointiverkostolle suklaanamien kera! Luvassa myös ehkä arvontaa katsotaan.

5 Lämmittelyä Vaikutusten arviointi on mielestäni Vaikuttavuuden arviointi herättää minusta Täydennetyt lauseet löytyvät erillisestä diasarjasta.

6 Vaikutusten ja vaikuttavuuden arviointi SOSTE täydentää RAY:tä Vaikutus kuvaa toiminnalla saavutettuja muutoksia. (esim. järjestetty koulutus on lisännyt kohderyhmän osaamista tai liikuntaryhmiin osallistuvien henkilöiden paino on laskenut jne.) Erilaisten vaikutusten tunnistaminen (odotetut, odottamattomat, välittömät, välilliset, myönteiset vs. kielteiset, lyhyt- vs. pitkäkestoiset jne.) Vaikuttavuus laajempi kuin vaikutus. (effect effectiveness) Perusajatus: vaikuttavuus kuvaa tulosta, vaikutusta ja vaikuttamisen prosessia samalla kertaa silta prosessien ja niiden vaikutusten välillä. Keskeiset kysymykset arvioinnissa: Mikä vaikuttaa mihinkin, miten, milloin ja millä edellytyksillä? (Dahler-Larsen 2004, 7)

7 Vaikuttavuuksia vaikutusketjumallissa Hankkeen vaikuttavuus/tapa 2 (vaikutus ja tulos suhteessa panostettuihin resursseihin ja tavoitteeseen) Tarve Tavoite Panos Toimen pide Tuotos Tulos Vaikutus Hankkeen relevanssi Hankkeen tehokkuus Hankkeen vaikuttavuus/tapa 1 (vaikutus suhteessa tavoitteeseen) Hankkeen hyödyllisyys ja pysyvyys Perälä ym 2008, 20. European Commission 1997, 20. Virtanen, 2007, 86.

8 Vaikuttavuuksia eri näkökulmista Yhteiskuntatason vaikuttavuus (esim. rokotusohjelmat, Pohjois-Karjala projekti) Yksilötason vaikuttavuus (esim. painonhallinta elämäntapamuutos) Ohjelmatason vaikuttavuus (esim. Emma ja Elias, Eloisa ikä?) Ajallinen vaikuttavuus (esim. hankkeen vaikutukset jatkuvat hankkeen päätyttyä) Kertautuva vaikuttavuus (vaikutukset leviävät, kertautuvat) Mitä tuumailuja näistä?

9 Vaikutusten arviointia ns. perinteisillä aineistonkeruumentelmillä ENNEN INTERVENTIO JÄLKEEN Määrällisillä aineistonkeruutavoilla: Kyselyt: tarkastele muutoksia keskiarvoissa ja keskihajonnoissa Mittaukset ja testaukset: tarkastele muutoksia esim. yksilön kunnon parantumisessa (esim. kuntotestaukset) tai lukemisen ja kirjoittamisen oppimisessa (esim. lukitestit) Laadullisilla aineistonkeruutavoilla: Haastattelut: muutokset kokemuksissa, käytetyissä käsitteissä, Havainnointi: muutokset kokonaisvaltaisessa ilmaisussa (eleet, ilmeet, liikkeet, puheenvuorojen käytössä)

10 Arvioinnin aallolla Mitä liikkuu arvioinnin aallolla? Mitä teemoja ensi vuodelle?

11 Pinnan alle vajonneena Hyvät käytännöt Teoreettisuus Pelkkä numerotieto indikaattorina Rahoittajan vuoksi arviointi Ulkoinen arviointi Arvioinnin irrallisuus ja erityisyys ja roolin korostaminen

12 Aallonharjalla Itsearviointi Kokemusasiantuntijuus Asiakasnäkökulma Vaikutusten arviointi Vaikuttavuuden arviointi Taloudellinen arviointi Verkosto- ja yhteistyön arviointi Vertaisarviointi Laadukas arviointi vs. niukat resurssit Kehittävä arviointi Konsultoiva arviointi Seurantatiedon hyödyntäminen Ennakointi Huonot arvioinnit Näyttöön perustuva tieto Vapaaehtoistoiminnan arviointi Toiminnalliset menetelmät Vaikeasti tavoitettavat kohderyhmät arvioinnissa

13 Signaaleja, signaaleja Kokemusasiantuntijuus Osallistaminen Kunta-yritys yhteistyö arviointitiedon tuottamisessa ja menetelmien käytössä Yhteiskehittäminen Hyvinvointiin liittyvän toiminnan tuloksellisuus Mikä on merkittävä tulos? Oman toiminnan tuloksellisuus Vapaaehtoistoiminnan, lyhytkestoisen toiminnan arviointi Arvioinnin linkittyminen toimintaan Laajemmat kokonaisuudet, vaikuttavuus Some arvioinnin välineenä Näyttöön perustuva tieto ja resurssien kohdentaminen Laadullisen aineiston kuvaaminen määrällisesti ja rahassa Laatu ja kustannukset Kansalaistoiminnan merkitsevyys

14 Äänestä ensi vuoden teemoja 1. Sinulla on kolme yksittäistä ääntä. 2. Äänestä ympyröimällä tai rastittamalla se lokero, jolle haluat antaa äänesi. 3. Voit antaa kaikki kolme ääntäsi myös yhdelle teemalle, jos niin haluat. Tarvittaessa voimme yhdistää luontevasti yhteensopivia teemoja saman verkostotapaamisen sisällöiksi. Äänestyksen tulokset löytyvät erillisestä diasarjasta.

15 Ensi vuoden verkostotapaamisten alustava aikataulu Jonkun teeman puitteissa on mahdollista järjestää työpajoja tmv. Ilmoitamme näistä tarkemmin.

16 Kiitos!