Työn ja asiantuntijuuden kehittäminen arvioinnin avulla. SOSTE:n arviointiverkoston kolmas verkostotapaaminen

Transkriptio

1 Työn ja asiantuntijuuden kehittäminen arvioinnin avulla SOSTE:n arviointiverkoston kolmas verkostotapaaminen

2 Terveyden ja hyvinvoinnin laitos (THL) PÄÄTOIMIPAIKKA: Helsinki MUUT TOIMIPAIKAT: Turku, Tampere, Jyväskylä, Kuopio, Oulu ja Vaasa ALAISUUDESSAMME TOIMIVAT: Valtion mielisairaalat (Niuvanniemi, Vanha Vaasa) Valtion lastensuojeluyksiköt Oulu Kuopio Vaasa Jyväskylä Turku Tampere Helsinki THL

3 THL:n organisaatio PÄÄJOHTAJA Juhani Eskola HYVINVOINTI- JA TERVEYSPOLITIIKAT -TOIMIALA HYVINVOINNIN JA TERVEYDEN EDISTÄMISEN TOIMIALA TERVEYDEN SUOJELUN TOIMIALA SOSIAALI- JA TERVEYSPALVELUT -TOIMIALA Sosiaali- ja terveyspolitiikan ja -talouden osasto Väestön terveys, toimintakyky ja hyvinvointi -osasto Elintavat ja osallisuus -osasto Kansantautien ehkäisyn osasto Päihteet ja riippuvuus -osasto Rokotusten ja immuunisuojan osasto Tartuntatautiseurannan ja -torjunnan osasto Ympäristöterveyden osasto Lapset, nuoret ja perheet -osasto Mielenterveys ja päihdepalvelut -osasto Palvelujärjestelmäosasto YHTEISET PALVELUT JA KEHITTÄMINEN TIETO-OSASTO VIESTINTÄOSASTO Kansainvälisten asiain yksikkö THL

4 Vaikuttavuuden tarve - vai vaade? Hallitusohjelma 2011: vaikuttavuus 51 kertaa Kaste-ohjelma: Tarvitaan systemaattista tiedon keräämistä väestön hyvinvoinnin tilasta, hyvinvointiin vaikuttavista tekijöistä ja palvelujen toimivuudesta. Sote-rakenneuudistus, Sosiaalihuoltolakiuudistus Kansalaiset, palvelujen käyttäjät Rahoittajat Tilivelvollisuus Sosiaalityön sisäiset tarpeet Kuva: Arvioinnin ristikkäiset voimat THL

5 Miten vaikuttavuus saadaan esiin? Tutkimukselliset pelisäännöt Poliittisuus, arvottaminen Tietoa käytännön toiminnan tueksi, myös päätöksentekoon Yhteiskuntatieteen menetelmät THL

6 Empiristinen Pragmaattinen Realistinen Vaikuttavuustiedon lajeja Kriittinen / poliittinen Konstruktivistinen THL

7 Vaikuttavuuden määrittelyjä Panos-tuotos vaikuttavuus Tilastollinen vaikuttavuus Koettu vaikuttavuus Interventioiden vaikuttavuus Tavoiteperustainen vaikuttavuus Lisää: Marketta Rajavaara (2006) Yhteiskuntaan vaikuttava Kela THL

8 Tavoiteperustaisessa vaikuttavuuden arvioinnissa käytettyjä kysymyksiä Kirjataan asetetut tavoitteet Loppuarviointi: mitkä tavoitteet saavutettiin hyvin, mitkä huonosti ja missä määrin? Kirjataan työmenetelmät, joita käytetään tavoitteiden saavuttamiseksi Loppuarviointi: millaiset menetelmät vaikuttivat tavoitteiden suuntaisesti? Kirjataan tavoitteiden saavuttamiseen liittyvät tilannetekijät: Loppuarviointi: millaiset tilannetekijät edistivät tavoitteen saavuttamista? Millaiset tilannetekijät hankaloittivat tavoitteen saavuttamista? Lisää: Peitola, Petri (2005) Arvioinnin soveltuvuus sosiaalityössä. Tapauksena realistinen arviointi huumeongelmaisen yksilökohtaisessa palveluohjauksessa. FinSoc. Työpapereita 4. Helsinki THL

9 Esimerkki tapauskohtaisesta arvioinnista Lähde: Rostila, Ilmari & Mäntysaari, Mikko (1997) Tapauskohtainen evaluointi sosiaalityön välineenä. Stakes. Raportteja 212. Helsinki THL

10 Huomioita vaikuttavuudesta Intervention kohteena olevat ongelmat (koulupoissaolot) eivät näytä muuttuneen Selittäviä tekijöitä: Läsnäoloa parantanut lyhytaikaisesti: yhteisneuvottelu, kouluun saatto Kotikäynti ei edistänyt, jos asiakas ei ollut paikalla Tulkintaa: Koulupoissaolot eivät korreloineet koulumenestyksen kanssa Mittaus tehty kesän läheisyydessä, tilannetekijät Koulutyön tavoitetaso tulisi määritellä selkeämmin THL

11 Miten tavoiteperustainen arviointi soveltuisi järjestötyöhön? Etuja: Sopii RAY:n arviointeihin, mikä on ollut hankkeen rooli vaikutusten saavuttamisessa Menetelmien arviointi hyödyntää myös järjestöjä itseään, onko järjestön tekemällä interventiolla ollut vaikutusta, viisastuminen & kehittyminen Tavoitteiden konkretisointi auttaa arvioinnissa, auttaa tulosten arviointiin Osuvuus! Mahdollistaa asiakkaiden osallisuuden Hankaluuksia: Ei ota huomioon menetelmiä, miten tavoite saavutetaan Entä jos tavoite muuttuu tai on alun perin määritelty huonosti THL

12 AVAIN-MITTARI THL

13 Tietojen kirjaaminen AVAIN-mittariin THL

14 AVAIN-mittari, Seinäjoki: Asiakkaiden tavoitteet THL

15 AVAIN-mittari, Seinäjoki: Hyvin saavutetut tavoitteet THL

16 AVAIN-mittari, Seinäjoki: Käytetyt työmenetelmät THL

17 AVAIN-mittari, Seinäjoki: Tavoitteita edistäneet tekijät THL

18 AVAIN-mittari, Seinäjoki: Tavoitteita hankaloittaneet tekijät THL

19 AVAIN-mittarilla saatuja huomioita vaikuttavuudesta Toisiaan tukevien menetelmien käyttö parantaa vaikuttavuutta Yksittäisillä kevyehköillä interventioilla ei voida vaikuttaa pitkäaikaisiin ja syviin ongelmiin Toimeentulotuki yksin käytettynä menetelmänä tehoton Naisten ja miesten eroavuudet, palvelun tasapuolisuus Tietoa vaikuttavuudesta työntekijöille, asiakkaille, päätöksentekoon THL

20 FinSoc tukee vaikuttavuuden arviointia Verkkosivu: Facebook: Twitter: LinkedIN: SlideShare: You Tube Innokylä Arviointitutkimuksen sähköpostilista Research Gate: THL

21 THL, FinSoc JULKAISUJA ( ) Kivipelto, Minna, Blomgren, Sanna, Karjalainen, Pekka & Saikkonen, Paula (toim.) (2013) Vaikuttavaa aikuissosiaalityötä arviointimalleista mittareihin. Terveyden ja hyvinvoinnin laitos. Raportteja. Helsinki. Blomgren, Sanna & Kivipelto, Minna (2012) Valtaistus valtakunnallinen aikuissosiaalityön kartoitus (pdf 3,27 Mt). Terveyden ja hyvinvoinnin laitos. Raportteja 27. Helsinki. Kivipelto, Minna & Larivaara, Meri & Andersson, Sirpa & Heinämäki, Liisa & Jonsson, Pia Maria & Kotiranta, Tuija & Vuorenmaa, Maritta (toim.) (2012) Näkökulmia arviointiin. Kaste-ohjelman valtionavustushankkeet. THL. Raportteja 33. Helsinki. Kivipelto, Minna & Karjalainen, Pekka (2012) Aikuissosiaalityön vaikuttavuuden arviointi. Teoksessa: Junnila, Maijaliisa & Hänninen, Sakari. Vaikuttavatko politiikkatoimet? THL. Helsinki. Korteniemi, Pertti; Kotiranta, Tuija & Kivipelto, Minna (2012) Kokemuksia sosiaalityön vaikuttavuuden arvioinnin toteuttamisesta kriittisiä kohtia ja kehittämistarpeita. Teoksessa Pohjola, Anneli & Kemppainen, Tarja & Väyrynen, Sanna (toim.) Sosiaalityön vaikuttavuus. Rovaniemi: Lapin yliopistopaino THL

22 ARTIKKELEITA, LEHTIJUTTUJA ( ) Kivipelto, Minna & Blomgren, Sanna (2013) Arviointimittari kuntouttavan sosiaalityön kehittämisen välineenä. Kuntoutus (2), Kivipelto, Minna & Blomgren, Sanna (2012) Social work with adults as a tool for tackling exclusion (pdf 829 kt). Teoksessa: Karvonen, Sakari; Keskimäki, Ilmo, Kuronen, Maria & Wilskman, Kaarina (toim.) Annual Review Helsinki: Terveyden ja hyvinvoinnin laitos. Kivipelto, Minna & Saikkonen, Paula (2013) Tiedon tuotanto ja vaikuttavuustieto sosiaalityössä. Yhteiskuntapolitiikka 78 (3), Karlsson, Mirja (2013) Pian sosiaalityön vaikuttavuutta voidaan mitata. Tesso. Kivipelto, Minna & Yliruka, Laura (2012) Mirror method as an approach for critical evaluation in social work. 13(2) Critical Social Work. Saikkonen, Paula (2013) challenges in evaluating welfare services: A case of adult social work. Evaluation connections. June, Saikkonen, Paula & Kivipelto, Minna (2012) Tiedontuotannon mahdollisuudet sosiaalipalveluissa. Janus 20 (3), Sosiaalityö vaikuttaa kun ihmiset kohtaavat. Premissi (3), THL

23 Puh (vaihde) Postiosoite: PL 30, Helsinki Käyntiosoite: Mannerheimintie 166, Helsinki Sähköposti: info(at)thl.fi THL