Työn ja asiantuntijuuden kehittäminen arvioinnin avulla SOSTE:n arviointiverkoston kolmas verkostotapaaminen 20.3.2014
Terveyden ja hyvinvoinnin laitos (THL) PÄÄTOIMIPAIKKA: Helsinki MUUT TOIMIPAIKAT: Turku, Tampere, Jyväskylä, Kuopio, Oulu ja Vaasa ALAISUUDESSAMME TOIMIVAT: Valtion mielisairaalat (Niuvanniemi, Vanha Vaasa) Valtion lastensuojeluyksiköt Oulu Kuopio Vaasa Jyväskylä Turku Tampere Helsinki 20.3.2014 20.3.2014 THL 2014 2
THL:n organisaatio PÄÄJOHTAJA Juhani Eskola HYVINVOINTI- JA TERVEYSPOLITIIKAT -TOIMIALA HYVINVOINNIN JA TERVEYDEN EDISTÄMISEN TOIMIALA TERVEYDEN SUOJELUN TOIMIALA SOSIAALI- JA TERVEYSPALVELUT -TOIMIALA Sosiaali- ja terveyspolitiikan ja -talouden osasto Väestön terveys, toimintakyky ja hyvinvointi -osasto Elintavat ja osallisuus -osasto Kansantautien ehkäisyn osasto Päihteet ja riippuvuus -osasto Rokotusten ja immuunisuojan osasto Tartuntatautiseurannan ja -torjunnan osasto Ympäristöterveyden osasto Lapset, nuoret ja perheet -osasto Mielenterveys ja päihdepalvelut -osasto Palvelujärjestelmäosasto YHTEISET PALVELUT JA KEHITTÄMINEN TIETO-OSASTO VIESTINTÄOSASTO Kansainvälisten asiain yksikkö 20.3.2014 THL 2014 3
Vaikuttavuuden tarve - vai vaade? Hallitusohjelma 2011: vaikuttavuus 51 kertaa Kaste-ohjelma: Tarvitaan systemaattista tiedon keräämistä väestön hyvinvoinnin tilasta, hyvinvointiin vaikuttavista tekijöistä ja palvelujen toimivuudesta. Sote-rakenneuudistus, Sosiaalihuoltolakiuudistus Kansalaiset, palvelujen käyttäjät Rahoittajat Tilivelvollisuus Sosiaalityön sisäiset tarpeet Kuva: Arvioinnin ristikkäiset voimat 20.3.2014 THL 2014 4
Miten vaikuttavuus saadaan esiin? Tutkimukselliset pelisäännöt Poliittisuus, arvottaminen Tietoa käytännön toiminnan tueksi, myös päätöksentekoon Yhteiskuntatieteen menetelmät www.thl.fi/aikuissosiaalityo 20.3.2014 THL 2014 5
Empiristinen Pragmaattinen Realistinen Vaikuttavuustiedon lajeja Kriittinen / poliittinen Konstruktivistinen 20.3.2014 THL 2014 6
Vaikuttavuuden määrittelyjä Panos-tuotos vaikuttavuus Tilastollinen vaikuttavuus Koettu vaikuttavuus Interventioiden vaikuttavuus Tavoiteperustainen vaikuttavuus Lisää: Marketta Rajavaara (2006) Yhteiskuntaan vaikuttava Kela. 20.3.2014 THL 2014 7
Tavoiteperustaisessa vaikuttavuuden arvioinnissa käytettyjä kysymyksiä Kirjataan asetetut tavoitteet Loppuarviointi: mitkä tavoitteet saavutettiin hyvin, mitkä huonosti ja missä määrin? Kirjataan työmenetelmät, joita käytetään tavoitteiden saavuttamiseksi Loppuarviointi: millaiset menetelmät vaikuttivat tavoitteiden suuntaisesti? Kirjataan tavoitteiden saavuttamiseen liittyvät tilannetekijät: Loppuarviointi: millaiset tilannetekijät edistivät tavoitteen saavuttamista? Millaiset tilannetekijät hankaloittivat tavoitteen saavuttamista? Lisää: Peitola, Petri (2005) Arvioinnin soveltuvuus sosiaalityössä. Tapauksena realistinen arviointi huumeongelmaisen yksilökohtaisessa palveluohjauksessa. FinSoc. Työpapereita 4. Helsinki. 20.3.2014 THL 2014 8
Esimerkki tapauskohtaisesta arvioinnista Lähde: Rostila, Ilmari & Mäntysaari, Mikko (1997) Tapauskohtainen evaluointi sosiaalityön välineenä. Stakes. Raportteja 212. Helsinki. 20.3.2014 THL 2014 9
Huomioita vaikuttavuudesta Intervention kohteena olevat ongelmat (koulupoissaolot) eivät näytä muuttuneen Selittäviä tekijöitä: Läsnäoloa parantanut lyhytaikaisesti: yhteisneuvottelu, kouluun saatto Kotikäynti ei edistänyt, jos asiakas ei ollut paikalla Tulkintaa: Koulupoissaolot eivät korreloineet koulumenestyksen kanssa Mittaus tehty kesän läheisyydessä, tilannetekijät Koulutyön tavoitetaso tulisi määritellä selkeämmin 20.3.2014 THL 2014 10
Miten tavoiteperustainen arviointi soveltuisi järjestötyöhön? Etuja: Sopii RAY:n arviointeihin, mikä on ollut hankkeen rooli vaikutusten saavuttamisessa Menetelmien arviointi hyödyntää myös järjestöjä itseään, onko järjestön tekemällä interventiolla ollut vaikutusta, viisastuminen & kehittyminen Tavoitteiden konkretisointi auttaa arvioinnissa, auttaa tulosten arviointiin Osuvuus! Mahdollistaa asiakkaiden osallisuuden Hankaluuksia: Ei ota huomioon menetelmiä, miten tavoite saavutetaan Entä jos tavoite muuttuu tai on alun perin määritelty huonosti 20.3.2014 THL 2014 11
AVAIN-MITTARI 20.3.2014 THL 2014 12
Tietojen kirjaaminen AVAIN-mittariin 20.3.2014 THL 2014 13
AVAIN-mittari, Seinäjoki: Asiakkaiden tavoitteet 20.3.2014 THL 2014 14
AVAIN-mittari, Seinäjoki: Hyvin saavutetut tavoitteet 20.3.2014 THL 2014 15
AVAIN-mittari, Seinäjoki: Käytetyt työmenetelmät 20.3.2014 THL 2014 16
AVAIN-mittari, Seinäjoki: Tavoitteita edistäneet tekijät 20.3.2014 THL 2014 17
AVAIN-mittari, Seinäjoki: Tavoitteita hankaloittaneet tekijät 20.3.2014 THL 2014 18
AVAIN-mittarilla saatuja huomioita vaikuttavuudesta Toisiaan tukevien menetelmien käyttö parantaa vaikuttavuutta Yksittäisillä kevyehköillä interventioilla ei voida vaikuttaa pitkäaikaisiin ja syviin ongelmiin Toimeentulotuki yksin käytettynä menetelmänä tehoton Naisten ja miesten eroavuudet, palvelun tasapuolisuus Tietoa vaikuttavuudesta työntekijöille, asiakkaille, päätöksentekoon 20.3.2014 THL 2014 19
FinSoc tukee vaikuttavuuden arviointia Verkkosivu: www.thl.fi/aikuissosiaalito Facebook: https://www.facebook.com/?sk=welcome Twitter: https://twitter.com/minnakivipelto LinkedIN: http://www.linkedin.com/nhome/?trk=guest_home_login SlideShare: http://www.slideshare.net/minnakivipelto5/edit_my_uploads You Tube https://www.youtube.com/watch?v=wyt-1uni47e Innokylä https://www.innokyla.fi/web/verstas367729 Arviointitutkimuksen sähköpostilista (ARVTUTK@FORUM.STAKES.FI) Research Gate: https://www.researchgate.net/home.home.html 20.3.2014 THL 2014 20
THL, FinSoc JULKAISUJA (2012-2013) Kivipelto, Minna, Blomgren, Sanna, Karjalainen, Pekka & Saikkonen, Paula (toim.) (2013) Vaikuttavaa aikuissosiaalityötä arviointimalleista mittareihin. Terveyden ja hyvinvoinnin laitos. Raportteja. Helsinki. Blomgren, Sanna & Kivipelto, Minna (2012) Valtaistus valtakunnallinen aikuissosiaalityön kartoitus (pdf 3,27 Mt). Terveyden ja hyvinvoinnin laitos. Raportteja 27. Helsinki. Kivipelto, Minna & Larivaara, Meri & Andersson, Sirpa & Heinämäki, Liisa & Jonsson, Pia Maria & Kotiranta, Tuija & Vuorenmaa, Maritta (toim.) (2012) Näkökulmia arviointiin. Kaste-ohjelman valtionavustushankkeet. THL. Raportteja 33. Helsinki. Kivipelto, Minna & Karjalainen, Pekka (2012) Aikuissosiaalityön vaikuttavuuden arviointi. Teoksessa: Junnila, Maijaliisa & Hänninen, Sakari. Vaikuttavatko politiikkatoimet? THL. Helsinki. Korteniemi, Pertti; Kotiranta, Tuija & Kivipelto, Minna (2012) Kokemuksia sosiaalityön vaikuttavuuden arvioinnin toteuttamisesta kriittisiä kohtia ja kehittämistarpeita. Teoksessa Pohjola, Anneli & Kemppainen, Tarja & Väyrynen, Sanna (toim.) Sosiaalityön vaikuttavuus. Rovaniemi: Lapin yliopistopaino. 20.3.2014 THL 2014 21
ARTIKKELEITA, LEHTIJUTTUJA (2012-2013) Kivipelto, Minna & Blomgren, Sanna (2013) Arviointimittari kuntouttavan sosiaalityön kehittämisen välineenä. Kuntoutus (2), 5-16. Kivipelto, Minna & Blomgren, Sanna (2012) Social work with adults as a tool for tackling exclusion (pdf 829 kt). Teoksessa: Karvonen, Sakari; Keskimäki, Ilmo, Kuronen, Maria & Wilskman, Kaarina (toim.) Annual Review 2012. Helsinki: Terveyden ja hyvinvoinnin laitos. Kivipelto, Minna & Saikkonen, Paula (2013) Tiedon tuotanto ja vaikuttavuustieto sosiaalityössä. Yhteiskuntapolitiikka 78 (3), 313-321. Karlsson, Mirja (2013) Pian sosiaalityön vaikuttavuutta voidaan mitata. Tesso. http://www.tesso.fi/artikkeli/pian-sosiaality-n-vaikuttavuutta-voidaan-mitata Kivipelto, Minna & Yliruka, Laura (2012) Mirror method as an approach for critical evaluation in social work. 13(2) Critical Social Work. Saikkonen, Paula (2013) challenges in evaluating welfare services: A case of adult social work. Evaluation connections. June, 16-17. Saikkonen, Paula & Kivipelto, Minna (2012) Tiedontuotannon mahdollisuudet sosiaalipalveluissa. Janus 20 (3), 286 294. Sosiaalityö vaikuttaa kun ihmiset kohtaavat. Premissi (3), 6. 20.3.2014 THL 2014 22
Puh. 029 524 6000 (vaihde) Postiosoite: PL 30, 00271 Helsinki Käyntiosoite: Mannerheimintie 166, Helsinki Sähköposti: info(at)thl.fi www.thl.fi 20.3.2014 THL 2014 23