Miksi vaikuttavuuden mittaaminen on tärkeää ja miten sitä voi tehdä? Esimerkkinä realistinen arviointi
Vaikuttavuuden määritelmä Vaikuttavuus on saanut merkillisen paljon sananvaltaa yhteiskunnassa ottaen huomioon, että se on tyhjä käsite. Vasta kun tiedustellaan sitä, millaisten pyrkimysten valossa jokin yhteiskunnallinen käytäntö on vaikuttava, käsite tulee tärkeäksi. (Rajavaara 2007, 200)
Ja tästä tullaan siihen, että..vaikuttavuus määritellään kontekstisidonnaisesti. Vaikuttavuuden arvioinnilla voidaan tarkoittaa esimerkiksi sen tarkastelua, miten saavutetut hyödyt on saatu aikaan käytettävissä olevilla inhimillisillä ja taloudellisilla voimavaroilla (Rajavaara 2007)
Miksi vaikuttavuuden arviointi on tärkeää sosiaalityössä? Sosiaalityön sisältä nousevat vaateet Sosiaalityöllä on vaikutuksia yksilöön, yhteisöihin ja yhteiskuntaan Sosiaalityöllä on sekä positiivisia että negatiivisia vaikutuksia Sosiaalityön vaikutuksista ei ole käytettävissä systemaattisesti kerättyä ja analysoitua tietoa (Paasio 2014) Suomessa sosiaalityön tuloksellisuutta ei tällä hetkellä arvioida vaikuttavuudella vielä missään (Paasio 2014) Sosiaalihuoltolaki (2014) Sosiaalityön eettiset periaatteet (2013) Sosiaalityön ulkoa tulevat vaateet Hallitusohjelma, kiky Sote-uudistus (Järjestämislakiluonnos 27.6.2016) Päätöksenteko, kunnat, rahoittajat
Millaista vaikuttavuuden arviointia sosiaalityössä tarvitaan? Tietoa yksittäisten ihmisten kohdalla tapahtuneista muutoksista Tietoa menetelmien vaikuttavuudesta erilaisissa tilanteissa elävien ihmisten kohdalla Tietoa olosuhteiden ja tilannetekijöiden merkityksestä vaikuttavuudessa Tietoa tekijöistä, jotka vaikeuttavat tavoitellun vaikuttavuuden saavuttamista Tietoa tekijöistä, jotka edistävät tavoitellun vaikuttavuuden saavuttamista Organisaatio- ja kuntatason vaikuttavuus Yhteisö- ja yhteiskuntatason vaikuttavuus Ennakkoarviointia, jatkuvaa arviointia, jälkikäteisarviointia
Realismin lupaus On olemassa havaintojen ulkopuolinen todellisuus, mutta käsityksemme tästä maailmasta on tulkintojemme muokkaamaa (Maxwell 2012) Todellisuutta voidaan kuvata teoreettisin käsittein, käsitteet eivät vain teknisiä välineitä (Bhaskar 1975; Maxwell 2012) Voidaan tutkia, mikä toimii, kenen kohdalla ja millaisissa olosuhteissa? Konteksti mekanismi vaikuttavuus
Konteksti Tilannetekijä, esimerkiksi sosiaalinen ympäristö Jatkuvasti muuttuva Eri tavoin konstruoituva
Mekanismit Syy-seuraussuhde voidaan jäljittää löytämällä niitä laukaisevia mekanismeja ja prosesseja Mekanismi on yksi osa / tekijä prosessissa, joka mahdollistaa tietyn lopputuloksen saavuttamisen, esim. kommunikaation tyyppi/sisältö, luottamus jne. (Archer 2015) Mekanismi selittää, miten asioiden välinen yhteys tapahtuu, kuin että se vain havaitaan tapahtuvan (Archer 2015)
Realismin tulkinta vaikuttavuudesta Kun yksittäisten interventioiden vaikuttavuutta tutkitaan ja meta-analyysissä kyetään yhdistämään erilliset tutkimukset, ja kun tulos on positiivinen, voi syntyä vaikutelma, että vaikuttavuus on intervention ominaisuus. Realismin mukaan tämä on harhaa. Havaittu vaikuttavuus on tietyissä kontekstissa toimivien mekanismien ominaisuus. Interventiot vain mahdollistavat näiden mekanismien toiminnan suotuisissa olosuhteissa ja olennaista on, että nämä mekanismit ovat ihmisten elämässä vaikuttavia voimia, eivät niinkään interventioiden ja palvelujen ominaisuuksia (Paasio 2014, 62)
Realistisen vaikuttavuusarvioinnin vaikeudet Tutkimuksen poliittisuus: arviointitutkimus ja vaikuttavuuden tutkiminen on täynnä arvovalintoja (House & Howe 1999; House 1993) Menetelmien operationalisointi mitattavaan muotoon vaikeaa Mikä johtuu sosiaalityöstä ja mikä jostain muusta? Mekanismien käsitteellistäminen jatkumona (Dalkin ym. 2015)
Nuorten asettamat tavoitteet (Saikkonen
Tavoite parantunut % nuorista (Saikkonen ym 2015)
Nuorten tavoitteita edistäneet ja vaikeuttaneet tilannetekijät (Saikkonen ym. 2015)
Lähteet Archer, Margaret (2015) Introduction: Other Conceptions of Generative Mechanisms and Ours. Teoksessa Archer, Margaret (toim.) Generative Mechanisms Transforming the Social Order. London: Springer, 1-26. House, Ernst R. (1993) Professional Evaluation: Social Impact and Political Consequences. Newbury Park: Sage. House & Howe (1999) Values in evaluation and social research. Thousand Oaks: Sage. Paasio, Petteri (2014) Näyttöön perustuva sosiaalityön käytäntö järjestelmällinen katsaus vuosina 2010 2012 julkaistuista tutkimuksista. Jyväskylä: Jyväskylän yliopisto, Yhteiskuntatieteiden ja filosofian laitos, sosiaalityö. Rajavaara, Marketta (2007) Vaikuttavuusyhteiskunta. Sosiaalisten olojen arvostelusta vaikutusten todentamiseen. Sosiaali- ja terveysturvan tutkimuksia 84. Helsinki: Kelan tutkimusosasto.
Roy Bhaskar (1975) Realist Theory Of Science. London: Routledge. Dalkin, Sonia Michelle & Greenhalgh, Joanne & Jones, Diana & Cunningham, Bill & Lhussier, Monique (2015) What's in a mechanism? Development of a key concept in realist evaluation. Implementation Science10 (1), 1-7. Maxwell, Joseph A. (2012) A Realist Approach for Qualitative Research. Sage/George Mason University. Paula Saikkonen, Sanna Blomgren, Pekka Karjalainen ja Minna Kivipelto (2015) Poistaako sosiaalityö huono-osaisuutta? Helsinki: Kunnallisalan kehittämissäätiö. http://kaks.fi/wpcontent/uploads/2015/08/poistaako-sosiaality%c3%b6-huonoosaisuutta.pdf Sosiaalihuoltolaki (2014) Helsinki: Eduskunta. Sosiaalityön eettiset periaatteet (2013) Helsinki: Talentia. http://www.talentia.fi/files/558/etiikkaopas_2013_net.pdf