Asiakashyötyjen arviointi esimerkkinä lastensuojelun systeemisen toimintamallin arviointitutkimus 2017-2018 Elina Aaltio Tutkija Lapset, nuoret ja perheet THL
Systeemisen mallin pilotointi 2017-2018 Pilotoidaan valtakunnallisesti osana LAPE-ohjelmaa 2017-2018 Pilotoivia maakuntia 14, joissa tällä tietoa 37 pilottikuntaa/kuntien yhteenliittymää ja n. 40 50 pilotoivaa lastensuojelutiimiä Pilottikunnat kooltaan 5 000 635 000 asukasta Pilotointi tapahtuu lastensuojelun sosiaalityön tiimeissä THL:n toteuttama toimeenpanon tuki Kansallinen kouluttajakoulutus Esimiesten työpajat Yhteiskehittämispäivät ja muut tilaisuudet Mallinnusraportti ja muu kirjallinen materiaali (mm. Lahtinen ym. 2017, Fagerström 2016) Lähde: THL
Implementoinnin ja vaikuttavuuden arvioinnista Implementoinnilla tarkoitetaan käyttöönottoa Jokin malli voidaan ottaa käyttöön suoraan tai soveltaen, hyvin tai huonosti Ennen kuin voidaan arvioida toiminnan X vaikuttavuutta, on tiedettävä, toimitaanko tavalla X (vai sittenkin tavalla Y tai Z?) Vaikuttavuudella tarkoitetaan toivottujen tulosten saavuttamista Vaikuttavuuden arviointi tärkeää, jotta tehdään asiakkaita aidosti hyödyttäviä interventioita vältetään tekemästä haitallisia interventioita hyödynnetään käytössä olevat resurssit mahdollisimman hyvin
Implementoinnin arviointi systeeminen lastensuojelun toimintamalli TUTKIMUSKYSYMYKSET Toimivatko pilotit systeemisen mallin mukaisesti? Onko pilotoinnin aikana tapahtunut toivottuja muutoksia asiakastyössä, työhyvinvoinnissa, asiakkaiden hyvinvoinnissa ja järjestelmätasolla? Miten toimintaympäristö on vaikuttanut pilotoinnin onnistumiseen? Mitkä tekijät edesauttavat ja mitkä estävät mallin implementointia? Mitä työntekijät, esimiehet ja kouluttajat ajattelevat mallista ja implementoinnista? Mitä asiakkaat ajattelevat mallista? TUTKIMUSAINEISTO Pilottitiimien esimiehiltä kerätty työpaja-aineisto ja kyselyt Pilottitiimien ja kontrollitiimien työntekijöiltä kerättävä kyselyaineisto Kouluttajakoulutuskysely Työntekijöiden, esimiesten ja kouluttajien haastattelut (pilotti- ja kontrollitiimit) Asiakkailta kerättävä kyselyaineisto (pilotti- ja kontrollitiimit) Asiakkaiden haastattelut (pilotti- ja kontrollitiimit)
TUTKIMUSKYSYMYKSET Onko systeeminen malli kyennyt tukemaan ja auttamaan asiakasperheitä perinteistä lastensuojelun asiakastyöskentelyä paremmin? Muuttuiko perheen hyvinvointi? Kokivatko asiakkaat asiakastyön aiempaa laadukkaammaksi? TUTKIMUSAINEISTO Vaikuttavuuden arviointi systeeminen lastensuojelun toimintamalli Asiakkaiden hyvinvointia, palvelutarpeita ja palvelukokemuksia koskeva lomakeaineisto työntekijän lomake itsearviointilomakkeet vanhemmille Itsearviointilomakkeet lapsille Asiakkaiden haastattelut vanhempien haastattelut nuorten haastattelut
INTERVENTIO A INTERVENTIO B AIKA 6.2.2018 Systeemisen mallin arviointi - Elina Aaltio
PILOTTI 75 % EI-PILOTTI 50 % 6.2.2018 AIKA Systeemisen mallin arviointi - Elina Aaltio
Miksi arvioida? Tilivelvollisuus rahoittajan ja asiakkaan suuntaan Arviointi on tarpeen silloin, kun palvelun toteuttamiselle on erilaisia vaihtoehtoja, joista valita mikä niistä on toimivin, hyödyllisin, vaikuttavin?
Mitä ja miten arvioida? Arvioitava i) mitä on tehty ja ii) mitä hyötyä siitä on ollut Aina ei ole kustannus-hyöty-näkökulmasta järkevää tuottaa huolellista tutkimusnäyttöä intervention toimivuudesta Näyttöä on kaikki systemaattisesti kerätty informaatio, joka on relevanttia käytännön informoimisen kannalta (Pollion 2006). Näyttö voi olla kvantitatiivista tai kvalitatiivista objektiivisia mittareita tai subjektiivisia kokemuksia kerätty rekistereistä, työntekijöiltä, asiakkailta empiiristä tutkimusnäyttöä (meta-analyysit, RCT, kvasikokeelliset asetelmat jne.) toiminnasta kerättyä seurantatietoa ilman tutkimusorientaatiota Jos tutkimusnäyttöä ei ole käytettävissä, myös muuta näyttöä voi kriittisesti käyttää. On parempi arvioida interventiota jollain tavalla, kuin olla arvioimatta lainkaan. Korteniemi & Borg (2008) Kohti näyttöön perustuvaa ammatillista käytäntöä?
Kiitos! Tutkija Elina Aaltio elina.aaltio@thl.fi 029 524 7219 Lapset, nuoret ja perheet Terveyden ja hyvinvoinnin laitos