Ohjelmateoria, arviointikriteeri(t), mittarit, mittaaminen ja arvio Miten malleista päästään arvioimaan sosiaalityön vaikuttavuutta? 29.3.2007 Kerttu Vesterinen
Vaikuttavuuden arvioinnin malli Peter Dahler-Larsen Arviointikysymyksen esittäminen Ohjelmateorian lähteiden löytäminen Ohjelmateorian laatiminen Ohjelmateorian selventäminen arviointia varten Menetelmien valitseminen Tietojen kerääminen Analyysi ja johtopäätökset
..jotta vaikuttavuus voitaisiin tietää: On tiedettävä, miksi vaikuttavuuden arviointia tehdään. On ymmärrettävä, miten muutos asiakastyössä syntyy (eli on ymmärrettävä syy- ja seuraussuhteita). On tuotettava tietoa muutosta edistävistä ja ehkäisevistä voimista asiakkaan elämässä (mekanismi). On tuotettava tietoa yhdessä sovituista, tavoitteellisista ja toteutuneista interventioista tai toiminnasta. On tuotettava tietoa tapahtuneesta asiakkaan tilanteen muutoksesta. On osattava hyödyntää syntynyttä informaatiota vaikuttavuuden tietämiseksi ja toiminnan muuttamiseksi.
Realistinen arviointitutkimus pyrkii vastaamaan kysymykseen miksi interventio vaikutti. Interventioiden vaikutuksien analysointia lähestytään teorialähtöisesti ns. generatiivisen kausaalisuuden näkökulmasta (erotuksena empiristisestä peräkkäisyyteen perustuvasta syysuhteen käsittämisestä) Tutkimuksen tulee osoittaa ne interventioon sisältyvät generoivat mekanismit, jotka vaikuttavat taustalla, sekä ne olosuhteet ja ihmiset, joiden osalta mekanismit toimivat.
Esimerkkinä läheisneuvonpidon vaikuttavuuden arviointi Ohjelmateoria läheisneuvonpidon vaikuttavuudesta Läheisneuvonpito on sosiaalityön menetelmä. Neuvonpidossa kutsutaan koolle lapselle ja huoltajille tärkeät läheiset ihmiset sekä ratkaistavaan asiaan oleellisesti kytkeytyvät viranomaiset. Tarkoituksena on keskustella lapsen tilanteesta ja etsiä siihen ratkaisua. Kutsutut viranomaiset kertovat omat huolensa sekä asian ratkaisemisen kannalta oleelliset tietonsa. Kokouksen koollekutsumisen, järjestelyt sekä neuvonpidon vetämisen hoitaa puolueeton tähän tehtävään nimetty koollekutsuja. Kutsutut läheiset keskustelevat keskenään ilman viranomaisten läsnäoloa, pitävät oman neuvonpitonsa, jossa he keskittyvät laatimaan suunnitelmaa ongelman ratkaisemiseksi. He esittelevät tekemänsä yksimielisen suunnitelman sosiaalityöntekijöille, joiden ratkaistavaksi jää, voidaanko suunnitelma hyväksyä. Samalla sovitaan seurantakokouksen pitämisestä. Läheisneuvonpitoprosessin tavoitteena on nostaa lapsi keskiöön sekä etsiä, vahvistaa ja yhdistää lapselle läheisten ihmisten voimavaroja lapsen tilanteen ratkaisemiseksi. Tarkoitus on tukea läheisverkostoa löytämään ratkaisu lapsen tilanteeseen. Samalla yritetään koota ja organisoida kaikki käytettävissä olevat tuki ja palvelut lapsen parhaaksi sekä vähentää viranomaisten tarvetta puuttua lapsen tai perheen asioihin. Menettelyllä kehittyy uudenlainen neuvottelurakenne, joka vähentää vastakkainasettelua asiakkaiden ja viranomaisten välillä. Menetelmästä on kirjoitettu opas: Läheisneuvonpito, uusi sosiaalityön menetelmä, Tarja Heino (toim.) Stakes 2000.
Työmenetelmä auttaa tekemään lastensuojelutyötä avoimeksi ja vuorovaikutteiseksi. Kokemukset neuvonpidoista osoittavat, että mukanaolevat perheenjäsenet, läheiset, viranomaiset ja koollekutsujat tuntevat olevansa mukana erityisen merkityksellisessä tapahtumassa. Neuvonpitoprosessin (= valmisteluvaihe, neuvonpito, seurantavaihe) vaikuttavuutta mietittäessä ei voitane ennakoida, että asianosaiset arvioisivat juuri neuvonpidon ja siellä tehdyn suunnitelman olleen sen asian joka auttoi heitä, vaan kai ihmisille on tärkeätä mieltää oman aktiivisen roolin osuus päällimmäiseksi. Kokeneena koollekutsujana kuitenkin itse tiedän, että ilman neuvonpidon koollekutsumisvaihetta, neuvonpitoa ja sitä seuraavaa aikaa, jolloin suunnitelma eletään todeksi, kyseiset ihmiset eivät olisi saaneet riittävän tärkeää roolia ponnisteluilleen tilanteen parantamiseksi vallankin jos muita vastaavia tukitoimia ei käytetä. Oma kiinnostukseni kohdistuu siihen mitkä ovat ne välttämättömät elementit neuvonpitoprosessissa (= miten neuvonpito tulee toteuttaa), jotka varmistavat lapsen läheis- ja viranomaisverkoston onnistuneen yhteistoiminnan lapsen ja perheen tilanteen parantamiseksi. Vaikuttaa siltä, että itse neuvonpidon rakenne, se että kaikki ovat yhtä aikaa, valmisteltuina ja kutsuttuina paikalla (= konklaavi) ja se että kaikki saavat saman informaation yhtä aikaa ja voivat jakaa sen keskenään, hahmottaa kokonaistilannetta paremmin ja keskinäistä yhteisymmärrystä ja yhteistyötä on silloin mahdollista löytää. Helmikuussa 2007 käynnistetään neuvonpitojen väliarviointikokeilut, jotta saataisiin tutkimustietoa siitä miten neuvopidoissa keskiössä olevien lasten tilanteet muuttuvat, mikä osuus muutoksessa on neuvonpidoilla ja miten arvioidaan sosiaalityön osuutta asiassa (koollekutsujien ja sosiaalityöntekijöiden työn arviointi). Aluksi arvioidaan 3 läheisneuvonpitoa, joista 2 on saamenkielisiä. Puhelimitse suoritettavat väliarvioinnit suorittaa sosiaalityötekijä Anne-Maria Näkkäläjärvi, joka työskentelee saamenkielisen sosiaalityön kehittämishankkeessa. Puhelinhaastattelut suoritettaan niukan strukturoidun lomakekyselyn avulla, mutta haastatteluihin varataan vastaajille avoin mahdollisuus ottaa esille tärkeiksi havaitsemiaan asioita.
Arviointikriteerit ja -kysymykset 1. Lapsen tilanne muuttuu läheisneuvonpitointervention myötävaikutuksella parempaan suuntaan. Muuttuuko lapsen tilanne läheisneuvonpitointervention myötävaikutuksella parempaan suuntaan? 2. Läheisneuvonpitointerventio, neuvonpidon aikana tehty suunnitelma ja sen mukainen läheisten yhteistoiminta tiettynä, yhteisesti sovittuna aikana, vaikuttaa lapsen tilanteeseen kohentavasti. Kohentaako läheisneuvonpito, tehty suunnitelma ja sen mukainen läheisten yhteistoiminta lapsen tilannetta? 3. Koollekutsujan (koollekutsujien) ja sosiaalityöntekijän (sosiaalityöntekijöiden) johdonmukainen ja selkeä työskentely koko neuvonpitoprosessin (valmistelu, neuvonpito ja seuranta) aikana aikaansaavat mekanismeja lapsen läheisverkoston yhteistoiminnassa. Yhteistoiminta aikaansaa lapsen tilanteen kohentumista. Aikaansaavatko koollekutsuja ja sosiaalityöntekijä(t) toiminnallaan läheisverkostossa yhteistoimintaa, joka kohentaa lapsen tilannetta?
Mittarit 1. Onko lapsen / lasten tilanne muuttunut sen jälkeen, kun läheisneuvonpito (päivämäärä) pidettiin? 1) Kyllä paljonkin parempaan suuntaan 2) Jonkin verran (vähän) parempaan suuntaan 3) Lapsen / lasten tilanne on entinen eli ei muutosta 4) Lapsen / lasten tilanne on huonontunut Perustelut: 2. Millä tavalla koet (päivämäärä) pidetyn läheisneuvonpidon vaikuttaneen lapsen / lasten tilanteeseen? 1) tehty suunnitelma ja sen mukainen läheisten toiminta on kohentanut lapsen / lasten tilannetta huomattavasti 2) tehty suunnitelma ja sen mukainen läheisten toiminta on kohentanut lapsen / lasten tilannetta vähän 3) tehdyllä suunnitelmalla ja sen mukaisella läheisten toiminnalla ei ole ollut mitään merkitystä sille miten lapsen / lasten tilanne on muuttunut 4) tehty suunnitelma ja sen mukainen läheisten toiminta on huonontanut lapsen / lasten tilannetta Perustelut: 3. Kuinka tyytyväinen olet koollekutsujan työskentelyyn asiassa? 1) olen erittäin tyytyväinen 2) olen jokseenkin tyytyväinen 3) olen hieman tyytymätön 4) olen erittäin tyytymätön Perustelut: 4. Kuinka tyytyväinen olet sosiaalityöntekijän/-tekijöiden työskentelyyn asiassa? 1) olen erittäin tyytyväinen 2) olen jokseenkin tyytyväinen 3) olen hieman tyytymätön 4) olen erittäin tyytymätön Perustelut:
Mittaaminen 1. Onko lasten tilanne muuttunut sen jälkeen, kun läheisneuvonpito syyskuussa (pvm) pidettiin? 1) Kyllä paljonkin parempaan suuntaan 6% 2) Jonkin verran (vähän) parempaan suuntaan 50% 3) Lasten tilanne on entinen eli ei muutosta 44 % 4) Lasten tilanne on huonontunut 0 % 2. Millä tavalla koet syyskuussa pidetyn läheisneuvonpidon vaikuttaneen lasten tilanteeseen? 1) tehty suunnitelma ja sen mukainen läheisten toiminta on kohentanut lasten tilannetta huomattavasti 12 % 2) tehty suunnitelma ja sen mukainen läheisten toiminta on kohentanut lasten tilannetta vähän 63 % 3) tehdyllä suunnitelmalla ja sen mukaisella läheisten toiminnalla ei ole ollut mitään merkitystä sille miten lasten tilanne on muuttunut 25 % 4) tehty suunnitelma ja sen mukainen läheisten toiminta on huonontanut lasten tilannetta 0 % 3. Kuinka tyytyväinen olet koollekutsujan työskentelyyn asiassa? 1) olen erittäin tyytyväinen 75 % 2) olen jokseenkin tyytyväinen 25 % 3) olen hieman tyytymätön 0 % 4) olen erittäin tyytymätön 0 % 4. Kuinka tyytyväinen olet sosiaalityöntekijöiden työskentelyyn asiassa? 1) olen erittäin tyytyväinen 25 % 2) olen jokseenkin tyytyväinen 50 % 3) olen hieman tyytymätön 12 % 4) olen erittäin tyytymätön 0 % 5) en osaa sanoa 12 % Vastaajia 16: perheenjäsenet 3, läheiset 8, viranomaiset 4.
Arvio? Arviointi merkitsee jonkin kohteen arvon, merkityksen tai ansion määrittämistä. Läheisneuvonpito tekee näkyväksi ja selkiyttää lapseen liittyviä huolia. Neuvonpidolla voidaan aikaansaada sen kaltaista lapsen läheisverkoston yhteistoimintaa, joka edistää lapsen tilanteen kohentumista.? Menetelmään tulee kytkeä tiiviimpi viranomaisten tuki läheisten ja perheen yhteistoiminnalle = sosiaalityöntekijän ja/tai koollekutsujan tulee pitää jatkuvaa yhteyttä perheeseen ja läheisiin seuranta-aikana.