Evaluaatio. Evaluaatio

Transkriptio

1 Arviointitutkimus sosiaalityössä 8. huhtikuuta 2003 Jyväskylän yliopisto Sivu 1 Tämän puheenvuoron viesti on hyvin yksinkertainen, sosiaalityötä on arvioitava! (1, s. 1) Arviointi on yksinkertaista, Martin Bloomin sanoin It is not hard but very soft science!. ssa ei ole kyse vain tulosten osoittamisesta päätöksentekijöille. Se voi myös lisätä sekä asiakkaan että työntekijän valtaistumista. 8. huhtikuuta 2003 Jyväskylän yliopisto Sivu 2

2 Arviointitietoon kohdistuvia toivomuksia voidaan pitää osoituksena managerialismin, ekononomismin tai positivismin tunkeutumisesta sosiaalityön kentälle. Minusta asiakastyöhön liittyvä arviointi on olennainen osa ammatillista työprosessia. Arviointivelvoite on ennenkaikkea ammattieettinen. Ammatillisesti orientoituva sosiaalityö haluaa tietää, miten asiakkaan elämä muuttuu vaikka sosiaalityössä tuskin koskaan päästään tilanteeseen, jossa voitaisiin osoittaa muutoksen syntyneen vain sosiaalityön intervention seurauksena. Se on myös kutakuinkin ainoa kestävä peruste suomalaisten sosiaalityöntekijöiden kansainvälisesti poikkeuksellisen pitkälle akateemiselle koulutukselle. 8. huhtikuuta 2003 Jyväskylän yliopisto Sivu 3 Arviointi on jonkin asian tai toiminnan arvon, merkityksen tai ansion määrittelemistä. (28) Scrivenin mukaan evaluaatio on tilastotieteen kaltainen transdisipliini, jolla ei sinänsä ole omaa sisällöllistä tutkimuskohdettaan, mutta joka tuottaa välineitä toisten tutkimusalojen käyttöön. Erilaisten evaluaatiotutkimuksen metodologioita on paljon; kvantitatiiviset, kvalitatiiviset, koeasetelmaan perustuvat ja toimintatutkimukselliset lähestymistavat ovat yhtä mahdollisia. n pitäisi aina tuottaa arvostelma tutkimuksen kohteen arvosta, ansiosta tai merkityksestä. 8. huhtikuuta 2003 Jyväskylän yliopisto Sivu 4

3 Keskeisestä käsitteestä on eri käytäntöjä (21): Evaluointi? Kehnoa suomea, mutta viittaa kansainvälisessä käytössä tiettyyn tiedon tuotannon muotoon. Arviointi? Pitää sisällään sekä edellä kuvatun evaluoinnin että vaikkapa metsänarvioinnin tai missien arvioinnin. Scrivenin mukaan nämä ovatkin osa evaluaation perinnettä. Arviointitutkimus? Painottaa ehkä liikaa sanaa tutkimus, mutta on silti lähempänä evaluaatio sanan yleistä sisältöä. 8. huhtikuuta 2003 Jyväskylän yliopisto Sivu 5 Arviointi on viime vuosina yleistynyt Suomessakin. Syitä tähän on monia: Arvioinnin yleistymisen taustalla nähdään helposti yksinomaan yleisenä järkiperäistymisenä. Erik Albaekin (2) mukaan arviointitutkimuksen taustaoletusten näennäinen rationaalisuus hämää turhan helposti. ta voidaan tarvita rationaalisen organisaatioajattelun mukaisista syistä koska halutaan parantaa organisaation ohjautuvuutta. Syitä on silti muitakin. 8. huhtikuuta 2003 Jyväskylän yliopisto Sivu 6

4 Miksi arviointitutkimus yleistyy? (2) Kyse voi olla organisaation johdon halusta perustella tarpeelliseksi katsomiaan muutoksia Kyse voi olla organisaation eloonjäämiskamppailussa tarvittavien poliittisten ammusten tuottamisesta. Voi olla, että arviointitutkimus tilataan, koska sekä organisaation ulkopuolelle että myös organisaation sisäisesti halutaan osoittaa, että organisaatiomme on moderni, uudistushenkinen talo, jota johdetaan ajanmukaisten johtamisperiaatteiden mukaisesti. 8. huhtikuuta 2003 Jyväskylän yliopisto Sivu 7 Carol H. Weiss: evaluaation tuottamaa tietoa voidaan käyttää eri tarkoituksiin. (29; 30) tieto varoituksena tieto ohjauksena tieto poliittisina ammuksina tieto valistuksena 8. huhtikuuta 2003 Jyväskylän yliopisto Sivu 8

5 sukupolvet (Tanskassa): Laajoihin haastatteluihin perustuneet ohjelma-arvioinnit (50-60 luvulta) Teoriaperustainen arviointi (70- luvulta alkaen) Käyttäjänäkökulmainen arviointi (80-luvulta alkaen) (Finn Hansson (13)) 8. huhtikuuta 2003 Jyväskylän yliopisto Sivu 9 Tiedontuotantoarviointi ja kehittämisarviointi Peruserotteluna voitaneen pitää jakoa kahden tyyppiseen arviointiin: toisaalta on olemassa tiedontuotantoarviointi, joka tähtää samaan kuin tieteellinen tutkimus yleensä. (esim Pawson and Tilley, (25)) Toinen arvioinnin päätyyppi on kehittävä arviointi, jossa pyritään toiminnan kehittämiseen, ehkä empowerment evaluaation tai osallistavan arvioinnin keinoin. (Patton; Fetterman (9) ) 8. huhtikuuta 2003 Jyväskylän yliopisto Sivu 10

6 Formatiivinen ja summatiivinen evaluaatio Keskeinen evaluaatiotyyppien erottaja Summatiivinen e.:tavallisesti tehdään toiminnan päätyttyä tai vakiinnuttua ulkopuolisen yleisön tai päätöksentekijän tarpeeseen, tekijöinä voivat olla sisäiset tai ulkoiset arvioijat tai näiden yhdistelmät. Kyse ei ole vain vaikutusten arvioinnista eikä kokonaisarvioinnista. Formatiivine e.: tehdään ohjelman kuluessa tai kehittyessä, ja sitä tehdään organisaatiolle itselleen tarkoituksenaan parantaa arvioinnin avulla toimintaa. Toteuttaja voi olla ulkoinen tai sisäinen arvioija. (28, s. 340) Stake: kun kokki maistaa keittoa, kyse on formatiivisesta e., kun asiakas maistaa keittoa, summatiivisesta evaluaatiosta. (28, ) 8. huhtikuuta 2003 Jyväskylän yliopisto Sivu 11 Arvioinnin kohde Prosessi Terapeuttirooli Konsulttirooli Empowerment arviointi toimintatutkimus Implementaatioarviointi prosessiarviointi Arvioijien asemat Sisäinen Ulkoinen Kontrollitutkimus Tapauskohtainen asetelma (single case design) Kustannus/hyötyanalyysi tehokkuusmittaus tuottavuusarviointi Tulos/ Output 8. huhtikuuta 2003 Jyväskylän yliopisto Sivu 12

7 Realistinen arviointi Realistisessa evaluaatiossa (25) on aina selvitettävä, millaisessa kontekstissa jokin prosessi tai mekanismi vaikuttaa, tuottaa tuloksen. Context - mechanism - outcome, eli CMO-analyysi johtaa pohtimaan myös teoreettisia kysymyksiä, tiedon siirrettävyyden ongelmia ja tuloksia. Ero perinteiseen yhteiskuntatieteelliseen tutkimukseen ei ole kovin suuri. Marja Holmila ja tutkimusryhmä on soveltanut tätä ennaltaehkäisevän päihdepolitiikan arviointiin. 8. huhtikuuta 2003 Jyväskylän yliopisto Sivu 13 Kehittämisperusteinen evaluaatio, jota erityisesti Patton (24) on kehitellyt perustuu tiedon hyödyntämisen keskeiseen merkitykseen evaluaatiossa. Käyttämättä jäävä tieto, vaikka paikkansa pitävääkin, on evaluaation kannalta turhaa tietoa. n tilaajat asettavat tutkimuskysymykset. 8. huhtikuuta 2003 Jyväskylän yliopisto Sivu 14

8 Sosiaalityön vaikuttavuuden arviointi... the profession lacks systematic empirical validation of its practice strategies. Ongoing evaluation of social work interventions seems to be a desperate need all over the world. (Hokenstad, Kinduka, Midgley 1993) 8. huhtikuuta 2003 Jyväskylän yliopisto Sivu 15 Interventiot ja palvelut on erotettava toisistaan! Sosiaalityö ei ole palvelua vaikka se sosiaalihuoltolaissa luetaankin sosiaalipalveluihin. Kyse on interventiosta sosiaalisiin ongelmiin. Palvelut ja interventiot arvioidaan eri tavalla! Interventioiden arvioinnissa vaikuttavuuskysymys on tärkeä. 8. huhtikuuta 2003 Jyväskylän yliopisto Sivu 16

9 Sosiaalityöntekijöiden koulutuksessa toteutetaan kursseja joiden nimenä on sosiaalityön menetelmät. Mitä menetelmät oikein ovat? Järjestelmällisyys. Kyse on systemaattisesti toiminnasta. Tavoitteellisuus. Toiminnalla on päämääriä, jotka voidaan kuvata kuta kuinkin yksiselitteisesti. Toistettavuus. Toiminta voidaan tarvittaessa toistaa. 8. huhtikuuta 2003 Jyväskylän yliopisto Sivu 17 Bergmark ja Lundqvist ovat analysoineet ruotsalaista sosiaalityön koulutusta sosiaalityön menetelmien näkökulmasta, ja tulos on aika karu: menetelmiä opiskellaan ruotsalaisessa sosiaalityön koulutuksessa vähän. Tarkastelunäkökulma on yleinen. Oppikirjat ovat lähes poikkeuksetta ruotsalaisia. Tutkijoiden tekemässä laajassa kyselytutkimuksessa kunnissa työskenteleville sosiaalityön johtajille, osoittautui, että lastensuojelussa (N=151) yleisimmät mainitut menetelmät olivat verkostotyö 62 % yhteinen keskustelu puolisoiden kanssa 59 % ratkaisukeskeiset menetelmät 33 % päihdehuollossa mainitut yleisimmät menetelmät olivat: motivointityö 70 % ratkaisukeskeiset menetelmät 40 % 8. huhtikuuta 2003 Jyväskylän yliopisto Sivu 18

10 sosiaaliapuun (socialbidrag) liittyvä työ: motivointi 68 % ratkaisukeskeiset menetelmät 36 % verkostotyö 25 % (3) 8. huhtikuuta 2003 Jyväskylän yliopisto Sivu 19 Arviointia tarvitaan näistä kaikista, jotta tiedämme ovatko sosiaalityössä sovelletut menetelmät asiakkaiden elämälle hyödyllisiä vai vahingollisia. Mutta kuinka asiakastyötä sitten tulisi arvioida. Kaksi vastakkaista kantaa: toisen mukaan vaikuttavuutta ei voi mitata, toisen mukaan mittaaminen on mahdollista ainakin joskus. 8. huhtikuuta 2003 Jyväskylän yliopisto Sivu 20

11 Kysymys asiakastyön mittaamisen mielekkyydestä on hyvin kiistanalainen. Keskustelun "positivistista"äärilaitaa edustava Walter W. Hudson on tiivistänyt mittaamisen merkityksen sosiaalityölle seuraavankaltaisiksi aksiomiksi: 1. jos työntekijä ei voi mitata asiakkaan ongelmaa, sitä ei ole olemassa 2. jos työntekijä ei voi mitata asiakkaan ongelmaa, hän ei voi vaikuttaa siihen 3. jos työntekijä ei voi mitata interventiota, sitä ei ole olemassa 4. jos työntekijä ei voi mitata interventiota, sitä ei voi hallita(ks. (7, s.22)) 8. huhtikuuta 2003 Jyväskylän yliopisto Sivu 21 Edelliselle vastakkainen kanta puolestaan korostaa asiakastyön ei-mitattavuutta. On myös "keskitien kulkijoita, jotka näkevät asiakastyön mittaamisen olevan toisinaan hyödyllistä (17; 7) 8. huhtikuuta 2003 Jyväskylän yliopisto Sivu 22

12 Arviointi voi olla itsearviointia ja/tai ulkoista arviointia kvantitatiivista vaikuttavuusarviointia kvalitatiivista prosessiarviointia hyötynäkökulmasta lähtevää tai tiedontuotantoarviointia realistista (25) tai konstruktionistista (12) arviointia koeasetelmaan perustuvaa tai löyhää seurantaa 8. huhtikuuta 2003 Jyväskylän yliopisto Sivu 23 Arvioinnin menetelmiä on paljon, ja arviointikysymykset ratkaisevat, mikä menetelmä on sopiva kuhunkin kysymykseen. Sahaa ei voi käyttää höyläämiseen, eikä talonrakentamista toisaalta voi toteuttaa vain höylillä. Eli menetelmät on valittava arviointikysymysten mukaan, ja arviointikysymykset yhteiskunnallisen tehtävän tai tarpeen mukaan. 8. huhtikuuta 2003 Jyväskylän yliopisto Sivu 24

13 Asiakastyön vaikuttavuuden arvioinnin malleja Koeasetelmaan perustuva arviointi (23) Tapauskohtainen arviointi (5) Elämänlaadun arviointi (20) Realistinen tapauskohtainen arviointi (16) 8. huhtikuuta 2003 Jyväskylän yliopisto Sivu 25 Koeasetelma on ohjelma-arvioinnin perusta Klassinen koeasetelma käsittää kaksi vertailtavissa olevaa ryhmää: koeryhmän ja kontrolliryhmän. Nämä ryhmät ovat muuten samanlaisia, ainoana erona on, että koeryhmään suunnataan jokin tarkastelun kohteeksi valittu interventio. Tätä vaikutusta koeryhmään voidaan kutsua hoidoksi tai riippumattomaksi muuttujaksi. Ryhmiin jako tapahtuu satunnaisesti. Riippumattoman muuttujan vaikutusta koeryhmään tarkastellaan riippuvien muuttujien vaihtelua seuraamalla. Klassisessa koeasetelmassa riippuvien muuttujien arvojen mittaus tehdään kahdesti: ennen interventiota ja toisen kerran kun interventio on vaikuttanut koeryhmään sopivaksi katsotun ajan. Puhutaan ennen-jälkeen mittauksista. Mikäli koeryhmän ennen-jälkeen mittauksessa on havaittavissa ero verrattuna kontrolliryhmän tuloksiin, ajatellaan, että muutos on syntynyt riippumattoman muuttujan vaikutuksesta. (11, 101) 8. huhtikuuta 2003 Jyväskylän yliopisto Sivu 26

14 Ryhmä Pretest Posttest Ero Koeryhmä R O X O 1 2 O 2 - O 1 = d e Kontrolliryhmä R O O 3 4 O O = d c Kuva 1: Klassinen koeasetelma Klassinen koeasetelma voidaan esittää Kuvion 1 muodossa, jossa X esittää riippumatonta muuttujaa ja O 1, O 2, O 3 jao 4 riippuvan muuttujan mittauksia. R viittaa ryhmien satunnaiseen valintaan. Tunnusluku d e edustaa intervention aikaansaamaa muutosta. Kokeella pyritään selvittämään joidenkin tekijöiden (kuten 8. huhtikuuta 2003 Jyväskylän yliopisto Sivu 27 esimerkiksi käsittelyjen, menetelmien) vaikutuksia koeyksikön jotakin ominaisuutta kuvaavaan muuttujaan. Muiden ns. taustamuuttujien vaikutus tutkittavaan muuttujaan pyritään eliminoimaan tarkoituksenmukaisten koejärjestelyjen avulla. (18) Koeasetelmassa ollaan usein kiinnostuneita monien eri tekijöiden yhteisvaikutuksesta. Usein tutkimuksessa on vaikeaa ellei mahdotonta vakioida kaikkia taustamuuttujia. Tulosten luotettavuuden parantamiseksi pyritään homogeenisiin koeyksikköjoukkoihin, joissa taustamuuttujat on vakioitu. Tämän vuoksi esimerkiksi psykologisissa tutkimuksissa käytetään kaksosia, maanviljelyskokeissa maaperältään mahdollisimman homogeeminisia koelohkoja, eläinkokeissa suunnilleen samanlaisia eläimiä sekä opetusmenetelmiä kokeiltaessa mahdollisimman samankaltaisia opiskelijoita. (18). Mahdolliset erot riippuvassa muuttujassa saattavat koe- ja 8. huhtikuuta 2003 Jyväskylän yliopisto Sivu 28

15 kontrolliryhmän välillä johtua myös lukuisista häiriötekijöistä kuten mittausvirheistä, vakioinnin epätarkkuudesta jne. jotka kaikki aiheuttavat mittaustuloksiin satunnaisvaihtelua. Siksi koeasetelmaan perustuvassa tutkimuksessa pyritään erottamaan tämä satunnaisten tekijöiden aiheuttama virhekomponentti intervention aiheuttamasta systemaattisesta vaikutuksesta. (18) 8. huhtikuuta 2003 Jyväskylän yliopisto Sivu 29 Koeasetelma on liian vaativa asetelma sosiaalityössä ta ei tehdä, koska evaluoinnin haastetta pidetään liian kovana. Sosiaalityöntekijätkin pitävät "todellisena evaluointina vain kontrolloituun koeasetelmaan perustuvia hankkeita (Shaw;Smith). Toisaalta vaatimattomammin tavoitteiden liikkeelle lähteviä arvostellaan pinnallisiksi ja epäluotettaviksi menetelmiksi. 8. huhtikuuta 2003 Jyväskylän yliopisto Sivu 30

16 Juliet Cheetham ym (8, s ) puhuvat tarpeesta edetä sosiaalityön evaluaatiotutkimuksessa pienin konkreettisin askelin. Kaikkea ei voi selvittää kerralla. 8. huhtikuuta 2003 Jyväskylän yliopisto Sivu 31 Tapauskohtainen evaluointi tarkoittaa ns. tapauskohtaisten asetelmien (engl. single system designs) käyttöä evaluoinnissa. Tapauskohtaiset asetelmat ovat tutkimusasetelmia, joissa selvitetään systemaattisesti ja määrämuotoisesti yksittäisten tapausten kehitystä. Tämä tapahtuu mittaamalla toistuvasti (määrävälein) jotain asiaa tai ulottuvuutta. 8. huhtikuuta 2003 Jyväskylän yliopisto Sivu 32

17 Seuranta-asetelmia käytetään arvioitaessa, kuinka yksilö tai ryhmä ( asiakassysteemi ) on edistynyt asetettujen tavoitteiden suunnassa. Seuranta-asetelmia voi olla monenlaisia: tyypillisiä ovat AB ja ABAB asetelmat. Myös pelkkä B asetelma on mahdollinen, jos interventio tai menetelmä on vaikeasti tunnistettavissa. 8. huhtikuuta 2003 Jyväskylän yliopisto Sivu 33 Kyse on klassisen koe-asetelman sovellutuksesta: kun perinteinen koeasetelma edellyttää koe- ja vertailuryhmän olemassaoloa, pyritään tapauskohtaisessa asetelmassa päättelemään prosessin vaikutuksia vain yhden yksilön tai ryhmän kohdalla aikajanalla. Monasti koeasetelmaa ei voida soveltaa (esim. huostaanotto), usein koeasetelman soveltamiseen ei ole resursseja. 8. huhtikuuta 2003 Jyväskylän yliopisto Sivu 34

18 Evaluatiivinen ja kokeellinen kysymys Tapauskohtainen arviointi pyrkii ratkaisemaan kaksi kysymystä: 1. Muuttuiko työskentelyn kohteena oleva ongelma (evaluatiivinen kysymys) 2. Johtuiko tapahtunut muutos sovelletusta työmenetelmästä (kokeellinen kysymys) (5) 8. huhtikuuta 2003 Jyväskylän yliopisto Sivu 35 Tapauskohtaisen evaluaation soveltamisen kehittelyistä käynnistyneen liikkeen, empiirisen kliinisen käytännön mallin (engl. Empirical Clinical Practice, ECP) synnyn yhteydessä puhuttiin jopa sosiaalityön tutkimuksen empiirisestä vallankumouksesta (10). 8. huhtikuuta 2003 Jyväskylän yliopisto Sivu 36

19 Tapauskohtaisista asetelmista puhutaan monikossa koska niitä on erilaisia. Niinpä asetelma voivat sisältää mittauksia sekä asiakkaiden lähtötasosta (tilanne ennen interventiota: vaihe A) että toimenpidevaiheista (vaihe B) erilaisina yhdistelminä. Ns. B-asetelmassa seurataan asiakasta vain toimenpiteiden ja työskentelyn aikana. AB-asetelmassa selvitetään myös lähtötaso ja ABA-asetelmassa tilannetta seurataan myös intervention päättämisen jälkeen. 8. huhtikuuta 2003 Jyväskylän yliopisto Sivu 37 Tapauskohtaisen arvioinnin kehittäjinä ovat toimineen mm. Joel Fischer ja Martin Bloom (ks esim 5; 4; 6). Suomeksi menetelmää on esitelty Rostilan ja Mäntysaaren teoksessa (26; 27) 8. huhtikuuta 2003 Jyväskylän yliopisto Sivu 38

20 Tapauskohtaisen evaluaation soveltamisen edellytyksiä ovat: Työskentelylle voidaan asettaa tavoitteita. Interventio on voitava täsmentää. Asetelma edellyttää asiakkaan yhteistyöhalua, muuten edistymistä ei voida seurata. Työskentely alkaa tavoitteiden yhteisestä sopimisesta. Kun työntekijä ja asiakas ovat sopineet tavoitteista, on tavoitteista työstettävä mitattavissa olevat kohteet. Työskentelyn kohteiden ajatellaan liittyvän asiakkaan ongelmiin. Kohteiden tulisi siis olla sellaisia, että asiakas itse kykenee niitä mittaamaan. Tapauskohtaisen evaluaation onnistumisen edellytyksenä on asiakkaan ja työntekijän (ainakin suhteellinen) yksimielisyys ongelmista ja niiden mittaustavoista. Menetelmä muistuttaa viime aikoina paljon keskustelua herättänyttä valtaalisäävää evaluaatiota 8. huhtikuuta 2003 Jyväskylän yliopisto Sivu 39 (empowerment evaluation). Ulla Kuittu tekee ammatillista lisensiaatintutkimusta jossa tapauskohtaisen evaluaation ja asiakkaan valtaalisäävän evaluaation ideoita yhdistetään. 8. huhtikuuta 2003 Jyväskylän yliopisto Sivu 40

21 Kritiikkiä Kritiikki voidaan jakaa kahteen päätyyppiin: - menetelmän taustamotiivien kritiikkiin. Tässä arvostellaan mm. tapauskohtaisen arvioinnin teknis-rationaalista luonnetta, joka ei sovi sosiaalityön kokonaisvaltaiseen luonteeseen. Everit ja Hardiker sanovat että evaluaatota ei saa epäpolitisoida. - menetelmän tietoteoreettisiin lähtökohtiin. Tässä kritiikissä huomio kiinnitetään SSD:n kausaalisuusoletuksiin, toisaalta kritisoidaan SSD:n pehmeyttä eli sitä, että luopuminen satunnaistetusta koeasetelmasta johtaa yhdentekevään tietoon. Esim. Shaw arvostelee SSD:tä popperilaisesta näkökulmasta: se ei tuota falsifioivaa tietoa. 8. huhtikuuta 2003 Jyväskylän yliopisto Sivu 41 Ian Shaw n kritiikki: 1) Menetelmä ei sovi moniin tavallisiin asiakastapauksiin. Voidaanko lähestymistapaa soveltaa kaikkeen tai edes suurimpaan osaan sosiaalityön asiakastyötä? 2) Menetelmää ei käytetä. 3) Menetelmä voi olla eettisesti kyseenalainen. 4) Menetelmä kuljettaa mukanaan epistemologista myrkkyä. (Mittaaminen sopii huonosti sosiaalityön todellisuuteen). Monet näkevät mittaamisen ulkoa päin tulevana "tehokkuuden"ja "hyödyllisyyden"vaatimuksena, joka väistämättä johtaa sosiaalityön pehmeiden arvojen ja "ymmärtävän"otteen laiminlyöntiin. 8. huhtikuuta 2003 Jyväskylän yliopisto Sivu 42

22 Vastauksia : 1. Vähäinen käyttö: Todennäköisesti SSD:tä kuitenkin käytetään enemmän kuin muita mittaamiseen tähtääviä arviointimenetelmiä, erityisesti RCT:tä. Alkuvaiheen odotukset (vallankumous jne.) olivat ylimitoitettuja. 2. Ei voida käyttää kuin käyttäytymisterapeuttisesti orientoituneessa työssä. Viime vuosina on raportoitu menetelmän käyttöä mm. erilaisessa ryhmä- ja yhdyskuntatyössä, sekä monia caseja aivan perussosiaalityöstä (löysät asetelmat). 8. huhtikuuta 2003 Jyväskylän yliopisto Sivu SSD:n reduktionismi ja mittaamisen sopimattomuus sosiaalityöhön: menetelmän puolustajat (esim. Kazi 1998) sanovat, että on totta, että menetelmä soveltuu vain mitattavissa olevien tavoitteiden saavuttamiseen, mutta SSD ei muuta pyri tekemään. 4. Eettinen kritiikki: Kazin mukaan kyse on yleensä asiakasta koskevan tiedonkeruun etiikasta. Toisin kuin monen muun tyyppisessä tiedonkeruussa, SSD:ssä asiakas on vahvasti mukana muokkaamassa kysymyksenasetteluja. Kazin ja Rostilan kokemusten mukaan SSD pikemminkin vahvistaa asiakkaan ja työntekijän tasa-arvoisuutta auttamissuhteessa. 8. huhtikuuta 2003 Jyväskylän yliopisto Sivu 44

23 5. Intrusiivisuus: Tapauskohtaisen asetelman käytön on nähty häiritsevän asiakassuhteen syntyä. Ainakin Kazin kokemusten mukaan useimmissa sovelletuissa tilanteissa SSD liittyi luontevasti osaksi työskentelyprosessia ja sosiaalityön asiakassuhdetta. SSD silti vaikutti: se johti huomion kiinnittymiseen työskentelyn tavoitteisiin, jotka myös asiakas oppi tunnistamaan. 8. huhtikuuta 2003 Jyväskylän yliopisto Sivu 45 Elämänlaatu Asiakkaiden tilannetta kuvataan usein viittaamalla heidän ongelmiinsa. Silloin saatetaan asiakkaiden tilannetta kuvata sanomalla, että asiakkaalla on päihdeongelmia tai vaikka asumisen ongelmia. Tällainen ongelmapuhe voi olla perusteltua diagnosointimielessä, mutta vaikuttavuustutkimuksen näkökulmasta sitä ei voi pitää kovin hyödyllisenä. 8. huhtikuuta 2003 Jyväskylän yliopisto Sivu 46

24 Parempi tapa miettiä sosiaalityön vaikuttavuutta on lähteä liikkeelle tavoitelluista asiakkaan elämänlaadun parannuksista. Voimme ajatella että työskentelyn tavoitteena on eräänlaisen hyvän lopputilan saavuttaminen asiakkaan elämässä. Martin ja Kettner ovat kehittäneet nk. performance indicator malleja (19) 8. huhtikuuta 2003 Jyväskylän yliopisto Sivu 47 Elämänlaatua mittaavat muutokset Esimerkkejä toivottuun suuntaan etenemisestä a. tilanne koditon asiakas löytää asunnon b. status työtön löytää töitä c. käytös koulupinnari käy säännöllisesti koulussa d. toimintakyky asiakkaan ongelmanratkaisukyky paranee e. asenne nuori alkaa arvostamaan koulunkäyntiä f. tunne asiakkaan tunne siitä, että hänellä on paikka maailmassa g. havaitseminen asiakkaan omanarvontunto kohoaa. 8. huhtikuuta 2003 Jyväskylän yliopisto Sivu 48

25 Esimerkkejä etenemisestä pois ei-toivotusta tilanteesta a. tilanne Kadulla vietettyjen öiden määrä b. status Päihdeongelmaisen työstä poissaolopäivien määrä c. käytös Pinnattujen koulupäivien määrä d. toiminta avioparin tappelujen määrä e. asenne acting out tapahtumien määrä f. tunne itsensä voimattomaksi tuntemisen määrä vähenee g. havaitseminen asiakkaan negatiiviset kommentit toisista etnisistä ryhmistä vähenee 8. huhtikuuta 2003 Jyväskylän yliopisto Sivu 49 Asiakkaan elämänlaadun paranemista selvittävissä vaikuttavuustutkimuksissa voidaan käyttää kolmenlaisia menetelmiä. yksinkertaisesta laskutoimituksesta, jonka avulla seurataan niiden asiakkaiden määrän kehitystä, joiden elämänlaadussa voidaan osoittaa syntyvän paranemista. Kyse voi olla standardoiduista mittareista (Fischer ja Corcoran). Toimintakykymittarit (level of functioning) ovat asteikoita, joilla voidaan mitata asiakkaan tilanteen muutosta ennen interventiota ja intervention jälkeen. 8. huhtikuuta 2003 Jyväskylän yliopisto Sivu 50

26 Kazin realistinen arviointi Mansoor A.F. Kazi Huddersfieldin yliopistosta on kehittänyt tapauskohtaiseen arviointiin perustuvan asiakastyön vaikutusten arvioinnin menetelmän, jossa hyödynnetään realistisen arvioinnin (Pawson ja Tilley) CMO-analyysin periaatteita. Asiakastyön vaikuttavuutta tarkastellaan asiakkaan elämän kontekstissa, ja hänen elämäänsä vaikuttavat mekanismit pyritään tunnistamaan. Riippumattomana muuttujana on syntyneet vaikutukset (outcomes). Analyysissa käytetään binäärilogistista regressioanalyysia. Kazin menetelmää sovelletaan käynnissä olevissa projekteissa Helsingin sosiaaliviraston eri toimipisteissä. 8. huhtikuuta 2003 Jyväskylän yliopisto Sivu 51 Joitakin esimerkkejä sosiaalityön arviointitutkimuksista STAKESissa toimiva FinSoc eli sosiaalipalvelujen arviointiryhmä on toteuttanut joukon sosiaalityöhön ja sosiaalipalveluihin liittyviä arviointitutkimuksia. Näiden tutkimusten raportit ovat maksutta saatavissa Stakesista ryhmän sihteeri Hilkka Nyströmiltä, puh tai Stakesista on myös saatavissa sosiaalipalvelujen arviointiin johdattava raportti Arviointitutkimuksen peruskysymyksiä joka sekin on ilmestynyt FinSocin työpapereita sarjassa. 8. huhtikuuta 2003 Jyväskylän yliopisto Sivu 52

27 Kirsi Alila-Paunonen ja Mikko Vänttinen: Pylpyrä: riittävän vanhemmuuden arviointimalli Kotkassa perustettiin työryhmä miettimään riittävän vanhemmuuden arviointikriteereitä moniammatillinen työryhmä loi oman arviointimallin mallia sovellettiin ensin kokeiluvaiheessa, sitten laajemmin koko sosiaalitoimessa. ideaalitapauksissa asiakas tuli mukaan arviontiin 8. huhtikuuta 2003 Jyväskylän yliopisto Sivu 53 Kirsti Laakso ja Kristiina Heinonen-Kuusela: Simulaatiopeli lastensuojelun työkäytäntöjen kuvaamisessa Tarkoitus oli verrata tapoja, joilla Jyväskylässä, Kuopiossa ja Helsingissä toimivat lastensuojelutyöntekijät kuvaavat työtään. kuvaus tehtiin simulaatiopelin avulla. Simulaatiopeli on laadun kehittämisessä käytetty toimintaprosessien arviointimenetelmä. Sen avulla voidaan pitkäkestoiset asiakasprosessit tiivistää, niin että niitä voidaan tarkastella pulmakohtia tunnistaen. Tarkastelu osoitti että Jyväskylän ja Kuopion lastensuojelutyö muistutti toisiaan. Helsinki poikkesi laitosvaltaiseen suuntaan Työn suunnitelmallisuudessa oli kehittämisen varaa kaikissa kunnissa. 8. huhtikuuta 2003 Jyväskylän yliopisto Sivu 54

28 Merja Anis: Ratkaisukeskeisen menetelmän arviointitutkimus Kirjallisuuskatsaus kaikista ratkaisukeskeisen menetelmän arviointia koskevista empiirisistä tutkimuksista. Ratkaisukeskeisen työn tuloksellisuus on samaa tasoa kuin psykoterapian ja sosiaalityön tuloksellisuus meta-analyysien ja kirjallisuuskatsausten perusteella on yleisemminkin. tuloksellisuusarviointien mukaan prosenttia tutkimuksiin osallistuneista asiakkaista oli saavuttanut työlle asetetut tavoitteet joko osittain tai kokonaan. ei osoittautunut selvää eroa ongelmakeskeisempiin menetelmiin verrattuna 8. huhtikuuta 2003 Jyväskylän yliopisto Sivu 55 Mikko Mäntysaari: Toimeentulotuki työllistäjänä (22) Arvioinnin kohteena oli Lahden kaupungin toteuttama työllistämispalvelukokeilu. Vuoden 1998 aikana työllistettiin 44 pitkäaikaistyötöntä toimeentulotukeen varatuilla määrärahoilla. Aineisto muodostui kahdesta haastattelusta: ennen työllistämistä ja työllistämisen päättyessä tapahtuneista. n perusteella kokeilua voitiin pitää varsin onnistuneena. Kokeiluun osallistuneista yhdeksän työsuhdetta oli jatkettu varsinaisen kokeilun päättyessä ja 25 kohdalla työllistämisjakso vietiin muuten onnistuneesti loppuun. Seitsemän kohdalla työllistämisjakso epäonnistui. työllistetyt arvostivat työllistymismahdollisuutta ja myös kokeilussa epäonnistuneet pitivät kokeilua pääsääntöisesti hyvänä. 8. huhtikuuta 2003 Jyväskylän yliopisto Sivu 56

29 80 % haastatelluista oli ollut myönteisesti yllättynyt työtarjouksesta ja 84 % katsoi ettei sosiaalityöntekijä ollut painostanut kokeiluun. 8. huhtikuuta 2003 Jyväskylän yliopisto Sivu 57 Tarja Kauppila: Sosiaalityön laadun parantaminen tietotekniikan avulla (SLPT) projekti käynnistyi Kuopion kaupungin sosiaali- ja terveyskeskuksessa syksyllä 1998 tavoitteena on ollut parantaa sosiaalityön laatua erityisesti "Sosiaalityön vaikuttavuus"tietokoneohjelman avulla Tietokoneohjelman avulla laaditaan asiakaskohtainen suunnitelma. Miten systemaattisempi tiedonkeruu vaikuttaa lapsiperheiden kanssa tehtävään sosiaalityöhön. ennen - jälkeen asetelma sosiaalityöntekijät jaettiin koe- ja kontrolliryhmiin (N=30). Heidän asiakkaitaan haastateltiin (N=241). Tarkastelun kohteena on työn tekninen ja toiminnallinen laatu. 8. huhtikuuta 2003 Jyväskylän yliopisto Sivu 58

30 keskeisiksi kehittämiskohteiksi osoittautuivat asiakkaan ja työntekijän yhteistyön suunnitelmallisuuden puutteet sekä asiakkaiden tarpeiden mukaan räätälöity palvelu. 8. huhtikuuta 2003 Jyväskylän yliopisto Sivu 59 Ilmari Rostila ja Kati Torniainen: Mikä toimii? Monet-projektin toiminnan väliarviointi Tamperelaisen Monet-projektin arviointi: Miten Monet onnistuu integroimaan työttömiä työelämään. Realistista arviointitutkimusta, eli vaikuttavuustutkimusta, joka keskittyy toimintaa koskevan käyttöteorian tai ajatusmallin koetteluun. CMO-ketjut eli context - mechanism - outcomes Takana Pawsonin ja Tilleyn evaluaatioajatukset (25) osallistuja suunnitteli itselleen välitavoitteita jotka johtivat koulutukseen tai työelämään. osallistujien ryhmään pääsyä ja hyvinvointia mitattiin PGWB-lomakkeella. parhaiten välitavoitteiden toteutuminen onnistui niiden 8. huhtikuuta 2003 Jyväskylän yliopisto Sivu 60

31 kohdalla joilla oli jo ennen ohjelmaan osallistumista koulutukseen tai työllistymiseen liittyviä suunnitelmia tai toiveita. 8. huhtikuuta 2003 Jyväskylän yliopisto Sivu 61 Stefan Sjöblom: Kustannusvaikuttavuuden arviointi sosiaalityössä Helsingin kaupungissa käynnissä oleva lastensuojelunuorten aktivointiprojekti (HELSA-projekti), johon osallistuvat TM, OPM ja STM. Tavoitteena on ollut ehkäistä nuorten syrjäytymistä järjestämällä nuorille työpaikka ja muuten tukea tasapainoisen elämän edellytyksiä. kohderyhmänä työttömät ja työmarkkinoiden käytettävissä olevat helsinkiläiset vuotiaat lastensuojelunuoret. projektiin osallistui vuosittain noin 200 nuorta Tutkimuksessa vertailtiin työharjoittelun (3 kk mittainen työllistämistukijakso), ammattikurssin (4-6 kk mittainen valmistava jakso), oppisopimuskoulutuksen ja työllistämisen (6 kk mittainen työllistämisjakso) kustannusvaikuttavuutta. 8. huhtikuuta 2003 Jyväskylän yliopisto Sivu 62

32 kustannusvaikuttavuutta tarkastellaan raportissa sisäisen kustannusvaikuttavuuden sekä yhteiskunnallisen kustannusvaikuttavuuden käsitteillä. 8. huhtikuuta 2003 Jyväskylän yliopisto Sivu 63 Laura Yliruka: Sosiaalityön itsearviointi ja hiljainen tieto Kuopion yliopiston sosiaalitieteiden laitoksella hyväksytty pro gradu. sosiaalityö on ammatti, jota tietoperustaa on kuvattu usein käsitteillä hiljainen tieto ja reflektiivisyys. Miten voitaisiin luoda sellainen itsearvioinnin käsitteistö, että se ottaisi riittävästi huomioon sosiaalityön erityisluonteen. tutkimuksen empiria muodostuu kuuden sosiaalityöntekijän puolistrukturoiduista haastatteluista. 8. huhtikuuta 2003 Jyväskylän yliopisto Sivu 64

33 Susanna Nouko-Juvonen: Mielenterveyden keskusliiton turva-asumisprojektin arviointitutkimuksen väliraportti Mielenterveyden keskusliitto toteuttaa vuosina neljässä kunnassa, eli Jyväskylässä, Mikkelissä, Rovaniemellä ja Vantaalla turva-asumisen kehittämisprojektin. Voidaanko intensiivisellä ohjauksella katkaista toistuvasti psykiatrisia sairaalapalveluja käyttävien potilaiden laitoskierre. Vuonna 1999 kokeilussa oli mukana 81 asiakasta. Joulukuussa asiakasta oli päättänyt projektin. Väliraportin ilmestyessä alkusyksystä 2000, oli projektissa käytetty varsin vähän turva-asumista toimintamuotona. Projekti hakee edelleen toimintamuotojaan. Projektikunnilla ja työntekijöillä oli aika erilaiset käsitykset toiminnan tavoitteista. 8. huhtikuuta 2003 Jyväskylän yliopisto Sivu 65 Eri kunnissa oli asiakasmäärissä merkittäviä eroja. Kohderyhmäksi oli valikoitunut asiakkaita jotka eivät oikeastaan kuuluneet varsinaiseen kohderyhmään. 8. huhtikuuta 2003 Jyväskylän yliopisto Sivu 66

34 Antti Karisto, Tuija Lindqvist, Mikko Mäntysaari: Albatrossin arviointi (15) Arviointi koskee Helsingin kaupungin Itäisen sosiaalikeskuksen Vuosaaren sosiaali- ja terveysaseman toimintaa. Miten eri sosiaali- ja tervevyspalvelujen kokoaminen samaan taloon vaikuttaa. Arviointi perustuu kvalitatiivisen ja kvantitatiivisen aineiston yhdistämiselle. Arviointi osoitti pääasiassa yhteisen katon alle kokoamisen olleen onnistunut ratkaisu. Oli kuitenkin työyhteisöjä jotka olivat aika tavalla eristyksissä toisista. Eri palvelujen välinen yhteistyö oli muutenkin luonteeltaan aika muodollista 8. huhtikuuta 2003 Jyväskylän yliopisto Sivu 67 Anne Kainlauri, Mikko Mäntysaari, Sirpa Andersson: Kotityön tukikokeilun arviointi (14) Kotityön tukikokeilun arviointi toteutettiin työministeriön ja valtiovarainministeriön toimeksiannosta kahdessa vaiheessa. Kokeilun arviointia varten kerättiin kaksi kyselyaineistoa: kotityön tukikokeiluun osallistuneille kotitalouksille sekä palveluja tuottaneille yrityksille suunnatut kyselyt. Kotitalouksille suunnattu kysely osoitti huomattavia eroja kokeilumallien välillä. Verovähennysmallia käyttävät kotitaloudet olivat yleensä parempituloisia kuin yritystukea käyttäneet kotitaloudet. Mallien välillä oli myös olennaista eroa siinä, mitä palveluja kotitaloudet hankkivat: yritystukimallissa käytettiin enemmän kotityöpalveluita, kun taas verovähennysmallissa teetettiin 8. huhtikuuta 2003 Jyväskylän yliopisto Sivu 68

35 kodin korjaustöitä. Molemmat mallit näyttävät lisänneen voimakkaasti palvelujen käyttöä. Kummankin kokeilumallin alueella asuneista vastaajista noin puolet ei ollut koskaan aiemmin ostanut vastaavia palveluita. Mallien kesken oli sellainen ero, että verovähennys tehdään useimmiten kertaluontoisista palveluista (tavallisesti kyse oli remontin teettämisestä), kun taas yritystuettuja palveluita ostetaan säännöllisemmin (usein kyse oli siivouksesta). 8. huhtikuuta 2003 Jyväskylän yliopisto Sivu 69 Viitteet [1] (1999) Evaluation and Social Work Practice. Sage. [2] Albæk, Erik (1997) Miksi kaikki evaluoivat. Janus 5 (4), [3] Bergmark, Åke & Lundström, Tommy (1998) Metoder i socialt arbete. Socialvetenskaplig tidskrift 5 (4), [4] Bloom, Martin (1975) The Paradox of Helping: Introduction to the Philosophy of Scientific Practice. New York: John Wiley & Sons, Inc. [5] Bloom, Martin & Fischer, Joel (1982) Evaluating Practice: guidelines for the accountable professional. Englewood Cliffs: Prentice-Hall Inc. [6] Blythe, Betty J. & Rodgers, Antoinette Y. (1993) Evaluating our own practice: past, present and future trends. Martin Bloom, (toim.) Single- System Designs in the social services: issues and options for the 1990s. Binghampton, N.Y.: The Haworth Press, sivut

36 [7] Blythe, Betty J. & Tripodi, T. (1989) Measurement in Direct Social Work Practice. Numero 59 sarjassa Human Services Quide. Newbury Park, C.A.: Sage. [8] Cheetham, Juliet, Fuller, Roger, McIvor, Gill & Petch, Alison (1992) Evaluating social work effectiveness. Buckingham: Open University. [9] Fetterman, David M., Kaftarian, Shakeh J. & Wandersman, Abraham, (toim.) (1996) Empowerment Evaluation. Knowledge and Tools for Self- Assessment and Accountability. Thousand Oaks, CA: Sage. [10] Fischer, Joel (May 1981) The social work revolution. Social Work 26, [11] Frankfort-Nachmias, Chava & Nachmias, David (1996) Research Methods in the Social Science. London - Sydney - Aucland: Arnold, viides painos. [12] Guba, Egon G. & Lincoln, Yvonna S. (1989) Fourth Generation Evaluation. Newbury Park, London, New Delhi: Sage. 8. huhtikuuta 2003 Jyväskylän yliopisto Sivu 69 [13] Hansson, Finn (January 1997) Evaluation traditions in Denmark: Critical comments and perspectives. Evaluation 3 (1), [14] Kainlauri, Anne, Mäntysaari, Mikko & Andersson, Sirpa (2000) Kotitaloustyön tukikokeilun arviointi. Työhallinnon julkaisuja 255. Helsinki: Työministeriö. [15] Karisto, Antti, Lindqvist, Tuija & Mäntysaari, Mikko (2000) Albatrossin evaluaatio. Sosiaaliviraston julkaisusarja A 6/2000. Helsinki: Helsingin kaupungin sosiaalivirasto. [16] Kazi, Mansoor A.F. (1998) Single-Case Evaluation by Social Workers. Ashgate. [17] Kazi, Mansoor A.F. & Wilson, Joe T. (January 1996) Applying single-case evaluation methodology in a British social work agency. Research on Social Work Practice (1), [18] Liski-Puntanen (1975) Tilastotieteen opetusmoniste. Liski-Puntanen.

37 [19] Martin, Lawrence L. & Kettner, Peter M. (1996) Measuring the Performance of Human Service Programs. Sage. [20] Martin, Lawrence L. & Kettner, Peter M. (1997) Performance measurement: the new accountability. Administration in Social Work 21 (1), [21] Mäntysaari, Mikko (1999) Arviointitutkimuksen taustaoletukset. Risto Eräsaari, Tuija Lindqvist, Mikko Mäntysaari & Marketta Rajavaara, (toim.) Arviointi ja asiantuntijuus. Helsinki: Gaudeamus, sivut [22] Mäntysaari, Mikko (1999) Toimeentulotuki työllistäjänä. Lahden työllistämispalveluprojektin arviointia. FinSoc työpapereita no 3. STAKES. [23] Orr, Larry L. (1999) Social Experiments. Evaluating Public Programs with Experimental methods. Sage. [24] Patton, Michael Quinn (1997) Utilization-focused Evaluation. The New Century Text. Sage, kolmas painos. 8. huhtikuuta 2003 Jyväskylän yliopisto Sivu 69 [25] Pawson, Ray & Tilley, Nick (1997) Realistic Evaluation. London, Thousand Oaks and New Delhi: Sage Publications. [26] Rostila, Ilmari & Mäntysaari, Mikko (1997) Tapauskohtainen arviointi sosiaalityössä menetelmän rajat ja mahdollisuudet. Janus 5 (4), [27] Rostila, Ilmari & Mäntysaari, Mikko (1997) Tapauskohtainen evaluointi sosiaalityön välineenä. Raportteja no Helsinki: STAKES. [28] Scriven, Michael (1991) Evaluation Thesaurus. Newbury Park,CA: Sage, neljäs painos. [29] Weiss, Carol H. (1986) The many meanings of research utilization. Martin Bulmer, Keith G. Banting, Stuart S. Blume, Michael Carley & Carol H. Weiss, (toim.) Social Science and Social Policy. Contemporary Social Research 12. London: Allen & Unwin, sivut [30] Weiss, Carol H. (1986) Research and policy-making: a limited partnership. Frank Heller, (toim.) Use and Abuse of Social Science. London, Beverly Hills, Newbury Park, New Delhi: Sage Publications, sivut 214,235.