KATSAUS Katariina Hinkka, Liisi Aalto, Rainer Grönlund ja Marketta Rajavaara Uudenlaista työhönkuntoutusta kehittävän arvioinnin tuella Kelan työhönkuntoutuksen kehittämishankkeessa (2007 2011) on tarkoituksena kehittää kuntoutuspalveluja työelämän muutokset huomioonottaviksi ja vaikuttaviksi. Viidessä kuntoutuslaitoksessa kokeillaan ja kehitetään uudenlaisia työikäisten ryhmäkuntoutuksen toteuttamistapoja. Kelan tutkimusosasto toteuttaa kokeilujen arviointitutkimuksen. Katsauksen alussa kuvailemme hanketta, siinä mukana olevia kokeiluja ja arvioinnin tavoitteita. Tämän jälkeen esittelemme valittuja arviointimenetelmiä ja arvioinnin etenemistä sekä alustavia tuloksia kehitystyöstä. Lopuksi pohdimme valittua arviointilähestymistapaa ja työhönkuntoutuksen kehittämishankkeen mahdollisuuksia ja rajoituksia. Tausta Kelan työhönkuntoutuksen kehittämishankkeen kohteena ovat Kelan vakiintuneesta palveluntuotannosta Aslak-kurssit ja Tyktoiminta. Tavoitteena on aikaansaada uusia, nykyisessä työelämässä toimivia ratkaisuja toteuttaa työikäisten kuntoutusta. Viidessä kuntoutuslaitoksessa (Avire-Kuntoutus Oy, ODL Terveys, Petrea, Peurunka ja Verve) kokeillaan uudenlaisia työikäisten kuntoutuksen toteuttamistapoja vakiintuneissa työsuhteissa oleville ja yrittäjille kymmenen kuntoutujaryhmän kanssa (yhteensä noin 500 kuntoutujaa). Kokeilut ja toimintamallit on esitelty Kelan tutkimusosaston nettijulkaisussa (Nettityöpapereita 7/2009, http:// hdl.handle.net/10138/14785). Kuntoutuskokeilut on esitetty pääpiirteittäin kuvassa 1. Arvioinnin lähtökohdat ja tavoitteet Hankkeeseen sisältyvien viiden kuntoutuskokeilun kehittämisideat ovat erilaisia, toimintamallit ovat moninaisia, toimintaympäristöt vaihtelevat ja kohderyhmät poikkeavat toisistaan. Osallistujat valitaan sekä harkinnanvaraisen kuntoutuksen Aslak- että ammatillisen Tyk-kuntoutuksen kriteerein. Siten kuntoutujien terveydentila ja työkyky, kuntoutukselliset tarpeet ja tavoitteet poikkeavat toisistaan. Myös kuntoutujien ikä, ammatti ja toimiala vaihtelevat eri kokeiluissa. Kuntoutuskokeilujen työhön liittyvät kehittämisideat on koottu kuvaan 2. Kuntoutus 4 2010 47
TUUKKA (Avire-Kuntoutus Oy) on kehitelty suurten ja keskisuurten työnantajaorganisaatioiden työntekijöille soveltuvaksi ryhmämuotoiseksi kuntoutukseksi. Kuntoutus kytkeytyy kuntoutujan työnantajaorganisaatiossa toteutettuun työkyvyn tuen / varhaisen reagoinnin toimintamalliin. TUUKKAkokeilussa kuntoutus toteutetaan monimuotoisena päivä- ja käyntikuntoutuksena ja kuntoutusjaksot ovat lyhyitä. Kuntoutuksen kokonaiskesto on noin kaksi vuotta. Hypro (ODL Terveys) on ikääntyneille (yli 54-vuotiaat) henkilöille suunnattua avomuotoista, lyhytjaksoista, ryhmässä tapahtuvaa kuntoutusta, jossa pyritään aikaansaamaan tiivis vuorovaikutus kuntoutuksen ja työpaikan kesken, muun muassa osana kuntoutusohjelmaa olevan esimiesvalmennusohjelman avulla. Hypron kokonaiskesto on yksi vuosi. JYRI-kokeilun (Petrea) kimmokkeena on ollut yrittäjien muita palkansaajia heikommat mahdollisuudet irrottautua perinteiseen, kokonaisia työviikkoja kestävään laitospainotteiseen varhaiskuntoutukseen. Yrittäjien tarpeet on otettu huomioon muun muassa kuntoutujien valinnassa, kurssijaksotuksessa, sisällössä ja työmenetelmissä. Kuntoutuksen kokonaiskesto on kahdesta ja puolesta vuodesta kolmeen vuoteen. Kokonaiskunto-kokeilussa (Peurunka) painotetaan kuntoutuksen kohderyhmän tarpeiden arvioimista. Kokeilussa on vakiintunutta kurssitoimintaa enemmän panostettu yhteistyöhön kuntoutusprosessin aikana Kelan, työterveyshuollon ja työnantajien kesken. Kuntoutuksen sisältöön on otettu mukaan uusia menetelmiä. Kokonaiskunto-kurssi kestää noin kaksi vuotta. Modulon (Verve) lähtökohtia ovat työlähtöisyys sekä kuntoutuksen yksilöllinen arviointi ja räätälöinti. Modulossa kaikkien kuntoutujien kuntoutusprosessi ei etene samalla tavalla, vaan uutta on moduulirakenne, joka mahdollistaa kuntoutujan tilanteesta käsin rakentuvan yksilöllisen kuntoutusprosessin. Kuva 1. Työhönkuntoutuksen kehittämishankkeen kuntoutuskokeilut. Kelan tutkimusosaston toteuttaman arviointitutkimuksen tavoitteena on selvittää kehittämisideoiden toteutettavuutta ja toimivuutta. Arviointi kohdentuu sekä yksilökohtaisen kuntoutumisen, laitoksen kuntoutuskokeilun että koko kehittämishankkeen toteutumisen näkökulmiin. Laitosten kuntoutuskokeilut käynnistyivät vuonna 2007. Kukin kuntoutuslaitos kokeilee omaa, uudenlaista tapaa toteuttaa työikäisten kuntoutusta kymmenen peräkkäisen aloittavan 8 12 hengen kuntoutujaryhmän kanssa. Kokeiluja oli mahdollista muovata edelleen seitsemän ensimmäisen kuntoutujaryhmän kanssa, jonka jälkeen ei niitä enää muuteta. Kolmeen viimeiseen kuntoutujaryhmään kohdistuu systemaattinen vaikutusten ja hyötyjen arviointi, johon 48 Kuntoutus 4 2010
Kuntoutuja on oma työnantajansa (yrittäjät) Eri-ikäisten johtaminen, esimiesvalmennus Työyhteisöosuuksia ja työpaikalla tapahtuvia osuuksia aiempaa enemmän, sisällöt erilaisia Yhteistyössä (työterveys, esimies/työpaikka, kuntoutuja, kuntoutuslaitos) erilaiset neuvottelut, suunnittelupäivät, työyhteisötapaamiset, kuntoutujalähtöiset työyhteisöpäivät Ammatillinen osio on integroituna läpi koko kuntoutusprosessin Työn tarkastelu eri näkökulmista (työn sujuvuus, oman ammatillisen kehityksen kulku ja nykyvaihe, työn mahdollinen muutos ja nykytila) ja eri kokoonpanoissa Erilaiset tiedonhankintamenetelmät työhön liittyvissä asioissa kuntoutuksen tukena Kuva 2. Kokeilujen työkytkentöihin liittyvät kehittämisideat. sisältyy myös kuntoutujakohtaisen tiedon keruu (120 150 kuntoutujaa) ennen jälkeen-asetelmassa. Tähän mennessä kaikilla kuntoutuslaitoksilla on takanaan vähintään viisi päättynyttä kokeilua, ja kaikki arvioinnissa mukana olevat kokeilut päättyvät vuoteen 2011 mennessä. Arvioinnin menetelmät Arvioinnin lähestymistavaksi valittiin kehittävä arviointi, joka kohdentuu kehittämisideoiden toteutukseen ja pyrkii tukemaan kokeilun osapuolia kehitystyössä. Kehittävässä arvioinnissa painotus on prosessiin osallistuvien toimijoiden, eri toimijatahojen työntekijöiden ja asiakkaiden osallisuudessa ja heidän näkemystensä ja kokemustensa huomioonottamisessa (Rajavaara 2006, 20; Högnabba 2008,1 3). Keskeisinä tiedonhankinnan menetelminä käytämme monitahoarviointia ja fokusryhmähaastatteluja. Kehittäminen tapahtuu osana kuntoutuslaitosten ja yhteistyötahojen (esimiehet, työterveyshuolto) arkityötä ja painottuu käytännön näkyviä muutoksia aikaansaavaan toimintaan kuntoutusprosessin aikana. Monitahoarvioinnilla saadulla tiedolla pyritään tekemään selkoa uusista ideoista, toiminnoista tai interventioista ja niiden vaikutuksista erilaisissa toimintaympäristöissä sekä vaikutuksia aikaansaavista mekanismeista. Syntyvän tiedon tuella pyritään toteutettujen ideoiden reflektointiin ja niiden kehittämiseen. Samalla jäsennetään edellisen pohjalta kehittämishankkeelle uusia ratkaisuja, käsitteitä ja näkökulmia, joita toimijat voisivat kokeiluissa soveltaa. Tätä varten välitetään arvioinnista syntyvää palautetietoa hankkeen työkokouksissa ja toteuttajatapaamisissa. Pyrkimyksenä on dialoginen vuorovaikutus ja yhteistyö eri toimijoiden kesken. Kehittävän arviointiotteen avulla pyritään toteuttajien tapaamisissa ja työkokouksissa yhdessä määrittämään kehittämisen kohdetta ja laatimaan suunnitelma kunkin kokeilun etenemisestä. (Sanders 1997, 402; Pietilä 2008, 65 68, Toikko ja Rantanen 2009, 113 117.) Kuntoutus 4 2010 49
Toteutuvassa arvioinnissa on hankittu tietoa kuntoutujilta, jotka ovat asiantuntijoita siinä, millaisia mahdollisuuksia toimintamalli saattaa tarjota omaan kuntoutumiseen, esimiehiltä, jotka tuntevat kuntoutujan työtilanteen kokonaisuutta ja siihen vaikuttavia toimintaympäristön olosuhteita, työterveyshuollon toimijoilta, jotka tuntevat työympäristön lisäksi kuntoutujan terveydentilan tuomat rajoitteet ja tietävät ongelmien ratkaisumahdollisuuksien reunaehtoja, kuntoutuslaitoksen toimijoilta, joilla on hallussaan tietoa uuden mallin sisällöstä, muodoista, tarkoituksesta, työntekijöiden tavoitteiden suuntaisesta toimivuudesta sekä kokemustietoa kuntoutuksen annista kuntoutujille ja Kelan toimihenkilöiltä, joilla on tuntumaa kokeilujen käynnitymisestä verrattuna vakiintuneeseen kuntoutukseen. Arvioinnissa kiinnitetään huomiota siihen, miten kokeilumalli tai sen uusi idea tai toimintatapa toimii kenellekin ja missä tilanteessa. Tavoitteena on hahmottaa kuntoutujan tilanteessa tapahtunutta muutosta yrittämällä jäsentää sitä, millaisin mekanismein voitaisiin ehkä saada aikaan suotuisaa kuntoutumisessa vaikuttavaa kehitystä ja millaisten olosuhteiden vallitessa. (Vrt. Pawson ja Tilley 1997, 160-161, Korteniemi 2006, 30.) Arviointi toteutetaan yhteistyössä eri toimijatahojen kanssa (kuntoutujat, esimiehet, työterveys, toteuttajat, Kela). Hankkeen alkuvaiheessa vuonna 2007 arviointi keskittyi kokeilujen käynnistämisestä saatujen kokemusten keräämiseen kuntoutuslaitoksissa (toteuttajat). Toisessa vaiheessa eli vuosina 2008 ja 2009 arviointi kohdentui kuntoutusintervention toteutuksen ja uusien ideoiden arviointiin. Tätä varten haastattelimme teemahaastattelujen avulla toteuttajatahoja ja kuntoutuslaitosten yhteistyökumppaneita (hankkeeseen osallistuvia työterveyshuollon ammattilaisia ja Kelan työntekijöitä). Arvioinnin kolmannessa vaiheessa vuonna 2009 koottiin alustavia näkemyksiä kuntoutuksen hyödyistä ja vaikutuksista kokeilujen työkytkentään liittyen haastattelemalla kunkin kokeilun kuntoutujia ja heidän esimiehiään. Myös systemaattista kolmen viimeisen kokeilun arviointia aloiteltiin. Nyt meneillään olevassa arvioinnin neljännessä vaiheessa painotus on yhden kunkin kokeilun päättäneen kuntoutujaryhmän kuntoutusprosessin monitahoarvioinnissa sekä toteuttajien haastatteluihin perustuvassa prosessin tarkastelussa hyvien käytänteiden esiin nostamiseksi. Arvioinnin viides vaihe, vaikutusten ja hyötyjen systemaattinen arviointi, on myös käynnissä. Arviointi kohdistuu laitosten kolmeen viimeiseen kuntoutujaryhmään, jolloin kerätään kuntoutujakohtaista tietoa. Yhden kuntoutujaryhmän tilannetta arvioidaan fokusryhmähaastattelujen avulla sekä monitahoisesti eri toimijoita haastatellen (esimiehet, toteuttajat, työterveyshuollon ammattilaiset, Kelan työntekijä). Kuntoutujakohtainen lopputilanteen aineistonkeruu päättyy vuoteen 2011 mennessä. Kehittämistuloksia Kaikki kokeiltavat uudet kuntoutusmallit ovat olleet toteutettavissa. Kuntoutujat 50 Kuntoutus 4 2010
ovat kokeneet pääosin saaneensa välineitä työssä selviytymiseensä sekä toiminta- ja työkykynsä ylläpitoon. Arvioitujen kuntoutusmallien mahdollistamissa kuntoutusprosesseissa kuntoutujan työhön saadut muutokset ovat erilaisia. Monitahoarvioinnista kertyneen tiedon perusteella esimiesten aiempaa suurempi osallistaminen kuntoutujan kuntoutusprosessiin on koettu pääosin hyödyllisenä. Kuntoutus toimii parhaiten silloin, kun kuntoutuksen alkuvaiheessa on tavoitteellista yhteistyötä eri toimijatahojen kanssa. Kaikilla toimijatahoilla (työterveys, esimies, kuntoutuja, toteuttajat) tulisi olla heti kuntoutusprosessin alussa selkeä ja yhteinen tietämys: mihin kuntoutujan tarpeisiin kukin kuntoutusmalli vastaa mitkä ovat kuntoutukselle asetetut tavoitteet miten kuntoutus toteutetaan (työkytkentä ym.) mitkä ovat eri toimijatahojen (työterveys, esimies, toteuttajat, kuntoutuja) vastuut ja velvollisuudet kuntoutujan kuntoutusprosessin aikana. Parhaimmillaan kuntoutusmallin mahdollistama kuntoutujan kuntoutusprosessi niveltyy organisaation työhyvinvointia edistävään toimintaan. Kuntoutusprosessissa kuntoutujasta itsestään kypsyy oman kuntoutusprosessinsa haltija, jonka tieto ja kokemus varmistavat kuntoutuksen oikea-aikaisuutta. Ajallisesti, rakenteellisesti ja monia toimijatahoja sitova kuntoutusprosessi on kuitenkin riskialtis. Kuntoutujien tarpeiden moninaisuutta ajatellen näyttää siltä, että tarvitaan rakenteeltaan, sisällöltään ja kestoltaan sekä jaksotukseltaan erilaisia kuntoutusmuotoja. Mitä paremmin alussa tiedetään tai selvitetään monitahoisesti mistä työntekijän kenkä puristaa, sitä paremmin pystytään ohjaamaan kuntoutuja tarkoituksenmukaiseen kuntoutusprosessiin. Kehittävän arvioinnin mahdollisuuksia ja rajoituksia Kuntoutuksen tutkijoilta odotetaan useimmiten ensi sijassa tietoa kuntoutusmuotojen vaikuttavuudesta ja toivotaan, että tämä tieto hankittaisiin mieluiten kokeellisin tai kvasikokeellisin asetelmin. Työhönkuntoutuksen kehittämishankkeessa valitsimme toisenlaisen arviointiotteen ja lähdimme tarkastelemaan ja tukemaan sitä, mikä on kuntoutuksessa vasta kehkeytymässä. Kehittämishanke ja sitä tukeva tutkimus sisältävät aina monien tahojen aikaansaamia monitahoisia prosesseja. Kehittäminen itsessään on määriteltävissä tiettyjen toimintaperiaatteiden ja toimintojen tarkoituksellisena muuttamisena. (Kirjonen 2006, 117 118.) Työhönkuntoutuksen kehittämishankkeessa kehitystyölle oli olemassa selkeät reunaehdot: kuntoutuslaitokset ovat palvelujen tuottajina, kilpailutusmenettelyä käytettiin kokeilumallien valinnassa, ja kokeilut perustuivat nykyiseen lainsäädäntöön. Näistä lähtökohdista valikoitui kokeiltavaksi viisi erilaista kokeilumallia, jotka kaikki sisälsivät uuden, aiemmasta poikkeavan kuntoutuskokonaisuuden. Kokeiluihin osallistuvat monin tavoin erilaiset kuntoutujat ja työpaikat. Myös kuntoutustyöntekijät tulivat omaksuneeksi uusia työ- Kuntoutus 4 2010 51
paikkaan tai verkostoyhteistyöhön liittyviä toimintamuotoja. Toimintamallien hienosäädölle oli varattu seitsemän peräkkäisen kurssin verran aikaa, jolloin vasta laitoksen kolmen viimeisen kuntoutujaryhmän osalta katsoimme ajankohtaiseksi ottaa käyttöön interventiotutkimuksen näkökulman. Lähestymistavassamme kehittävään arviointiin väljästi liitetty realistisen arvioinnin teoriatausta ilmenee siinä, että pyrkimyksemme on tunnistaa, kuvata ja ymmärtää muutoksia selittäviä mekanismeja niin, että emme kysy vain sitä, toimiiko jokin kokeilu, vaan tavoittelemme vastausta kysymykseen mikä kokeilussa vaikuttaa, ja miksi se toimii? (Grönlund 2010, 119-151, Pawson ja Tilley 1997, 65-67). Mekanismien aikaansaamien muutosten ajatellaan olevan ehdollisia ja riippuvaisia toimintaympäristöstä. Joissakin oloissa mekanismit saattavat toimia täydellä teholla, joissakin tilanteissa toimintaympäristö voi estää muutoksen toteutumisen. (Vrt. Korteniemi 2005, 20, 30.) Tunnustamme kuitenkin samalla, että tällainen realistisen arvioinnin metodologinen ideaali on päämäärä, johon on mahdollista päästä vain osittain. Monitahoarvioinnilla pyritään hankkimaan kokeilujen toimivuudesta mahdollisimman monipuolinen kuva (Oulasvirta 2007, 115). Arvioitavassa kokeilussa, toimintaympäristössä ja uuden idean toteutuksessa on monia toimijoita erilaisissa organisaatioasemissa (kuntoutujat, heidän perheenjäsenensä, työtoverinsa, kuntoutujien työnjohtajat, työterveyshuollon toimijat, Kelan toimihenkilöt, kuntoutuslaitoksen työntekijät ja arviointia tekevät tutkijat). Siten heillä kaikilla on kuntoutuskokeiluun erilainen näkökulma, kokemus, odotukset tai toteuttamisen intressi. Kaikkien tieto on olennaista kokeilun toimivuuden ja onnistumisen arvioimiseksi. Monitahoarvioinnin vahvuuksina pidetään sen kykyä vastata eri toimijoiden tarpeisiin ja toisaalta luoda yhteisten pohdintojen areenoita. Parhaimmillaan monitahoarviointi mahdollistaa jatkuvan kommunikoinnin, oppimisen ja ideoiden muokkaamisen. (Sanders 1997, 402.) Toisaalta arviointi on aikaa vievää ja edellyttää luottamuksellista vuorovaikutusta toimijoiden kesken. Yhteisten näkemysten lisäksi on kyettävä nostamaan esiin ja keskustelemaan myös vaihtelevista tulkinnoista osapuolten kesken. Fokusryhmähaastatteluissa olemme käyttäneet stimuloitua muistelua menetelmänä, ja se on osoittautunut hyvin toimivaksi. Vuokaavio kuntoutusprosessista on palauttanut mieleen kuntoutuksen eri vaiheet, ja haastateltavien on ollut helppo kertoa itselleen tärkeimmät ja yhdentekevimmät elementit kuntoutuskokonaisuudessa. Kuntoutuslaitosten työntekijöiden arviot työpaikkainterventioiden merkityksestä ovat olleet myönteisiä. On kuitenkin pidettävä mielessä, että kyseessä ovat olleet vielä kehitteillä olevat toimintamuodot, ja etenkin työpaikkaan liittyvät interventiot ovat kehittämisen kohteina. Kuntoutujien tehdessä selkoa kuntoutuskokemuksistaan olemme kiinnittäneet huomiota sekä niiden kokonaisuuteen että yksittäisiin tapahtumiin ja tilanteisiin, jotka kuntoutujat kokivat itselleen erityisen merkittävinä. Tosin arvelemme, että tällaiset kuntoutujan huippukokemukset edellyttävät kyseisten kokeilumallien kokonaisuutta. Työnteko on ihmisille tärkeää, mut- 52 Kuntoutus 4 2010
ta työstä on tullut aiempaa kiireisempää, ajallisesti monimuotoisempaa, paikallisesti liikkuvampaa, suorituspainotteisempaa ja henkisesti haastavampaa. Työn jatkuvuus on usein heikosti ennakoitavissa, ja työuriin on tullut uudenlaista katkoksisuutta, ennakoimattomuutta ja turvattomuutta. Työn muutoksessa työntekijöiden työkykyproblematiikka on muuttanut muotoaan, ja mielenterveyteen liittyvistä syistä on tullut tärkein kuntoutuksen peruste. Työhönkuntoutuksen kehittämishankkeen kokeilut ovat keskenään hyvin erilaisia työkytkennoiltään. Moneen toimijaan ajallisesti ja rakenteellisesti sidotut kuntoutusprosessit ovat yllätyksellisiä ja haavoittuvia sekä työnantajien että kuntoutuksen osallistujien ja toteuttajien kannalta. Työn ja työmarkkinoiden muutokset koettelevat kuntoutuksen perinteisiä vastuunäkemyksiä. Kuntoutuksen yhteiskuntapoliittiseen keskusteluun nostetun työmarkkinakansalaisuuden käsitteen avulla (Suikkanen & Lindh 2010) voidaan nostaa esille kysymys muun muassa siitä, jääkö työntekijä tulevaisuudessa enenevästi itse vastuuseen oman työkykynsä ylläpitämisestä ja kehittämisestä. Guy Standing (2009) katsoo, että globaali työ murentaa entisenlaista palkkatyöhön perustuvaa kansalaisuutta ja jakaa ihmisiä uudenlaisiin sosiaalisiin kerrostumiin. Uudenlaisten töiden suhteen toisistaan eriytyvien yhteiskuntaryhmien moninaiset kuntoutustarpeet saattavat lähivuosina koetella uusin tavoin suomalaista kuntoutusjärjestelmää. Vaikka työhönkuntoutuksen hanke näyttää tuottavan uusia toimivia kuntoutustapoja, näihin kysymyksiin ei sen avulla tai sitä arvioimalla vielä löydettäne riittäviä vastauksia. LT, dosentti Katariina Hinkka työskentelee tutkijalääkärinä Kelan tutkimusosastolla. TtM Liisi Aalto työskentelee tutkijana Kelan tutkimusosastolla. VTT Rainer Grönlund työskentelee vastaavana tutkijana Kelan tutkimusosastolla. VTT, professori Marketta Rajavaara työskentelee johtavana tutkijana Kelan tutkimusosastolla. Lähteet Grönlund R (2010) Pitkään kotona kuntoutuksen avullako? Tutkimus ryhmämuotoisesta vanhuskuntoutuksesta. Kela, Sosiaali- ja terveysturvan tutkimuksia 111, Helsinki. Hinkka K, Aalto L, Lahtela K, Rajavaara M (2009) Työhönkuntoutuksen kehittämishankkeen arviointi lähtökohdat, tavoitteet ja toteutus. Julkaisussa Rajavaara M, Aalto L, Hinkka K: Kehittämisideoista työikäisten kuntoutuksen käytännöiksi. Kelan työhönkuntoutuksen kehittämishankkeen lähtökohdat. Kelan Nettityöpapereita 7/2009. http://hdl.handle.net/10138/14785, poimittu 12.11.2010 Högnabba S (2008) Arviointi, arviointitutkimus ja arviointimenetelmien kehittäminen. Teoksessa Borg P ym.: Arviointi työtavaksi. Kokemuksia asiakastyön arvioinnin kehittämisestä Helsingin sosiaalivirastossa. Helsingin kaupungin sosiaalivirasto, Oppaita ja työkirjoja 2008:2. Kirjonen J (2006) Kehittäminen asiantuntijatyönä. Teoksessa Seppänen Järvelä R & Karjalainen V (toim.) Kehittämistyön risteyksiä. Stakes, Helsinki. Kuntoutus 4 2010 53
Korteniemi P (2005a) Realismi ja realismin sovellus. Teoksessa Julkunen I, Lindqvist T, Kainulainen S (toim.) Realistisen arvioinnin ensi askeleet. Stakesin julkaisu www.stakes.fi/ finsoc/julkaisut/sarjat. Stakes 2005, poimittu 12.11.2010. Korteniemi P (2005b). Yksilökohtaisen palveluohjausprojektin realistinen arviointi. Teoksessa Julkunen I, Lindqvist T, Kainulainen S (toim.) Realistisen arvioinnin ensi askeleet. Stakesin julkaisu www.stakes.fi/finsoc/julkaisut/sarjat, poimittu 12.11.2010. Oulasvirta L (2007) Palvelun laadun arviointi moniportaisessa julkisessa organisaatiossa. Acta Universitatis Tamperensis 1239. Yliopistopaino Oy, Tampere. Pawson R & Tilley Nick (1997) Realistic Evaluation. Sage publications, London. Pietilä N (2008) Kehittävä arviointi työotteena. Teoksessa: Borg ym: Arviointi työtavaksi. Kokemuksia asiakastyön arvioinnin kehittämisestä Helsingin sosiaalivirastossa. Helsingin kaupungin sosiaalivirasto. Oppaita ja työkirjoja. Helsinki. Rajavaara M (2006) Yhteiskuntaan vaikuttava Kela. Katsaus arvioinnin käsitteisiin ja arviointiin. Kela, Sosiaali- ja terveysturvan katsauksia 69, Helsinki. Sanders J (1997) Cluster evaluation. Teoksessa: Chelinsky E & Shadish W: Evaluation for the 21 st century: A Handbook. Sage Publications. Thousand Oaks, London New Delhi Suikkanen A & Lindh J (2010) Työmarkkinakansalaisuus ja ammatillisen kuntoutuksen luova tuho. Kuntoutus 2, 53-62. Toikko T & Rantanen T (2009) Tutkimuksellinen kehittämistoiminta. Näkökulmia kehittämisprosessiin, osallistamiseen ja tiedontuotantoon. University Press, Tampere. 54 Kuntoutus 4 2010