Kommunikatiivisen arviointikulttuurin jäljillä

Transkriptio

1 PUHEENVUORO Jari Lindh ja Asko Suikkanen Kommunikatiivisen arviointikulttuurin jäljillä Johdanto Nykyisin kuntoutukselta odotetaan tehokasta toimintaa sekä kykyä vastata asiakkaiden ja muuttuvan toimintaympäristön vaatimuksiin. Kuntoutus on tuotteistettu määrämittaisiksi palvelutuotteiksi, joiden laatua ja tehokkuutta arvioidaan eri tavoin, aina laajamittaisista kuntoutuksen vaikuttavuutta etsivistä rekisterianalyyseistä (esim. Lind ym. 2007) tarkemmin kohdennettuihin ja toimintamallien vaikutuksiin keskittyviin tapaustutkimuksiin (esim. Jalava & Salomäki 2008). Arviointitutkimusten määrän lisääntyessä keskeisiä kysymyksiä ovat, millainen arviointikulttuuri kuntoutuksessa vallitsee eri toimijoiden välillä, millainen on arvioinnin ja siitä saatavan tiedon hyödynnettävyys sekä miten arviointituloksia sovelletaan ja juurrutetaan kuntoutustoiminnan kehittämiseen (vrt. Patton 1997; 2002; Chen 2005). Arviointitutkimusten määrän kasvuun ovat vaikuttaneet monet syyt, kuten yhteiskuntapoliittisten ohjausmekanismien muutokset, hallintoteknologiset tarpeet hallita ja ohjata vaikeita yhteiskunnallisia ilmiöitä tiedon avulla sekä saada niistä kehittämistoiminnassa tarvittavaa palautetietoa (ks. esim. Vedung 1997; Dahler-Larsen 2003; Rantala & Sulkunen 2006; Virtanen 2007). Yhteiskuntien normiohjauksen ja suunnitteluperusteisen hallinnan olosuhteissa tutkimustiedon ja käytännön tiedon välillä on vallinnut rakenteellinen ero. Arvioinnin temaattinen perusta on yhteiskunnallisessa muutoksessa, jossa hallinnan normatiivisuus vähenee ja politiikkaa toteutetaan projekteina ja ohjelmina (Rantala & Sulkunen 2006). Arviointi on tyypillisesti liitetty tulosorientoituneeseen ja managerialistiseen johtamiseen ja päätöksentekoon. Kuntoutuspalvelujen ohjaamisessa ja kehittämisessä arviointitoiminta on tullut yhä keskeisemmäksi. Kuntoutustoiminnan ja -ohjelmien tuloksia arvioitaessa on ryhdytty kiinnittämään huomiota toiminnan prosessuaalisiin, vuorovaikutuksellisiin ja kommunikatiivisiin ulottuvuuksiin. Yhä useammin on huomattu, miten erilaiset kommunikatiiviset ja vuorovaikutukselliset elementit ovat varsin keskeisiä tekijöitä sekä kuntoutusjärjestelmätasolla että kuntoutuksen kehittämistyössä. Erilaiset osallistavat ja vuorovaikutukselliset arviointikäytännöt ja näkökulmat ovat alkaneet Suomessa levitä erityisesti sosiaalialan kehittämis- ja arviointitoiminnassa, ja kuntoutuksessakin arviointikäytännöt ovat monipuolistuneet (ks. esim. 68 Kuntoutus

2 Koivisto 2006; Jalava 2008; Juvonen-Posti & Jalava 2008). Kuntoutusprosessiin osallistuu sen eri vaiheissa käytännössä useita eri organisaatioita ja toimijoita, joilla on kullakin omat toimintakulttuurit, -tavat ja intressit. Tällöin myös kuntoutuksen arvioinnissa tulisi sekä tutkimusasetelmallisesti että tuloksien hyödynnettävyyden parantamiseksi kiinnittää huomioita ns. yksiselitteisten indikaattorien ja faktojen lisäksi eri toimijoiden tulkintoihin ja näkemyksiin kuntoutusprosessista sekä välittää ja reflektoida näitä toiminnan kehittämiseen arviointiprosessin kautta. Tämä edellyttää arvioinnin tilaajan, toteuttajan ja arviointikohteen välistä dialogisuutta ja kommunikatiivisuutta. Mielestämme on tärkeää, että arvioinneissa otetaan huomioon ja ymmärretään minkälaiseen teoreettiseen ja filosofiseen (joko tiedostettuun tai tiedostamattomaan) ajatteluun kuntoutustoiminta ja siihen liittyvät muutosteoriat perustuvat. Tämä edellyttää tiivistä vuorovaikutusta tutkijoiden ja käytännön toimijoiden välillä. Tässä puheenvuorossa hahmottelemme sellaista arviointikulttuuria ja periaatteita, joissa kiinnitetään huomiota perinteisten arviointitutkimusten ulottuvuuksien lisäksi myös arvioinnin kommunikatiivisiin ja prosessuaalisiin ulottuvuuksiin. Puhummekin yleisesti ottaen kommunikatiivisesta arvioinnista, jossa keskeistä on tutkijoiden ja käytännön toimijoiden välinen vuorovaikutus ja osallistavat arviointikäytännöt. Kommunikatiivisuuden käsitteellä ja idealla haluamme korostaa, että arvioinnissa on keskeistä tutkijoiden ja käytännön toimijoiden välinen vuorovaikutus ja huomion kiinnittäminen arviointitiedon hyödynnettävyyden kehittämiseen. Ymmärrämme kommunikatiivisuuden tässä enemmän toiminnallisena metaforana kuin yhteiskuntateoreettisena käsitteenä (vrt. Habermas 1984). Kuntoutuksen tutkimus- ja kehittämistoiminnan keskeisiä elementtejä ovat käytännön toimijoiden ja arvioitsijoiden välinen yhteinen kuntoutustoiminnan kehittäminen sekä arviointi ja sitä kautta oppimis- ja muutosprosessien tukeminen. Kuntoutuksessa vallitsevat toimintakonseptit, toimintakulttuurit ja vuorovaikutusprosessit nousevat arviointikohteena keskeiselle sijalle. Voidaan puhua kehittävästä prosessiarvioinnista, jossa arviointi on osa kuntoutuksen tavoitteiden ja toimintatapojen reflektiivistä kehittämistä ja kommunikatiivista uudelleenmäärittelyä. Kuntoutuksessa tarvitaan osallistavia, dialogisia ja laajaan kommunikaatioon perustuvia arviointikäytäntöjä Viimeisen kymmenen vuoden aikana arviointitutkimus on alkanut kehittyä ja painottua osallistuvampaan, kommunikatiivisempaan ja aikaisempaa moniarvoisempaan suuntaan (Fetterman 2001; Torres & Preskill 2001; Patton 2002; Chen 2005; Koivisto 2006; Kivipelto 2008). Arviointitutkimusta on alettu yhä enemmän sisällyttää käytännön (kehittä mis)toimintaan ja ohjelmiin. Arvioinnin tehtäväksi ei ole enää yksinomaan mielletty erilaisten mittareiden ja indikaattorien kehittelyä, eikä joitain tiettyjä kriteerejä vasten tapahtuvaa tarka stelua, vaan arviointi on alettu nähdä aiempaa selkeämmin dynaamisena ja dialogisena neuvottelutapahtumana ja oppimisen välineenä. Kuntoutus

3 Tutkijan tehtävänä on mielletty erilaisten kilpailevien näkemy sten esittely, niiden saattaminen keskinäiseen vuoropuheluun ja vastauksen anta minen siihen kysymykseen, miksi asiat ovat niin kuin ne ovat. Arviointitutkimusten ongelmana on usein se, että arvioinnin kautta saatava tieto ja kehittämisehdotukset eivät juurru käytäntöön riittävän tehokkaasti. Vaikka arviointitutkijoiden tehtävä ei olekaan kehittämisehdotusten toimeenpano tai kehittämishankkeiden tulosten juurruttaminen, on tärkeää kiinnittää huomiota arviointiprosessin yhteistoiminnallisuuteen ja reflektiivisyyteen, jossa kuntoutuksen toimijat pyrkivät kehittämään käytäntöjä innovatiivisemmiksi ja toimivimmaksi. Kommunikatiivisessa arvioinnissa arvioijan ja toimijoiden rooli on vastavuoroinen. Arvioija tukee tiedon ja aineiston keruun avulla toimijoita tunnistamaan toiminnan taustalla olevat käsitykset kuntoutustyön luonteesta ja tukee toimijoita laajentamaan käsityksiään arvioinnin roolista kuntoutuksen kehittämisessä. Kommunikatiivisessa arvioinnissa pyritään yhdistämään tutkimus, teoria ja käytännön kehittäminen ja tukemaan toimijoita itse kehittämään kuntoutustoiminnan käytäntöjä sekä luomaan yhteinen ymmärrys ja tieto toiminnasta siten, että se ei uusinna olemassa olevia lähtökohtia vaan luo uudenlaista ymmärrystä toiminnasta (vrt. Fetterman 2001, Dahler-Larsen & Krogstrup 2003). Lähimmäksi kommunikatiivisen arvioinnin periaatteita tulevat tietyt valtaistavat ja osallistavat arviointimallit, kuten Tanskasta lähtöisin oleva BIKVA-arviointimalli (Dahler & Krogstrup 2003; Krogstrup 2004) ja Yhdysvalloista lähtöisin oleva Empowerment- eli valtaistava arviointi (Fetterman 2001). BIKVA-arviointimallin tavoitteena on ottaa asiakkaat mukaan arviointiin ja luoda siten yhteys asiakkaiden ongelmien ymmärtämisen ja palvelun/intervention välille. Asiakkailla on BIKVA-mallissa keskeinen rooli. He määrittävät arviointikysymykset omien kriteeriensä perusteella ja ovat oppimisen käynnistäjiä. BIKVAssa oppiminen käynnistyy niin, että ensiksi tehdään avoin ryhmähaastattelu. Tavoitteena on, että asiakkaat voivat omin sanoin kuvailla ja tulkita näkemyksiään sosiaalityöstä ja sosiaalipalveluista omasta näkökulmastaan. Sen jälkeen nämä kuvaukset esitellään muille sidosryhmille. BIKVA on alhaalta ylöspäin -kehittämismalli, jossa päätavoitteena on oppiminen ja kehittyminen. Oppimis- ja kehittymistavoite on erityisesti työntekijöiden tavoitteena mutta myös johtajien ja politiikkojen voi olla tärkeää muuttaa ratkaisujaan. BIKVA-mallin toteuttaja eli arvioija voi antaa saatujen tulosten puhua puolestaan tai antaa arviointiprosessista saatujen tietojen perusteella suosituksia ja näin edistää muutokseen johtavaa kehittämisprosessia. Tavoitteena on selittää, miten arviointiin osallistuvat sidosryhmät kokevat arkensa henkilökohtaisella tasolla. Tavoitteena on myös kyseenalaistaa ja kehittää olemassa olevat käytännöt ja toimintatavat. Mallin avulla saavutetaan parempi yhteisymmärrys sen välillä, miten asiakkaat kokevat ongelmansa ja miten sosiaalityötä tehdään organisaation eri tasoilla. BIKVAn edellytys on, että organisaatio pystyy olemaan avoin asiakkaiden näkökannoille. Samalla mallin tavoite on vahvistaa tätä kykyä. (Krogstrup 2004). Myös Empowerment-arvioinnissa (Fet- 70 Kuntoutus

4 terman 2001; Fetterman 2005) osallistujat ja asiakkaat ovat myös keskeisissä osissa prosessia. Empowerment-arviointi liittyy vahvasti työyhteisöjen kehittämiseen ja itsearviointiin, ja lähtökohtana siinä on vahvistaa työntekijöiden vaikutusmahdollisuuksia ja ongelmanratkaisutaitoja suhteessa omaan työhönsä sekä lisätä yhteistä ymmärrystä ja työkykyä. Kuntoutukseen sovellettuna arvioinnissa yhdistetään systemaattinen kuntoutustyön kehittäminen ja arviointi. Siinä hyödynnetään työntekijöiden ideoita ja osaamista kuntoutustyön laadun kehittämisessä ja kannustetaan työntekijöitä tuntemaan vastuuta tehtävistään. Arvioinnin avulla pyritään vahvistamaan työntekijöiden yhteistä näkemystä työn tavoitteista ja niihin johtavista keinoista. Arvioinnin tavoitteena on luoda sellaista työ- ja organisaatiokulttuuria, joka vahvistaa työyhteisön kykyä sopeutua jatkuvaan muutokseen ja oppimiseen. Arvioinnin idea on olla systemaattinen osa kuntoutustyön suunnittelua ja johtamista. Kuten edellä kuvatut esimerkit osoittavat, arvioinnissa on keskeistä osallistava ja dialoginen prosessi, joka tähtää arvioitavan kohteen muuttamiseen ja kehittämiseen entistä paremmaksi (ks. Kivipelto 2008). Kuntoutuksen kehittäminen ja arviointi ymmärretään tällöin jatkuvaksi prosessiksi. Keskeistä on juuri uudella tavalla ymmärretty arviointiprosessi, jossa tärkeää on sitouttaa erilaisin menetelmin eri osapuolia arvioinnin kohteena olevan toiminnan kehittämiseen. Kommunikatiivisen arvioinnin mallissa on keskeistä osallisuuden, vuorovaikutteisuuden ja proaktiivisen arviointitutkimuksen idea. Mallissa arviointitutkimuksen tehtävänä on yhtäältä kriittisesti arvioida kuntoutuksen vaikutuksia, mutta toisaalta jatkuvasti kehittää kuntoutuksen mahdollisuuksia. Kun korostetaan kuntoutuksen arvioinnin kommunikatiivisia ulottuvuuksia, ei tärkeää ole pelkästään kiinnittää huomiota joko arvioinnin metodologiaan tai kuntoutuksen rationaaliseen tavoitteenasetteluun ja suunnitelmallisuuteen, vaan myös kuntoutuksen toimintakulttuuriin, sen taustalla vallitseviin ideologioihin, yhteisöllisiin arvoihin ja millaisiin toimintakonsepteihin ja käsitteisiin kuntoutuksen käytännöt perustuvat. Kuntoutuksen kommunikatiivisen arvioinnin idea tulee lähelle yhtäältä kommunikatiivisen suunnitteluteorian mallia (Healey 1997; Forester 1999) ja toisaalta kommunikatiivisen toiminnan teoriaa (Habermas 1984). Kommunikatiivista suunnitteluteoriaa on kehitetty rationaalisen suunnittelu- ja päätöksentekomallin kritiikiksi. Kommunikatiivinen suunnitteluteoria mahdollistaa lähestyä kuntoutuksen arviointia aikaisempaa kokonaisvaltaisemmalla tavalla. Siinä korostetaan arviointiprosessin luonnetta eri toimijoiden välisen keskustelun välikappaleena ja tiedon vaihdon välineenä. Kommunikatiivisessa arvioinnissa arviointiprosessi voidaan ymmärtää faktojen ja yksiselitteisten tulosten löytämisen lisäksi myös kriittisen tiedonvaihdon ja kuntoutustyön kehittämisen välineenä. Kommunikatiivisen arvioinnin lähtökohdat liittyvät siihen, että kuntoutus ymmärretään toimintajärjestelmänä, jonka osa-alueet ovat vuorovaikutuksssa toisiinsa. Tämä vuorovaikutus tulisi ottaa aikaisempaa kokonaisvaltaisemmin huomioon kuntoutuksen arvioinnissa. Kommunikatiivisen Kuntoutus

5 arvioinnin ongelmana voidaan kuitenkin nähdä sama ongelma kuin muussakin kommunikaatiossa: onko esimerkiksi kuntoutusprosessiin osallistujilla samanlainen kieli ja ymmärtävätkö osallistujat toistensa käyttämää kieltä samassa merkityksessä? Voidaan sanoa, että tietyssä mielessä arvioinnin kommunikatiivisessa mallissa pyritään yhdistämään arviointitutkimuksen ja toimintatutkimuksen lähestymistavat. Yleensähän nämä lähestymistavat on tulkittu toistensa poissulkeviksi vaihtoehdoi ksi, kun on tarkasteltu yksittäisten tutkijoiden tutkimusorientaatioita. Yksinkertai staen voitaisiin sanoa, että jos arviointitutkimus on yritys esittää esimerkiksi kehittämistoimintaan osallistuvien tahojen intressit ja tavoitteet, kuvata toiminnassa valittu/valitut toimintastrategia/t tavoitteiden saavuttamiseksi ja esitellä strategian avulla saavutetut tulokset, on toimintatutkimus tutkimusta, jossa tutkija osallistuu tarkastelun kohteena olevan toiminnan kehittä miseen. Lopuksi Olemme puheenvuorossamme pyrkineet hahmottamaan sellaista arviointikulttuuria, jossa korostetaan arviointitoiminnan kommunikatiivisia ulottuvuuksia. Perinteisesti ymmärrettynä kuntoutuksen arviointi on ollut valtaosin ulkoista asiantuntijaroolista tehtyä normatiivista (esimerkiksi kuntoutuslainsäädännön tavoitteet ja käsitteet lähtökohtana) arviointityötä, jolla on vahvistettu lähinnä vallitsevia toimimiskäytäntöjä ja -periaatteita. Kommunikatiivisen kuntoutuksen arvioinnin kohteena painottuvat asiakkaiden kokemukset, vuorovaikutustilanteet, kuntoutumistilanteiden kulku, muutoksen tulkitseminen ja mahdollistuminen, toimintatavat sekä asiakasprosessien kulku ja niistä oppiminen kehitettävien toimintakäytäntöjen perusteluna. Arviointitietoa käytetään kuntoutusprosessien ohjaamiseen ja tilanteiden muutoksiin. Mielestämme ei siis ole olemassa yhtä oikeaa tapaa tehdä arviointitutkimusta. Erilaisia arvioinnin malleja ja menetelmiä tarvitaan riippuen siitä, minkälaista tietoa kulloinkin tarvitaan. Kuntoutuksessa tarvitaan yhtäältä ns. ulkoisia ja erilaisiin koeasetelmiin perustuvia vaikuttavuuden arviointeja ja toisaalta kehittämistavoitteisia prosessiarviointeja. Näkökulmat ovat pikemminkin toisiaan täydentäviä. Pidämme kuitenkin kuntoutuksen kehittämisen kannalta oleellisena, että arviointiprosessi ja -kulttuuri kokonaisuutena nähdään kommunikatiivisena toimintana, joka tukee laaja-alaisesti arvioinnissa mukana olevien tahojen yhteistoiminnallisuutta ja yhteisymmärryksen rakentumista. Erityisen tärkeänä näemme arvioinnin avulla vahvistaa ja systematisoida kuntoutuspalvelujen tilaajan, kuntoutuspalvelujen tuottajan ja kuntoutuspalvelujen käyttäjien välistä vuorovaikutusta. Keskeinen pyrkimyksemme on tuoda kuntoutuksen arviointia nykyistä kiinteämmäksi osaksi kuntoutuksen itseuudistumisen käytäntöjä ja ymmärtää arviointi kuntoutustoiminnan kehittämisen välineenä. Kuntoutuksen arvioinnissa tarvitaan sekä sisäisen että ulkoisen arvioinnin ulottuvuuksia (vrt. Morabito 2002). Arviointi on myös tietyllä tavalla kuntoutumisen ohjaamisen (hallinnoimisen) väline, jossa tutkimuksellisella otteella ja sekä sisäisen että ulkoisen 72 Kuntoutus

6 tiedon hyödyntämisellä pyritään löytämään kuntoutumista rajoittavat ja mahdollistavat tekijät sekä jolla vahvistetaan ja valtaistetaan kuntoutumisprosessia. Viime vuosina kuntoutuksen arviointiin liittyvissä keskusteluissa on keskitytty arvioinnin peruslähestymistapoihin ja arviointiasetelmien perusteisiin, jolloin arvioinnin temaattinen ja sisällöllinen kehittäminen on mielestämme kärsinyt. Tähän liittyen haastava kysymys on arvioinnin teoreettisten, metodologisten ja toimintakulttuuristen vaatimusten yhdistäminen tutkittavan ilmiökokonaisuuden (esimerkiksi kuntoutuspolitiikka tai kuntoutusohjelma) sisällölliseen ja käsitteelliseen ymmärtämiseen. Kuntoutuksen arvioinnissa on kysymys sekä kuntoutumisen että kuntouttamisen (kuntoutuksen) onnistumisen ja toteutumisen vuorovaikutustekijöiden tutkimisesta. Arviointiasetelmien tulisi olla riittävän herkkiä osoittamaan toimijoiden resurssi- ja toimintatapatekijöiden osuus kuntoutumisen prosessissa. Kuntoutuksessa tilanteet ovat pitkälti vuorovaikutustilanteita niin toimintakäytäntöjen kuin eritasoisten toimijoidenkin välillä. Kuntoutusorganisaatioiden nykyaikainen kehittäminen edellyttää institutionaalista joustavuutta ja sellaisten tietostrategioiden ja arviointikulttuurin kehittämistä, joissa arviointi on osa avointa innovaatiotoimintaa ja joka perustuu kollektiiviselle dialogille sekä kommunikatiivisuudelle. Jos haluamme, että arvioinnilla, ja ylipäätään tutkimuksella, on nykyistä kiinteämpi osa kuntoutuksen kehittämisessä, on edellytyksenä niin instituutioiden kuin toimintatapojenkin uudistamistaminen ja tutkimus- ja kehittämistoimintaa haittaavien ja jäykistävien rakenteiden ja toimintakulttuurien purkaminen. Tämä on hyvä aloittaa menneeseen lukitsevien mekanismien ja ajattelutapojen tunnistamisella, niin tutkimuksen kuin itse kuntoutustoiminnan piirissä. YTL Jari Lindh toimii hankekoordinaattorina Pohjois-Suomen vammaispalvelujen kehittämisyksikköhankkeessa Kolpeneen palvelukeskuksessa. YTT Asko Suikkanen toimii sosiologian professorina Lapin yliopistossa. Lähteet Chen, H-T (2005): Practical Program Evaluation. Assessing and Improving Planning, Implementation and Effectiveness. Thousand Oaks. Sage. Dahler-Larsen P, Krogstrup, H. (2003): Nye veje evaluaring. Århus. Systetime. Fetterman DM. (2001): Foundations of Empowerment Evaluation. Thousand Oaks. Sage Publications. Fetterman, DM. (2005): A Window into the Heart and Soul of Empowerment Evaluation. Teoksessa Fetterman, DM. & Wandersman A (eds.) Empowerment Evaluation Principles in Practice. The Guildford Press. New York. Forester J (1999): The Deliberative Practioner. Encouraging Participatory Planning. Cambridge, MA:MIT Press. Guba EG. & Lincoln, YS. (1989): Fourth Generation Evaluation. Newbury Park: Sage. Habermas J (1984) Theory of communicative action. Volume 1. Boston, MA, Beacon Healey P (1997): Collaborative Planning. Shaping Places in Fragmented Societies. London. Macmillan. Kuntoutus

7 Jalava J (2008): Tavoitteena työssä jaksamisen tukeminen ja sairauspoissaolojen hallinta. Varhaisen reagoinnin ja tuen malli kommunikatiivisen kuntoutusinnovaationa. Kuntoutus 1/2008, Jalava J, Salomäki J (2008): Määräaikainen työnkevennys työssä selviytymisen tukena. Arviointitutkimus Itellan Kunnon Polku -tuen vaikutuksista työntekijöiden sairauspoissaoloihin ja työssä jaksamiseen. Kuntoutussäätiön työselosteita 37/2008. Helsinki. Kivipelto M (2008): Osallistava ja valtaistava arviointi. Johdatus periaatteisiin ja käytäntöihin. Stakesin työpapereita 17. Helsinki. Koivisto J (2006): Sosiaalialan näyttökeskustelu: mitesn sosiaalisten intereventioiden vaikuttavuus osoitetaan? Janus, vol. 14 (1), Layder D (1993): New Strategies in Social Research. An Introduction and Guide. Cambridge. Sage. Lind J, Aaltonen T, Halonen, J-P, Klaukka, T (2007): Kelan kuntoutuksen vuonna 2002 päättäneet. Kuntoutujien rekisteriseuranta vuosina Kelan Sosiaali- ja terveysturvan katsauksia 74. Vammala. Lindh J (2007): Työhön kuntoutuksen kehittäminen ja arviointi. Lapin yliopiston yhteiskuntatieteellisiä julkaisuja B. Tutkimusraportteja ja selvityksiä. Lapin yliopistopaino. Rovaniemi Martti S, Rostila I, Suikkanen A (2003) Päivä kerrallaan ihmisenä ihmiselle. Päivä- ja työtoiminnan hyviä käytäntöjä ja kehittämistarpeita. Avustustoiminnan raportteja 6. RAY. Pekan Offset Oy. Helsinki. Morabito SM. (2002) Evaluator Roles and Strategies for Expanding Evaluation Process Influence. American Journal of Evaluation, Vol. 23, No. 3, 2002, pp Patton MQ. (1997): Utilization-focused Evaluation. Newbury Park: Sage. Patton, MQ. (2002) Qualitative Research and Evaluation Methods. Newbury Park: Sage. Pawson R, Tilley N (1997): Realistic Evaluation. London. Sage. Rantala K, Sulkunen P (2006): Projektiyhteiskunta ja uusi yhteiskuntasopimus. Teoksessa Rantala K, Sulkunen P (toim.) Projektiyhteiskunnan kääntöpuolia. Gaudeamus. Tampere. Suikkanen A, Martti S, Linnakangas R (2004) Homma hanskaan. Nuorten kuntoutuskokeilun arviointi. Selvityksiä 5. Sosiaali- ja terveysministeriö. Helsinki. Suikkanen A, Linnakangas R, Harjajärvi M, Martin M (2005) Kokeilusta KIPINÄÄ. Keski-ikäisten pitkäaikaistyöttömien kuntoutuskokeilun arviointi. Selvityksiä 8. Sosiaali- ja terveysministeriö. Helsinki. Vedung E (1997): Public Policy and Program Evaluation. New Brunswick:Transaction Publishers. Virtanen P (2007): Arviointi arviointitiedon luonne, tuottaminen ja hyödyntäminen. Edita. Helsinki. 74 Kuntoutus