Kuntoutuksen vaikuttavuuden mittaamisen (ja arvioinnin) haasteet

Transkriptio

1 Kuntoutuksen vaikuttavuuden mittaamisen (ja arvioinnin) haasteet Kuntoutussäätiö/Innokuntoutus Tuomas Koskela Esityksen sisältö.. 1. Oma arviointivakaumukseni 2. Arvioinnista yleisesti: Mistä on kyse? 3. Vaikuttavuuden käsitteestä ja mittaamisesta 4. Kuntoutuksen vaikuttavuuden mittaamisen ja arvioinnin haasteet

2 Oma arviointivakaumukseni Oma arviointivakaumus.. Pidän oleellisena Arvioinnin jatkuvaa kehittymistä Tekemällä oppimista (ja arvioijan koulutusta) Tulosten hyödyntämistä KONKREETTISESTI Dialogia asiakkaan tai kohteen kanssa Laajaa tiedonkeruuta Pidän turhana Arvioinnin ylitieteellisyyttä Arviointistandardien tiukkaa noudattamista Arvioitsijoiden kaikkitietävyyttä Liikaa arvioimista ARVIOINTIA EI TARVITA AINA!! Asiakkaan täydellistä kuuntelua

3 Arvioinnista yleisesti: Mistä on kyse? Arvioinnin historian lyhyt oppimäärä Arviointitutkimus syntyi 1960-luvulla Yhdysvalloissa Sota köyhyyttä vastaan (arviointitutkimus niveltyi sosiaalisten ongelmien tutkimiseen) Myös Ruotsissa käyttöön 1960-luvulla, kun otettiin käyttöön ohjelmabudjetointi valtion hallinnossa Suomessa arvioinnin käsitteitäalettiin hyödyntää luvuilla, itse käsite mainittiin ensi kerran valtion budjettiohjeissa 1980-luvun puolivälissä. Arviointitoiminta laajentui ja vakiinnutti asemansa julkisessa hallinnossa luvulla. Arvioinnin perustermi evaluaatio juontuu pääosin latinankielisestä termistä valere. Se voidaan kuvata ilmauksella olla jonkin arvoinen. (Rajavaara 2007) Arvioinnissa katsotaankin olevan kyse arvottamisesta tai arvostamisesta. (Ahonen 1996)

4 Arvioinnin yhteiskuntatieteellisiä lähtökohtia Arviointi voidaan ymmärtääjulkisia poliitikkoja koskevaksi tiedon tuotannoksi ja artikuloimiseksi, joka perustuu yhteiskuntatieteellisille lähestymistavoille ja käytännölliseen arviointiin, jota harjoitetaan politiikassa ja hallinnossa (Ahonen 1983) Arviointi perustuu yhteiskuntatieteiden menetelmiin ja käsitteisiin ja sen tarkoituksena on olla avuksi hyvinvoinnin järjestelyjäkehitettäessäja sosiaalisia ongelmia ratkottaessa. (Ross,Freeman&Lipsey1999) apu ei saisi tulla vain ulkoa, sillä Arviointitutkijoiden tulee kehittääyhteiskunnallisten toimijoiden osallisuutta, dialogisuutta, ja tiedonmuodostuksen eettisiänäkökohtia painottavaa vuorovaikutuksellista tutkimusotetta. Tutkijat eivät ole vain ulkoisia konsultteja, vaan kumppaneita yhteiskunnallisia kysymyksiäja sosiaalisia ongelmia ratkovassa tiedonmuodostuksessa. (Schwandt 1997) Arvioinnin mottoja.. Arviointi koostuu moninaisista, usein keskenään ristiriitaisista teorioista ja käytännöistä, jotka heijastavat kukin erilaisia arviointifilosofisia lähtökohtia. (Benson, Hinn, Lloyd 2001) Ei ole olemassa yhtäoikeata tapaa tehdäarviointia. Korkealuokkaista arviointi on silloin kun arviointitietoa voidaan hyödyntää kontekstissaan. (Patton 2001) Asiakkaat ja työntekijät keksivät uudenlaisia toimintamalleja, mutaatioita, joista elinvoimaisimmat valikoituvat jatkojalostukseen arviointitutkimusten perusteella. Arviointi on sosiaalisen luonnonvalinnan puolueeton ja tunteeton mekanismi. (Sulkunen 2006)

5 Näyttöön perustuva arviointi.. Arvioinnista tullut muotisana kuluneiden vuoden aikana käsitteen inflaatio? Arviointia on kaikkialla: Politiikan tekijät, julkinen hallinto, järjestöt, yksittäiset työntekijät arvioivat Alettu puhua arvioinnin yhteiskunnasta luvuilla Suomessa arvioinnista alettiin puhua julkisen toiminnanja politiikan osatekijöinä Arvioinnista tuli yksi informaatio-ohjauksen ja tilintekovastuun osoittamisen keino julkisen sektorin politiikoille, ohjelmille ja instituutioille Muutos koski Suomessa alusta alkaen myös kolmatta sektoria 2000-luvulla voidaan puhua näyttöön perustuvasta (julkisesta) toiminnasta Julkiseen tai julkisesti rahoitettuun toimintaan liittyy oleellisesti ajatus tilintekovastuusta ajatus on ollut niin selvästi esilläsuomalaisessa yhteiskunnassa, että voidaan puhua näyttöyhteiskunnasta Lähde: Virtanen 2007 Näyttöön perustuva arviointi.. -- Kun kaikkea mahdollista ja osin mahdotontakin arvioidaan, ei aina muisteta miettiä, mihin arviointia hyödynnetään. Pahimmillaan arvioinnit ovat (julkisen hallinnon) rituaaleja, joille ei ole todellista kysyntää ja joita ei hyödynnetä millään tavalla. Arvioinnit ovat tuomittuja epäonnistumaan, jos niitäei suunnata oikein tai arviointitietoa tuotetaan arviointiongelmiin soveltumattomilla tavoilla. (Czarniawska 2005) Joskus arvioinnit ovat pyhiälehmiä ja niitäarvostetaan ja ylistetään puutteista huolimatta. Arviointien tekeminen ei oleitsearvoista arviointien hyöty syntyy niiden hyödyllisyyden myötä. ++ Arvioinnin määrälliselläkasvulla on kuitenkin todettu olevan kiistattomia positiivisia vaikutuksia: Arvioinnista tullut mm. keino kontrolloida hajautuvaa ja tulosohjattua julkista toimintaa ja julkisista toimijoista muodostuvaa kokonaisuutta. Lähde: Virtanen 2007

6 Näyttövaatimusten alkuperä ja ilmeneminen.. Näyttövaatimus liittyy sekäyksilö-ettäorganisaatiotason toimintaan: Esim. sosiaali-ja terveydenhuollossa vaaditaan näyttöön perustuvaa osaamista ennen kuin työntekijähyväksytään ammattikunnan täysivaltaisesti jäseneksi. Näyttökysymys liittyy ikään kuin ammattikunnan portinvartijuuteen. Hyvinvointipalveluita tuottavalta organisaatiolta edellytetään näyttöjätoimintansa tehokkuudesta, taloudellisuudesta ja vaikuttavuudesta. Organisaatioilta edellytetään näyttöön perustuvaa todentamista, sillähyvinvointipalveluiden tuottamiseen kuuluu julkisen varojen käyttämiseen liittyvä tilintekovastuu. Tilintekovastuu koskee julkisen hallinnon lisäksi myös kolmannen sektorin järjestöjä sekä hyvinvointipalveluita tuottavia yrityksiä. Suoritusten näyttäminen toteen! Näytön antamiseen voidaan hyödyntääesimerkiksi erilaisia olemassa olevia laatujohtamisen ja laatujärjestelmäajattelun työkaluja sekäerityistarpeisiin räätälöityjä mittaristoja ja yksittäisiä mittareita. Lähde: Virtanen 2007 Muita motiiveja arvioida.. Tiedollinen motiivi Yleinen tietotarve: vertailu, vaikutukset yms. Kehittämis- ja oppimismotiivi Tarve saada perusteltuja näkemyksiäsiitä, miten toimintaa tulisi edelleen kehittää Toiminnan legitimointi Palkitseminen, valvonta/kontrollointi, päätöksenteko.. Velvoite tai normi Markkinointi Lähde: Suikkanen& Lindh 2002

7 Entä mitä hyötyä arvioinnista on? Hyödynnettävyysmalli (Patton): Hyödyntämiskeskeisen arviointimallin lähtökohta perustuu henkilökohtaisuuteen ja paikallisuuteen (arvioinnin tekijän arvot ja intressiryhmien paikantaminen) Hyödyntämiskeskeinen arviointimalli ei perustu mihinkään spesifiin arvioinnin lähestymistapaan, malliin tai tutkimusmetodiin, eikäse puhu minkään erityisen hyödyntämistyypin puolesta. Hyödyntämiskeskeinen arviointi on prosessi, joka tähtääpäätöksentekoon edellämainituissa valintatilanteissa koskien arvioinnin kohdistamista, sovellettavia menetelmiä ja käytettäviä arviointikäsitteitä yhteistyössä arvioinnin ensisijaisten hyödyntäjien kanssa pitäen koko ajan mielessä heidän tarpeensa arvioinnin hyödyntämiseen. Keskeiset arviointikäsitteet ja niiden väliset suhteet.. Tarve Vaikutukset = Arvioinnin kohteeseen liittyviä käsitteitä Toimeenpanon tarkoituksenmukaisuus Tulokset Tavoitteet Panokset Tuotokset Tehokkuus Kustannusvaikuttavuus Relevanssi Kokonaisvaikuttavuus Pysyvyys Hyödyllisyys = Arviointikriteereihin liittyviä käsitteitä Lähde: European Commission 1999; Virtanen 2007

8 CAF/EFQM.. TOIMINTA TULOKSET 3. HENKILÖSTÖ 7. HENKILÖSTÖTULOKSET 1. JOHTAJUUS 2. TOIMINTAPERIAATTEET JA STRATEGIA 5. PROSESSIT 6. ASIAKASTULOKSET 9. KESKEISET SUORITUSKYKY- TULOKSET 4. KUMPPANUUDET JA RESURSSIT 8. YHTEISKUNNALLISET TULOKSET INNOVATIIVISUUS JA OPPIMINEN Arvioinnin ajalliset ulottuvuudet.. Ennakkoarviointi(ex ante) Tavoitteenasettelun relevanssi, toteuttamiskelpoisuus, riskit, vaikutuslogiikka, tavoitellut vaikutukset Arviointi projektin kuluessa(ex nunc) Korjaavat toimenpiteet, kehittäminen Jälkiarviointi(ex post) Tulokset, vaikutukset, tilivelvollisuus, oppiminen

9 Arvioinnin vuorovaikutuksellisuus säätelee arvioinnin lähestymistapaa.. Tiivis III Arvioinnin tilaajan ehdoilla suoritettu arviointi IV Vuorovaikutuksellinen arviointi Yhteistyö arvioinnin tilaajan kanssa Arvioinnin tekijän asema? I. Riippumaton II. Arvioinnin kohteiden ehdoilla suoritettu arviointi Niukka Niukka Tiivis Yhteistyö arvioinnin kohteen kanssa Lähde:Virtanen 2007 Vaikuttavuuden käsitteestä ja mittaamisesta

10 Lähestymistapoja vaikuttavuuteen ja sen arviointiin.. Ei ole olemassa yhtäoikeaa vaikuttavuuden arvioinnin ideaa vaan useita erilaisia tapoja järkeillävaikutuksia ja vaikuttavuutta Mahdotonta kuvata vaikuttavuuden arviointia yhdellä määrittelyllä! Vaikutusten käsite on moniselitteinen. Mikä eroa on vaikutuksilla ja vaikuttavuudella? Vaikuttavuus viittaa paitsi selvittelyn kohteeseen myös päämäärään, jota tavoitellaan. Vaikuttavuuden käsitteen käytön lisääntyessäyhteiskuntapolitiikan ja julkisten palveluiden yhteiskunnalle edulliset vaikutukset on alettu ymmärtää yhä tavallisemmin päämäärän luonteisiksi asioiksi. Lähde: Rajavaara 2006 Lähestymistapoja vaikuttavuuteen ja sen arviointiin.. Erilaisia vaikutusten tyyppejä ovat mm. (Meklin 2001): Asiakasvaikutukset ja yhteiskunnalliset vaikutukset Toimenpiteiden vaikutukset kohdentuvat eri alueille ja säteilevät eri laajuisesti. Siten voidaan erottaa välittömästi asiakkaaseen, kansalaiseen tai kuntalaiseen kohdistuvat vaikutukset sekä laajemmin yhteiskuntaan liittyvät vaikutukset. Määrälliset ja laadulliset vaikutukset Tämäero on nähty tärkeäksi palveluissa: palvelu voi olla määrällisesti riittävä, mutta laadullisesti heikko. Subjektiiviset ja objektiiviset vaikutukset Asiakas kuvaa subjektiivisen, omaan kokemukseensa perustuvan näkemyksen, mutta samaa palvelua voidaan katsoa myös puolueettomammasta, objektiivisesta näkökulmasta. Lyhyt-ja pitkäkestoiset vaikutukset Osa vaikutuksista on lyhytaikaisia ja välittömiä, osa pitkäaikaisia. Palvelut ja etuudet voidaan nähdäinvestointeina, joiden elinkaari voi olla pitkä. Päätöksenteon ja budjetoinnin ongelma on se, ettäkustannukset syntyvät ensin ja hyödyt ilmenevät ehkä vasta tulevina vuosina. Lähde: Rajavaara 2006

11 Lähestymistapoja vaikuttavuuteen ja sen arviointiin.. Jatkuu: Erilaisia vaikutusten tyyppejäovat mm. (Meklin 2001): Ulkoisvaikutukset Kyse on vaikutuksista, jotka lähinnäpitkälläaikavälillänäkyvät muualla kuin siellä, mihin voimavarat on kohdennettu. Ne voivat ilmetäesimerkiksi toisen hallintosektorin toimialueella. Myönteiset ja kielteiset vaikutukset Tärkeääolisi sekämyönteisten ettäkielteisten vaikutusten tunnistaminen ja näiden huomioon ottaminen. Odotetut ja odottamattomat vaikutukset Usein odotetaan myönteisiävaikutuksia, mutta osa vaikutuksista saattaa olla odottamattomia ja kielteisiä. Lähde: Rajavaara 2006 Vaikutusten tyyppejä.. VAIKUTUKSET Aiotut vaikutukset Ei-aiotut vaikutukset Hyödylliset (nollavaikutukset) Kielteiset Hyödylliset Kielteiset Vaikutusten Ensisijaiset Toissijaiset Jne. Ensisijaiset Toissijaiset Jne. tärkeys Ensisijaiset Toissijaiset Jne. Ensisijaiset Toissijaiset Jne. Välittömät Välilliset Välittömät Välilliset ajallinen frekvenssi Välittömät Välilliset Välittömät Välilliset Pysyvät Väliaikaiset Pysyvät Väliaikaiset ajallinen pysyvyys Pysyvät Väliaikaiset Pysyvät Väliaikaiset Lähde: Vedung 1997; Virtanen 2007

12 Tapoja vaikutusten arviointiin.. Vaikuttavuuden arvioinnin kattava määritelmä, johon sisällytetty tavallisimmat arviointitilanteet: Määritelläänjonkin instituution, yhteiskunnallisen ohjelman, intervention, hankkeen, palvelun tai etuuden arvo soveltuvin ja erikseen sovittavin vaikuttavuuskriteerein mahdollisimman luotettavilla ja systemaattisilla(tieteellisillä tai ei-tieteellisillä) menettelyillä jotta tätä tietoa voitaisiin hyödyntää toiminnan ohjauksessa, kehittämisessä ja poliittishallinnollisessa päätöksenteossa Vaikuttavuuden arvioinnin moninaisuus: Vaikutusten arviointi voikohdentua monenlaisiin asioihin, kuten kokonaisiin instituutioihin, yhteiskunnallisiin ohjelmakokonaisuuksiin, hankkeisiin, interventioihin, palveluihin tai etuuksiin. Vaikuttavuuden arviointi sisältääarvottamista, ja sitävarten tarvitaan esimerkiksi lainsäädäntöön perustuvia tai jollain muulla tavalla sovittuja vaikuttavuuskriteerejä Vaikuttavuuden arviointia tehdään systemaattisesti, jolloin vähemmän ratkaisevaa on se, ovatko tiedonhankinnan menetelmät tieteellisiä tai ei-tieteellisiä. Vaikuttavuuden arvioinnin käyttötarkoitukset suuntaavat tapoja jäsentääja selvittää vaikutuksia. Lähde: Rajavaara 2006 Vaikuttavuus tavoitteiden saavuttamisena.. Tavoitelähtöisessävaikuttavuuden arvioinnissa selvitetään, miten hyvin toiminnalle asetetut tavoitteet on saavutettu. Tavoitteiden saavuttamisen aste toiminnan hyvyyden tai onnistuneisuuden kriteeri. Taustalla on rationaalisen päätöksenteon malli: suunnittele ensin ja tee sitten. Julkisessa hallinnossa tavallisin lähtölähtökohta. Voidaan myös erottaa tavoitteista ja päämääristä lähtevä vaikuttavuuden arviointi (Meklin 2001). Tavoitelähtöinen arviointi usein yksityiskohtaista ja tarkkoihin tunnuslukuihin perustuvaa. Päämäärälähtöisessäarvioinnissa selvitetään hieman väljemmin, edetäänköjoissakin asioissa toivottujen päämäärien suuntaan. Etuina mm. selkeys, täsmällisyys, konkreettisuus,yksinkertaisuus ja ymmärrettävyys. Soveltuu silloin, kun toiminnan päämäärät ovat selkeät ja mitattavia, ja kaikki asianosaiset ovat niistäyhtämieltä. Ongelmakohdat? Selkeätavoitteellisuus toteutuu yhteiskuntapolitiikan toimeenpanossa vain harvoin Arvioinneissa vaikeaa käyttäätavoitteita lähtökohtana niiden ristiriitaisuuden, epämääräisyyden, abstraktisuuden, laajuuden, määrittelemättömyyden tai heikon mitattavuuden vuoksi. Tavoitteenasettelu on aina arvopohjaista ja subjektiivista: Keiden päämäärät otetaan perustaksi täsmennettäessävaikuttavuuden kriteerejä, asiakkaiden, johdon, asiakaspalvelusta vastaavien työntekijöiden vai päätöksentekijöiden? Useimmiten tavoitteet otetaan laeista, asetuksista ja muista virallisista normeista. Tähänkin menettelyyn sisältyy ongelmia: lait vanhentuvat tai ne voivat olla epätarkoituksenmukaisia ja ristiriitaisia kansalaisten tarpeiden kannalta. Keskittyminen toivottuihin vaikutuksiin ja sivuvaikutusten unohtaminen. Lähde: Rajavaara 2006

13 Vaikuttavuus toimenpiteiden seurauksena.. Kun vaikuttavuus samaistetaan vaikutuksiin, määritellään vaikuttavuus erotukseksi toimimisen ja toimimattomuuden välillä = jonkin intervention toteuttamisen tai toteuttamatta jättämisen välillä. Tällöin vaikutukset tarkoittavat olemassa olevan tilan muuttamista, säilyttämistä tai estämistä. Esim. kuntoutusintervention avulla voidaan pyrkiäpitkäaikaistyöttömän henkilön terveyden ja työkyvyn sekämuiden työmarkkinavalmiuksien parantamiseen tai säilyttämiseen, mutta yhtähyvin joidenkin asioiden, kuten työkyvyttömäksi joutumisen, estämiseen. Edellyttää ajallista vertailua sekä kokeellisia tai puolikokeellisia tutkimusasetelmia. Hankkeissa käytetään koe-ja kontrolliryhmiätai tehdään tilastollista vertailua. Esteitä ja rajoitteita (soveltaa yhteiskuntapolitiikan tutkimuksen alalla): Yhteiskunnalliset olosuhteet soveltuvat vain harvoin (lähinnävain poikkeustapauksissa) kokeellisin asetelmin tutkittaviksi Ei ole mahdollista saada vaikuttavuustietoa monitahoisista, useista toimenpiteistämuodostuvista toimenpidekokonaisuuksista Koe-ja kontrolliryhmien käyttöäon pidetty monissa tilanteissa epäeettisenämenettelynä. Kokeellinen tutkimus on huomattavan kallista ja pitkäkestoista, ja se toteutuu yleensäkovin etäällä yhteiskunnallisen päätöksenteon tilanteista. Kokeellisen tutkimuksen on katsottu olevan menetelmälähtöistäja epäteoreettista sekäaliarvioivan ihmisten oman toiminnan merkitystä. Lähde: Rajavaara 2006 Vaikuttavuus palvelujärjestelmän kykynä saada aikaan tuloksia.. Vaikuttavuuden ehdotettu tarkoittavan palveluprosessien tai kokonaisten palvelujärjestelmien kykyäsaada aikaan haluttuja vaikutuksia(lumijärvi 1999) Määritelmällisesti lähellä taloustieteellistä kapasiteetin käsitettä. Kyse vain valmiudesta tai mahdollisuudesta saada aikaan vaikutuksia, mutta itse vaikutuksia ei vielätarkastella. Tällaiselle kyvykkyydelle voidaan asettaa myös tavoitteita. Perusteluna näkökulmalle esitetty: Ettävaikutuksia voidaan tavanomaisesti arvioida vasta palvelutilanteiden jälkeen. Kun määritelmäälaajennetaan siten, ettäpuhutaan palvelu-ja etuusjärjestelmän kyvystä saada aikaan haluttuja vaikutuksia, se soveltuu myös Kelan toimintaan liittyvän vaikuttavuuden tarkasteluun. Lähde: Rajavaara 2006

14 Vaikuttavuus suhteessa tarpeisiin.. Vastaako jokin etuus tai palvelu asiakkaan tarpeita? Kysymykseen voidaan vastata joko A) kansalais-tai asiakaslähtöisesti kriteerit johdetaan kansalaisten tai asiakkaiden tarpeista, odotuksista tai vaateista: asiakkaat voivat arvioida joko itse valitsemillaan kriteereilläjonkin palvelun tai etuuden vaikutuksia tai määrittäävaikuttavuuden kriteerejä erilaisissa yhteistyöryhmissä tai B) järjestelmä-tai asiantuntijakeskeisesti asiantuntijat tulkitsevat kansalaisten ja asiakkaiden tarpeet ja määrittelevät tämän pohjalta kriteerit C)Monitahoarviointi: arviointiinosallistetaankaikki asiaan liittyvät sidosryhmät. Näitävoivat olla asiakkaat, sukulaiset, johto, keskijohto, asiakaspalvelutyöntekijät, asiakasjärjestöjen edustajat, veronmaksajat ja päätöksentekijät. Arvioinnista vastaava taho huolehtii siitä, että kaikkien tahojen näkemykset tulevat huomioon otetuiksi. Mallia perusteltu mm. osallistuvan demokratian näkökulmasta Yhteiset keskustelut nähdään hyödyllisiksi, silläniiden avulla eri tahot voivat tarkastella ja arvioida uudelleen omia näkemyksiään ja tavoitteitaan. Mallin puutteet : Sosiaalisesti mutkikas ja runsaasti voimavaroja vaativa. Arviointiin osallistuvien yksimielisyyttäei välttämättämuodostu, jolloin arvioinnin johtopäätösten teko saattaa olla vaikeaa. Lähde: Rajavaara 2006 Vaikuttavuus mekanismien tarkastelemisena.. Lainsäädäntö, palvelut, etuudet, ohjelmat ja projektit sisältävät julkilausuttuja ja julkilausumattomia oletuksia sosiaalisista ongelmista, tilanteista ja riskeistä sekä käsityksiä erilaisista toimintamahdollisuuksista. Ne perustuvat sekätietoon ettäuskomuksiin. Palvelujen tai etuuksien saajien näkökulmasta ei ole kuitenkaan olemassa jotain keskimääräistävaikuttavuutta. Pikemminkin jotkut interventiot, palvelut ja etuudet vaikuttavateri tavoin erilaisten ihmisten tai väestöryhmien tilanteessa. Arviointitutkimuksessa on lisääntyvästi kiinnostuttu julkilausutuista ja julkilausumattomista oletuksista, joita hyvinvointivaltiollisiin väliintuloihin liitetään realistinen tai teoriaperusteiden arviointi Realistisen arvioinnin tehtävänäpidetään sen selvittämistä, mitkäovat johonkin väliintuloon sisältyvät vaikutusmekanismit ja miten ne toimivat. Samalla myös huomio väliintulojen toimintaympäristöön eli niihin olosuhteisiin, joissa vaikutuksia tapahtuu. Pyrkimys johtopäätöksiin siitä, millaisia mahdollisuuksia jollain toimintaohjelmalla, palvelulla tai etuudella on saavuttaa niitä tavoitteita, joita sille on asetettu. Toivotaan vastausta siihen, mikätoimii kenellekin missäolosuhteissa, ja miksi jotkut vaikutukset tapahtuvat tai jäävät tapahtumatta. Hyödyntäminen kuntoutuksen tutkimuksessa! Mahdollisuus etukäteen lisätäväliintulojen vaikuttavuutta, mikäli käytetään avuksi jo palveluja, etuuksia tai ohjelmia suunniteltaessa. Lähde: Rajavaara 2006

15 Vaikuttavuuden näkökulman haasteet.. Vaikuttavuuden selvittäminen edellyttääsen alueen kirkastamista, johon toiminnalla on kulloinkin mahdollista vaikuttaa. Vaikuttavuuden arviointi sisältääoletuksia syy-seuraussuhteista ja vaikutusten mekanismeista Vaikuttavuuden arviointia mutkistaa syy-seuraussuhteiden monimutkaisuus. Vaikuttavuudessa kyse siitä, ettäsaavutetut tulokset ovat tehtyjen toimenpiteiden seurausta. Vaikutusten tai lopputulosten tuotosten tai suoritteiden selvittelyyn tarvitaan erilaista tiedonhankintaa. Edellyttäätiedonkeruun ulottamista kansalaisten arkielämään ja organisaation ulkopuoliseen yhteiskuntaan, mutta tuotoksista voidaan koota tietoa helpommin,rajoittumalla organisaation omaan toimintaan. Vaikuttavuustieto pitääyleensähankkia etuuksien ja palvelujen käyttäjiltähuomattavan aikaviiveen jälkeen Siten vaikuttavuustiedon hankinta vaatii usein suurehkoja kustannuksia ja edellyttää pitkää aikajännettä ja huomattavaa työpanosta Vaikuttavuustiedon hankaluus on se, ettämonet uudistusten, toimintojen, palvelujen ja etuuksien vaikutukset saattavat ilmetä vasta pitkien aikojen päästä Lähde: Rajavaara 2006 Kuntoutuksen vaikuttavuuden mittaamisen ja arvioinnin haasteet

16 Kuntoutuksen arvioinnin monimuotoisuus.. Kuntoutuksen arvioinnilla voidaan tarkoittaa mm. tieteelliseen menetelmään perustuvaa kuntoutustoiminnan, -toimenpiteiden ja toimintaprosessien käsitteellistäja empiiristäkuvausta ja arviointia sekätoiminnan vaikuttavuutta, hyötyjäja tehokkuutta koskevien johtopäätösten tekoa Harvoin vain kohderyhmässätapahtuneiden muutosten selvittäminen riittääkuntoutusohjelmaa tai toimenpiteitä koskevien johtopäätösten ja kehittämissuositusten tekoon Johtopäätösten tekeminen ja parannusten esittäminen edellyttäätoiminnan, toimintaprosessin ja ympäristön kuvaamista ja jäsentämistä Oleellista tietää, mitäprosessin aikana on tapahtunut mutta myös, millaisten mekanismien kautta itse muutos syntyy. Tarvitaan myös tietoa toiminnan edellyttämistä resursseista. Kuntoutus on toimintaa, joka jäsentyy sekäyksilöllisen toiminnan ettäyhteiskunnallisten ratkaisujen kautta. Sitävoidaan kuvata toimintana, jolla pyritään parantamaan ihmisten elämänhallintaa ja selviytymistä, tai yhteiskunnallisena sääntelyjärjestelmänä, jolla pyritään mm. takaamaan ammattitaitoisen työvoiman saanti yhteiskunnassa. Kuntoutuksen arviointi voi tarkoittaa toisaalta yksilöiden, prosessien ja selviytymisessätapahtuvien muutosten arviointia, toisaalta kokonaisjärjestelmän tai yhteiskunnan vajaakuntoisuuteen liittyvien politiikkojen arviointia. Lähde: Järvikoski & Härkäpää 2002; Järvikoski 2008; Rossi & Freeman 1993,1999 Kuntoutuksen arvioinnin osaalueet.. Arvioinnin taso/kohde Mikrotasoinen (yksilöt) Mesotasoinen (esim. organisaatio, työyhteisö, projekti) Makrotasoinen (kokonaisjärjestelmä; yhteiskunta; kunta) Tarpeiden/muutostarpeiden arviointi Toiminnan/toimeenpanon (myös panosten ja tuotosten) arviointi Vaikuttavuuden/ lopputuloksen arviointi Toimintaprosessin/ vaikuttavien tekijöiden arviointi Taloudellinen (kustannusten ja hyötyjen) arviointi Toimintapolitiikan ja sen perustelujen arviointi Lähde: Järvikoski & Härkäpää 2002

17 Haasteita kuntoutuksen vaikuttavuuden arvioinnissa.. Vaikuttavuus tai sen puute määrittää viime kädessä intervention tai palvelun arvon Palvelujen tuottaminen sinänsäei voi olla päämäärä, ellei ole näyttöäsiitä, ettäpalvelut tuottavat tavoiteltuja tai edes tavoitteiden suuntaisia muutoksia. Kuntoutustoiminnan perimmäisenätavoitteena voidaan pitäämerkittäväämuutosta muutosta kuntoutujan ja hänen ympäristönsä välisessä suhteessa; esim. työssäjaksamisessa, yhteisön toimintaan osallistumisessa, arkielämässäselviytymisessä, työllistymisessä tai elämänhallinnassa. Jotta jokin kuntoutusinterventio voidaan todeta vaikuttavaksi, tulee kyetäosoittamaan tavoitteen suuntainen muutos sekäse, ettämuutos oli kuntoutusintervention aiheuttamaa Tapahtuiko kuntoutujien tilanteessa merkittävä myönteinen muutos? Voidaanko luotettavasti todeta, että muutos oli kuntoutusintervention aiheuttamaa? Lähde: Järvikoski 2008 Haasteita kuntoutuksen vaikuttavuuden arvioinnissa.. Kysymykseen Tapahtuiko kuntoutujien tilanteessa merkittävä myönteinen muutos liittyy oleellisesti lisäkysymys: Kenen näkökulmasta tavoitteet asetetaan? Kuntoutuja, perhe, kuntoutustyöntekijä, työantaja, yhteiskunta, kuntoutusjärjestelmä? On hyväksyttävä, ettäasetetut tavoitteet ja niiden saavuttamista koskevat arviot voivat olla erilaisia ja arvioinnin tulos syntyy vain eri näkökulmia yhdistämällä. Vaikuttavuutta on vaikea mitata, ellei tavoitteita ole asetettu Tavoitteet voivat olla myös hierarkkisessa suhteessa toisiinsa Perimmäiseksi tavoitteeksi voidaan määritelläesim. myönteinen muutos yksilö-ympäristösuhteessa. Usein tarpeellista ja mahdollista määritellämyös toiminnan välitavoitteita = muutoksia, joiden voidaan olettaa olevan askel kohti perimmäistä tavoitetta esim. fyysisen ja psyykkisen tilan muutokset, ympäristön muutokset Silloinkin kun perimmäisen tavoitteen saavuttamista ei ole mahdollista arvioida esim. seuranta-ajan lyhyyden takia, on tärkeäarvioida vaikutuksia ainakin välitavoitteiden saavuttamisen perusteella. Esimerkiksi diabetesta sairastavan kuntoutuksen välitavoitteeksi voidaan määritelläliikunnan lisääntyminen tai ruokavalion muutos, vaikka toiminnan merkitystäyksilön toimintakyvyn ja sairauteen liittyvien haittojen osalta ei vielä voitaisikaan arvioida. Lähde: Järvikoski 2008

18 Haasteita kuntoutuksen vaikuttavuuden arvioinnissa.. Kuntoutuksen vaikuttavuuden arvioinnissa ollut keskeistä tarkastella, mitkä ovat panosten ja tuotosten seuraukset Kuntoutuksen arvioinnissa korostettu objektiivisuutta ja tuloksellisuutta esim. työllistymistätai toimintakyvyn muutosta ilman objektiivisilla indikaattoreilla saatua näyttöävaikuttavuudesta kuntoutus on mielletty turhana toimintana Kuntoutukseen ja sen vaikuttavuuden arviointiin sisäänrakennettu lääketieteiden ja sosiaalitieteellisten näkökulmien erilaisuus ja jopa ristiriitaisuus Korostettu luonnontieteellisiätutkimusasetelmia kokeellisten asetelmien välttämättömyyttäja yksilön käyttäytymisen muutosta ja mittaamista sokkoasetelmien ja satunnaistamisen keinoin. Lähde: Suikkanen & Lindh 2002 Kokeellinen (kokeellis-kvantitatiivinen) vaikuttavuusarviointi.. Perustuu satunnaistettuun koeasetelmaan, jossa tutkimus-ja vertailuryhmän jäsenet valitaan samasta perusjoukosta arpomalla. Tutkimusryhmän jäsenet osallistuvat arvioinnin kohteena olevaan kuntoutusohjelmaan, vertailuryhmän jäsenet eivät. Vaikuttavuuden arviointi tapahtuu vertailemalla tutkimus-ja vertailuryhmässätapahtuneita muutoksia seuranta-aikana. Mikäli osallistujat on sijoitettu ryhmiin satunnaisotannalla, ryhmien väliset tilastollisesti merkittävät erot voidaan tulkita kuntoutusohjelman vaikuttavuudeksi. Mikäli ei vertailuryhmäätai osallistujia satunnaisteta, ei voida varmuudella tietää, johtuvatko ryhmien väliset ero ohjelmasta vai jostakin muusta. Menetelmää käytetty runsaasti erityisesti lääketieteessä. Soveltuu kuntoutusintervention vaikuttavuuden arviointiin parhaiten silloin, kun: A) selvitetään rakenteeltaan yksinkertaisen, sisällöltään selvästi määritellyn ja kestoltaan lyhyen intervention vaikutuksia B) tutkimuksen kohderyhmävoidaan ennalta määritelläja tarvittaessa rajata homogeeniseksi C) toimenpiteiden vaikutuksia voidaan selvittääkohtuullisen enimmillään kahden tai kolmen vuoden seuranta-ajan puitteissa Edellyttäävaikuttavuuden indikaattorien määrittelyäetukäteen (olemassa olevien taustateorioiden ja siihen perustuvien hypoteesien pohjalta) Lähde: Järvikoski & Härkäpää 2002; Järvikoski 2008

19 Kokeellinen (kokeellis-kvantitatiivinen) vaikuttavuusarviointi.. Kuntoutus on laaja-alainen, pitkäkestoinen ja monipuolinen toimintakokonaisuus, joka koskettaa usein ihmisen koko elämänprosessia ja tulevaisuutta. Satunnaistetun koeasetelman käyttökuntoutuksen vaikuttavuuden tutkimuksessa edellyttäähuolellista harkintaa. Välttääkysymyksen subjektien mukautumisen, tahdon, kontekstin yms. eroista Kuntoutusasiakas arvio saamaansa kuntoutusta omien tavoitteidensa ja pyrkimystensäkautta. Jos arpomismenettelyn tuottama interventio ei vastaa kuntoutujanomia tarpeita, voi ristiriita vaikuttaa monella tavalla tutkimuksen toteuttamiseen Hän voi jäädä pois tutkimuksesta, mikä kasvattaa vertailuryhmän katoa Hän voi hakea haluamansa kuntoutuksen muualta Kuntoutuksen erottaminen muusta toimintaympäristöstä on ongelmallista. Usein vaikuttavuuden arviointitutkimuksessa yksistään riittämätön lähtökohta! Lähde: Järvikoski & Härkäpää 2002; Järvikoski 2008 Naturalistis-kvalitatiivinen arviointi/lähestymistapa Ilmiöitätutkitaan niiden luonnollisessa toimintaympäristössä, mahdollisimman luonnollisin menetelmin ja niihin vaikuttamatta Tiedonkeruu suunnitellaan siten, että se häiritsee normaalia toimintaa mahdollisimman vähän. Lähtökohtana on, ettätodellisuus pakenee kontrolloituja asetelmia ja monet tutkimusmenetelmät (esim. kyselylomakkeet) vaikuttavat väliintulevasti Tiedonkeruussa hyödynnetään mm. osallistuvaa havainnointia, haastatteluita, keskusteluita,kuntoutujien tarinoita ja elämänkertoja, työntekijöiden prosessikuvauksia yms. Teoriaa tai hypoteeseja ei yleensäpyritäasettamaan ennalta, vaan ne tuotetaan itse tutkimusprosessin aikana Kuntoutuksen vaikuttavuuden osa-alueita ei pyritämäärittelemään etukäteen, vaan tutkimusprosessin aikana pyritään etsimään yksilöllisiä hyötyjä ja subjektiivisia merkityksiä tapahtuneille muutoksille. Usein korostetaan, ettei yleispäteviäkuntoutuksen vaikuttavuuden indikaattoreita ole edes mahdollista asettaa. Kuntoutuksen hyödyt tulkittava aina myös suhteessa kuntoutujan toimintaympäristöön ja kuntoutujan henkilökohtaisiin tavoitteisiin ja ratkaisuihin. Huomattava, ettäyksilölliset tavoitteet saattavat muuttua prosessin kuluessa: esimerkiksi työllistymistavoite voi kuntoutusprosessin aikana muuntua tavoitteeksi rakentaa arkielämän hallinnan perustaa työelämän ulkopuolella. Lähde: Järvikoski & Härkäpää 2002

20 Naturalistis-kvalitatiivinen arviointi/lähestymistapa Kuntoutuksen vaikuttavuustutkimuksessa lähestymistapa voi antaa/lisätä (uutta) ymmärrystä vaikutusten monialaisuuteen ja ilmeisyyteen. Sen avulla voidaan myös löytääja kuvata hyötyjätuottavia toimintatapoja sekäyksilöllisiäprosesseja. Soveltuu erityisen hyvin kuntoutuksen kehittävään arviointiin. Kiinnitettävä huomiota tutkimuksen uskottavuuteen: Arviointitutkijan olisi pystyttävämäärittelemään ja kuvaamaan toimintansa säännöt, tulkintojensa ja väitteidensäperusteet Ilman sitä, tutkimuksen käyttäjän voi olla vaikea vakuuttua siitä, että johtopäätökset nojaavat aineistoon. Systemaattinen tiedon keruu ja tulosten analyysi, käytettyjen menetelmien läpinäkyvyys! Lähde: Järvikoski & Härkäpää 2002 Kokeellis-kvantitatiivinen lähestymistapa ja naturalistis-kvalitatiivinen lähestymistapa kuntoutuksen arvioinnissa Kokeellis-kvantitatiivinen lähestymistapa Ihanteena satunnaistettu koeasetelma; sen vaihtoehtona muu kontrolloitu tutkimusasetelma Lähtökohtana teoriaan perustuvat hypoteesit; ennalta määritellyt kvantitatiiviset indikaattorit hypoteesien testaamiseksi Tyypillisiä tiedonkeruumenetelmiä kyselylomakkeet, testit, arvioinnit, rekisteritiedot (esim. eläkkeet) Soveltuu erityisesti ennalta määritellyn, tarkasti rajatun intervention vaikutusten tutkimiseen (intervention piirteiden kuvattavuus, toistettavuus) Soveltuu parhaiten tarkasti määritellyn ja rajatun, homogeenisen ryhmän kuntoutuksen vaikuttavuuden arviointiin Tavoitteena kausaalipäätelmä intervention vaikutuksesta (intervention tuottama nettomuutos) Tutkimusprosessi luonteeltaan deduktiivinen Naturalistis-kvalitatiivinen lähestymistapa Tutkimuskohdetta tutkitaan sen luonnollisessa ympäristössä, sitä manipuloimatta Ei ennalta asetettua teoriaa ja hypoteeseja; tutkimusprosessin aikana edetään kohti teoriaa moniaineksista kvalitatiivista tieto keräämällä Tavoitteena tiedonkeruumenetelmät, jotka ei tee väkivaltaa tutkittaville ilmiöille: esim. osallistuva havainnointi, haastattelut, elämänkertatiedot Soveltuu tutkittaessa monimutkaisia, vaikeasti määriteltäviä kokonaisuuksia, jotka voivat kehittyä eri suuntiin prosessin aikana Erityiset vahvuudet heterogeenisen, palveluiden piirin normaalisti hakeutuvan tai valikoituvan asiakaskunnan kuntoutuksen tutkimuksessa Tyypillisinä tavoitteina etsiä yksilöllisten kuntoutusprosessien tuottamia subjektiivisia hyötyjä ja merkityksiä Tutkimusprosessi on luonteeltaan induktiivinen Tutkittavat/vertailtavat toimintamallit mieluiten standardoitava siten, että se voidaan toteuttaa samanlaisessa muodossa kaikilla tutkittavilla Toimintaympäristö ja olosuhteet vakioidaan niin hyvin kuin mahdollista Asiakkaan pyrkimysten ja arvotun intervention välinen suhde Analyysi perustuu yleensä väestöryhmälle yhteisten tavoitteiden määrittelyyn ja tavoitteiden perusteella määriteltyihin indikaattoreihin Soveltuu erityisesti summatiiviseen arviointiin: arvioitaessa toiminnan hyötyjä sen jatkamista tai lopettamista koskevan päätöstä varten Ilmiöitä tutkitaan niiden todellisessa ympäristössä, menetelmin, jotka eivät tee niille väkivaltaa Ilmiöitä tutkitaan niiden todellisessa ympäristössä; toimintaympäristön analyysi on luonnollinen osa tutkimusta Muutoksia tutkitaan suhteessa kuntoutujan henkilökohtaisiin ratkaisuihin Lähtökohtana on, että asetetut tavoitteet voivat muuttua kuntoutusprosessin aikana ja siksi indikaattorien ennalta määrittely ei ole mahdollista Soveltuu erityisesti ns, formatiiviseen, kehittävään arviointiin Lähde: Järvikoski & Härkäpää 2002

21 Lopuksi.. Vaikuttavuuden arviointiin ryhdyttäessäkysytään usein ensimmäiseksi asiaan soveltuvia mittareita. Kaikki vaikuttavuuden arvioinnin tavat eivät kuitenkaan perustu mittareiden käyttöön. Toiminnan vaikuttavuuden arviointi ei ole mahdollista vain yhdentietojärjestelmän, tutkimuksen tai lähestymistavan avulla. Mihin tarkoituksiin vaikuttavuustietoa kulloinkin hankitaan sekä miten sitä saadaan aikaan, välitetään ja hyödynnetään? Arvioinnin tulisi olla apuväline, mutta huonosti käytettynä siitä voi tulla itsetarkoitus. Vaikuttavuustietoon sisältyy sekämahdollisuuksia ettäepävarmuutta ja riskejä. Yleensäväitetään vain sellaisten asioiden tulevan tehdyksi, joita arvioidaan systemaattisesti. On mahdollista, ettäväestön ja asiakkaiden toimeentulon, terveyden ja itsenäisen selviytymisen kannalta keskeisimmät vaikutusmekanismit luikertelevat ohi huolellisesti kehitettyjen vaikuttavuusmittareiden ohitse. Tunnustettava, ettei vaikuttavuustieto ole kaikella varmuudella luotettavaa tai ettei sitä usein ole edes hankittavissa. Lähde: Rajavaara 2006; Mäkitalo 2008 Lopuksi.. Useiden eri lähestymistapojen sekäaineistojen ja menetelmien (määrälliset ja laadulliset) hyödyntäminen usein perusteltua. Olemassa olevat mittarit ja niiden hyödyntäminen tulisi nähdämahdollisuutena, mutta silmiä ei tule ummistaa laadulliselta tiedolta. Intervention vaikuttavuuden arviointi ei ole vain alku-ja lopputilanteen mittaritulosten vertaamista, vaan huolellista intervention eri vaiheiden (lähtötilanne, suunnitelma, teot ja niiden vaikutukset) kehityksellistä arviointia. Kokemuksellisia mittareita voidaan käyttää intervention eri vaiheissa yhdessä kehitystä kuvaavien tietojen kanssa.

22 Kirjallisuutta.. Alkin,MarvinC. (toim.) (2004). Evaluation Roots. Tracing Theorists Views and Influences. Sage: Thousand Oaks. Chen, Huey-Tsyh(2005). Practical Program Evaluation. Assessing and Improving Planning, Implementation and Effectiveness. Thousand Oaks ym.: Sage. Fetterman, David M. (2001). Foundations of Empowerment Evaluation. Thousand Oaks ym.: Sage Publications. Furubo, Jan-Eric,Rist, Ray C.,Sandahl, Rolf (toim.) (2002) International Atlas of Evaluation. New Brunswick & London: Transaction Publishers. Guba,EgonG., Lincoln,Yvonna, S. (1989). Fourth Generation Evaluation. Newbury Park:Sage. Järvikoski, Aila, Härkäpää, Kristiina &Nouko-Juvonen Susanna (toim.) (2002). Monia teitäkuntoutuksen arviointiin. Kuntoutussäätiö. Mäkitalo, Jorma, Turunen, Jari & Vilkkumaa, Ilpo (2008). Vaikuttavuus muutoksessa. Verve. Patton, Michael Quinn(1997). Utilization Focused Evaluation. The New Century Text. Edition 3. London: Sage. Pawson, Ray, Tilley Nick (1997). Realistic Evaluation. London: Sage. Preskill, Hallie, Torres, Rosalie T. (1999). Evaluative Inquiry for Learning in Organizations. Thousand Oaks ym.: Sage. Rajavaara, Marketta (2006). Yhteiskuntaan vaikuttava Kela. Katsaus vaikuttavuuden käsitteisiin ja arviointiin. Sosiaalija terveysturvan katsauksia 69. Rajavaara, Marketta (2007).Vaikuttavuusyhteiskunta. Sosiaalistenolojen arvostelusta vaikutusten todentamiseen. Sosiaali- ja terveysturvan tutkimuksia 84 Rossi, Peter H., Freeman, Howard, E., Lipsey, Mark (1999). Evaluation. A Systematic Approach. Sage: New York. Scriven, Michael (1991). Evaluation Thesaurus. Newbury Parkym.: Sage. Virtanen, Petri (2007). Arviointi. Arviointitiedon luonne, tuottaminen ja hyödyntäminen. KIITOS!