Ulkoasu: Dynamo. Suomen Graafiset Palvelut Oy Kuopio 2012 ISBN 952-5504-20-4

AVUSTUSTOIMINNAN RAPORTTEJA 28 Tuomas Koskela Kehittämishankkeiden arvioinnin tila Motiivit ja arviointitiedon hyödyntäminen sosiaali- ja terveysalojen järjestöissä 2 0 1 2

Ulkoasu: Dynamo Suomen Graafiset Palvelut Oy Kuopio 2012 ISBN 952-5504-20-4

AVUSTUSTOIMINNAN RAPORTTEJA 28 Tuomas Koskela Kehittämishankkeiden arvioinnin tila Motiivit ja arviointitiedon hyödyntäminen sosiaali- ja terveysalojen järjestöissä Raha-automaattiyhdistys 2012

Sisällys Esipuhe... 4 1 Johdanto... 6 2 Tutkimuksen toteutus... 9 2.1 Tavoitteet ja kohdentuminen... 9 2.2 Keskeiset käsitteet... 11 2.3 Kyselyaineisto ja sen analyysi... 11 3 Kehittämishankkeet ja niiden arviointi yleisesti... 14 4 Kehittämishankkeiden ulkoiset arvioinnit... 17 4.1 Toteutus ja kohdentuminen... 17 4.2 Motiivit ja lähtökohdat... 20 4.3 Ulkoisten arviointien koettu hyöty ja hyödyntäminen... 23 4.3.1 Yleisesti... 23 4.3.2 Arviointitiedon hyödyntäminen... 27 4.3.3 Arviointiprosessin hyödyntäminen... 32 5 Kehittämishankkeiden itsearviointi... 35 6 Järjestöjen muu arviointitoiminta ja koulutustarpeet... 39 7 Yhteenvetoa ja johtopäätöksiä... 44 Lähteet... 49 LIITTEET... 50 3

Esipuhe Seuranta ja arviointi ovat parin kuluneen vuosikymmenen aikana tulleet kehittämistoimintaan liittyvän projektimaailman lisäksi myös osaksi yhä useampia jatkuvaluonteisia toimintoja. Julkisella rahoituksella toteutettavissa toiminnoissa ja hankkeissa arvioinnin toteuttamisen velvoite perustuu yhä useammin säädöksiin, ja siitä on tullut osa rahoituksen ehtoja. Näin on myös RAY:n avustustoiminnassa: avustetun toiminnan tuloksellisuuden ja vaikutusten arviointi on avustusvalmistelun, myönnettyjen avustusten maksatuksen ja avustusten käytön valvonnan ohella Raha-automaattiyhdistyksen lakisääteinen tehtävä. Avustusta saavien järjestöjen näkökulmasta tuloksia ja vaikutuksia koskevan tiedon välittäminen RAY:lle on yksi osa avustuslakiin kirjatuista avustusehdoista 1. Huomion kiinnittäminen toiminnan tuloksiin ja vaikutuksiin nostaa esiin koko joukon kysymyksiä: mitä ovat tulokset ja vaikutukset erilaisissa toiminnoissa, miten ne suhtautuvat toiminnalle asetettuihin tavoitteisiin, miten niitä voitaisiin saada näkyviin, mitä on tulosten ja vaikutusten kannalta relevantti tieto, mitkä ovat järkeviä tapoja sellaisen tiedon hankkimiseksi jne. Tulosten ja vaikutusten analyysiin tarvitaan aina jonkintasoista arviointia. Asiantuntijoiden kuulee usein sanovan, ettei arvioinnista ole mitään yhtä yleisesti hyväksyttyä määritelmää; arviointia on monenlaista, se voi kohdentua melkeinpä mihin tahansa, ja arvioinnin käsitteistöjä ja viitekehyksiä on lukuisia, samoin työtapoja ja -välineistöjä. Tämä tekee arvioinnista melko vaikeasti lähestyttävän, ja niille, jotka eivät ole asiaan vihkiytyneitä, se näyttää helposti pelottavalta sotkulta. Oman toiminnan aikaansaannoksia koskevien havaintojen tekeminen ei kuitenkaan ole elämää suurempi asia. Arviointia koskevan tiedon lisääminen on yksi tapa hälventää turhaa epäluuloa, ja tieto on viime vuosien aikana merkittävästi lisääntynytkin julkishallinnon, yksityisten arvioinnin asiantuntijoiden ja järjestöjen oman kehittämis- ja koulutustoiminnan myötä. RAY:n seurantajärjestelmän kehittämisen yhtenä osana koettiin tarpeelliseksi toteuttaa tutkimus järjestöjen arviointitoiminnan nykytilasta. Tuomas Koskelan tutkimus, jonka tuloksia tässä raportoidaan, on ensimmäinen RAY:n avustusjärjestelmän piirissä toteutettu koko kentän kattava peruskartoitus. Tutkimuksella haluttiin saada tietoa, missä määrin arviointia on erityyppisissä ja kokoisissa järjestöissä toteutettu, mihin sitä erityisesti on kohdennettu, millä tavoin sitä on toteutettu, minkälaisia kokemuksia siitä on saatu jne. Tutkimus kohdennettiin vuonna 2010 RAY:n toiminta- ja projektiavustuksia saaneisiin järjestöihin. Avustuksia myönnettiin tuolloin 268 miljoonaa euroa kaikkiaan 781 järjestölle. Pelkästään investointiavustusta saaneet järjestöt jätettiin tutkimuksesta pois. Myös kaikkein pienimmät alle 50 000 euron avustuksia saaneet 1 Laki raha-automaattiavustuksista 23.11.2001/1056 4

järjestöt rajattiin pois, kun valmisteluvaiheen muutamassa keskustelussa todettiin, ettei pelkästään vapaaehtoisvoimin toimivilla järjestöillä ole mahdollisuuksia vastata tämänkokoiseen kyselyyn. Kysely kohdistui lopulta noin 550 järjestöön. Vaikka RAY:n avustuslaissa tuloksellisuus- ja vaikutusseuranta koskee määräaikaisten projektien lisäksi myös jatkuvaluonteista toimintaa, kysely rakennettiin pääosin projektien ehdoilla, jotta se saatiin pidettyä kohtuullisen kokoisena. Muutamalla ylimääräisellä kysymyksellä tiedusteltiin toiminta-avustuksilla toteutetun toiminnan arviointiin liittyviä asioita. Projektien maailmassa arviointi on 90-luvulta lähtien jokapäiväistynyt, kun aluksi EU:n ja sittemmin myös kansallisen rahoituksen järjestelmissä kehittämishankkeisiin vakiintui aikaansaatujen tulosten raportointivelvoite. Projektimaailman ulkopuolella kehitys on edennyt merkittävästi hitaammin. Näyttääkin siltä, että ajatus arvioinnin kuulumisesta projekteihin on edistänyt kehitystä hankemaailmassa mutta hidastanut sitä jatkuvaluonteisen toiminnan puolella. Määräaikaisen projektin päättyminen koetaan luontevaksi vaiheeksi tehdä tilinpäätöstä myös aikaansaaduista tuloksista, mutta jatkuvan toiminnan kohdalla asia pitäisi hahmottaa toisin. Tutkimus kertoo selkeästi siitä, että kehittämistyötä järjestötoiminnan tulosten ja vaikutusten näkyviin saamisessa on vielä paljon. Arvioinnin omaksuminen toiminnan ohjauksen ja kehittämisen yhdeksi näkökulmaksi edellyttää muutosta toimintatavoissa ja toimintakulttuurissa. Resurssien käytön näkökulmastakin arvioinnin toteuttamiseksi on monia vaihtoehtoisia tapoja; se voidaan ostaa ulkopuolisilta asiantuntijoilta, se voidaan suorittaa omana työnä tai se voidaan toteuttaa lukuisina ostettujen asiantuntijapanosten ja oman työn yhdistelminä. RAY-avustusten ehdot eivät edellytä ulkopuolisen arvioinnin ostamista, vaikka eivät sitä periaatteessa kielläkään. Itsearviointiin perehtymistä RAY suosittelee kaikille. Useimmissa tapauksissa avustusehtojen velvoitteet voidaan toteuttaa itsearviointina, vieläpä tavalla, joka antaa siitä merkittävän hyödyn oman toiminnan ja osaamisen kehittämiselle ja toteutuu kohtuullisin kustannuksin. Itsearviointiin perehtyminen on myös hyvä keino vahvistaa sellaista osaamista, joka on arvokasta harkittaessa ja suunnitellessa ulkopuolisten asiantuntijapanosten hankkimista. Pekka Mykrä, kehittämispäällikkö, RAY 5

1 Johdanto Tässä raportissa tarkastellaan, miten sosiaali- ja terveysalan järjestöt arvioivat omia kehittämishankkeitaan ja miten koottua arviointitietoa hyödynnetään järjestöjen päätöksenteossa. Aineisto on kerätty keväällä 2011 sähköisen kyselyn avulla. Kysely osoitettiin RAY:ltä projektiavustusta vuosina 2009 ja 2010 saaneille järjestöille. Hankkeen vastuullisena toteuttajana on toiminut Tuomas Koskela, joka työskentelee arviointipäällikkönä Kuntoutussäätiön arviointi- ja koulutusyksikössä. Koskela hyödyntää hankkeen aikana kerättyä aineistoa omissa jatkoopinnoissaan Helsingin yliopistolla. Kysymyksiin siitä, mitä on arviointi tai mistä arvioinnissa on kysymys, ei ole olemassa yksiselitteisiä vastauksia. Yhteisesti hyväksyttyä arvioinnin määritelmää ei näyttäisi olevan olemassakaan, eikä sellaista välttämättä edes tarvita 2. Arvioinnin eri määritelmiä on niin runsaasti, ettei kirjanpito järkevällä tavalla ole mitenkään mahdollista 3. Useissa arviointikäsitteen määritelmissä kuitenkin viitataan arvottamiseen (osoitetaan jonkin asian tai toiminnan arvo, ansio tai merkitys) tai korostetaan arvioinnin yhteiskuntatieteellisiä lähtökohtia. Arvioinnin määritelmillä viitataan myös usein ns. ulkoiseen arviointiin, mikä on varsin suppea lähestymistapa. Tänä päivänä myös itsearviointi kuuluu oleellisena osana useimpien julkisen ja yksityisen sekä kolmannen sektorin organisaatioiden toimintaan, eikä sitä tämän vuoksi tule sivuuttaa. Voidaan kuitenkin ajatella, että arviointi on hyvin arkista toimintaa, jota ihmiset tekevät päivittäin. Esimerkiksi tehdessään ostopäätöksiä kuluttajat arvioivat tuotteita hinnan ja laadun perusteella. Kouluissa ja oppilaitoksissa opettajat arvioivat oppilaiden tenttivastausten ansioita ja puutteita ja asettavat vastaukset etukäteen laadittujen kriteerien pohjalta paremmuusjärjestykseen. Rahoittaja voi puolestaan antaa jollekin myönteisen rahoituspäätöksen ja vastaavasti kielteisen päätöksen toiselle esimerkiksi toiminnan yhteiskunnalliseen arvoon tai ansioon perustuen. 4 Useissa eri yhteyksissä on tuotu esille, että arviointitoiminta on lisääntynyt määrällisesti räjähdysmäisesti 1990-luvulta lähtien. Syitä arvioinnin yleistymiseen on monia. Perimmäisenä voitaneen kuitenkin pitää tiedon halua tai halua kehittää omaa toimintaa. Arviointia on tänä päivänä joka puolella: politiikan tekijät arvioivat, julkinen hallinto ja sen yksittäiset työntekijät arvioivat, myös kolmannen sektorin toimijat arvioivat tai arvioituttavat toimintaansa. On alettu puhua arvioinnin yhteiskunnasta, jossa korostuvat tuloksilla ohjaaminen, vaikuttavuustavoitteet, tilivelvollisuus sekä näyttöön perustuva toiminta ja sen suunnittelu. Arvioinnista onkin tullut muotisana viimeisen kymmenen vuoden aikana. 5 Erityisesti vaikuttavuuden osoittaminen on tullut eri toimijoille entistä tärkeämmäksi viime vuosien 2 Ks. esim. Ahonen (1998) 3 Rajavaara (2007) 4 Piirainen ym. (2010) 5 Virtanen (2007) 6

aikana. Taustalla on ajatus, että rajallisilla resursseilla saadaan mahdollisimman paljon hyvää aikaiseksi toiminnan kohteille. 6 Kolmannen sektorin järjestöjen voidaan ajatella olevan tilivelvollisia järjestön ja sen toiminnan luonteen mukaan erityisesti jäsenistölleen, rahoittajilleen sekä muille sidosryhmille 7. Kehittämishankkeiden arvioinnin tilaa, motiiveja ja arviointitiedon hyödyntämistä sosiaali- ja terveysalojen järjestöjen keskuudessa ei ole selvitetty vastaavalla tavalla aikaisemmin. Järjestöarviointia ja ennen kaikkea sen tilaa on tarkasteltu oikeastaan vain muutamissa yksittäisissä hankkeissa. Sosiaali- ja terveysturvan keskusliitto (STKL) sekä Terveyden edistämisen keskus (Tekry) toteuttivat yhteistyönä vuosina 2005 2009 järjestöjen arviointitoiminnan tukemiseksi tarkoitetun JÄRVI-kehittämishankkeen. Hankkeen päämääränä oli kehittää arvioinnin työkaluja sosiaali- ja terveysjärjestöjen arvioinnin tueksi. Pilottitoimijat jaettiin kuuteen eri temaattiseen ryhmään: projektien arviointi, asiakasnäkökulma arvioinnissa, verkostotoiminnan arviointi, kansalaisjärjestöjen arviointi paikallistasolla, viestinnän arviointi ja koko toiminnan arviointi. Pilottitoiminnassa oli mukana runsaat 40 järjestöä. JÄRVI-hankkeen suunnittelun tueksi toteutettiin kartoitus sosiaali- ja terveysjärjestöjen arvioinnin tilasta ja tarpeista 8. Kartoitus osoitti mm., että järjestöt suhtautuvat arviointiin ja sen kehittämiseen myönteisesti. Tulosten perusteella systemaattisimmin arviointi on otettu käyttöön järjestöjen projekteissa ja harvinaisempaa se on järjestöjen vakiintuneessa toiminnassa, kuten vaikuttamistoiminnassa. Käytettyjen arviointimenetelmien osalta kartoituksessa ei löydetty eroja projektien ja vaikuttamistoiminnan osalla. Järjestöjen johdolla todettiin olevan merkittävä rooli arvioinnin kehittämisessä. Hankkeiden käytännön arvioiksi mainittiin järjestön tai projektin johtaja, johto- tai ohjausryhmä. Vaikuttamistoiminnan osalta edellä mainittujen lisäksi arvioitsijoina toimii järjestöjen luottamusjohto. Kartoituksen mukaan merkittävimpinä esteinä arvioinnin kehittämiselle järjestöjen keskuudessa pidettiin puutteellista arviointiosaamista sekä resurssien ja käytännönläheisten arviointityövälineiden puutetta. Kartoituksen aineisto kerättiin vuosina 2005 2006. Vuonna 2011 valmistui JÄRVI-hankkeen jälkikartoitus sosiaali- ja terveysjärjestöjen arvioinnin nykytilanteesta ja arviointiin kohdistuvista tuen tarpeista 9. Kartoituksen perusteella arvioinnin tila on kohentunut merkittävästi viiden vuoden aikana. Monissa järjestöissä arviointi kytkeytyy aikaisempaa vahvemmin osaksi perustyötä, ja se tukee toiminnan suunnittelua ja kehittämistä. Kartoituksessa nostettiin kuitenkin esille, että mukaan mahtuu myös runsaasti järjestöjä, joissa arviointiasioilla ei ole merkittävää roolia. Suurimpana arviointityön puutteena nostet- 6 Mäkitalo & Turunen (2008); Piirainen ym. (2010) 7 Piirainen ym. (2010) 8 Paija & Saikkonen (2007) 9 Perälahti (2011) 7

tiin esille vähäiseksi koettu aika. Järjestöillä on halukkuutta kehittää omaa arviointitoimintaansa ja -osaamistaan, ja siihen koetaan myös tarvittavan tukea. Molemmissa edellä mainituissa kartoituksissa hyödynnetyt aineistot olivat verraten suppeita, eikä niiden pohjalta voitu tehdä kovin kattavia johtopäätöksiä, jotka olisivat yleistettävissä koskemaan koko sosiaali- ja terveysalan järjestökenttää. Esimerkiksi JÄRVI-hankkeen jälkikartoitus koostui 60 Sosiaali- ja terveysturvan keskusliiton (STKL ry) ja Terveyden edistämisen keskuksen (Tekry ry) jäsenjärjestön toiminnanjohtajan vastauksista sekä 30 JÄRVI-hankkeen pilottitoimintaan osallistuneen henkilön vastauksista. Tässä raportissa esitetään tiiviisti keskeisimmät tulokset ja johtopäätökset keväällä 2011 toteutetun RAY:n kyselyn pohjalta. Kyselyn tuloksia on raportoitu ja esitelty RAY:n edustajille kaksi kertaa vuoden 2011 aikana. RAY hyödyntää tuloksia mm. osana oman seurantajärjestelmän kehittämistä ja siihen liittyvää koulutusta. Raportti jakaantuu seitsemään päälukuun. Raportin toisessa luvussa kuvataan tiiviisti tutkimuksen toteutus (tavoitteet ja kohdentuminen, keskeiset käsitteet sekä kyselyaineisto). Luvuissa 3 6 tuodaan esille kyselyaineiston keskeisimmät tulokset ja sen pohjalta tehdyt havainnot. Luvussa seitsemän esitetään yhteen vetäen johtopäätökset tulosten pohjalta. 8

2 Tutkimuksen toteutus 2.1 Tavoitteet ja kohdentuminen Raportissa on keskitytty otsikon mukaisesti selvittämään kehittämishankkeiden arvioinnin tilaa, motiiveja ja arviointitiedon hyödyntämistä sosiaali- ja terveysalojen järjestöissä. Tutkimuskysymykset on esitetty seuraavassa. I Arvioinnin tila: 1. Miten järjestöt arvioivat omia kehittämishankkeitaan sekä laajemmin muuta toimintaansa? Toteuttavatko järjestöt itsearviointeja vai toteutetaanko arvioinnit ulkopuolisina toimeksiantoina? Ketkä tekevät ulkopuolisia arviointeja? 2. Mihin kehittämishankkeiden arvioinnit (ja muut arvioinnit) ovat kohdistuneet? 3. Milloin / missä yhteydessä järjestöt arvioivat kehittämishankkeitaan (ja muuta toimintaansa)? Kuinka usein arviointeja toteutetaan? 4. Millainen on järjestöjen toiminnanjohtajien / arvioinnista vastaavien henkilöiden asennoituminen arviointitoimintaa kohtaan? II Arvioinnin motiivit: 5. Miksi järjestöt toteuttavat kehittämishankkeiden arviointeja? Mitkä ovat arvioinnin motiivit? III Arviointitiedon hyödyntäminen: 6. Miten tuotettua arviointitietoa hyödynnetään järjestöjen toiminnassa? 7. Mitkä ovat arviointitiedon hyödyntämisen esteet? 8. Miten arviointitietoa voisi hyödyntää entistä tehokkaammin? 9. Mitä konkreettista hyötyä arvioinneista on ollut ja kenelle? Miten se näkyy käytännössä? Kysely koski ensisijaisesti järjestöissä vuosina 2009 2010 toteutettujen (alkaneiden, käynnissä olevien ja päättyneiden) kehittämishankkeiden arviointeja. Tämän lisäksi kyselyssä selvitettiin muutamien yksittäisten kysymysten avulla seuraavia asioita: Ovatko järjestöt tilanneet tai toteuttaneet vuosien 2009 2010 aikana RAY:n yleisavustuksella tai kohdennetulla toiminta-avustuksella rahoitetun toiminnan arvioinnin? Millä muilla tavoin (arviointien lisäksi) järjestöt tuottavat tietoa (esim. omasta, sidosryhmien, asiakkaiden tai kohderyhmien toiminnasta ja tarpeista)? Miten arviointiasioihin liittyvän osaamisen taso on koettu? Minkälaista koulutusta RAY:lta toivotaan arvioinnin suhteen jatkossa? 9

Kyselylomake suunniteltiin yhteistyössä tutkimuksen toteuttajan ja RAY:n edustajien kesken. Lomakkeen sisältämät kysymykset sisälsivät elementtejä useista eri arviointikoulukunnista tai -teorioista, joista tässä yhteydessä ei käsitellä kuin yhtä ja sitäkin vain hyvin pintapuoleisesti. Tutkimuksen taustalla oleva viitekehys pohjautuu pitkälti Pattonin 10 hyödynnettävyyskeskeisen arviointimallin pohjalle. Patton itse erottaa kolme eri tapaa hyödyntää arvioinnin tuloksia: 1. Arvioinnin tulokset voivat palvella johtopäätösten tekemistä arvioitavan kohteen arvosta ja ansioista, jolloin kyseessä on tilivelvollisuuteen liittyvä arviointi (judgment-oriented evaluation). 2. Arviointi voi tukea toiminnan kehittämistä, jolloin kyseessä on kehittävä arviointi (improvement-oriented evaluation). 3. Arviointi voi tuottaa tietoa, jolloin kyseessä on tietoa yleisesti lisäävä arviointi (knowledge-oriented evaluation). Edellä mainitut kaikki kolme arvioinnin hyödyntämisen tapaa voivat Pattonin mukaan tukea päätöksentekoa. Tilivelvollisuusarviointiin ja kehittävään arviointiin sisältyy arvioinnin tulosten instrumentaalinen käyttö. Tämä tarkoittaa sitä, että päätökset tai toimenpiteet ovat suoraan seurausta arvioinnista. Harvoin arvioinnin tulokset ovat kuitenkaan ainoa syy kehittämistoimenpiteille tai päätöksille. Patton korostaa, että arviointitulokset kartuttavat tietämystä vähitellen, vaikka tulokset eivät johtaisikaan suoraan päätöksiin tai kehittämistoimenpiteisiin. Tällöin voidaan puhua arviointitulosten käsitteellisestä käytöstä (conceptual use of findings) tai tietoisuutta lisäävästä käytöstä (enlightment use). Arviointitulosten käsitteellinen käyttö voi tarkoittaa yleisemmin myös syvempää ymmärrystä toiminnasta tai yhteisen ymmärryksen luomista. 11 Arvioinnin suunniteltua käyttöä voidaan tarkastella edellä esitetyn mukaisesti arviointitulosten hyödyntämisen näkökulmasta mutta myös varsinaisen arviointiprosessin hyödyntämisen kannalta. Arviointiprosessin hyödyntämisellä viitataan arvioinnin aikana oppimisen seurauksena tapahtuviin yksilötason muutoksiin ajattelussa sekä käyttäytymisessä ja organisaatiotasolla tapahtuviin toimintatapojen tai -kulttuurien muutoksiin. Esimerkiksi arviointiprosessin käynnistämällä ajatteluprosessilla on koettu olleen enemmän vaikutusta arviointeihin osallistuneiden henkilöiden keskuudessa kuin varsinaisilla arvioinnin tuloksilla. Organisaatiotasolla arviointiprosessia voidaan hyödyntää mm. jaetun näkemyksen luomisessa, esimerkiksi luotaessa henkilöstön yhteistä näkemystä siitä, millaisia lopputuloksia tavoitellaan, sekä kirkastaessa johdon ja henkilöstön yhteistä näkemystä. 12 10 Patton (1997); Patton (2008) 11 Patton (1997); Kantola ym. (2009) 12 Kantola ym. (2009) 10

2.2 Keskeiset käsitteet Tutkimuksessa on ollut neljä keskeistä käsitettä, jotka määriteltiin kyselylomakkeessa seuraavasti: Kehittämishankkeella tarkoitetaan hanketta, joka tähtää joko uuden tai olemassa olevan toiminnan kehittämiseen. Kehittämishankkeelle on myös asetettu omat tavoitteet, aikataulu ja resurssit. Esimerkkejä kehittämishankkeista ovat mm. RAY:n rahoittamat projektit ja Euroopan sosiaalirahaston (ESR) rahoittamat projektit. Arvioinnilla tarkoitetaan mm. tiedon tuottamista toiminnasta (esim. kehittämishankkeesta), siihen liittyvistä kehittämistarpeista sekä toiminnan vaikutuksista, hyödyllisyydestä ja vaikuttavuudesta. Yksiselitteistä arvioinnin määritelmää ei ole olemassa. Ulkoisella arvioinnilla tarkoitetaan arviointia, jonka on toteuttanut järjestön ulkopuolinen taho (esim. arviointiyritys, tutkimuslaitos, opiskelija, toinen järjestö). Itsearvioinnilla tarkoitetaan järjestön itse, omana toimintana, toteuttamaa arviointia. 2.3 Kyselyaineisto ja sen analyysi Tutkimusaineisto kerättiin maalis-huhtikuussa 2011 toteutetun sähköisen kyselyn avulla. Ennen varsinaista kyselyä toteutettiin ns. esikysely, jonka avulla järjestöjen edustajia pyydettiin täsmentämään, kenelle kysely tulisi osoittaa heidän järjestössään. RAY toimitti yhteystiedot esikyselyä varten. Varsinainen kysely osoitettiin vuosina 2009 ja 2010 RAY:ltä projektiavustusta saaneille järjestöille (n=545). Tutkimuksen ulkopuolelle rajattiin järjestöt, jotka olivat saaneet RAY:ltä pelkästään investointiavustusta. Kyselyyn vastasi yhteensä 420 järjestöä vastausprosentin ollessa noin 77 %. Vastaajien asema järjestössä Kyselyyn vastanneista henkilöistä hieman yli puolet (53,5 %) oli järjestöjen toiminnan-/toimitusjohtajia tai pääsihteereitä. Muita järjestötyöntekijöitä vastaajista oli 42,6 % ja hallituksen puheenjohtajia tai varapuheenjohtajia 3,8 %. Järjestöjen pääasiallinen toiminta-alue Suurin osa kyselyyn vastanneista (38,8 %) ilmoitti, että heidän edustamansa järjestö toimii valtakunnallisesti. Noin neljännes (24,6 %) vastaajista ilmoitti järjestönsä pääasialliseksi toiminta-alueeksi Etelä-Suomen ja noin viidennes (19,8 %) Länsi-Suomen. Pääasiallisesti Itä-Suomessa (8,4 %) ja Pohjois-Suomessa (8,6 %) toimivien järjestöjen edustajia kyselyyn vastasi selvästi vähemmän. 11

Järjestöjen henkilöstömäärä Suurin osa kyselyyn vastanneista (38,8 %) edustaa pieniä, 1 5 työntekijän järjestöjä. Muilta osin kyselyyn vastanneet edustavat hyvin tasaisesti henkilöstömäärällä mitattuna erikokoisia järjestöjä: 6 10 henkilöä (14 %), 11 20 henkilöä (15,7 %), 21 50 henkilöä (17,4 %) ja yli 50 henkilöä (14 %). Kyselylomake Kyselylomake toimitettiin järjestöjen edustajille etukäteen (viikkoa ennen varsinaista kyselyä) vastausten valmistelua varten. Vastaanottajia ohjeistettiin valmistelemaan vastaukset yhdessä muiden työntekijöiden kanssa heidän edustamassaan järjestössä. Etukäteen lähetettävä kyselylomake toimitettiin suomen- ja pyydettäessä myös ruotsinkielisenä. Varsinainen kysely toteutettiin suomenkielisenä. Kyselomake koostui seitsemästä eri osiosta, jotka pitivät sisällään väittämä-, valinta- ja avokysymyksiä: 1. Tausta-/yhteystiedot Osion 1 sisältämät kysymykset kysyttiin kaikilta vastaajilta. 2. Arvioitujen kehittämishankkeiden lukumäärä Osion 2 sisältämät kysymykset esitettiin vastaajille, mikäli he vastasivat edustamansa järjestön tilanneen vuosien 2009 2010 aikana omien kehittämishankkeidensa ulkoisia arviointeja tai toteuttaneen itsearviointeja omissa kehittämishankkeissaan. 3. Kehittämishankkeiden ulkoisten arviointien toteutus ja kohdentuminen Osion 3 sisältämät kysymykset esitettiin vastaajille, mikäli he vastasivat edustamansa järjestön tilanneen vuosien 2009 2010 aikana omien kehittämishankkeidensa ulkoisia arviointeja. 4. Kehittämishankkeiden ulkopuolisten arviointien motiivit ja lähtökohdat Osion 4 sisältämät kysymykset esitettiin vastaajille, mikäli he vastasivat edustamansa järjestön tilanneen vuosien 2009 2010 aikana omien kehittämishankkeidensa ulkoisia arviointeja. 5. Kehittämishankkeiden ulkoisten arviointien hyöty ja hyödyntäminen Osion 5 sisältämät kysymykset esitettiin vastaajille, mikäli he vastasivat edustamansa järjestön tilanneen vuosien 2009 2010 aikana omien kehittämishankkeidensa ulkoisia arviointeja. 6. Kehittämishankkeiden itsearviointi Osion 6 sisältämät kysymykset esitettiin vastaajille, mikäli he vastasivat edustamansa järjestön toteuttaneen itsearviointeja omissa kehittämishankkeissaan. 7. Lopuksi Osion 7 sisältämät kysymykset kysyttiin kaikilta vastaajilta. 12

Aineiston analyysi Kyselyn tuottama määrällinen aineisto on analysoitu suoria jakaumia, ristiintaulukointia 13 sekä aritmeettisia keskiarvoja 14 hyödyntäen. Aineiston analyysissä taustamuuttujina on hyödynnetty järjestön maantieteellistä toiminta-aluetta sekä järjestön henkilöstömäärää. Laadullinen aineisto (avovastaukset) on analysoitu sisällönanalyysiä hyödyntäen. Joidenkin avokysymysten aineisto on luokiteltu ja koodattu määrälliseen muotoon tilastollista analyysiä varten. 13 Ristiintaulukoinnin tilastollista merkitsevyyttä on testattu -testin avulla. P:n arvon ollessa alle 0,05 erot ovat tilastollisesti merkitseviä. 14 Varianssianalyysin avulla tutkittiin, ovatko selitettävän muuttujan keskiarvot tilastollisesti merkitsevästi erisuuruisia selittävän muuttujan eri luokissa. P:n arvon ollessa alle 0,05 erot ovat tilastollisesti merkitseviä. 13

3 Kehittämishankkeet ja niiden arviointi yleisesti Kyselylomakkeessa kehittämishanke määriteltiin seuraavasti: Kehittämishankkeella tarkoitetaan hanketta, joka tähtää joko uuden tai olemassa olevan toiminnan kehittämiseen. Kehittämishankkeelle on myös asetettu omat tavoitteet, aikataulu sekä resurssit. Esimerkkejä kehittämishankkeista ovat mm. RAY:n rahoittamat projektit sekä Euroopan sosiaalirahaston (ESR) rahoittamat projektit. Kyselyn ensimmäisessä osiossa vastaajilta tiedusteltiin, kuinka monta kehittämishanketta heidän järjestönsä on toteuttanut vuosien 2009 2010 aikana (mukaan lukien alkaneet, käynnissä olevat ja päättyneet hankkeet). Kuviosta 1 voidaan havaita, että noin neljäsosalla järjestöistä ei ole ollut lainkaan RAYavusteisia kehittämishankkeita ja noin 40 %:lla on ollut yksi RAY-avusteinen hanke. Hieman alle puolella järjestöistä ei ole ollut lainkaan muita kehittämishankkeita. Valtakunnallisissa ja henkilöstömäärältään suuremmissa järjestöissä on ollut suhteessa alueellisia ja pienempiä järjestöjä enemmän sekä RAY-avusteisia että muita kehittämishankkeita vuosina 2009 2010 (ks. liitetaulukot). Kuvio 1. Kehittämishankkeiden lukumäärät. Kehittämishankkeita (sekä RAY-avusteisia että muita) on ollut vastausten perusteella keskimäärin noin 1,6 kpl/järjestö vuosina 2009 2010. Kehittämishank- 14

keiden keskimääräinen lukumäärä 21 50 työntekijän järjestöissä oli muita järjestöjä selvästi suurempi. Kuvio 2. Kehittämishankkeiden keskimääräinen lukumäärä järjestöjen henkilöstömäärän mukaan 15. Kyselyssä selvitettiin, kuinka monessa kehittämishankkeessa (erikseen RAYavusteiset ja muut) järjestöt olivat toteuttaneet itsearvioinnin tai tilanneet ulkoisen arvioinnin. Jakamalla arvioitujen kehittämishankkeiden lukumäärän toteutettujen hankkeiden lukumäärällä on laskettu %-osuudet arvioiduista kehittämishankkeista: Vastausten perusteella sekä itsearviointi että ulkoinen arviointi on tehty hieman yli viidenneksessä (21,9 %) RAY-avusteisia kehittämishankkeita. Muissa kehittämishankkeissa vastaava osuus on selvästi vähäisempi (9,4 %). Pelkkä itsearviointi on tehty yli puolessa kehittämishankkeista (RAYavusteisista 62,4 %:sa; muista 61,4 %:ssa). Pelkkä ulkoinen arviointi on tehty 13 %:ssa RAY-avusteisista kehittämishankkeista ja 7,8 %:ssa muista kehittämishankkeista. Edellä esitettyihin tuloksiin arvioitujen kehittämishankkeiden %-osuuksista tulee suhtautua tietyin varauksin, sillä ne perustuvat yksittäisten henkilöiden vastauksiin hankkeiden ja niiden arviointien lukumääristä. Hyvin samansuuntaiset tulokset nousivat kuitenkin esille, kun vastaajia pyydettiin valitsemaan valmiiksi annetuista vaihtoehdoista, mitä tai millaisia arviointeja heidän edustamansa järjestö on 15 Keskiarvot; RAY-avusteiset kehittämishankkeet p=0,000, muut kehittämishankkeet p=0,000 15

tilannut tai toteuttanut itse omissa kehittämishankkeissaan vuosien 2009 2010 aikana. Taulukosta 1 voidaan havaita, että noin kolmasosa järjestöistä ei ole toteuttanut tai tilannut omia kehittämishankkeitaan koskevia arviointeja lainkaan. Noin neljännes järjestöistä on vastaavasti toteuttanut itsearvioinnin omassa kehittämishankkeessaan sekä tilannut kehittämishanketta koskevan ulkoisen arvioinnin. Hieman alle puolet järjestöistä on toteuttanut pelkän itsearvioinnin omassa kehittämishankkeessaan, ja vain erittäin pieni osa on tilannut pelkän ulkoisen arvioinnin omasta kehittämishankkeestaan. Pohjois- ja Länsi-Suomessa on suhteessa muuhun Suomeen vähemmän järjestöjä, jotka eivät ole toteuttaneet itsearviointia omassa kehittämishankkeessaan tai tilanneet kehittämishankkeen ulkoista arviointia. Taulukko 1. Omien kehittämishankkeiden arviointi vuosina 2009 2010 järjestön pääasiallisen toiminta-alueen mukaan 16. Järjestön pääasiallinen toiminta-alue Etelä-Suomi Itä-Suomi Länsi-Suomi Pohjois-Suomi Valtakunnallinen järjestö Yhteensä Mitä alla listatuista arvioinneista järjestönne on tilannut tai toteuttanut itse vuosien 2009 2010 aikana? Oman kehittämishankkeen ulkoinen arviointi 2,9 % N=3 5,7 % N=2 2,4 % N=2 11,1 % N=4 3,1 % N=5 3,8 % N=16 Itsearviointi omassa kehittämishankkeessa 44,7 % N=46 45,7 % N=16 48,8 % N=40 44,4 % N=16 34,0 % N=55 41,4 % N=173 Molemmat edellä mainitut 17,5 % N=18 11,4 % N=4 28,0 % N=23 22,2 % N=8 27,8 % N=45 23,4 % N=98 Ei tilannut tai toteuttanut arviointeja 35,0 % N=36 37,1 % N=13 20,7 % N=17 22,2 % N=8 35,2 % N=57 31,1 % N=131 Vain neljäsosalla järjestöistä (27,4 %) on erikseen nimetty henkilö, jonka vastuulla omaa toimintaa ja kehittämishankkeita koskeva arviointitoiminta on. Näistä vastuuhenkilöistä noin kolmannes (34,9 %) on järjestöjen ylintä johtoa (toimitus- /toiminnanjohtajia tai pääsihteereitä) ja 59,6 % muita järjestötyöntekijöitä. Vain muutamissa yksittäisissä järjestöissä arvioinnista vastaa erillinen työryhmä tai hallituksen edustaja. 16 p=0,048 16

4 Kehittämishankkeiden ulkoiset arvioinnit Kyselylomakkeessa ulkoinen arviointi määriteltiin seuraavasti: Ulkoisella arvioinnilla tarkoitetaan arviointia, jonka on toteuttanut järjestön ulkopuolinen taho (esim. opiskelija, tutkimuslaitos, yritys, järjestö). Luvun 4 tuloksia tulkittaessa on oleellista tiedostaa, että ne koskevat vain niitä järjestöjä, jotka ovat tilanneet kehittämishankkeiden ulkoisia arviointeja vuosien 2009 2010 välisenä aikana. 4.1 Toteutus ja kohdentuminen Kyselylomake sisälsi kolme valintakysymystä, jotka koskivat kehittämishankkeiden ulkoisten arviointien toteutusta. Kysymysten avulla selvitettiin: 1) Ketkä tai mitkä tahot ovat tehneet kehittämishankkeiden ulkoisia arviointeja? 2) Miten järjestöt ovat hankkineet kehittämishankkeiden ulkoisia arviointeja? 3) Missä vaiheessa kehittämishankkeiden elinkaarta niiden ulkoinen arviointi on tehty? Eniten kehittämishankkeiden ulkoisia arviointeja ovat tehneet opiskelijat, tai arviointi on tehty opinnäytetyönä. Toiseksi eniten arviointeja ovat tehneet yksityiset yritykset. Kehittämishankkeiden ulkoiset arvioinnit on tehty joko loppuarviointina, jatkuvana arviointina tai väliarviointina. Etukäteisarviointina toteutettujen arviointien osuus on selvästi vähäisempi. Suurin osa kehittämishankkeiden ulkoisista arvioinneista on hankittu suorahankintana palvelun tarjoajalta ja vain pieni osa avoimen tarjouskilpailun kautta. Taulukko 2. Kehittämishankkeiden ulkoisia arviointeja toteuttaneet tahot. Arvioinnin toteuttanut taho Lukumäärä (N) Prosenttia (%) Opiskelija/arviointi on tehty opinnäytetyönä 53 24,1 % Yksityinen yritys 39 21,5 % Kolmannen sektorin toimija 29 16,0 % Yliopisto tai muu tutkimuslaitos 27 14,9 % Jokin muu 33 18,2 % Yhteensä 181 100 % Taulukko 3. Kehittämishankkeiden ulkoisten arviointien toteutus. Missä vaiheessa kehittämishankkeen elinkaarta ulkoinen arviointi on tehty? Lukumäärä (N) Prosenttia (%) Loppuarviointina, hankkeen päättyessä tai loppuvaiheessa 65 32,8 % Jatkuvana arviointina, arviointia on toteutettu koko kehittämishankkeen ajan 65 32,8 % Väliarviointina, noin kehittämishankkeen puolessa välissä 56 28,3 % Etukäteisarviointina, ennen suunnittelua ja/tai suunnitteluvaiheessa 12 6,1 % Yhteensä 140 100 % 17

Taulukko 4. Kehittämishankkeiden ulkoisten arviointien hankinta. Miten ulkoinen arviointi on hankittu? Lukumäärä (N) Prosenttia (%) Suorahankintana palvelun tarjoajalta 55 39,3 % Supistetun tai rajatun tarjouskilpailun kautta 33 23,6 % Avoimen tarjouskilpailun kautta 9 6,4 % Jotenkin muuten 43 30,7 % Yhteensä 140 100 % Vastaajille esitettiin yhdeksän väittämäkysymystä koskien kehittämishankkeiden ulkoisten arviointien toteutusta. Vastaajilla on hyvin positiivinen kuva kehittämishankkeiden ulkoisten arviointien toteutuksesta ja lopputuloksesta. Vuorovaikutuksen ulkoisen arvioitsijan kanssa koetaan olleen tiivistä koko arviointihankkeen ajan ja ulkoisia arvioijia pidetään vastausten perusteella hyvin asiantuntevina ja ammattitaitoisina. Arviointien hyödynnettävyyden ja toiminnan kehittämisen kannalta on oleellista, että arvioinneissa esille nousseet havainnot, johtopäätökset ja kehittämisehdotukset koetaan pääsääntöisesti tulleen esitellyksi jäsennellyssä ja selkeässä muodossa, arviointien aikana on tuotettu konkreettisia ehdotuksia ja ideoita toiminnan kehittämiseksi ja että arviointitietoa tuotettiin oikea-aikaisesti kehittämishankkeen kannalta. Ulkoisten arviointien toteuttamisen ei myöskään koeta sitoneen turhan paljon järjestön omaa työpanosta. Kehittämiskohteena järjestöissä näyttäytyy ulkoisten arviointien suunnittelu. Alueellisesti toimivien järjestöjen edustajat suhtautuivat selvästi valtakunnallisten järjestöjen edustajia neutraalimmin väittämään järjestössänne käytettiin riittävästi aikaa ulkoisen arvioinnin suunnitteluun 17. Kehittämishankkeiden ulkoisten arviointien kohdentumista selvitettiin kysymällä, mihin asioihin/osa-alueisiin kehittämishankkeiden ulkoiset arvioinnit kohdistuivat. Valmiiksi määriteltyjä vastausvaihtoehtoja oli 16 kpl (15 + jokin muu, mikä ), joista vastaajat saivat valita yhden tai useamman vaihtoehdon. Vastausten perusteella ulkoiset arvioinnit ovat kohdistuneet useimmiten hankkeen tuloksiin ja välittömiin vaikutuksiin, kehittämistarpeisiin sekä tulosten juurruttamisen edellytyksiin ja/tai mahdollisuuksiin. Myös hankkeiden tavoitteet, yhteistyö sidosryhmien kanssa, kohderyhmien tarpeiden huomioiminen sekä hankkeen hyvät käytännöt ovat olleet usein arviointien keskiössä. Sen sijaan hankkeen toimintaympäristö, pidemmän aikajänteen vaikutukset ja vaikuttavuus, kohderyhmän valinta ja ennen kaikkea toiminnan riskit ovat harvemmin ulkoisten arviointien kohteena. 17 Alueellisesti toimivat järjestöt (ka 3,56, n=62); Valtakunnalliset järjestöt (ka 4,00, n=49); p=0,008 18

Kuvio 3. Vastaajien suhtautuminen kehittämishankkeiden ulkoisten arviointien toteutusta koskeviin väittämiin 18. 18 Keskiarvo asteikolla 1 5; 1 = Täysin eri mieltä, 2 = Jokseenkin eri mieltä, 3 = Siltä väliltä, 4 = Jokseenkin samaa mieltä, 5 = Täysin samaa mieltä 19