Hankkeiden toiminnan ja tuloksellisuuden arviointi

Transkriptio

1 Hankkeiden toiminnan ja tuloksellisuuden arviointi TURVALLINEN HUOMINEN RAKENNETAAN TÄNÄÄN Rikoksentorjuntaseminaari turvallisesta kaupunkiympäristöstä ja syrjäytymisen ehkäisemisestä Avustusosasto, Tuomas Koskela,

2 Taustaa.. Arviointitoiminta on lisääntynyt määrällisesti räjähdysmäisesti luvulta lähtien. On alettu puhua arvioinnin yhteiskunnasta, missä korostuvat tuloksilla ohjaaminen, vaikuttavuustavoitteet, tilivelvollisuus sekä näyttöön perustuva toiminta ja sen suunnittelu. Erityisesti vaikuttavuuden (tai edes tulosten ja vaikutusten) osoittaminen on tullut eri toimijoille (mukaan lukien kolmannen sektorin toimijat) entistä tärkeämmäksi viime vuosien aikana. Taustalla on ajatus, että rajallisilla resursseilla saadaan mahdollisimman paljon hyvää aikaiseksi toiminnan kohteille. Kolmannen sektorin järjestöjen voidaan ajatella olevan tilivelvollisia järjestön ja sen toiminnan luonteen mukaan erityisesti jäsenistölleen, rahoittajilleen sekä muille sidosryhmille. Avustusosasto, Tuomas Koskela,

3 Kehittämishankkeiden arvioinnin tila järjestöissä Keväällä 2011 RAY teetti kyselyn arvioinnin tilasta järjestöjen keskuudessa. Kysely osoitettiin vuosina 2009 ja 2010 RAY:ltä projektiavustusta saaneille järjestöille (n=545). Ulkopuolelle rajattiin järjestöt, jotka olivat saaneet RAY:ltä vain investointiavustusta. Kyselyyn vastasi yhteensä 420 järjestöä vastausprosentin ollessa noin 77 %. Kyseessä ensimmäinen kerta, kun täysin vastaavanlainen tutkimus toteutetaan. Avustusosasto, Tuomas Koskela,

4 Muutamia poimintoja kyselytulosten pohjalta Arviointikäytännöt ovat hyvin vaihtelevia ja yhteinen kehittämishankkeiden arviointikulttuuri puuttuu sosiaali- ja terveysalan järjestöjen keskuudesta. Noin kolmannes järjestöistä ei ole toteuttanut lainkaan omien kehittämishankkeiden arviointeja vuosien välisenä aikana. Arvioinnin mahdollisuuksia hanketoiminnan kehittämisessä ei ole sisäistetty kuin osassa järjestöjä. Läheskään kaikissa järjestöissä ei ole riittävästi osaamista toteuttaa arviointia itse tai tilata hanketta koskeva ulkoinen arviointi. Arviointiin suhtaudutaan varsin positiivisesti järjestöjen keskuudessa. Resurssien ja osaamisen puute arviointiin liittyen ovat ilmeisiä varsinkin pienempien järjestöjen keskuudessa. Itsearviointien toteuttaminen kehittämishankkeissa on ollut selvästi yleisempää kuin ulkoisten arviointien tilaaminen. Vain pienessä osassa järjestöjä kehittämishankkeiden itsearvioinnit ja ulkoiset arvioinnit nähdään toisiaan tukevina välineinä hanketoiminnan kehittämisessä. Kehittämishankkeiden arvioinnit ovat tarjonneet aidosti välineitä toiminnan kehittämiseen järjestöissä. Vain hieman yli neljäsosalla järjestöistä on erikseen nimetty henkilö, jonka vastuulla omaa toimintaa ja kehittämishankkeita koskeva arviointitoiminta on. Avustusosasto, Tuomas Koskela,

5 Arvioivan ajattelun puuttuminen hankkeissa Valmistelu on puutteellinen ei kartoitettu riittävän hyvin lähiympäristön/kohderyhmien tarpeita. Projekti-idea ei ole kirkas kuin osalle mukana olevista toimijoista. Kaikki eivät ymmärrä tavoitteiden ja toimenpiteiden välistä eroa. Projekti jää irralliseksi taustaorganisaation perustehtävästä eikä tue strategian toteutumista. Kehittämisvastuu ulkoistetaan projektihenkilöstölle ja projektille. Omaa toimintaa ei tarkastella kriittisesti eikä systemaattisesti - itsearvioinnin puuttuminen! Projektisuunnitelmaa ei uskalleta muuttaa/päivittää. Eikä myöskään toteutustapoja vaihtaa, vaikka ne osoittautuisivat toimimattomiksi. Aikapula, sammutetaan tulipaloja jatkuvasti. Ei aikaa arvioivalle ajattelulle, oppimiselle eikä systemaattiselle kokemusten siirrolle. Tiedon kulku ja kokemusten vaihto eri projektien kesken ontuu ja päätä lyödään samaan seinään toiminta-alueesta riippumatta. Avustusosasto, Tuomas Koskela,

6 Mitä voitaisiin arvioida (jotta se tukisi tuloksellista hanketoimintaa), esimerkkejä.. Projektin tarvelähtöisyys Tavoitteiden jäsentyneisyys ja realistisuus Kohderyhmien rajaus ja valinta Resursointi ja resurssien kohdentaminen (tavoitteiden kannalta oleellisiin asioihin) Toimenpiteiden kohdentuminen (tavoitteiden mukaisiin asioihin) ja eteneminen Organisointi ja johtaminen, vastuut ja tehtävänkuvat Taustaorganisaation tuki sekä yhteistyökumppaneiden sitoutuminen ja roolit Ohjausryhmän sitoutuneisuus ja toiminta Viestintätoimenpiteet Hyvien käytäntöjen levittäminen ja hyödyntäminen Tulokset ja vaikutukset SUHTEESSA TAVOITTEISIIN SEKÄ LOPPUKÄYTTÄJIEN KOKEMAAN HYÖTYYN Avustusosasto, Tuomas Koskela,

7 Toimenpiteiden (etenemisen) arviointi hankkeissa (ESTER-hanke) Aluksi määritellään ja kirjataan toimenpiteet kunkin tavoitteen saavuttamiseksi. Arvioidaan toimenpiteiden toteutuksen astetta : 1=Toimenpide on suunnitteluasteella 2=Toimenpide on suunniteltu, ollaan keskustelutasolla 3=Käytännön toimenpiteitä on tehty ja siitä on näyttöä 4=Toimenpiteitä on arvioitu ja edelleen kehitetty sen pohjalta 5=Toimenpiteet ovat vakiintuneet Voidaan myös arvioida, onko toimenpide tehty? Kyllä Ei Osittain Toteutustapoja: Kysely + työpaja/purkutilaisuus Yhdessä keskustellen, muodostetaan yhteinen näkemys 1-2 kertaa vuodessa, ryhmän tai kurssin päättymisen jälkeen Avustusosasto, Tuomas Koskela,

8 Toimenpiteiden (etenemisen) arviointi hankkeissa (soveltaen KEVA, POKA-hankkeen Arviointitutka) Arvioidaan yhteisesti keskustellen (kehittämis)toiminnan tämän hetkistä tilannetta ja jatkokehittämisen tarpeita. Kutakin osa-aluetta arvioidaan asteikolla Arvioitavan asian tilanne järjestössä on hyvin alkuvaiheessa, vasta ensiaskeleita otettu 2. Edellistä astetta kehittyneempi tilanne 3. Kohtalainen, keskimääräinen tilanne, jossa on kuitenkin vielä selvästi parannettavaa 4. Hyvä tilanne, jossa on vielä jonkin verran kehitettävää 5. Toiminta/kehittäminen on loppumetreillä, lähes tavoitellussa tilassa Jokaiselle arviolle annetaan myös lyhyt sanallinen perustelu. Vastaukset kirjataan ja niitä hyödynnetään vertaisarvioinnissa muiden toimijoiden kanssa. Esimerkiksi järjestön eri yksiköt tai hankkeet tekevät oman arvion ja tulokset käsitellään yhdessä. Voidaan hyödyntää myös yhdessä toisen/muiden järjestöjen kanssa. Avustusosasto, Tuomas Koskela,

9 Arviointi kokonaisvaltaisena prosessina Avustusosasto, Tuomas Koskela,

10 Kohti tuloksellisuuden ja vaikutusten arviointia Usein kysytään valmiita mittareita vaikutusten tai vaikuttavuuden arviointiin? Helppo kysyä, mutta vaikea antaa Mitä tarkoittaa vaikutus? = seuraus toiminnasta Mitä tarkoittaa vaikuttavuus? Oleellista määritellä, mitä toiminnalla tavoitellaan? Muutosta/kehitystä kohderyhmässä tms. Nykytilan ylläpitämistä (esim. terveys, toimintakyky, elämänlaatu, mieliala ) Nykytilan mahdollisimman vähäistä heikkenemistä yms. Useimmiten kuvataan rahoitushakemuksessa. Arvioinnin tekemistä varten tarvitaan tietoa nyky-/lähtötilanteesta Jos tavoitellaan muutosta tai kehitystä jossain asiassa, tulisi määritellä mitä, millaista tai kuinka paljon. Usein perusteltua määritellä toiminnan välitavoitteita = muutoksia, joiden voidaan olettaa olevan askel kohti perimmäistä tavoitetta. Kun tavoitteet on selvät, tulee määritellä keinot/toimenpiteet, joilla tavoitteisiin pyritään. Vasta tämän jälkeen voidaan alkaa pohtimaan, arvioidaanko/seurataanko toimenpiteiden etenemistä, tavoitteiden saavuttamista, toiminnan seurauksia, hyötyä Avustusosasto, Tuomas Koskela,

11 Miten arvioida tuloksia, vaikutuksia tai jopa vaikuttavuutta? Fyysistä (terveyden)tilaa tai muutosta siinä voidaan mitata ja seurata useilla eri menetelmillä/mittareilla. Esim. verenpainetta, kolesterolia, lihasvoimaa ja -kestävyyttä, vyötärön ympärystä, painoindeksi yms. Lähtötason mittaus, seuranta toiminnan aikana tietyn ajan kuluessa toiminnan päättymisestä. Jos halutaan aidosti arvioida, johtuiko muutos xxxx toiminnasta, olisi vertailuryhmän hyödyntäminen perusteltua. Luotettavin Ei päästä kuitenkaan kiinni, mitä ihmiset tekevät vapaa-ajallaan (silloin kun eivät osallistu järjestön toimintaan) Kallista ja aikaa vievää Koettujen asioiden osalla haastavaa arvioida suoraan, johtuuko muutos xxxx toiminnasta. Esim. Elämänlaatu, hyvinvointi, jaksaminen, arjessa selviäminen, osallisuus Toisaalta onko sillä väliä, jos osallistujat kokevat elämälaatunsa parantuneen yms. toimintaan osallistumisen seurauksena (mikäli se on tavoitteena)? Kyselyt ja/tai haastattelut käyttökelpoisia menetelmiä Havainnointi Entä syrjäytyminen tai sen ehkäisy, työllistyminen, terveyttä ja hyvinvointia koskevat tiedot ja elintavat, julkisten palveluiden käyttö? Tilastot seuranta, vertailu, kaltaistaminen (THL:n ATH-tutkimus) Havainnointi Avustusosasto, Tuomas Koskela,

12 Seuranta ja arviointi RAY-rahoitteisessa toiminnassa Avustusosasto, Tuomas Koskela,

13 RAY:n tuotot kehittyvät toistaiseksi, myös ottajia riittää Enemmistö suomalaisista kannattaa RAY:n yksinoikeusasemaa Kannatus kotimaassamme perustuu siihen, että tuotot käytetään yleishyödyllisiin tarkoituksiin. Järjestöjen ja RAY:n on kyettävä yhdessä yhä selkeämmin osoittamaan, että avustuksiin käytetyt varat todella luovat hyvinvointia. RAY pyrkii hoitamaan oman tonttinsa rahapelitoiminnassa niin, että avustuksiin käytettävissä olevien varojen kasvu on kestävää ja pitkäjänteistä. Avustusosasto, Tuomas Koskela,

14 RAY:n toimintaa säädellään laeilla ja asetuksilla Mm: Arpajaislaki Laki raha-automaattiavustuksista Asetukset ja luvat Valtioneuvoston asetus Raha-automaattiyhdistyksestä Valtioneuvoston asetus Raha-automaattiyhdistyksen rahapelien toimeenpanosta SM:n asetus Raha-automaattiyhdistyksen rahapelien pelisäännöistä Avustusosasto, Tuomas Koskela,

15 Myös seurannan lähtökohta löytyy laista 21 Rahapeliyhteisön valvontatehtävä Rahapeliyhteisön on huolehdittava avustuksen asianmukaisesta ja riittävästä valvonnasta hankkimalla avustuksen käyttö- ja seurantatietoja sekä muita tietoja samoin kuin tekemällä tarvittaessa tarkastuksia. Rahapeliyhteisön on sopivalla tavalla seurattava myönnettyjen avustusten käytön tuloksellisuutta ja tarkoituksenmukaisuutta sekä niiden vaikutuksia kilpailuun ja eri väestöryhmien asemaan samoin kuin niiden muita vaikutuksia. Rahapeliyhteisön on määräajoin arvioitava avustusten tarpeellisuutta ja kehittämistarpeita. Avustusosasto, Tuomas Koskela,

16 Seuranta ei valvo vaan kehittää Seurannan tavoitteena on Auttaa löytämään ja levittämään hyviä käytäntöjä. Paneutua syvällisemmin juurruttamisen haasteisiin. Välttää uusimasta vähemmän onnistunutta tekemistä. Avustusosasto, Tuomas Koskela,

17 Tuloksellisuus- ja vaikutusselvitys I Arvio tavoitteiden saavuttamisesta ja toimintaan liittyvistä kehittämistarpeista Tiivis kuvaus avustetun toiminnan sisällöstä Toteuman arviointi suhteessa tarkastelukauden tavoitteisiin Analyysi, mitä saavutettiin ja miksi, mitä jäi saavuttamatta ja miksi? Kokonaisarvio toiminnasta Arvio aikaansaaduista tuloksista ja vaikutuksista Mitä johtopäätöksiä kerätyn seurantatiedon perusteella on tehty toiminnan vahvuuksista ja kehittämistarpeista? Toimivat käytännöt ja menestystekijät Haasteet ja toiminnalliset heikkoudet, uudet painopistealueet Toiminnan kehittämissuunnitelma: Konkreettiset kehittämisehdotukset. Jos mahdollista myös aikataulu ja vastuuhenkilöt (osatavoitteet + resurssit) Lyhyt / pitkä aikaväli Avustusosasto, Tuomas Koskela,

18 Tuloksellisuus- ja vaikutusselvitys II Toiminnan määrää ja laajuutta kuvaavat tiedot (esimerkkejä) Avustuskohteella työskennelleet henkilöt tarkastelukaudella: Palkattuja työntekijöitä - määrä henkilöinä Palkattuja työntekijöitä - määrä henkilötyövuosina Harjoittelijoita (sis. myös oppisopimuskoulutuksessa olevat ja tukityöllistetyt yms.) - määrä henkilöinä Vapaaehtoistoimijoita - määrä henkilöinä Aktiivisia vapaaehtoistoimijoita - määrä henkilöinä Lisätietoja (vapaa tekstikenttä) Avustuskohteella työskennelleiden palkattujen työntekijöiden nimikkeet ja tehtävänkuvat (tiiviisti) tarkastelukaudella Avustetun toiminnan keskeisimmät kohderyhmät tarkastelukaudella (monivalintakysymys) Avustusosasto, Tuomas Koskela,

19 Tuloksellisuus- ja vaikutusselvitys II Toiminnan määrää ja laajuutta kuvaavat tiedot (esimerkkejä) Järjestön jäsenmäärä yksittäisiä henkilöitä yksittäisiä järjestöjä Avustettuun toimintaan osallistuneiden lukumäärä (yksittäisiä henkilöitä, kaikki toimintaan osallistuneet) Osallistujien määrä ikäryhmittäin sukupuolen mukaan: 0-6, 7-17, 18-29, 30-62, 63-79, 80< Osallistujien työelämästatus: Avustusosasto, Tuomas Koskela,

20 Tuloksellisuus- ja vaikutusselvitys III-VI III Työntekijöiden näkökulma IV Vapaaehtoistoimijoiden näkökulma V Osallistuja/kohderyhmänäkökulma VI Yhteistyökumppaneiden näkökulma 1. Näkemykset avustetun toiminnan sisällöstä ja toteutustavasta 2. Näkemykset avustetun toiminnan keskeisimmistä tuloksista ja vaikutuksista 3. Näkemykset avustetun toiminnan kehittämistarpeista Avustusosasto, Tuomas Koskela,

21 KIITOS! Avustusosasto, Tuomas Koskela,