Tuloksellisuus- ja vaikutusselvityksen ytimessä -tilaisuus tutkimus- ja arviointiverkostolle, 1.10.2013, Paasitorni/Helsinki RAY:n seurannan asiantuntijoiden vastauksia tuloksellisuus- ja vaikutusselvitystä koskeviin kysymyksiin Lähtökohtia Taustoitukseksi RAY kertoi, että tuloksia ja vaikutuksia koskevassa keskustelussa ja työssä on päästy hyvin eteenpäin ja viesti on otettu hyvin vastaan järjestöjen keskuudessa. Tulosten ja vaikutusten osoittaminen on yhdessä tekemistä, jossa RAY:n roolina on toimia monin paikoin kehittäjinä ja sparraajina. RAY kertoi myös tavoitteekseen muokata edelleen raportointi- ja seurantatoimintaa joustavammaksi niin, että se vastaa paremmin avustuksen saajan tarpeita. RAY:lla on lain velvoite kertoa, mitä avustusvaroilla on saatu aikaan, sekä tehdyn toiminnan laadusta ja tuloksellisuudesta. Tuloksista ja vaikutuksista raportoiminen oikeuttaa RAY:n toimintaa ja perustelee rahojen käyttöä suhteessa kansalaisiin, päättäjiin ja viime kädessä sosiaali- ja terveysministeriöön. On kaikkien etu tietää, mitä julkisella rahalla on tehty. Tuloksellisuus- ja vaikutusselvitykset antavat tietoa järjestöistä ja auttavat tekemään järjestötoimintaa läpinäkyväksi ja tunnetuksi myös paikallistasolla. Panu Laturi SOSTEsta kertoi tulevasta kampanjasta, jonka tarkoitus on tehdä järjestötoimintaa näkyväksi ja tunnetuksi. Rahoituksen myöntämisestä Tämän hetken taloustilanteessa jaetaan niukkuutta. Vuodelle 2014 RAY myöntää avustuksia yhteensä 308 milj. euroa, mistä ns. sitomattoman rahan osuus on noin 40 milj. euroa. On tärkeää, että esim. hankkeiden hyvät toiminnat ja aikaansaadut toimintamallit juurtuvat osaksi järjestöjen perustoimintaa. Koska rahaa on jaossa rajallinen määrä, järjestöjen on hyvä myös miettiä, onko toiminnassa jotain, josta voi luopua. Asioita tulee tehdä yhä enemmän yhdessä ja katsoa, mihin resurssit silloin riittävät. RAY:n rahoituksen myöntäminen ei muutoinkaan perustu parhaimman hakemuksen tai idean avustamiseen. On mentävä tarpeet edellä. Sosiaali- ja terveysjärjestöjen tehtävänä ei ole paikata kuntiin kohdistuvaa miljardileikkausta, mikä on ollut viime aikoina julkisuudessa hyvin voimakkaasti esillä. TVS:stä Tuloksellisuus- ja vaikutusselvityksestä tulee ilmetä, mitä RAY:n avustuksella on tehty, kuinka paljon, kenelle sekä mitä tuloksia ja vaikutuksia toiminnalla on saatu aikaan. Tuloksia ja vaikutuksia tulee peilata suhteessa hakemukseen ja siihen kirjattuihin tavoitteisiin. Oleellista on tarkastella tuloksia ja vaikutuksia myös suhteessa osallistujien kokemaan hyötyyn. RAY on tehnyt seurantakäyntejä avustuskohteisiin kerätäkseen lisäinformaatiota toiminnasta, sen laadusta ja aikaansaaduista tuloksista ja vaikutuksista. Keskustelussa nousi esille, että hyvin usein toimintaa suunnitellaan pitkäjänteisellä aikataululla (esim. 3 v.), jolloin painopisteet saattavat matkan varrella muuttua. Tällöin tulokset ja vaikutukset eivät välttämättä peilaudukaan hakemukseen kirjattuihin tavoitteisiin. TVS-logiikka ei tällöin toimi. RAY:n edustajat korostivat, että olennaista tällöin on kertoa muutoksista rahoittajalle. On ymmärrettävää, että tilanteet muuttuvat.
Aikataulutus ja pakollisuus 1. Tuleeko pakolliseksi kaikille vai vain tietyn avustussumman saajille? Tällä hetkellä TVS-raportointivelvoite kohdistuu 50 000 tai sitä enemmän avustusta saaneeseen toimintaan. Projekteissa raja on 50 000 ja Ak-toiminnoissa 100 000. RAY katsoo, että ei ole tarkoituksenmukaista teettää TVS:n myötä lisätyötä esim. järjestötoimijalle, joka tekee muutoinkin kaikki yksin alusta loppuun. RAY huomautti myös seurannassa toimivan 4,5 henkilöä, jolla on myös rajalliset resurssit käydä selvityksiä lävitse. 2. Millä aikataululla tuloksellisuus- ja vaikutusselvitys on tulossa osaksi järjestöjen yleisavustusten raportointia? 2014 projektit, joiden avustus väh. 50 000 /v. (koskien vuotta 2013) 2015 ak-kohteet, joiden avustus vähintään 100 000 /v. + projektit 2016 yleisavustukset + vähintään 50 000 + projektit Yleisavustuksille tarkoitettu erillinen seurantalomake suunnitellaan ja testataan vuoden 2014 aikana. Pilotointeja on tehty jo 2012-2013 ja siitä saatu palaute huomioidaan kehitystyössä. Koska jaettavat avustussummat ovat hyvin eri suuruisia, se asettaa haasteen rakentaa kysymysrunkoa, johon jokainen pystyisi vastaamaan. Yleisavustusten seurantaan tarkoitettu lomake tulee olemaan yksinkertaisempi kuin nykyinen TVS-lomake ja sisältää todennäköisesti enemmän vapaamuotoisempia kysymyksiä. On kaikkien etu tietää, mitä yleisavustuksella tehdään ja mitä sen avustuksen piirissä kannattaisi tehdä. RAY:ssa näkemys on ollut, että Ay-avustukseen kuuluvat mm. yleishallinto, viestintä ja viestinnälliset toimenpiteet, verkostoitumistoiminta, vaikuttamistoiminta ja edunvalvonta sekä aluetyö. Todettiin myös, että hyvä yleishallinto ja hyvä johtaminen heijastuvat Ak-toiminnan kautta ja yleisavustuksia heijastellaan täten muihin avustuksiin. 3. Kuinka usein selvitys tehdään? Tämä varmistuu ensi vuonna. Tämän hetken näkemys: C-projektit vuosittain Ak-toiminnot joka toinen vuosi Ay-toiminta joka kolmas vuosi 4. Koska saamme järjestökohtaisen palautteen selvityksestä? TVS-vastauksista annetaan ainakin tekninen palaute tyyliin asia kunnossa, vastauksesta sai riittävän kuvan/ei saanut riittävää kuvaa. Tämä tapahtuu Vaikuttavaa -kiertueen jälkeen. Kirjallinen palaute olisi toivottavaa, mutta siihen ei seurannan resursseilla pystytä. Osalla palaute annetaan tai on jo annettu seurantakäyntien yhteydessä, joita avustusosasto tekee. RAY:lla on ollut myös ilo huomata, että yhä useampi on alkanut kirjoittaa projektien loppuraportteja RAY:n antaman suosituksen mukaisesti. Se on suositeltavaa ja toivottavaa jatkossakin. Projektien loppuraportit ovat olleet varsin hyviä ja niistä annetaan kirjallinen palaute jokaiselle järjestölle.
Kokemuksia pilottivaiheesta 5. Vaikuttaako tämän hetken tuloksellisuus- ja vaikutusselvityslomake toimivalta rahoittajan näkökulmasta, täytettyjen lomakkeiden perusteella? Muutetaanko kyselyä saadun palautteen pohjalta? Miten? Ensi vuodelle lomakkeeseen vaihtuu vain vuosiluku. Lomakkeeseen ei ainakaan lisätä mitään, korkeintaan jotain poistetaan ja yksinkertaistetaan seuraavina vuosina. Lähivuosina on myös tarkoitus päästä sähköiseen raportointiin. Tavoitteena on myös keventää RAY:n aiheuttamaa hallinnollista taakkaa, sillä ei ole tarkoituksenmukaista, että RAY:n raportointi vie kohtuuttomasti aikaa. RAY on ylipäätään saanut palautetta siitä, että lomakkeita on paljon ja ne muuttuvat jatkuvasti. TVSlomaketta on tehty järjestöjen kanssa alusta saakka yhdessä ja palautetta järjestöiltä on otettu vastaan. Huonoa palautetta ei ole enää juurikaan tullut. 6. RAY:n tämän hetken kokemus siitä, mikä on ollut tuloksellisuus- ja vaikutusselvityksen keskeinen hyöty/ansio ja mitkä asiat keskeisiä puutteita? Parhaimmillaan hyödyn näkee Vaikuttavaa -kiertueella. Tehdään sote-järjestöjen tekemää työtä näkyväksi ja arvostetuksi. Tämä tekee osaltaan myös pelaamisen hyväksyttävämmäksi. Yksi suuri hyöty on ollut myös se, että tiedetään, mihin toimintoihin pitäisi hakea rahaa, esim. nuoria miehiä ei ole juurikaan tai heitä on hyvin vähän mukana sote-järjestöjen toiminnassa Prosessi on myös tuonut esille ns. kipupisteitä ja tekijöitä, joihin RAY:n pitäisi puuttua sekä yhdessä miettiä, miten ne ratkaistaan. Kipupisteitä tarkemmin tiedusteltaessa mainittiin erityisesti kaksia asiaa. Ensimmäinen koski järjestöjen toteuttamaa ryhmämuotoista kuntoutusta, joka on muodoltaan usein liian internaattipainotteista ja kallista ja avun ulkopuolelle jää useita. Tulee pohtia, voisiko sitä kehittää avomuotoisemmaksi. Toisena asiana mainittiin 1990-luvun puolivälin jälkeen esiintyvä ilmiö tai rakennemuutos järjestökentässä, jossa palkkatyöntekijämäärät ovat nousseet, mutta jaettavan avustuksen määrä ei ole kasvanut samassa suhteessa. Puutteeksi mainittiin myös todellisen vaikuttavuuden mittaaminen, johon TVS:llä ei päästä. Yhteiskunnallisen vaikuttavuuden mittaaminen ylipäätään on haaste, miten sen osoittaa. Haasteeksi ja samalla mahdollisuudeksi mainittiin myös väestön ja järjestötoimintaan osallistuvien ikärakenne. Eläkkeelle on siirtymässä väestöä, mikä tarkoittaa palveluiden tarpeiden kasvua (haaste). Toisaalta eläkkeelle siirtyvillä on myös ensimmäistä kertaa varallisuutta ja halua panostaa omaan hyvinvointiin (mahdollisuus). Miten saadaan eläkkeelle jääviä mukaan järjestötoimintaan tai toisaalta, mitä järjestöt voisivat mahdollisesti tarjota ikääntyville mahdollisesti korvausta vastaan (lahjoitukset tmv.)? Tarkennuksia selvityksen tiettyihin kohtiin/selvennys- ja kehittämistarpeita jatkoon 7. Onko tuloksellisuus- ja vaikutusselvityksessä tarpeen raportoida liiton jäsenyhdistysten omaa toimintaa toiminnan määrän ja laajuuden osalta vai riittääkö se, että raportoidaan se toiminta, jonka liitto itse puhtaasti tuottaa (vaikka kohderyhmänä jäsenyhdistyksen jäsenet)? Riittää, että vain oman järjestön toiminta raportoidaan. Mikäli kuitenkin järjestölle myönnettyä avustusta jaetaan edelleen paikallistasolle (ns. läpivirtaava avustus), tulee raportoida, mitä rahalla on tehty ja saatu aikaan.
8. Toimintaan osallistuneiden lukumäärä on tarkoitus raportoida henkilöiden määrän tasolla. Tämä tulee varmaan olemaan hankalaa, koska tällöin esim. palautteiden osalta pitäisi kysyä henkilön nimi ja verrata sitä kuluvan vuoden muihin palautteisiin (siis onko tämä sama henkilö osallistunut myös muihin tapahtumiin). Onko RAY:llä hyvää vinkkiä tämän ratkaisemiseksi? RAY on saanut palautetta, että seuranta on osassa toimintoja hankalaa. Mikäli on kyse isoista volyymeista, voi käyttää ns. otoksia eli kysyy asioita silloin tällöin tai tietyn seurantajakson aikana. Eli välttämättä seurannan ei tarvitse olla jatkuvaa. RAY:lle on haaste saada tietää, miten paljon samoja ihmisiä on mukana eri toiminnoissa. Jollain tasolla tästä volyymistä pitäisi pystyä kertomaan. Hyvinä esimerkkeinä RAY:n asiantuntijat tiesivät kertoa Mikkelin Esteryn ja Salon Sytyn mallit. 9. Kehittämisprojektien osalta (esim. jonkin uuden toimintamallin kehittämisessä) esim. toimintaan osallistuneiden lukumääriä on hankala määritellä tai niitä ei ole (ovat toki viimekädessä hyötyjiä pitkällä aikavälillä). Riittääkö tällöin, että asia todetaan lisätiedoissa? Ensisijaisesti kehotetaan käyttämään palveluiden käyttäjiä/asiakkaita mallien ym. rakentamisessa. Pääasia TVS:ään raportoinnissa on, että asia kerrotaan niin kuin se on. Mallien ym. kehittäminen on yleensäkin hankkeissa yleistä ja se vie usein paljon resursseja. Malleja suunniteltaessa ja kehitettäessä pitää olla kirkkaana alusta saakka, miten sitä levitetään ja juurrutetaan. Satsaus kehittämisvaiheessa on toki ymmärrettävää, vaikka moni ei vielä silloin mallista tmv. hyödykään. 10. Toimintaamme osallistuneiden työelämästatuksen tarkka tietäminen ei ole meille olennaista. Tuleeko meidän sitä jatkossa kuitenkin kysyä, jotta saamme tiedot selvitykseen? Tarve tietää työelämästatuksesta on tullut ensisijaisesti STM:ltä, jolla oli TVS:lle kolme toivomusta: toimintaan osallistuvien sukupuolijakauman selvittäminen, toiminnan volyymin kartoittaminen, tieto toiminnassa mukana olevien henkilöiden ikärakenteesta ja työelämästatuksesta. Yleisöstä esitettiin myös kanta, että tietojen kysyminen voi hankaloittaa osallistumista ja se ei ole välttämättä matalan kynnyksen toimintaan sopivaa. Toisaalta oli koettu myös vastakkaisia kokemuksia, kun työelämästatuksen kysymisen lähtökohdaksi otettiin se, mitä hyötyä järjestöllä mahdollisesti voisi olla siitä, että heillä on tietoa osallistuneiden taustoista ja osaamisesta. Se voi antaa tietoa myös toiminnan kehittämiseksi. Mikäli tietoa ei ole sen takia, ettei se ole relevanttia, mutta olettamus siitä, että suurin osa on esim. työssäkäyviä (mikäli kohteena ovat esim. jäsenyhteisöt), voi tämän mainita selvityksessä, vaikkei tarkkoja lukumääriä olekaan. 11. Mikä tavoite ja merkitys on kysyä yhteistyökumppaneiden kokemuksia toiminnasta? Onko ajatus se, että yhteistyökumppanit arvioivat toimintaa ja sen tuloksia omasta näkökulmastaan sillä kokemuksella, joka heillä yhteistyön tuloksena on vai olisiko esim. palautekyselyn yhteyteen mahdollista tai jopa suotavaa laittaa lyhyt kooste esim. viime vuoden toiminnasta ja tuloksista ja he arvioisivat toimintaa myös sen valossa? Kumppanuuden olisi tarkoitus hyödyntää molempia osapuolia ja kumppaneiden kanssa tulisi aidosti tehdä yhteistyötä. Ns. kulissikumppanuuksista voi luopua ja keskittyä oleellisiin kumppaneihin. Kumppaneiden määrä ei sinänsä ole olennaista.
Määrä, laatu ja luotettavuustekijät/indikaattorit 12. TVS:n tärkeä osa ovat asiakkaiden/kohderyhmän palautteet toiminnasta. Miten suhtaudutaan itse tehtyihin kyselyihin, joissa itse laadimme lomakkeen, toteutamme kyselyn ja voimme jopa joutua auttamaan osaa asiakkaista lomakkeen täyttämisessä? Miten RAY suhtautuu tulosten arvoon ja luotettavuuteen tällaisessa tapauksessa? Ulkopuolinen arviointi/kyselyn toteuttajakaan ei ole mahdollinen, sillä asiakkaiden kielitaito ja kommunikaatiotapa voi olla erityinen eli mikä tahansa lomake ei heille käy. Vastaus: Itse tehtyihin kysymyksiin kannustetaan, rakastetaan ja tsempataan. 13. Indikaattorilomake on haasteellinen. Mistä saisi tukea ja neuvoa indikaattorityöhön? Indikaattorilomakkeesta ei saada koskaan niin toimivaa, että se tyydyttäisi täysin kaikkia. Tärkeimmät indikaattorit ovat toiminnan volyymia kuvaavat tunnusluvut sekä työelämästatus. RAY:n asiantuntijat toteavat, että yhtenäiseen lomakkeeseen ja tapaan on vielä matkaa. Kun sellainen syntyy, tietoakin saadaan raportoitua helpommin. Monet pohtivat, mitkä indikaattorit olisivat järkeviä. Tähän kannattaa ottaa hakemus lähtökohdaksi ja nostaa siellä esiin tavoitteet ja toimenpiteet ja aloittaa indikaattoreiden rakentaminen sitä kautta. Apua saa RAY:n seurannasta ja mm. SOSTElta. 14. Määrä vastaan laatu. Näyttäisi siltä, että selvityksessä korostuu määrällinen tulos. Tämä on ymmärrettävää. Monen järjestön toiminta voi kuitenkin kohdistua hyvinkin pieneen joukkoon ihmisiä, mutta lisätä merkittävästi näiden ihmisten elämänlaatua. Miten saamme onnistuneesti kirjattua tämän työn arvon ja laadun ja korostettua sen merkitystä selvityksessä? RAY:n asiantuntijat eivät koe, että selvityksessä korostuisi määrällinen tulos. He totesivat pienen olevan kaunista ja tuloksellista ja joskus jopa laadukkaampaakin. Tässä kohtaa he toivat tosin esille seurannan myötä syntyneen havainnon, jossa vastaavaa toimintaa on tehty eri kustannuksilla ts. toinen järjestö saa toteutettua vastaavaa toimintaa pienemmällä rahalla suuremmalle joukolle ihmisiä kuin joku toinen järjestö. Tästä on herännyt kysymys, mitä järjestöissä tehdään eri tavalla. RAY korostaa vertailukehittämistä ja toisilta oppimista. Muut kysymykset 15. Millaisen prosessin selvityslomakkeet käyvät läpi RAY:ssa sinne saapuessaan? Katsotaan, ovatko kaikki vastaukset tulleet ja peräänkuulutetaan mahdollisesti myöhästyneitä. Tämän jälkeen hakemukset on jaettu 8-9 kokonaisuuteen 4,5 seurannassa toimivalle työntekijälle. Heinäkuussa suurin osa vastauksista pitäisi olla analysoituna ja avustusvalmistelun käytössä. Näin yksinkertaisuudessaan. Monia polkuja on kuitenkin matkassa, kuten hakemusten lukeminen, nettisivuihin tutustuminen, puhelinsoitot ja tsekkaukset, kollegoiden kanssa keskustelut jne. Erityisesti tämä kierros on luettu kehittävien silmälasien läpi. RAY:n asiantuntijat kokevat harmilliseksi sen, ettei järjestöille pystytä antamaan isompaa palautetta.
16. Sisäinen vai ulkoinen hankearviointi? Edellyttääkö RAY ulkoista arviointi joissakin tilanteissa/hankkeissa? Ulkoinen hankearviointi ei ole pakollista ja siihen ei kannata laittaa ainakaan liikaa resursseja. Jos ulkoista arviointia pyytää, on olennaista, että niistä aidosti saa jotain. Vertaisarviointi voi olla yhtä toimiva vaihtoehto ja hyödyntää järjestökumppaneita arvioinnissa. Puhtaasti ulkoisen sijaan myös ulkoinen asiantuntija-apukin voi olla hyvä ja tarpeen. Isommissa hankinnoissa tulee myös vastaan hankintalaki, joka kannattaa muistaa.