VAPAAEHTOISTOIMINNAN VAIKUTTAVUUDEN MITTAAMINEN -SEMINAARI 3.5.2017 Hamina
Vapaaehtoistyö näkyväksi - kuinka mittaan ja todennan vapaaehtoistyön tuloksellisuutta? Samuli Koiso-Kanttila STM / STEA
Miten ja mitä mitataan? Mittaa tehokkaalla tavalla tavoitteen mukaista muutosta!
Tavoitteena aktiivinen ja monipuolinen järjestötoimijoiden kenttä Avustustoiminnan pitkän tähtäimen tavoite: Suomessa on tulevaisuudessakin monipuolinen ja aktiivinen järjestötoimijoiden kenttä, jossa aikaansa seuraavilla ja yhteistyökykyisillä järjestöillä on hyvät mahdollisuudet edistää kansalaisten terveyttä ja sosiaalista hyvinvointia. STEA -avustuksilla luodaan kestävät edellytykset vireälle kansalaistoiminnalle jatkuvasti muuttuvassa yhteiskunnassa ja toimintaympäristössä. Vapaaehtoistoiminnan kuluista noin neljännes tulee (ent. RAY:n) STEAn rahoituksesta
Keskiössä pitää olla ihmisten auttaminen! Ennalta ehkäisevä toiminta ja avun ja tuen tarjoaminen sitä tarvitseville ovat järjestötoiminnan keskeisiä elementtejä. Tarjottava apu ja tuki tulee kohdentaa sitä eniten tarvitseville. Vapaaehtois- ja vertaistoiminan tuloksellisuuden mittaamisen haasteena: Järjestötoiminnan keskipisteenä ovat ne ihmiset, joiden hyvinvoinnin edistämistä toiminnalla tavoitellaan.
Kannustamme järjestöjä uudistumaan Haluamme tukea ja kannustaa sosiaali- ja terveysalan järjestöjä kehittämään aktiivisesti toimintojaan vastaamaan yhteiskunnan jatkuviin muutoksiin ja yksilöiden muuttuviin tarpeisiin. Toimimme järjestöjen kehittämiskumppanina. Jotta avustuksen myöntämisen yleiset ehdot toteutuvat tulee avustuksen hakijoiden panostaa omalta osaltaan: toimintaympäristön seuraamiseen sekä aktiiviseen muutostarpeiden ja - mahdollisuuksien tunnistamiseen kohderyhmän osallistamiseen toiminnan sisältöjen suunnitteluun ja kehittämiseen, toiminnan tavoitteellisuuteen ja konkreettisten tavoitteiden asettamiseen hakemuksen kohteena olevalle toiminnalle arvioivaan ja kehittävään työotteeseen ja yhteistyöhakuisuuteen sekä muiden kolmannen sektorin toimijoiden, julkisen sektorin että yksityisen sektorin toimijoiden kanssa.
Toimintaympäristötieto tukee avustusten kohdentamista STEA seuraa myös itse aktiivisesti toimintaympäristöä ja siinä tapahtuvia muutoksia. STM yhteyden tiivistyminen mahdollistaa entistä herkemmin uudenlaisen tiedon äärelle pääsyn Hyödynnämme seuranta- ja toimintaympäristötietoja avustusten suuntaamisessa sekä avustetun toiminnan kehittämisessä. Arvioidessamme avustushakemuksia kiinnitämme erityistä huomiota toiminnan tarvelähtöisyyteen.
Vapaaehtoisuus muutoksessa!? Vuosien sitoutumisesta järjestöön ja sen arvoihin kohti instant pistäytymistä tai verkon yli auttamista? Kuinka välittää arvot? Kuinka pitää huoli riittävästä koulutuksesta? Kuinka tarjota erilaisille toimijoille toivotunlaista osallistumista? Kuinka tarkistaa tasalaatuisuus verkkotoiminnassa?
Vapaa- ja vertaistoiminnan motivaatiot POHDINTA JATKU- VUUS ANTAMINEN LÄHEISYYS ETÄISYYS SAAMINEN UUDEN ETSINTÄ TOIMINTA
Muutamia keskeisiä käsitteitä Toimenpiteillä tarkoitetaan sitä käytännön tekemistä sekä niitä keinoja ja tapoja tehdä työtä, joilla tavoitteet pyritään saavuttamaan. Kyse voi olla suoraan kohderyhmille suunnatuista toimenpiteistä (esim. koulutukset tai ryhmätoiminta) tai suunnittelu- ja valmistelutyöstä, mikä ei näy kohderyhmille Tuloksilla ja vaikutuksilla tarkoitetaan niitä asioita ja kehitystä, joita toiminnalla on saatu aikaiseksi. Oleellista on kyetä erottamaan toimenpiteet tuloksista ja vaikutuksista. Esimerkki: Koulutustilaisuus on toimenpide tai keino, jonka avulla pyritään lisäämään osallistujien valmiuksia toimia vapaaehtoisena. Koulutuksena tuloksena osallistujien valmiudet ja vapaaehtoistoimintaan liittyvä osaaminen ovat mahdollisesti lisääntyneet. Tämän seurauksena (=vaikutus) vapaaehtoistoiminta on aikaisempaa laadukkaampaa ja vastaa paremmin kohderyhmien tarpeisiin ja Tuloksia ja vaikutuksia tulisi tarkastella erityisesti suhteessa toiminnalle asetettuihin tavoitteisiin: Mitä olemme saaneet aikaiseksi suhteessa tavoitteisiin? Oleellista on arvioida, miten kohderyhmät ovat hyötyneet toiminnasta
Lähestymistapoja vaikutuksiin ja niiden arviointiin.. Ei ole olemassa yhtä oikeaa vaikutusten arvioinnin ideaa vaan useita erilaisia tapoja järkeillä vaikutuksia Vaikutusten käsite on moniselitteinen. Erilaisia vaikutusten tyyppejä ovat mm.*: Kohderyhmä(potilas/asiakas)-vaikutukset ja yhteiskunnalliset vaikutukset Toimenpiteiden vaikutukset kohdentuvat eri alueille ja säteilevät eri laajuisesti. Siten voidaan erottaa välittömästi asiakkaaseen, kansalaiseen tai kuntalaiseen kohdistuvat vaikutukset sekä laajemmin yhteiskuntaan liittyvät vaikutukset. Määrälliset ja laadulliset vaikutukset Tämä ero on nähty tärkeäksi palveluissa: palvelu voi olla määrällisesti riittävä, mutta laadullisesti heikko. Subjektiiviset ja objektiiviset vaikutukset Asiakas kuvaa subjektiivisen, omaan kokemukseensa perustuvan näkemyksen, mutta samaa palvelua voidaan katsoa myös puolueettomammasta, objektiivisesta näkökulmasta. *Meklin 2001
Lähestymistapoja vaikutuksiin ja niiden arviointiin.. Jatkuu:* Lyhyt- ja pitkäkestoiset vaikutukset Osa vaikutuksista on lyhytaikaisia ja välittömiä, osa pitkäaikaisia. Palvelut ja etuudet voidaan nähdä investointeina, joiden elinkaari voi olla pitkä. Päätöksenteon ja budjetoinnin ongelma on se, että kustannukset syntyvät ensin ja hyödyt ilmenevät ehkä vasta tulevina vuosina. Ulkoisvaikutukset Kyse on vaikutuksista, jotka lähinnä pitkällä aikavälillä näkyvät muualla kuin siellä, mihin voimavarat on kohdennettu. Ne voivat ilmetä esimerkiksi toisen hallintosektorin toimialueella. Myönteiset ja kielteiset vaikutukset Tärkeää olisi sekä myönteisten että kielteisten vaikutusten tunnistaminen ja näiden huomioon ottaminen. Odotetut ja odottamattomat vaikutukset Usein odotetaan myönteisiä vaikutuksia, mutta osa vaikutuksista saattaa olla odottamattomia ja kielteisiä. *Meklin 2001
Vaikutusten tyyppejä.. VAIKUTUKSET Aiotut vaikutukset Ei-aiotut vaikutukset Hyödylliset (nollavaikutukset) Kielteiset Hyödylliset Kielteiset Vaikutusten Ensisijaiset Toissijaiset Jne. Ensisijaiset Toissijaiset Jne. tärkeys Ensisijaiset Toissijaiset Jne. Ensisijaiset Toissijaiset Jne. Välittömät Välilliset Välittömät Välilliset ajallinen frekvenssi Välittömät Välilliset Välittömät Välilliset Pysyvät Väliaikaiset Pysyvät Väliaikaiset ajallinen pysyvyys Pysyvät Väliaikaiset Pysyvät Väliaikaiset Lähde: Vedung 1997; Virtanen 2007
Vaikutuksia vai vaikuttavuutta? Ensin tulee tulokset, jotka vaikuttavat jotenkin ja johonkin, vaikuttavuutta voidaan selvittää vasta tämän jälkeen Tavoitelähtöisessä vaikuttavuuden arvioinnissa selvitetään, miten hyvin toiminnalle asetetut tavoitteet on saavutettu. Tavoitteiden saavuttamisen aste toiminnan hyvyyden tai onnistuneisuuden kriteeri. Taustalla on rationaalisen päätöksenteon malli: suunnittele ensin ja tee sitten. Julkisessa hallinnossa tavallisin lähtölähtökohta.
Vaikutuksia vai vaikuttavuutta? Kun vaikuttavuus samaistetaan vaikutuksiin, määritellään vaikuttavuus erotukseksi toimimisen ja toimimattomuuden välillä = jonkin intervention toteuttamisen tai toteuttamatta jättämisen välillä. Tällöin vaikutukset tarkoittavat olemassa olevan tilan muuttamista, säilyttämistä tai estämistä. Esim. kuntoutusintervention avulla voidaan pyrkiä pitkäaikaistyöttömän henkilön terveyden ja työkyvyn sekä muiden työmarkkinavalmiuksien parantamiseen tai säilyttämiseen, mutta yhtä hyvin joidenkin asioiden, kuten työkyvyttömäksi joutumisen, estämiseen. Edellyttää ajallista vertailua sekä kokeellisia tai puolikokeellisia tutkimusasetelmia. Hankkeissa käytetään koe- ja kontrolliryhmiä tai tehdään tilastollista vertailua.
Vaikutuksia vai vaikuttavuutta? Vaikuttavuuden selvittäminen edellyttää sen alueen kirkastamista, johon toiminnalla on kulloinkin mahdollista vaikuttaa. Vaikuttavuuden arviointi sisältää oletuksia syy-seuraussuhteista ja vaikutusten mekanismeista Vaikuttavuuden arviointia mutkistaa syy-seuraussuhteiden monimutkaisuus. Vaikuttavuudessa kyse siitä, että saavutetut tulokset ovat tehtyjen toimenpiteiden seurausta. Vaikuttavuustieto pitää yleensä hankkia etuuksien ja palvelujen käyttäjiltä huomattavan aikaviiveen jälkeen Siten vaikuttavuustiedon hankinta vaatii usein suurehkoja kustannuksia ja edellyttää pitkää aikajännettä ja huomattavaa työpanosta Vaikuttavuustiedon hankaluus on se, että monet uudistusten, toimintojen, palvelujen ja etuuksien vaikutukset saattavat ilmetä vasta pitkien aikojen päästä
INDIKAATTORI/MITTARI = TUNNUSLUKUJA EDELLYTTÄÄ MÄÄRÄLLISTÄ MITTAAMISTA/ TILASTOINTIA/ LUOKITTELUA
Vapaaehtois- tai vertaistoimintaa kehitettäessä ja mitatessa On hyvä: Pohtia osallistumisen ja tekemisen motiiveja (mitata/kirjata niitä) Pohtia miten ne vaikuttavat asetetun tavoitteen saavuttamiseen (mitata ja kirjata niitä) Kirjata reklamaatiot, pettymykset, poisjäämisen syyt, ärtymykset Kirjata mahdollisia uusia kehitysideoita Pohtia ja kirjata mahdollisia mekanismeja joilla toiminnat vaikuttavat tulokseen tai mitkä toiminnat eivät suoranaisesti vaikuta lainkaan vaikuttavan tulokseen.
Osallistumisen syyt järjestötoimintaan (yleisesti) Mielekäs, kiva ja/tai kehittävä tekeminen (%) Oppia uusia asioita ja saada tietoa (%) Tutustua uusiin ihmisiin (%) Kuulua johonkin ryhmään (%) Halu auttaa muita ihmisiä (%) Tapaa muita samassa tilanteessa olevia ja saada vertaistukea (%) Olla mukana lapsen tai lasten harrastuksissa (%) Vaikuttaa yhteiskunnallisiin asioihin (%) Saa apua ja/tai tukea elämäntilanteeseen (%) Vapaaehtoistyöstä on hyötyä opiskelussa ja/tai työelämässä (%) 54,8 54 53,8 34 33 33,5 30,1 29,8 29,1 27,9 25,9 25,5 21,7 20,6 20,4 18,4 17,9 17,8 16,9 17,3 17,3 12,1 11,2 11,8 8,2 8,7 8,6 5,9 6,3 6,3 0 10 20 30 40 50 60 Prosenttia (%) 2015 2014 2013 ATH 2013-2015, THL
Osallistumattomuuden syyt Ei koe tarvetta (%) 57,6 56,9 56,5 Ajanpuutteen takia (%) 24,1 24,4 24,9 Kiinnostavaa toimintaa ei järjestetä lähiympäristössä (%) Ei riittävästi tietoa lähiympäristön järjestötoiminnasta (%) Oma tai läheisen terveys tai toimintakyky estää (%) Huonojen kulkuyhteyksien takia (%) 11,3 10,5 10,8 7,7 7,2 7,2 6,8 6,6 6,7 3,2 3,1 3,4 0 10 20 30 40 50 60 70 Prosenttia (%) 2015 2014 2013 ATH 2013-2015, THL
Järjestötoimintaan osallistumisen syyt Viereisessä kuviossa on esitetty vastaajien näkemyksiä järjestötoimintaan osallistumisen syistä. Vastaajia pyydettiin nimeämään 1-3 asiaa, joita he erityisesti ovat halunneet saada järjestötoiminnasta. Järjestötoimintaan osallistumisen keskeisimmät viisi syytä olivat suuruusjärjestyksessä seuraavat: 1. Halu tutustua uusiin ihmisiin (42,1 %) 2. Halu auttaa muita ihmisiä (40,2 %) 3. Halu saada kivaa ja mielekästä tekemistä (36,9 %) 4. Halu saada tietoa ja oppia uusia asioita (33,8 %) 5. Halu saada vertaistukea muilta ihmisiltä (32,6 %)
Järjestötoiminnan vaikutukset Viereisessä kuviossa on esitetty vastaajien kokemuksia järjestötoiminnan vaikutuksista. Vastaajia pyydettiin arvioimaan esitettyjä väittämiä neliportaisella asteikolla. Kuviossa on yhdistetty samaa mieltä ja osittain samaa mieltä väittämän kanssa olleiden henkilöiden vastaukset. Järjestötoimintaan osallistumisen keskeisimmät kolme koettua vaikutusta olivat: 1. Mahdollisuus tulla kuulluksi (92,6 %) 2. Kokemusten jakaminen (89,9 %) 3. Uusien ystävien saaminen (87,8 %) Vähiten koettuja vaikutuksia koettiin saavutetun elämäntapojen muuttumisessa terveellisemmäksi. Vastaajista kuitenkin 52,5 % koki, että järjestötoiminnalla on ollut myös tähän vaikutuksia. Samaa mieltä tai osittain samaa mieltä vastanneiden määrä Eri mieltä väittämän kanssa olleiden määrä En osaa sanoa Järjestössä kuunnellaan minua. 92,6 % 2,0 % 5,4 % Olen tavannut järjestössä ihmisiä, jotka ovat kokeneet samanlaisia asioita kuin minä. 87,6 % 5,5 % 6,9 % Olen saanut kertoa muille kokemuksistani. 89,9 % 4,7 % 5,4 % Itsetuntoni on parantunut, kun olen osallistunut järjestön toimintaan. Olen saanut järjestötoiminnan kautta uusia ystäviä. Olen saanut järjestötoiminnan kautta tukea arkielämäni hoitamiseen. Olen saanut järjestötoiminnan kautta apua päätösten tekoon. Olen saanut järjestötoiminnan kautta hyödyllisiä ohjeita ja neuvoja. Järjestötoiminta on saanut minut muuttamaan elämäntapojani terveellisemmiksi. (Olen esimerkiksi alkanut liikkua enemmän tai vähentänyt alkoholin käyttöä). Olen saanut järjestön kautta uutta tietoa, joka liittyy minun tai läheiseni sairauteen tai vammaan. 83,6 % 5,6 % 10,8 % 87,8 % 6,8 % 5,4 % 70,2 % 14,0 % 15,7 % 65,0 % 16,6 % 18,4 % 87,0 % 6,2 % 6,9 % 52,5 % 26,4 % 21,1 % 56,1 % 24,3 % 19,6 %
Järjestötoiminnasta koetut hyödyt Viereisessä kuviossa on esitetty vastaajien näkemyksiä järjestötoimintaan osallistumisen tuottamista hyödyistä. Vastausvaihtoehdot ovat sisällöllisesti samat kuin järjestötoiminnan syitä kartoittavassa kysymyksessä. Vastaajia pyydettiin nimeämään 1-3 asiaa, joita he erityisesti ovat saaneet järjestötoiminnasta. Järjestötoimintaan osallistumisen keskeisimmät viisi saatua hyötyä suuruusjärjestyksessä olivat seuraavat: 1. Tutustunut uusiin ihmisiin (54,7 %) 2. Saanut kivaa ja mielekästä tekemistä (40,3 %) 3. Saanut uutta tietoa ja oppinut uusia asioita (37,5 %) 4. Saanut auttaa muita ihmisiä (37,3 %) 5. Saanut tuntea kuuluvansa ryhmään (30,6 %) 23
Väittämät kyselyssä Esimerkki. Kansallinen vertaistukikysely 24
Raportti ja aineisto on julkaistu avoimena datana RAY:n www-sivuilla http://www2.ray.fi/fi/avustukset/raytukee/ray-tukee-barometri-2016
JOITAIN ESIMERKKEJÄ TUNNUSLUVUISTA Suoritteet: 1) Mitä on tehty? 2) Kuinka paljon? Suoritteet (jotka kuvaavat toiminnan volyymiä), esim. vertaisryhmien määrä Koulutuskertoja/vapaaehtoinen Toiminnan volyymiä kuvaavat tunnusluvut Tehdyt työtunnit Vapaaehtoistoiminnan kulut (myös suhteessa kokonaisrahoitukseen Osallistujamäärät: 3) Kenelle? Palkattujen henkilöiden lkm. ja htv Aktiivisten vapaaehtoistoimijoiden lkm. Vapaaehtoistoimijoiden lkm. yhteensä Uusien vapaaehtoistoimijoiden lkm. Osallistujien määrä ja osallistumiskerrat (esim. vertaisryhmissä) Sukupuolen ja iän mukaan 26
JOITAIN ESIMERKKEJÄ TUNNUSLUVUISTA Aikaansaadut tulokset ja vaikutukset (suhteessa tavoitteisiin, odotuksiin, tarpeisiin: 4) Mitä on saatu aikaiseksi? Saiko osallistuja sitä, mitä tuli hakemaan? Toteutuivatko henkilökohtaiset tavoitteet Onko/miten mielekästä toiminta ollut? Onko saanut uusia ystäviä? Kannustimet/palkinta LAADULLINEN PUOLI? Muuta: Onko aikaa kehittämiselle ja uuden ideoinnille? Arvioidaanko ja seurataanko toimintaa systemaattisesti? Hyödynnetäänkö arviointitietoa toiminnan kehittämisessä? Uskalletaanko toimintatapoja muuttaa? Kuinka valmiita olemme kokeilemaan uutta ja menemään laatikon ulkopuolelle? Tukeeko taustaorganisaatio sitä, vai haluaako se jämähtää paikalleen? Saammeko ulkopuolelta riittävästi virikkeitä kehittämisen tueksi? Tapahtuuko kehittäminen yksin vai ryhmässä? Uudet ideat syntyvät todennäköisemmin ryhmässä. Onko meillä oikeanlaista osaamista? Kootaan erilaisia ihmisiä itsemme ympärille.
Apua ja tukea tarvitseva ihminen keskiössä? Palvelujen tuottaminen tai toiminta itsessään ei voi olla päämäärä! Vaikuttavuus ja sen arviointi: Suhteessa tavoitteisiin: Miten hyvin toiminnalle asetetut tavoitteet saavutettiin? Mitä tuloksia ja vaikutuksia toiminnalla saatiin aikaiseksi suhteessa tavoitteisiin? Suhteessa koettuun hyötyyn: Mitä hyötyä osallistuja kokee saavansa toiminnasta? Suhteessa tarpeisiin: Vastaako toiminta tai palvelu loppukäyttäjän/osallistujan tarpeita? Teemmekö oikeita asioita ja oikeilla tavalla? Onko työkalupakissa riittävästi työkaluja ja käytetäänkö niitä oikein. Mikä on tarkoituksenmukaista? Ei tehdä tästä liian raskasta! Laajat kyselyt vs. ryhmähaastattelut/asiantuntijaraadit yms. Kysyminen kaikilta vs. vain osalta porukkaa Tilastointi Havainnointi Lähtötilanteen kartoitus?
Tuloksellisuus- ja vaikutustiedon kerääminen ja hyödyntäminen STEA arvioi järjestöjen toiminnan tarvetta, tavoitteita, laatua, tuloksellisuutta ja kehittämistarpeita Hakemuksissa Tuloksellisuus- ja vaikutusselvityksillä Väliraporteilla Loppuraporteilla Tarkastuksilla Avustusohjelmien kehittävällä arvioinnilla Teemakohtaisilla erillisselvityksillä Peruslähtökohta: Järjestöt raportoivat joka toinen vuosi, Mitä ovat tehneet avustusrahoilla? Kenelle? Kuinka paljon? Mitä ovat saaneet aikaiseksi? Kehittämistarpeet Näkökulmat: kohderyhmä, kumppanit, vapaaehtoiset, työntekijät
Määrällinen ja laadullinen analyysi ja tietojen hyödyntäminen STEAn sisäisenä arviointimallina on CAF (CQAF ja EFQM) pohjalta muokattu arviointi-/pisteytystapa. Kaikki hakemukset ja raportit pisteytetään. Pisteet luovat yhdenmukaisen pohjan ja kriteerit arvion ja harkinnan tekemiselle. Hakemusten arvioita/pisteitä verrataan toisiinsa (tavoitealueen sisällä, toimintamuodon ja kohderyhmän mukaan) ja ne vaikuttavat avustusehdotukseen. Selvitysten ja raporttien arvioita/pisteitä verrataan toisiinsa (tavoitealueen sisällä, toimintamuodon ja kohderyhmän mukaan) ja ne vaikuttavat osaltaan avustusehdotukseen ohjaavat tarkastustoimintaa
Polttopiste aina kohderyhmään! Vapaaehtoiset Työntekijät Yhteistyökumppanit KOHDERYHMÄ
Kiitos! 32
TIETOJA KARTALLA http://www.stea.fi/tekoja-hyvinvoinnin-tueksi/stea-avustuksetkartalla/visualisointi