Mitä hankkeen seuranta, arviointi ja raportointi vaativat? Mirka Smolej seurantavastaava/stea 31.10.2017
Esityksen sisältö 1. Seuranta ja arviointi osana järjestöjen ja STEAn toimintaa 2. Seurannan ja arvioinnin termit tutuiksi 3. Mitä STEA odottaa järjestöjen raportoinnilta 2
Seuranta ja arviointi osana järjestöjen ja STEAn toimintaa 3
Miksi järjestön kannattaa seurata ja arvioida omaa toimintaansa? Molemmat käsitteet keskeisiä mille tahansa hankkeelle, projektille, interventiolle tai toiminnalle, jonka vaikuttavuudesta halutaan vakuuttua Sidoksissa toisiinsa: seurantaa ei kannata tehdä ilman arviointia eikä arviointia voi tehdä ilman seurantaa Toiminnassa vaikuttavien mekanismien ja toiminnan menestymisen tai epäonnistumisen logiikan ymmärtäminen: mikä tässä toimii, kenelle, miksi, missä olosuhteissa ja miten toimintaa voi parantaa? 4
Mitä hyötyä seurannasta ja arvioinnista on? 1/2 Antaa projektin toiminnasta, kulusta ja vaikutuksista luotettavaa, todennettaviin havaintoihin perustuvaa tietoa Auttaa toimijoita oppimaan toistensa kokemuksista ja rakentamaan asiantuntijuuden ja tiedon, ei uskomusten varaan Kirjallinen raportointi lisää hankkeen läpinäkyvyyttä ja helpottaa tiedon ja hyvien käytäntöjen levittämistä ja jakamista Paljastaa virheet ja tarjoaa vaihtoehtoja toteutustavoille ja toiminnan parantamiselle 5
Mitä hyötyä seurannasta ja arvioinnista on? 2/2 Tarjoaa perustan esittää kysymyksiä ja testata oletuksia Antaa keinoja oppia kokemuksista ja soveltaa niitä kehittämisessä ja käytännön toiminnassa Mahdollistaa väylän arvioida toiminnan toteuttajien, kohderyhmän, rahoittajan ja päätöksentekijöiden yhteistyötä ja tavoitteiden yhdenmukaisuutta Toimii institutionaalisen tiedon ja kehitystyön tallentamisen välineenä Antaa kättä pidempää ja parhaimmillaan auttaa vaikuttamaan harjoitettuun politiikkaan 6
Miksi STEA seuraa ja arvioi järjestöjen toimintaa? Valtionavustuslaissa ja sitä tarkentavassa valtioneuvoston asetuksessa määritellään STEAn perustehtävät: avustusvalmistelu, avustusten maksatus, myönnettyjen avustusten valvonta ja vaikutusten arviointi. Valtionavustuslain 36 : Vaikutusten arviointi Valtionapuviranomaisen on sopivalla tavalla seurattava myöntämiensä valtionavustusten käytön tuloksellisuutta ja tarkoituksenmukaisuutta sekä valtionavustusten vaikutuksia kilpailuun, eri väestöryhmien asemaan samoin kuin niiden ympäristö- ja muita vaikutuksia. Valtionapuviranomaisen on määräajoin arvioitava valtionavustusten tarpeellisuutta ja kehittämistarpeita. Tässä tarkoituksessa valtionapuviranomaiset antavat toisilleen tarvittavaa apua. 7
Rahapelimonopolikritiikkiin vastaaminen arviointitiedolla? 8
Mihin seuranta- ja arviointitieto vastaa? MITÄ? MITEN? MIKSI? Mitä tehdään ja kenelle? Mitä ongelmia tässä ratkaistaan ja mihin toiminnalla halutaan vaikuttaa? Mihin tarpeeseen toiminta vastaa? Miten asioita toteutetaan ja mitkä tekijät tekevät toiminnasta parempaa muihin verrattuna? Mitkä ovat toiminnan erityispiirteet? Miten toimintaa voisi toteuttaa paremmin? Miksi toiminta on olemassa? Miksi teemme tätä? Miksi tämä toiminta on parempaa kuin joku muu? Miksi tämä toimii vai toimiiko? Miksi tätä kannattaa tehdä ja miksi rahoittaa? 9
Seurannan ja arvioinnin lähtökohtia 1. Seurantaa ja arviointia ei tehdä STEAlle vaan järjestön oman toiminnan kehittämiseksi aina voidaan parantaa! 2. Kokeilemalla oppii, mutta vain silloin, kun kokeilun aikana dokumentoi sen mikä toimi, miksi toimi, kenelle ja millä tavoin, ja mikä vastaavasti ei toiminut. 3. Vähemmän on enemmän. Kerää vain sellaista tietoa, jota voit hyödyntää toiminnan kehittämisessä. 10
Seurannan ja arvioinnin prosessi Määrittele toiminnan tavoitteet ja osatavoitteet Määrittele muutokset, jotka haluat saada aikaiseksi Määrittele keinot, joilla tavoitteisiin pyritään Arvioi keräämäsi tiedon avulla toiminnan etenemistä, saavutettuja tuloksia ja kehitä toimintaa edelleen Määrittele mittarit tavoitteiden toteutumisen arvioimiseksi Määrittele toistuvan tiedon keräämisen tapa tai tavat 11
Seurannan ja arvioinnin termit tutuiksi 12
Kohderyhmä: kenelle toimintamme on tarkoitettu? Määrittele kohderyhmä mahdollisimman tarkasti ja niin, että voit arvioida sen tavoittamista Mieti sekä määrällisiä (kuinka paljon ihmisiä) että laadullisia (millaisia ihmisiä) tekijöitä Kohderyhmä ei ole tasapaksu massa, vaan voi muodostua eri ryhmistä Tietty määrä luopumisen tuskaa kuuluu asiaan: keitä haluamme ensisijaisesti auttaa? Mihin resurssimme riittävät? Huom. kohderyhmän rajaaminen ei tarkoita, että kohderyhmään kuulumattomia käännytetään ovelta Kohderyhmän selkeä määrittely auttaa kohdentamaan toimintaa ja helpottaa toiminnalla aikaansaatujen tulosten osoittamista 13
Tavoitteet: mitä haluamme saada aikaan? Tavoitteen tulee olla niin konkreettinen, että sen toteutumista voi itse arvioida ja seurata: aseta tavoitteeksi vain asioita, joihin hankkeella kyetään vaikuttamaan Pilko tavoitteita osa- ja välitavoitteisiin Konkreettisuus ei tarkoita, että tavoitteeksi määritellään oma tekeminen (vrt. tavoitteena on järjestää ikääntyneille ryhmätoimintaa ) Tavoitteesta tulee käydä ilmi, mikä on tavoiteltava muutos kohderyhmässä Huomioi ero: toiminnan laajuuteen kohdistuvat tavoitteet (kuinka paljon, kuinka monta, kuinka monta kertaa) ja toiminnan tuloksiin kohdistuvat tavoitteet (aikaansaatava muutos toiminnan kohderyhmässä) Tavoitetaso määrittää onnistumisen kriteerit: Tavoitteenamme on, että osallistujia on projektin aikana 150 ja heistä 50 % on saanut uuden ystävän projektin päättyessä. 14
Toiminnan tavoitteena on tarjota tukea ja apua eroa harkitseville tukea perheiden osallisuutta että valmiudet kohdata perheitä ovat kasvaneet parantaa luottamusta yhteiskunnan palveluita kohtaan että yhden vanhemmat perheiden lapset löytävät säännöllisen harrastuksen luoda edellytyksiä perheen jälleenyhdistämisen lisäämiseksi vahvistaa erityislapsiperheiden voimavaroja, vahvuuksia sekä sisäistä vuorovaikutusta tukea haasteellisissa elämäntilanteissa olevia perheitä laajaalaisesti vahvistaa kohderyhmän perheiden itsetuntoa 15
TAVOITE: Tanssijoilla on hyvä boogie ja kaikilla on kivaa? Tulee sade? Vilja kasvaa sateen avulla? Sateen avulla kasvanut vilja ruokkii kansan ja nälänhätä häviää? Että em. johdosta yhteiskunnallinen hyvinvointi ja yhteiskuntarauha parantuvat? SADETANSSI TULOKSET JA VAIKUTUKSET: Kaikilla on kivaa Tulee sade Vilja kasvaa Nälänhätä häviää Yhteiskunnalliset olot paranevat EI-TARKOITETUT VAIKUTUKSET: Sillä aikaa kun kaikilla oli kivaa, naapurit varastivat karjan Satoikin enemmän kuin ajateltiin, mistä seurauksena tulvia Vilja houkutteli tuholaisia à rottavitsaus Nälänhädän selättäminen à hallitsematon väestönkasvu Yhteiskunnallisen kehitys à modernit kastelujärjestelmät? 16
Toiminnan mittarit MITTARI = jotakin asiaa kuvaava tunnusluku, esim. ystäviä saaneiden osuus, työllistyneiden osuus, tupakoinnin lopettaneiden osuus HYVÄ MITTARI kertoo, olemmeko saavuttamassa toiminnalle asettamiamme tavoitteita. kuvaa aikaansaatua muutosta: mikä oli tilanne ennen toimintaa, sen aikana ja sen päättyessä (tai muulla ajanjaksolla, esim. vuoden aikana). kuvaa tulosta, ei tuotoksia tai toimintaa. motivoi, kannustaa ja kirkastaa päämäärää. ei jätä liikaa tulkinnanvaraa, vaan on luotettava. on riittävän herkkä ja kertoo, kuinka hyvin meillä menee, mitä meidän tulisi kehittää? Onko tekemisemme tavoiteltujen tulosten suuntaista? on yksinkertainen: mittaamisella aikaansaatu tieto palvelee hankkeen toiminnan ja tuloksellisuuden arviointia. Tässä ei tehdä tutkimusta! 17
Seurantamenetelmät: miten keräämme tietoa? Tiedon keräämisen tulee olla säännöllistä ja suunnitelmallista. Määrittele tiedon keräämisen tapa aina samaan aikaan kun mittarit: milloin aiotte kerätä tietoa, keneltä aiotte kerätä tietoa, miten aiotte kerätä tietoa ja miten tietoa hyödynnetään toiminnan suunnittelussa. Esimerkki: Kartoitamme kuinka moni osallistujista kokee itsensä yksinäiseksi tullessaan mukaan toimintaan. Kysymme saman kysymyksen uudestaan puolen vuoden / vuoden jälkeen. Muutoksen osoittaminen vaatii yleensä tiedon lähtötasosta tai tilanteesta. 18
Esimerkkejä seurantamenetelmistä Toiminnan kannalta olennaiset tunnusluvut (esim. kävijämäärät) Haastattelut (kasvokkain tai puhelimitse, ryhmässä tai yksilöllisesti) Kyselyt (sähköinen tai paperinen lomake), palautelaatikko Ryhmämuotoiset tavat kuten ideakahvit, työpajat, kävijäkäräjät, palautepäivät, vapaaehtoisfoorumit Päiväkirjat, havainnointi, suullisen palautteen kirjaaminen, projektipäiväkirjat Valokuvat, hymynaamat (esim. lasten ollessa kohderyhmää) Palautteen kerääminen vaatii usein kokeilemista ja kehittämistyötä Eri kohderyhmille sopivat erilaiset palautteen keräämisen tavat verkostoidu samankaltaisten hankkeiden kanssa 19
PERUSKÄSITTEET SEURANTATIETOA ARVIOINTIA VAIKUTUKSET TULOKSET TUOTOKSET TOIMINTA PANOKSET Aikaansaatu muutos Koettu hyöty Konkreettiset suoritteet Toiminnot ja niiden määrä, htv, vapaaehtoiset Mitkä olivat aiottuja muutoksia? Mitkä eiaiottuja? Mitkä positiivisia ja mitkä negatiivisia? Mitä olisi tapahtunut muutenkin? Mikä on eri toimenpiteiden merkitys tulosten aikaansaamisessa? Mikä toimi erityisen hyvin, mikä huonosti, kenelle ja miksi? Miten kerätty tieto vaikuttaa toimintaamme? Mitä muutoksia meidän pitäisi tehdä? 20
Vastaa kysymykseen Termi Mitä tarkoitetaan Todentamisen tapa MIKSI Tarve Minkä takia toimintaa tarvitaan? Mikä on ongelma, johon haluatte toiminnallanne puuttua? MIKSI Kohderyhmä Joukko ihmisiä, joihin toiminnalla halutaan vaikuttaa Joukko ihmisiä, joiden ajatellaan hyötyvän toiminnasta MIKSI Tavoite Tarpeen peilikuva. Mikä on tavoiteltu muutos / tila, johon toiminnallanne pyritte? Tarvekartoitus Taustaselvitys lähtötilanteesta Kohderyhmäkartoitus, kohderyhmäkysely Toimintasuunnitelma, vuosikello MITÄ, MITEN Toiminta, keinot Toiminnan sisältö ja varsinainen tekeminen Toimintasuunnitelma, vuosikello MITÄ Tuotos Konkreettinen toiminnalla aikaansaatu suorite (ns. käsinkosketeltavat asiat kuten oppaat, materiaalit, ryhmät, kävijämäärät jne.) MIKSI Tulos Toiminnalla aikaansaatu hyöty / muutos kohderyhmälle. Yleensä kuvaa koettua hyötyä toiminnasta. Saavutetut tulokset suhteutetaan aina asetettuihin tavoitteisiin! MIKSI Vaikutus Aikaansaatu muutos (mikä muuttui toiminnan ansiosta?) Määrälliset seurantatiedot Tuotosindikaattorit Määrälliset ja laadulliset seurantatiedot Tulosindikaattorit Pitkän aikavälin 21 seuranta- ja tilastotiedot
Mitä STEA odottaa järjestöjen raportoinnilta? 22
Arvioinnin välineitä STEAssa Toiminta-avustuksia koskevien tuloksellisuus- ja vaikutusselvitysten analyysit (860) Hankkeiden väli- ja loppuraporttien analyysit (273) Tarkastuskäynnit ja niistä tehtävät tarkastuskertomukset Teemakohtaiset erillisselvitykset ja arvioinnit Avustusohjelmien kehittävä arviointi Tutkimukselliset analyysit - yhteistyö ja verkosto THL:n ATHtutkimuksen ympärillä STEA tukee -barometri Toiminnan itsearviointi, asiakastyytyväisyystutkimus, pulssikyselyt 23
Väliraportti Pyyntö tulee verkkoasiointiin helmikuun 2019 aikana Palautettava 31.3.2019 mennessä verkkoasiointiin Pyydetään kaikilta C-kohteilta, joilla on kolmas toimintavuosi meneillään Seurantavastaavat analysoivat saadut väliraportit ja lähettävät verkkoasioinnin kautta jokaisesta raportista erillisen kirjallisen ja numeerisen palautteen avustuksen saajalle Hankkeen loppuraportti toimitetaan STEAlle viimeistä hankevuotta seuraavan vuoden loppuun mennessä. Olemme yhtenäistäneet raportointilomakkeita. Hankkeiden väliraporttilomake muistuttaa hyvin paljon TVS-lomaketta. Jos oikein tarkkaan katsoo, ne ovat täysin samanlaisia. Tiedot raportoidaan kahdelta vuodelta (2017 ja 2018) sekä toiminnan sisällön että volyymin (osallistujamäärät, indikaattoritiedot, vapaaehtoisten määrät, työntekijöiden määrä ja htv) osalta. 24
Mitä STEA arvioi TVS-, väli- ja loppuraporteilta? Miten järjestö/avustuskohde seuraa, arvioi ja kehittää toimintaansa Miten hyvin tavoitteet ohjaavat toimintaa tulosten saavuttamiseksi Miten valitut toteutustavat edistävät toiminnan tavoitteiden saavuttamista Miten tulokset on osattu esittää Miten tuloksellista toiminta on suhteessa resursseihin Miten kohderyhmä on tavoitettu Miten kumppanuuden tukevat tavoitteiden saavuttamista 25
Hyville raporteille yhteistä 1/2 Tietoa kerätty ensisijaisesti omaa toimintaa varten Osataan kertoa tiedon konkreettisesta hyödyntämisestä On vastattu siihen mitä on kysytty; lomakkeen täyttöohje luettu Sama ihminen, joka täyttänyt hakemuksen, on täyttänyt raportin ja/tai hakemus kulkenut rinnalla kun raporttia on täytetty Toimintaa toteuttava ihminen raportoi, ei esim. yhdistyksen toiminnanjohtaja Toiminnan tavoitteet konkreettisia, jaoteltuja osa- ja välitavoitteisiin Seurannan mittarit yksinkertaisia ja konkreettisia ja niitä on yleensä vain muutama! 26
Hyville raporteille yhteistä 2/2 Kaikki kohteella vastuussa seurannasta, ei vain toiminnanjohtajan tai kehittämispäällikön tehtävä Erilaisia menetelmiä käytössä à näytön vahvuus paranee Sisällöt/tavoitteet/toimintatavat muuttuvat; jatkohakemus ei ole kopioitu sanasta sanaan edelliseltä vuodelta Esitetyt tiedot perustuvat näyttöön ja tätä näytön astetta on ulkopuolisen mahdollista arvioida à aineisto on kuvattu riittävän hyvin Huonot tulokset ja epäonnistumiset on esitetty ja kerrottu avoimesti ja niiden syitä ja seurauksia on analysoitu Kuka tahansa teemaan/hankkeeseen perehtymätön pystyy vähällä vaivalla ymmärtämään, mistä hankkeessa on ollut kyse, mitä siinä on käytännössä tehty ja mitä siinä on saatu aikaiseksi Sisäinen laatujärjestelmä tai -kriteeristö käytössä 27
Heikoille raporteille yhteistä Tietoa toiminnasta ei ole kerätty lainkaan Tietoa on kerätty, mutta sitä ei hyödynnetä mihinkään Kerätään vain asiakastyytyväisyystietoa/palautteita Kerätty tieto on kuvattu raportille, mutta minkäänlaista analyysiä ei esitetä. Esim. 60 % asiakkaista koki voimaantuneensa Hattaraiset tavoitteet à hattaraiset tulokset Liikaa arviointikysymyksiä, mikä heijastuu väsähtämisenä raportoinnissa Pelkkään raportin täyttäjän kokemustietoon vetoaminen tulosten osoittamiseksi. 28
Mihin STEAn arviointi vaikuttaa? Raporttien arvioita ja muuta toimintaympäristötietoa käytetään avustusehdotuksen valmistelun tukena. Jos raportointi on heikkoa, voivat STEAn asiantuntijat ohjata ja neuvoa, kutsua koulutukseen tai tarkastaa toiminnan. Heikko raportointi voi vaikuttaa myös avustustason laskuun. Ohjeellinen avustussuunnitelma voidaan poistaa tai muuttaa määräaikaiseksi. Onnistunut raportointi kertoo laadukkaasta ja tuloksellisesta toiminnasta. Hyvä raportointi voi antaa myös aihetta tarkastella avustuskohteen laajentamisen mahdollisuuksia eli avustustason korotusta. 29
Mihin STEA käyttää kerättyä seurantatietoa? Arvioimme avustuksen tarkoituksenmukaisuutta suhteessa aikaansaatuihin tuloksiin ja vaikutuksiin sekä laatuun ja laajuuteen Hyödynnämme tietoa nostamalla esiin järjestöjen toimintaa viestinnässä Laadimme yhteenvetoja avustetusta toiminnasta ja aikaansaaduista tuloksista Edistämme omalta osaltamme hyvien käytäntöjen leviämistä järjestökentällä 30
Kiitos! mirka.smolej@stm.fi p. 0295163198