Seurannan sisältö ja kehittäminen Janne Jalava seurantapäällikkö RAY/avustusosasto Avustusosasto, Janne Jalava, 10.2.2011 1
Lähtökohta löytyy laista 21 Rahapeliyhteisön valvontatehtävä Rahapeliyhteisön on huolehdittava avustuksen asianmukaisesta ja riittävästä valvonnasta hankkimalla avustuksen käyttö- ja seurantatietoja sekä muita tietoja samoin kuin tekemällä tarvittaessa tarkastuksia. Rahapeliyhteisön on sopivalla tavalla seurattava myönnettyjen avustusten tuloksellisuutta ja tarkoituksenmukaisuutta sekä niiden vaikutuksia kilpailuun ja eri väestöryhmien asemaan samoin kuin niiden muita vaikutuksia. Rahapeliyhteisön on määräajoin arvioitava avustusten tarpeellisuutta ja kehittämistarpeita. Avustusosasto, Janne Jalava, 10.2.2011 2
Muita virallisia painotuksia RAY/STM tulossopimus 2008-2011 Raha-automaattiyhdistyksen avustustoiminta tuottaa yhteiskunnalle tietoa hyvistä käytännöistä, kehittämistoiminnan tuloksista, tulosten leviämisestä sekä juurtumisessa havaituista ongelmista Avustustoiminnan seuranta- ja arviointijärjestelmiä kehitetään erityisesti avustettujen toimintojen tuloksellisuuden ja vaikuttavuuden edistämiseksi ja toteamiseksi. RAY-avustuksilla tuetun toiminnan laatua ja vaikuttavuutta edistetään sekä kehittämällä avustustoiminnan käytäntöjä että tehostamalla innovaatiohakuisen kehittämistoiminnan ohjaus- ja arviointipanosta RAY avustusstrategia 2012-2015 Eräänä menestystekijänä tavoitteellisuus Tavoitteelliseen toimintaan kuuluu, että toimintaa ja tavoitteiden toteutumista seurataan Tavoitteiden seuranta tekee mahdolliseksi myös sen, että onnistumisista, tuloksista ja vaikutuksista voidaan viestiä jäsenistölle, rahoittajille ja muille sidosryhmille. Avustusosasto, Janne Jalava, 10.2.2011 3
Mihin seurannalla pyritään? 1) Seurantaa tehdään, jotta sen tuottama tieto auttaa järjestöjä entistä paremmin kehittämään omaa toimintaansa toimintaympäristön vaatimuksien mukaiseksi. 2) Seurantatietoa hyödynnetään jakoehdotuksen valmistelussa ja avustusten suuntaamisessa. 3) Seurantatiedolla lisätään avustetun toiminnan läpinäkyvyyttä yhteiskunnallisella tasolla. 4) Seurantatiedolla tuotetaan tietoa (valtiolle/) STM:lle avustetun toiminnan tuloksellisuudesta ja vaikutuksista. 5) Seurantiedon kautta voidaan paremmin hahmottaa ja levittää hyviä käytäntöjä, paneutua syvällisemmin juurruttamisen haasteisiin sekä välttää uusimasta vähemmän onnistunutta tekemistä. 6) Loppujen lopuksi: seurantiedon hyödyntämisen keskiössä on yksilö/ihminen/väestöryhmä Keskeistä: Miten avustetulla toiminnalla parhaiten voidaan A) Vahvistaa terveyttä sosiaalista hyvinvointia B) Ehkäistä terveyttä ja sosiaalista hyvinvointia uhkaavia ongelmia C) Auttaa ja tukea ongelmia kohdanneita (yksilöitä) Avustusosasto, Janne Jalava, 10.2.2011 4
Miten seuranta toteutetaan? Tavoitteena strukturoitu järjestelmä, joka avulla saadaan mahdollisimman yhteismitallista, luotettavaa ja vertailtavaa tietoa. RAY:n puolella seurannasta vastaavat seurantapäällikkö ja tiimien seurantavastaavat; mukana kiinteästi myös koko valmistelu ja valvonta Seurantajärjestelmään kehitetään seuraavanlaisia kokonaisuuksia: 1) Osallistujatiedon kerääminen ja seuranta 2) Työntekijöiden ja vapaaehtoisten tuottaman tiedon kerääminen ja seuranta 3) Yhteistyökumppanien (toimintaympäristön) tuottaman tiedon kerääminen ja seuranta 4) Järjestöjen tekemä itsearviointi koko toiminnasta 5) Lupaavien käytäntöjen ja toimintojen seuranta 6) Yhtenäinen loppuraportin rakenne, jossa hyödynnetään em. tietoja (hankkeille) Avustusosasto, Janne Jalava, 10.2.2011 5
Toimintakokonaisuudet 1) Järjestötoiminnan rakenteiden tukeminen 2) Matalan kynnyksen osallistumis- ja toimintapaikat 3) Loma- ja leiritoiminta 4) Viestinnällinen vaikuttaminen ja koulutus 5) Ryhmämuotoinen tuki ja toimintakyvyn edistäminen 6) Yksilöllinen tuki ja toimintakyvyn edistäminen 7) Asumisen edistäminen ja kehittäminen 8) Palvelujärjestelmän ja toimintakokonaisuuksien kehittäminen 9) Kriisiauttaminen Avustusosasto, Janne Jalava, 8.6.2011 6
Miten seuranta toteutetaan Seurantajärjestelmä kehitetään vuosien 2011 ja 2012 aikana ja otetaan käyttöön asteittain vuosien 2012-2013 aikana Pilotointi yli 80 järjestön kanssa Huomioitava kuitenkin jo nyt: Jokaisen järjestön tulee valita seurannasta vastaava henkilö /henkilöt Itsearviointi on olennainen osa: Itsearviointi tarkoittaa seurantajärjestelmän näkökulmasta kerättyjen tulosten analyysiä, jonka vaikutukset pitää näkyä järjestelmässä yhteenvetona Itsearvioinnin tapoja on useita: ei ole yhtä oikeaa tapaa Avustusosasto, Janne Jalava, 10.2.2011 7
Miten seuranta toteutetaan Hankkeiden loppuraportin sisällöstä tullaan antamaan suositukset (alaotsikko/teemakohtaiset) valmis järjestelmä aikanaan pyytää hankkeilta loppuraportin, pilotointi jo tehty tulee käyttöön 2012 loppuvilla hankkeilla. C-hankkeista tuloksellisuus- ja vaikutusselvitys joka vuosi (helmikuu) Ak-avusteiset toiminnot täyttävät selvityksen järjestelmään joka toinen vuosi sisällöstä annetaan suositukset järjestelmä pyytää sen (huhtikuu) Yleisavusteiset toiminnot täyttävät selvityksen järjestelmään joka toinen vuosi sisällöstä annetaan suositukset järjestelmä pyytää sen (huhtikuu) Lupaavien käytäntöjen suhteen tehdään yhteistyötä Innokylän kanssa Seurantaa tehdään jatkossa valmiin järjestelmän kautta myös em. peruskäytäntöjen lisäksi esimerkiksi ohjelma- tai toimintoryhmäkohtaisten erillisselvitysten tai tutkimusten avulla. Kyse on tällöin syvällisemmästä tiedon keräämisestä ja analyysistä. Avustusosasto, Janne Jalava, 10.2.2011 8
Seurantajärjestelmän logiikka (Ak ja C) Järjestöt Osallistujatiedon kerääminen Työntekijöiden ja vapaaehtoisten tuottaman tiedon kerääminen RAY:n seurantatiimi Myös valmistelu ja valvonta Yhteistyökumppaneiden tuottaman tiedon kerääminen Itsearviointi Lupaavat käytännöt (vain C) Loppuraportti Avustusosasto, Janne Jalava, 10.2.2011 9
Mitä seurantajärjestelmä järjestöiltä vaatii? Seurantatiedon keräämisen perusteiden osaamista Seurantatiedon kokoamista sähköiseen muotoon ohjeiden mukaisesti Itsearviointiin keskittymistä ja sen tulosten konkretisointia kerätyn tiedon pohjalta ns. arvioivan työotteen kehittämistä Lupaavien käytäntöjen kehittämistä ja kuvaamista Loppu/seurantaraportin kirjoittamista Tarvittaessa valmiutta vastata kysymyksiin ja erityisesti intoa kehittää yhdessä RAY:n kanssa toimintojensa tuloksia ja vaikutuksia Avustusosasto, Janne Jalava, 10.2.2011 10
Itsearvioinnin merkitys: KIS! RAY ei vaadi jatkossa järjestöiltä ulkoista arviointia, sen sijaan niiden on pakko tehdä itsearviointia Ilman itsearviointia ei voi tuottaa kunnollista seurantatietoa Tuomas Koskelan selvitys: Itsearvioinnin tila järjestöissä on heikko, vain noin 5% vastanneista on sitä mieltä, että itsearviointi on hyvissä kantimissa ja vain noin kolmannes järjestöistä tekee itsearviointia Arviointitietoa ei käytetä riittävästi kohderyhmän hyväksi, lisäksi tarpeita ei kunnolla kartoiteta (toimintaympäristöanalyysin puute) JÄRVI-hanke antoi varmasti paljon niille 62 järjestölle, jotka olivat mukana Haasteena muut; suurimpana haasteena pienet järjestöt, joissa vain pari työntekijää Tärkein itsearvioinnin motto RAY:ssä: KEEP IT SIMPLE!! KIS! Avustusosasto, Janne Jalava, 10.2.2011 11
Yleistä itsearvioinnista Itsearviointi on toimijan itsensä tekemää oman toiminnan arviointia Itsearvioinnissa tarkastellaan järjestelmällisesti omaa toimintaa, toimintatapoja ja kokemuksia Tietoa kerätään systemaattisesti tarkoin määriteltyjen arviointikriteerien mukaisesti Se ei ole kahvipöytäkeskustelua, siihen pitää osallistua mahdollisimman laajan toimijajoukon. Itsearviointi edellyttää kykyä asettaa oma toiminta kriittisen tarkastelun kohteeksi Tarkastelu voi kohdistua omassa toiminnassa syntyneisiin kokemuksiin, tunteisiin, havaintoihin ja palautetietoihin Itsearvioinnin tarkoituksena on tukea oppimista, kehittämistä ja kokeiluja Oikein tehty itsearviointi on onnistuneen hanke- tai kehittämistoiminnan yksi tärkein moottori!! Mikäli se toimii, ulkoisen arvioinnin sijaan voi turvautua vain kehittämiskonsultaatioihin, jos aina niihinkään Avustusosasto, Janne Jalava, 10.2.2011 12
Itsearvioinnin suunnittelu ja seuranta Miksi itsearviointi tehdään? todellisten vahvuuksien ja kehittämisalueiden tunnistamiseksi oman toiminnan kehittämiseksi Asiakas- ja sidosryhmätulosten hyödyntämiseksi omassa toiminnassa Ketkä arviointiin osallistuvat? johto, henkilöstön edustajat, valmennus- tai kehittämisvastaavat (prosessinäkökulma), taloushallinta Miten arvioijat perehdytetään? sisäistettävä arviointimotiivit, -kohteet ja logiikka (perusohjeista vastaa RAY) Miten itsearviointiin tulee valmistautua? pohtimalla oman vastuualueen toimintatapoja ja tuloksia Kuka vetää arvioinnin? seurantavastaava Miten arviointi viedään läpi? säännöllisin väliajoin (syklit sovittavissa) Mitä arvioinnin jälkeen tehdään? raportoidaan Avustusosasto, Janne Jalava, 10.2.2011 13
Seitsemän teesiä itsearvioinnista 1. Hankkeissa ja avustetussa toiminnassa riman on oltava riittävän korkealla! 2. Tästä huolimatta riskit on hallittava! 3. Itsearviointi on oppivan hankkeen/kehittämistoiminnan edellytys! 4. Itsearvioinnin tulee olla kiinteä osa hankkeen/avustetun toiminnan toteutusta 5. Kaikkien toiminnan kannalta keskeisten jäsenten on voitava osallistua projektin itsearviointiin 6. Hankkeen/avustetun toiminnan (ja perusorganisaation) johdon on sitouduttava arviointiin! 7. Myös huonot käytännöt eli epäonnistumiset ovat tärkeitä oppimisen näkökulmasta Avustusosasto, Janne Jalava, 10.2.2011 14
CAF/EFQM..sovellettuna TOIMINTA TULOKSET 3. HENKILÖSTÖ 7. HENKILÖSTÖTULOKSET 1. JOHTAJUUS 2. TOIMINTAPERIAATTEET JA STRATEGIA 5. PROSESSIT 6. ASIAKASTULOKSET 9. KESKEISET SUORITUSKYKY- TULOKSET 4. KUMPPANUUDET JA RESURSSIT 8. YHTEISKUNNALLISET TULOKSET INNOVATIIVISUUS JA OPPIMINEN Avustusosasto, Janne Jalava, 10.2.2011 15
Mitä tehdä tulosten saamisen jälkeen? Mikäli tulokset ovat kauttaaltaan hyviä, ei kehittämistarpeita välttämättä olen paljon Mikäli yhteiskunnalliset tulokset (sidosryhmät ja kumppanit) antavat kriittistä palautetta, tulee ainakin kiinnittää huomiota kumppanuuksiin, resursseihin ja prosesseihin sekä aina johtamiseen Mikäli asiakkaat antavat huonoa palautetta, tulee kiinnittää huomiota ainakin henkilöstön osaamiseen ja toimintaan sekä toimintaperiaatteisiin ja prosesseihin Muistettava: Hyvistä tuloksista huolimatta toiminnassa on aina kehitettävää, vaikutukset voivat olla aina parempia!! Itsearviointia voi vielä vahvistaa esim. haastattelujen tai hyvien käytäntöjen etsimisen avulla Avustusosasto, Janne Jalava, 10.2.2011 16
Ohjelmat Ohjelmissa RAY tekee normaaliseurannan lisäksi kehittävää arviointia Arviointiin perustetaan RAY:ssä oma tiimi, jota vetää seurantapäällikkö ja siihen kuuluu pari seurantavastaavaa, joista toisella on arvioinnin vetovastuu. Lisäksi tiimiin kuuluu ainakin ohjelmapäällikkö. Arviointia ohjaa kaksi periaatetta: Avoin koordinaatio RAY antaa suosituksia (sama osin koskee koko seurantajärjestelmää), ei määräyksiä Hyödyntämiskeskeisyys (Utilization-Focused Evaluation) erityisesti hyödynnettävä käyttäjiä Ohjelmien arvioinnissa neljä etenevää vaihetta: Toiminnon suunnitteluvaiheen arviointi Toiminnan alustavan toteutusvaiheen arviointi Toiminnan toteuttamisvaiheen arviointi Toiminnan tulosvaiheen arviointi Avustusosasto, Janne Jalava, 10.2.2011 17
Mitä ohjelmissa erityisesti arvioidaan 1) Ohjelmaprosessi: organisaatio, tehtävät, toimintamalli ja resurssit 2) Yhteisöllinen oppimisprosessi 3) Hankkeiden/toimintojen tuotokset, tulokset ja vaikutukset 4) Järjestöjen arviointikäytäntöjen osaamisen vahvistuminen 5) Hankkeen/toiminnon innovatiivisuus ja yhteiskunnallinen hyödyntäminen juurruttaminen osana tätä 6) Hankkeen toiminnon tulevaisuuspainotteisuus ja jatkotoimenpiteet Avustusosasto, Janne Jalava, 10.2.2011 18
Esimerkki ensimmäisen vuoden arvioinnista 1) Arviointitehtävän täsmentäminen (arviointitiimi) 2) Tarvekartoitus tehdään kaikkien toimijoiden yhteistyökumppaneille ja keskeisille sidosryhmille 3) Teemahaastattelut ja työpajat ohjelmatoimijoille tavoitteiden realistisuudesta ensimmäisen toimintavuoden lopulla: koskee sekä omia että koko ohjelman tavoitteita sekä toimintaa 4) Checkpoint ohjelman ensimmäisestä vuodesta Avustusosasto, Janne Jalava, 10.2.2011 19