Arvioinnin tuen kehittäminen Valtakunnallisten ESR-hankkeiden (TL 5) projektipäälliköiden toinen työkokous

Transkriptio

1 Arvioinnin tuen kehittäminen Valtakunnallisten ESR-hankkeiden (TL 5) projektipäälliköiden toinen työkokous

2 Hallinnollinen kalvo Valtakunnallisen ESR TL 5 hankkeiden tukiprosessi (Sokrava) Valtakunnallisten hankkeiden projektipäälliköille tarjotaan tukea johtamisessa ja kehittämistoimenpiteiden vaikutusten arvioinnissa. Mukana myös aluekoordinaattorit. STM rahoituspäätöksellä käynnissä tällä hetkellä kuusi valtakunnallista sosiaalisen osallisuuden kehittämisen hanketta, joissa yhteensä 29 osahanketta ympäri Suomea. Uusia hankepäätöksiä stm:ltä odotetaan tammikuun 2016 aikana. Hankkeiden budjetit vaihtelevat noin 1-4 milj. välillä, joten investoinnit ovat merkittävät. Työkokouksia: 12/2015, 2, 4, 8 ja 10/ tapani.kauppinen@thl.fi 2

3 Tausta: Oma ihmetys Eriarvoisuus ei vähene, vaikka vuosia ollut tavoitteena Kustannusesimerkkien vähyys: Oma ihmetys tavoitteiden toteuttamisesta Kaste I työssä vain 2 mainintaa eriarvoisuudesta, (Sosiaalilääketieteellinen aikakausilehti 52, ) Hankkeiden antama tuki arvioinnille on näyttänyt olleen vähäinen tapani.kauppinen@thl.fi 3

4 Tilanne nyt? Talous ei ole kaveri sosiaalialalla työskentelevät saattavat suhtautua taloustieteilijöihin ja heidän tutkimusmenetelmiin epäillen. Usein sosiaalialan tutkimuksissa tyydytään pelkkien kustannusten tarkasteluun, kun varsinainen taloudellinen arviointi vertailee sekä kustannuksia että vaikutuksia. Tämä lisää entisestään sosiaalialalla työskentelevien kriittisyyttä taloudellista näkökulmaa kohtaan ja vaikeuttaa tulevien tutkimusten toteutusta. (Ulfves A-M & Lääperi R & Rautiainen Ai & Närhi K: Aikuissosiaalityöhön kiinteästi liittyvien aktivointi- ja työllistämispalvelujen kustannuksia ja vaikutuksia (pdf, 611 kt) Keski-Suomen sosiaalialan osaamiskeskus, raportteja 26/2010) tapani.kauppinen@thl.fi 4

5 Tilanne nyt? Arvioinnin suorittaminen on pakkopullaa Katsottu 67 loppuraporttia (mm 24 ESR, 12 Kaste, 3 Tekes ja 26 Ray -hanketta) Hankkeiden vaikutuksia ei arvioida loppuraporteissa Arviointi näyttää kohdistuvan hankkeen toteutuksen onnistumiseen/ kohderyhmän tyytyväisyyteen suhteessa toimenpiteisiin Loppuraportin kirjoittaminen nähty hallinnollisena työnä, jota ei pidetä yhtä arvokkaana kuin hankkeen varsinaista kehittämistyötä Vaikutustarkastelu ei oleellisesti lisäisi hankkeessa tehtävää työtä. Kyse on näkökulman muutoksesta, jossa kehittämistoimintaa tarkastellaan suhteessa tavoiteltuun ja saavutettuun muutokseen kohderyhmässä, palvelussa tai palvelujärjestelmän osassa (Moilanen & Mäkeläinen (2014) Kokonaisuudesta irrallaan oleva hanke ei jää elämään Hyvinvointihankkeiden vaikutusten arviointi Diak D68) tapani.kauppinen@thl.fi 5

6 Tavoite Kehittää arviointimalli, jota voi käyttää Sokra-hankkeiden rahoituspäätösten osana (2017- ), tavoitteiden toteutumista ja kustannuksia arvioitaessa Mallia voi soveltaa myös muuhun hankerahoitukseen Prosessin, tulosten ja vaikutusten ymmärtäminen on tärkeämpää kuin täydellinen laskentataulukko. Vaikka arvioinnin lopputulos olisikin suuntaa antava, voi sen tekemiseen vaadittu prosessi opettaa paljon ja avata silmiä toiminnan kannattavuudesta. (Niina Haake 2015) (Haake, N. (2015). Kustannushyöty- ja kustannusvaikuttavuusanalyysit: perusteita. Taloudellisen arvioinnin menetelmäverkoston tapaaminen , diat)

7 Miksi tarvitaan Rahat loppuu Vaatimus näytöstä Tietoa päätösten tueksi Asiakkaan hyöty: osallisuuden ja hyvinvoinnin kasvu, näennäistoimintaan osallistumisen vähentyminen, hankkeen sisäisten tavoitteiden toteutuminen. Hanketoimijan hyöty: vaikuttavan toiminnan kuvaaminen, peruste kannattavaksi toiminnaksi. Rahoittajan hyöty: näyttöön perustuvaa toimintaa, vaikuttavaa toimintaa, kustannustehokasta toimintaa

8 Miksi tarvitaan, YLE:n toimittajan näkökulma Millä perusteella ennaltaehkäisyyn laitetaan rahaa eri kampanjoiden tai toimien toteuttamiseksi? En tiedä. Ennaltaehkäisykin maksaa, eikä sen järjestäminen takaa laskun pienenemistä julkisessa sairaanhoidossa. Millä perusteella ja millaisin tavoittein valtion, ja entistä enemmän myös kuntien, varoja käytetään ennaltaehkäisyyn tai terveyden edistämiseen? Ne laskelmat olisi mukava kertoa kansalaisillekin. YLE UUTISET Terveys klo 6:50 Näkökulma: Ennaltaehkäisyllä ei säästetä sairaanhoidosta ainakaan todistetusti ainak aan_todistetusti/

9 Mitä me teemme? Teille esitellään aihioita mahdollisista työkaluista. Ennen seuraavaa tapaamista mietitte aihioita. Ennakkotehtävien kysymykset kaikissa vaiheissa: Onko mahdollista? Miksi ei olisi? Millainen työkaluaihion tulisi olla, jotta se olisi mahdollinen? Onko esimerkkejä tiedossa? Kerää niitä! Tee esimerkki omasta hankkeestasi Tapaamisissa jaamme kokemukset

10 Työkaluaihiot Prosenttiarvio rahoittaja vaatii tietyn prosentin hankerahasta käytettäväksi arviointiin Täppä -työkalu hankehakemuksen vaihtoehdot Tänään Ennen työtä: määrittely Mikä hätänä -kuvaus ongelmasta ja lähtötilanteesta, mikä on se hyvinvointivaje johon työ kohdistuu Matokuva -kuvaus kuinka ajattelemme vaikuttavan. Vaikutuskartta, osatavoitteet Työn aikana: mitkä asiat näyttävät estävän/edistävät hyvän toteutumisen? Plussatmiinukset -paperi, joka hankekokouksen aiheena Työn päättyessä: paljonko resurssoitiin, mitä saatiin aikaan, voiko tulemaa muuttaa rahaksi? Vaivavaaka -kuvauslomake vaikutukset-kustannukset Toimiva käytäntö -konseptiesite Hyvän itunen; kuvaus siitä, missä onnistuttiin vaikka ei kuvattaisikaan vaikuttavuutta

11 Mitä muita arviointia auttavia työkaluja voi olla?

12 Prosenttiarvio -työkaluaihio Rahoittaja vaatii/osoittaa tietyn prosentin hankerahasta käytettäväksi arviointiin Vrt prosenttitaide Salon Uimahalli Projektiuutiset.fi Kysymykset: Onko mahdollista? Miksi ei olisi? Millainen työkaluaihion tulisi olla, jotta se olisi mahdollinen? Onko esimerkkejä tiedossa? Kerää niitä! Tee esimerkki omasta hankkeestasi

13 Täppä -työkaluaihio Hankehakemukseen lisätään: Toimintatapa on uusi, eikä sitä ole arvioitu, koettu hyväksi, mutta sitä ei vielä ole arvioitu, arvioitu; viite tähän. hyvä käytäntö, kenen mukaan/missä järjestelmässä.. Kysymykset: Onko mahdollista? Miksi ei olisi? Millainen työkaluaihion tulisi olla, jotta se olisi mahdollinen? Onko esimerkkejä tiedossa? Kerää niitä! Tee esimerkki omasta hankkeestasi

14 Esittelytapaamisen tehtäväksianto Jos ei siis tunnu kamalan pahalle, mieti kahta ensimmäistä työkaluaihiota Kokemuksesi kerätään helmikuun tapaamisessa Kysymykset: Onko mahdollista? Miksi ei olisi? Millainen työkaluaihion tulisi olla, jotta se olisi mahdollinen? Onko esimerkkejä tiedossa? Kerää niitä! Missä prosesseissa hyvät esimerkit on nyt tunnistettu, mistä ne löytää?

15 Tarve pysähtymiseen ja lähtötilanteen kuvaamiseen Ennen hankkeen alkua tulisi luoda riittävän tarkka kuvaus toimintakentästä, suunniteltavasta toiminnasta ja sen vaatimista resursseista. Kun lähtötilanne ja tavoitteet on selkeästi ja konkreettisesti suunniteltu jo alkuvaiheessa, voi jatkossa olla helpompi tarkastella toiminnan vaikutuksia ja tavoitteiden toteutumista

16 Mikä hätänä -työkaluaihio Pysähdy kuvaamaan mikä on se hyvinvointivaje johon työ kohdistuu Pyritään määrittelemään ongelma täsmällisesti ja kuvataan lähtötilanne ongelman suhteen Tavoitteet toimijakohtaisia ja tarkkoja, mielellään mitattavia Auttaa oman vision, osatavoitteiden, indikaattoreiden aukipurussa Muoto: teksti, taulukko Ks esimerkkejä jaettavasta materiaalista Kysymykset: Onko mahdollista? Miksi ei olisi? Millainen työkaluaihion tulisi olla, jotta se olisi mahdollinen? Onko esimerkkejä tiedossa? Kerää niitä! Tee esimerkki omasta hankkeestasi

17 Mikä hätänä -työkaluaihio, kysymyksiä Voivatko jotkin seuraavista kysymyksistä sopia ongelman määrittelyyn? Kysymykset A Mitä ongelmaa ratkaisemme? Mitä epäkohtaa poistamme? Millä keinoilla pyrimme muutokseen? Minkä haluamme muuttuvan? Kysymykset B Mitä muutosta kyseisellä hankkeella halutaan luoda? Miten muutos näkyy hankkeen kohderyhmässä (tai kehittämisenkohteena olevassa palvelussa tai palvelujärjestelmän osassa)? Miten kyseistä muutosta dokumentoidaan ja mitataan hankkeen kuluessa? Kysymykset C Miten hyvinvointi määritellään? Kuka määrittelee hyvinvoinnin vajeen? Mitä tietoa käytetään perusteluissa? Miksi muutos on tarpeen? Mitä tapahtuu, jos ei tehdä mitään? Kysymykset D Onko hankkeella aidosti yhteiskunnallista tilausta? Onko tavoitteista puuttunut jotain, mitä kenties? (mm. H Moilanen & P Mäkeläinen 2014 "Kokonaisuudesta irrallaan oleva hanke ei jää elämään" - Hyvinvointihankkeiden vaikutusten arviointi. T Koskela & E Vedenkannas ym 2011: ELVIS-hankkeen vaikuttavuuden arviointi. Kuntoutussäätiö. Arviointi- ja koulutusyksikkö ) tapani.kauppinen@thl.fi 17

18 Matokuva -työkaluaihio Kuvaa perustelluilla käsityksiä miten ja miksi kuvatun toiminnan ajatellaan vaikuttavan toivotulla tavalla Ohjelmateorian/Muutosteorian/Loogisen mallin ajatus taustalla Auttaa kuvaamaan oman työn vaikuttavuutta, tunnistamaan tietoon/näyttöön perustuvia toimintatapoja Vastaa: Kuka tekee, mitä tekee, kuinka usein, miten? Muotona vaikutusketjun kuvaaminen: Vaikutuskartta, taulukko, Road map, matokuva Ks esimerkkejä jaettavasta materiaalista Kysymykset: Onko mahdollista? Miksi ei olisi? Millainen työkaluaihion tulisi olla, jotta se olisi mahdollinen? Onko esimerkkejä tiedossa? Kerää niitä! Tee esimerkki omasta hankkeestasi

19 Matokuva työkaluaihio, esimerkki tämä asia muuttuisi. Asiakkaiden hyvinvointivaje on kuvattu Aiomme tehdä näin, jotta Näin tiedämme, toivomme, uskomme, että hyvinvointivaje muuttuu!

20 Moilanen ym (2014) Kokonaisuudesta irrallaan oleva hanke ei jää elämään Hyvinvointihankkeiden vaikutusten arviointi

21 Matokuva työkaluaihio, esimerkki 1/2 PROJEKTIN OHJELMATEORIA Lasten, nuorten ja lapsiperheiden palvelujen laatu ja saatavuus paranee peruspalvelujen vahvistuessa Ehkäisevä työ ja varhainen puuttuminen on osa palvelujärjestelmää Lasten, nuorten ja lapsiperheiden osallisuus vahvistuu palvelujen suunnittelussa ja toteutuksessa (Kaste : Etelä-Pohjanmaan lapset, nuoret ja lapsiperheet kehittämishanke ARVIOINTISUUNNITELMA Kysymykset: Onko mahdollista? Miksi ei olisi? Millainen työkaluaihion tulisi olla, jotta se olisi mahdollinen? Onko esimerkkejä tiedossa? Kerää niitä! Tee esimerkki omasta hankkeestasi tapani.kauppinen@thl.fi 21

22 Matokuva työkaluaihio, esimerkki 2/2 2.3 Odotetut vaikutukset ja päämäärä KASPERI -hankkeen ja osahankkeen tavoitteisiin peilaavina laajempina toiminnan odotettuina vaikutuksina ja päämäärinä ovat: Lasten, nuorten ja lapsiperheiden palvelujen saatavuus ja palvelujen laatu parantuvat, kun työn ja palvelujen painopistettä siirretään erityispalveluista peruspalveluihin. Palvelujen ja palvelurakenteiden tasolla tarkasteltuna vaikutuksia ovat erityispalvelujentarpeen vähentyminen tai kohdentuminen toisin, osin uusien palvelukokonaisuuksien muodossa. Erityispalvelujen asiantuntemusta on tuotu myös peruspalvelujen käyttöön. Vaikutusten tulee näkyä siinä, että hankkeen päättyessä on toiminnassa ylisektorisia työryhmiä eikä ainoastaan peruspalveluja konsultoivaa toimintaa Kysymykset: Onko mahdollista? Miksi ei olisi? Millainen työkaluaihion tulisi olla, jotta se olisi mahdollinen? Onko esimerkkejä tiedossa? Kerää niitä! (Kaste : Etelä-Pohjanmaan lapset, nuoret ja lapsiperheet kehittämishanke ARVIOINTISUUNNITELMA Tee esimerkki omasta hankkeestasi tapani.kauppinen@thl.fi 22

23 Matokuva työkaluaihio, esimerkki (Sosped (2015) Toivehattu Toiminnallinen vertaistuki helppokäyttöisellä arviointityökalulla toiminta ja talous uskottavaksi!

24 Välitehtävä Jos ei siis tunnu kamalan pahalle, mieti seuraavia työkaluaihioita Mitä muita vaikuttavuuden arviointia auttavia työkaluja voi olla? Kokemuksesi kerätään kolmannessa tapaamisessa Kysymykset: Onko mahdollista? Miksi ei olisi? Millainen työkaluaihion tulisi olla, jotta se olisi mahdollinen? Onko esimerkkejä tiedossa? Kerää niitä! Missä prosesseissa hyvät esimerkit on nyt tunnistettu, mistä ne löytää?