Tulokset ja vaikuttavuus järjestötyössä

Transkriptio

1 Antti Pelto-Huikko Tulokset ja vaikuttavuus järjestötyössä Sote-järjestöjen alueverkoston tapaaminen

2 Arvioinnin kehityskaaria Suomessa 90-luvulla arviointi tuli lopullisesti myös Suomeen Tulosvastuun ja auditointien kulttuurit Arviointi ulkopuolinen toimenpide 2000-luvun alkupuolella alkoi tapahtua Yleinen kehittämisen hankkeistaminen vaikutti myös arviointiin Julkisen rahan hankkeet tuli arvioida Järjestöissä panostetaan itsearvioinnin kehittämiseen (mm. JÄRVI-kokonaisuus) Arviointi ja kehittäminen lähenivät 2010-luvulla arviointikulttuuri vakiintuu osaksi kehittämistä Arviointi on osa arkipäivää ja ns. normityötä Kustannusvaikuttavuuden arviointi vakiinnuttaa asemaansa 2020-luvulla Arviointi arkipäiväistyy entisestään (arvioivan työkulttuurin aika) Ennakointityö nousee arvioinnin rinnalle myös perinteiseen kehittämis- ja suunnittelutyöhön

3 Seurannan ja arvioinnin avainkäsitteitä Tarve = Tunnistettu tarve jota ollaan tyydyttämässä tai puute jota ollaan poistamassa yleisesti yhteiskunnassa tai rajatusti tietyssä kohderyhmässä Tavoite = Määritelty tavoite tarpeen tyydyttämiseksi tai puutteen poistamiseksi Teko/toimenpiteet = Mitattava tehty työ, toimenpiteet, palvelu tai tuote loppukäyttäjälle Panos = Tekoihin tai tuotoksen aikaan saamiseen käytetyt resurssit (ihmiset, aika, raha, osaaminen) Tulos/Vaikutus/Muutos = Konkreettinen muutos kohderyhmässä, rakenteissa, toiminnassa Vaikuttavuus = Tunnistettuun tarpeeseen vastaaminen, puutteen poistuminen

4 Tulokset, vaikutukset, vaikuttavuus mistä puhutaan milloinkin? Tulokset / vaikutukset Liikunnan määrä lisääntyy Paino putoaa / lisääntyy Muistitestin tulos paranee Työpaikkojen määrä lisääntyy Työttömyys vähenee Vaikuttavuus Koettu terveys paranee Arjessa selviäminen paranee Turvallisuuden tunne lisääntyy Elintaso paranee Syrjäytyminen vähenee

5 Arvioinnin tasot järjestötoiminnan näkökulmasta Juha Heikkala & Antti Pelto-Huikko, Opas vaikuttavuuden arviointiin liikunta- ja urheiluyhteisössä sekä muissa järjestöissä. Suomen Olympiakomitea, 2018.

6 Vaikutusketjun täyttäminen ja käyttäminen Tiedon saaminen muutoksista ja vaikutuksista (ja vaikuttavuudesta) on mahdollista, mutta siihen pitää panostaa huomattavasti resursseja (työaikaa)!

7 Kaksi yksinkertaistettua esimerkkiä Koulutus vaikuttavuuden arviointiin Interventiomallin juurruttaminen Tarve: järjestöjen toiminnan vaikutukset, vaikuttavuus ja yhteiskunnallinen merkitys pitäisi pystyä osoittamaan paremmin Tavoite: vahvistetaan järjestöjen asiantuntijoiden osaamista vaikuttavuuden arvioinnissa Toimenpiteet: toteutetaan kolmen työpajan sarja osaamisen vahvistamiseksi, mukana 10 järjestöä ja 2-3 asiantuntijaa / järjestö Vaikutus: järjestöjen asiantuntijoiden osaaminen vaikuttavuuden arvioinnissa vahvistuu Muutoksen todentaminen: tehdään osallistujille kysely heti työpajojen jälkeen ja kolmen kuukauden päästä koulutuksen vaikutuksista; tehdään sisällönanalyysi siitä näkyykö vaikuttavuuden arviointi järjestöjen strategioissa ja suunnitelmissa Tarve: tietyn kohdejoukon liikunta- ja terveyskäyttäytymisessä on parantamisen varaa Tavoite: kohdejoukon liikunta- ja terveyskäyttäytymisen muuttaminen parempaan suuntaan Toimenpiteet: järjestö luo ja jalkauttaa interventiomallin, joka toteutetaan yhdessä kohdejoukon kanssa toimivien, käytännön liikuntatoimintaa ja terveysvalistusta toteuttavien kumppaneiden kanssa Vaikutus: kohdejoukon liikunta- ja terveyskäyttäytyminen muuttuu parempaan suuntaan Muutoksen todentaminen: kumppaneiden haastattelu interventiomallin käyttöönotosta ja toimivuudesta; aktiivisuusmittareiden tulokset sekä tilastotiedot kohdejoukon liikunta- ja terveyskäyttäytymisestä

8 Järjestöjen vaikuttavuus voiko sitä käytännössä arvioida ja mitä se edellyttää?

9 Kompleksisen maailman haaste vaikuttavuuden osoittamisessa Kohderyhmä Toiminta Kohderyhmä Resurssit Toiminta Toiminta Resurssit Resurssit Muutos Kohderyhmä Tarve? Visio? OK! OK! Muutos Vaikuttavuus Muutos Miten rajata muut vaikuttavat tekijät pois? Muutos Kuvio: Heliskoski, Jonna (2017), muokattu

10 Vaikuttavuuden osoittamisen haasteet Luotettavan seuranta-aineiston puute Ilmiöiden välisten kausaalisten suhteiden hahmottamisen ja todentamisen vaikeus Väliin tulevien muuttujien kontrollointi Ei-aiottujen vaikutusten (myönteiset ja kielteiset) huomiointi ja ennakointi Ajallisen vaikutuksen (muutoksen esiintyminen, pysyvyys) huomioon ottaminen

11 Arviointi järjestötyön johtamisessa ISO kuva Strategia Järjestön pitkän aikavälin tavoitteet Johtopäätökset: vastaavatko tulokset asetettuja tavoitteita? Mitä strategian tavoitteet tarkoittavat käytännön toimenpiteinä? Vaikutusten arviointi Toimintasuunnitelma Toimenpiteet tavoitteiden saavuttamiseksi Vuosikertomus Toiminnan tulokset kootusti Mitä vaikutuksia (tuloksia) on saatu aikaan toimenpiteiden seurauksena?

12 Kiitos mielenkiinnosta! Lataa arviointiopas: 9/01/opas_vaikuttavuuden_a rviointiin_liikunta- _ja_urheiluyhteisossa.pdf