Vaikuttavuusvalmentamo Onnela, 29.-30.10.
MODUULI 2 TAVOITE: Kirkastaa yhteiskunnallisten vaikutusten ja vaikuttavuusketjujen analysoinnin lähtökohtia. Yhteiskunnalliset vaikutukset Vaikutusten arvioinnin lähtökohdat Vaikuttavuusmaiseman ja polkujen kartoitus
Yhteiskunnalliset vaikutukset Elinajanodote Palvelut Työura Työkyky Koettu terveys Koulutustaso Vertaisyhteisöt Yksilö HPI Läheiset Viranomaiset Naapurusto Kansanterveys Paikallistalous Verokertymä Teko Kohde Muutos Kerrannaisvaikutus
Vaikuttavuustavoite ja vaikutusten arviointi Vaikuttavuustavoite Hissipuhe, kiinnostuksen herättäjä ja jaettu tavoite Vaikutusten arviointi Mallinnus on tiekartta kohti vaikuttavuustavoitetta. Todentaminen ja mittaaminen edellyttää pelkistämistä ja rajaamista. - Keep it simple and sharp
Vaikuttavuusketju1 TOIMINTA (action) PANOS (input) TUOTOS (output) TULOS (outcome) VAIKUTUS (impact) Resurssit: Hlöt Osaaminen Tilat Välineet Raha Partnerit? Määrälliset: Osallistujat Käyttäjät Laadulliset: Aktiivisuus Motivaatio? Välittömät muutokset Välilliset muutokset? Pitkäkestoinen muutos - Mitä olisi tapahtunut joka tapauksessa - Muiden osuus - Drop off - Arvioi vaikutuksia, älä tuotoksia 1 Impact chain, I(A)OOI chain
ESIMERKKI: Oppimistulosten parantaminen yläkoulussa Konseptin vaikuttavuusketjun mallinnus PANOKSET TUOTOKSET TULOS TULOS VAIKUTUS MITTARIT Työntekijät: 5 opettajaa, opo, liikuntaohjaaja Vertaisryhmä: 5 oppilasta Tilat: koulu, nuokkari ja liikuntapaikat Sosiaalinen oppimissovellus Rahoitus Yhteistyö: kunnan nuorisotyö liikuntaseurat II asteen opisk. Sovellus käyttöön 50 oppilaalle ja 5 opettajalle Oppimisen tuki 15 oppilaalle, yht. 46 tuntia II asteen opiskelijoiden tapaamisia 25-30 nuorta pelaa viikoittain yhdessä Tarvittaessa ohjataan sotepalveluihin 45 sovelluksen käyttäjää jakaa siellä kokemuksiaan ja kannustaa muita Oppilaiden myönteisyys lisääntyy Ilmapiiri luokassa paranee Opettajan aikaa vapautuu opettamiseen Uusia nuoria saadaan harrastusten pariin Lintsaaminen vähenee 35 oppilaan oppimistulokset paranevat Opiskelumotivaa tio paranee Opettajien työhyvinvointi paranee Uusia kaverisuhteita Sosiaaliset taidot paranevat Välitön m. Välillinen m. Sovelluksen käytön seuranta Oppimistulokset ja pääsy II asteen kouluun Oppilaan ja opettajan arvio Työrauhaindikaattori Esseet vapaaajasta Todennäköisyys II asteen tutkinnon e suorittamiseen kasvaa -> syrjäytymisriski pienenee Konseptin vaikutuksesta syrjäytymisriskiin: - 60% pääsee viiden vuoden kuluessa työelämään tai opintoihin joka tapauksessa. -II asteen koulujen panos valmistumiseen. Kielteinen vaikutus: Lyhyellä aikavälillä kunnan sotepalveluiden käyttö kasvaa e
Mallintaminen ja sidosryhmät PANOKSET TUOTOKSET TULOKSET VAIKUTUS Oppilaat & Vanhemmat Oppimisen tuki Vapaa-aika Op. motivaatio Op. tulokset Sos. suhteet ja taidot Lisäarvo II asteen koulutus Elinkaaritulot Tyytyväisyys elämään OPPIMIS- KONSEPTI Koulu: Tilat Työntekijät Palveluohjaus Sovellus Työajan käyttö Työhyvinvointi Opetuksen laatu Organisaatio & prosessit Tuloksellisuus Sairauspoissaolot Tuottavuus Säästöt Kuntatal.: Tilat Työntekijät SIB-rahoitus Palveluiden käyttö Harrastajamäärät + Poliisin resurssit - Palveluiden käyttö lisääntyy Vähemmän NEETnuoria Palveluiden käyttö Sakkomaksut Kunnallisverot
Arvioinnin tavoitetaso Tulosten kartoitus riittävä taso Painotus subjektiivisesti merkittävässä tiedossa ja osallistuvassa arvioinnissa. Vertailtavuus kyseenalaista. Oman toiminnan vaikutusten osuus selvitettävissä Kuinka suuri osa muutoksesta on ansiotasi: mitä olisi tapahtunut joka tapauksessa (deadweight), mikä oli jonkun toisen osuus (attribution), vaikutusten vaimeneminen ajan myötä (drop off). Objektiivinen vertailtavuus on tavoite. Kokeelliset tutkimusasetelmat tyypillisiä.
Vaikuttavuusketju arvioinnin välineenä VAIKUTTAVUUS Tulosten ja vaikutusten suhde (käytettyihin panoksiin ja) toiminnan tavoitteisiin TARVE TAVOITE PANOS TUOTOS TULOS VAIKUTUS Kenen tarpeeseen arvioitava konsepti vastaa? Mikä on arviotavan konseptin tavoite? Oletukset Oletukset Oletukset - Arvioinnin ja arvioitavan konseptit tavoitteet kirkkaiksi!
Esimerkki: Kompleksisen konseptin vaikuttavuusketju Tavoite Huono-osaisuuden lievittäminen asumisessa Taso 3:vakaus Vakaa asuminen Tulevaisuuden usko Velkakierteen katkaisu Luottamus Taso 2: toimijuus Maksuhäiriöt Terveyskäyt. Taloyhteisö Oikeus tukiin Palveluohjaus Vapaa-aika Sos.suhteet Taso 1: tuki ja tilaisuus Henkilökohtainen tuki Osallistumismahdollisuudet
Vaikutusten arvioinnin kierre JOHTO- PÄÄTÖKSET? UUSI TAVOITE MUUTOK- SET ANALYYSI PALAUTE TIEDON- KERUU TARVE TUTK. SUUNNI- TELMA HIOTTU MALLI TAVOITE Kuljetaanko kohti vaikuttavuustavoitetta? KARTOITUS ANALYYSI ToC MALLI TIEDON- KERUU TUTK. SUUNNI- TELMA
Segmentointi Hyödynsaajien näkökulma - Kuka hyötyy välittömästi ja eniten? - Millaisia he ovat, kuinka monta, tausta, lähtötilanne. - Mitä tulevaisuudennäkymät. - Vaikutettava motivaatioon, kyvykkyyksiin ja tilaisuuksiin => kestävä muutos. - Kenen elämään välittömät hyödynsaajat vaikuttavat?
Organisaation vaikuttavuus
Tunne ympäristösi VAI
HARJOITUS: Aarrekartta (backward mapping) Perhetausta Tulevaisuuden usko Pöytäryhmissä: - Mikä on yhteinen aarteenne? - Minkälaisia polkuja pitkin sinne pääsee ja minkälaisiin etappeihin ne voidaan jakaa? - Mitä esteitä matkalla on? - Mikä on kunkin järjestöjen polku ja etappi? X Ei syrjäytyneitä nuoria - Kenen kaikkien apua tarvitsette aarteen luo päästäksenne? 20 min. Käykää porrastetusti kiinnittämässä kartta seinälle, omien lööppien viereen Ihmissuhteet Koulutus Elämäntavat
KIITOS
Vaikuttavuusvalmentamo Onnela, 29.-30.10.
MODUULI 3 TAVOITE: Vakuuttavan, loogisen ja testattavan vaikuttavuusmallin perusteet - Mallintamisen merkitys - Kaksi näkökulmaa mallintamiseen: vaikuttavuuspuu ja vaikuttavuustarina - Malleista mittareihin
Mallinnus on tärkeää Nuku yösi hyvin: toimiihan ratkaisusi? Kehittämistyö, työntekijöiden motivointi Tietävätkö muut, että se toimii? Viestintä, lobbaus ja rahoittajat Malli on mittareiden perusta - Ei järkeviä mittareita ilman hyvää mallia
mutta kaikkein tärkeintä on aloittaa!
Kerrannaisvaikutukset Vaikuttavuuspuu LEHVÄSTÖ: VAIKUTUKSET Yksilötason muutokset RUNKO: PALVELULUPAUS JUURET: MIHIN VAIKUTETTAVA? Edellytykset Riskit RAVINTEET: TOIMENPITEET Copyright, Antti Honkasalo
MALLI: Nuorten huono-osaisuuden lievittäminen asumisessa LEHVÄSTÖ: VAIKUTUKSET Yksilötason muutokset RUNKO: PALVELULUPAUS JUURET: MIHIN VAIKUTETTAVA? Edellytykset Riskit RAVINTEET: TOIMENPITEET Kerrannaisvaikutukset Asunnottomuusriski pienenee Ammattitaito Velkakierre katkeaa Talouden hallinta paranee Nuori saa henkilökohtaista tukea ja tuntee kuuluvansa aktiiviseen taloyhteisöön Toimeentulo Luottamus Työkyky paranee Työ- ja op. valmiudet vahvistuvat Nuoren motivaatio Elämäntavat Osallistuminen Palveluiden käyttö vähenee Henkinen ja fyysinen terveys kohenee Copyright, Antti Honkasalo Tulevaisuuden usko kohenee Kiinnittyminen taloyhteisöön Ihmissuhteet Yhteisön Inklusiivisuus Ennenaikainen kuolleisuus pienenee
Harjoitus: vaikutuspuu 1/2 Kirjaa puun otsikko Määrittele runkoon konkreettinen palvelulupaus Täytä juuristoa: minkä pitää muuttua, jotta palvelulupaus täyttyy? Minkälaisia edellytyksiä ja riskejä on? 15-20 min.
Harjoitus: vaikutuspuu 2/2 Täytä lehvästöä, aloita yksilön elämässä näkyvistä muutoksista, etene kerrannaisvaikutuksiin. Mitä asioita ajattelet, että voisit mitata ja seurata? Merkitse nämä juuriston ja lehvästön kohdat. 15-20 min.
Kokemuksia puun käytöstä? Hyvä malli syntyy vain kun fokus (palvelulupaus) on tarkka ja terävä. Kannattaisiko tehdä vaikutuspuumetsä, puu / hyödynsaaja- tai asiakasryhmä? Tosin. Sopii myös taustoitus- ja suunnittelutyön välineeksi ja jäsentäjäksi Laajasta näkymästä on helppoa pistää oksasakset viuhumaan ja puristaa puu vaikkapa vaikuttavuusketjuksi
TULOS: Nuorten huono-osaisuuden lievittäminen asumisessa LEHVÄSTÖ: VAIKUTUKSET Yksilötason muutokset RUNKO: PALVELULUPAUS JUURET: MIHIN VAIKUTETTAVA? Edellytykset Riskit Toimeentulo +/- RAVINTEET: TOIMENPITEET Kerrannaisvaikutukset Asunnottomuusriski pienenee Talouden hallinta paranee Velkakierre katkeaa Luottamus Työkyky paranee M Työ- ja op. valmiudet +/- Henkinen ja fyysinen terveys kohenee Osallistuminen Palveluiden käyttö vähenee M Elämäntavat +/- Tulevaisuuden usko kohenee Nuori saa henkilökohtaista tukea ja tuntee kuuluvansa aktiiviseen taloyhteisöön M M Kiinnittyminen taloyhteisöön M Ihmissuhteet +/- Ennenaikainen kuolleisuus pienenee http://www.slideshare.net/sailatykkylainen/yhteiskunnallisten-vaikutusten-arviointi-case-setlementtiasunnot M M M M
Mittarit Hyvä mittari... Mittaa sitä mikä on tärkeintä. On ymmärrettävä ja hyväksyttävä tärkeimpien sidosryhmien näkökulmasta. Perustuu arjessa kertyvään tietoon, jos vain mahdollista. On luotettava. Auttaa kehittämään toimintaa. Hyvä mittaristo Kaikki vaikutusketjun laatikot ja siirtymäkohdat on katettu. Mittareilla erilainen aikaperspektiivi. Tuottaa tietoa eri sidosryhmien näkökulmista. Subjektiivisia ja objektiivisia mittareita rinnakkain. Ainakin osa mittareista seuraa pidemmän aikavälin tuloksia /vaikutuksia. - Mittaa muutosten suuntaa, suuruutta ja kestävyyttä
Vaikutustarina Tarinat ja tarinallistaminen kiinteä osa ihmisen identiteetin rakentamista ja sosiaalista maailmaa. Tarinalla on alku ja loppu Tarinan tapahtumia yhdistää juoni Usein tarina henkilöidään Vaikuttavuutta mallinnettaessa: Pätkä tietyn, kuvitteellisen hyödynsaajan elämäntarinasta ja tilanteesta. Edustaa arkkityyppiä. Tai kuvaa prosessia: palvelupolku, työpäivä, asiakaspalvelu Tarinan avainkohtiin kiinnitetään tilasto- / kustannus- / hyötyjä kuvaavaa tietoa.
Esimerkki vaikuttavuustarinasta Lähde: Talentia
Vaikuttavuustarina? X? X Kotisairaanhoitajan päivä Käynnit ja käynnistys: eurot Ikäihmiset: turvallisuuden tunne Omaiset: tieto
Harjoitus: Vaikuttavuustarina Valitse ensin: henkilö (kuka?) vai prosessi Päätä aikajänne Määritä avainmuutoskohdat 20-30 min.
Kolme näkökulmaa mallinnukseen PANOS (input) TUOTOS (output) TULOS (outcome) VAIKUTUS (impact) Mitä ihmettä?
LOUNAS