Voiko asenteiden muutosta mitata? Työpaja 6.5.2015
Työpajojen tavoite ja ohjelma Keskustelu ja esimerkkien työstäminen: Miten voimme seurata ja mitata järjestöjen aikaansaamaa muutosta asenteissa? Työpaja 2 ke 6.5.2015 klo 13-17 Menetelmät asennemuutoksen seuraamiseksi ja mittaamiseksi Esimerkkejä asennemuutoksen indikaattoreista eri tasoilla (suorat ja epäsuorat kohderyhmät ja suuri yleisö) Vaikuttamishankkeet suurelle yleisölle Globaalikasvatushankkeiden vaikuttavuuden mittaaminen Suomessa 2
3 Menetelmät
Menetelmiä tiedon keräämiseksi Haastattelut Valmis haastattelurunko tai teemahaastattelu Avainhenkilöt: ennalta määritetty otos tai avoimempi otos Focus groups: 6-12 hengen ryhmiä, jotka edustavat ryhmää, jolla on sama intressi tai samantyyppinen identiteetti (esim. nuoret miehet, lapset, opettajat) Kyselyt (nettikyselyt, kyselytutkimukset) Valokuvat, videot http://insightshare.wix.com/videogirls#!what-is-pvmsc/c1l83 Tarinat Työpajat (esim. voimaantumistyökalu)
Lisää tiedonkeruumenetelmiä Tapaustutkimukset (cases) Osallistavat menetelmät Satunnaistettu koeasetelma (randomized controlled trials, RCT) Kirjallisen aineiston analyysi Mielipidemittaukset ja barometrit Menetelmäpankki: http://www.kstoolkit.org/ks+methods
6
7 Mittarit
Edistyksen / muutoksen merkit (progress markers) Love to see (transformatiivinen, syvä muu Like to see (aktiivinen sitoutuminen) Expect to see (varhaiset, myönteiset reaktiot)
Miksi porrastetut mittarit? Tekee näkyväksi muutosprosessin monimutkaisuuden Mahdollistaa edistymisen varhaisen havainnoimisen Kannustaa pyrkimään mahdollisimman perusteelliseen muutokseen, esimerkiksi muutoksiin ihmisten ja ihmisryhmien välisissä suhteissa Auttaa parantamaan suunnitelmia pitkin matkaa
http://my.bond.org.uk/impact-builder
Asennetutkimusten ja analytiikan hyödyntäminen Mielipidetutkimukset Barometrit (esim. nuorisobarometri) Web analytiikka
Vaikutusten arviointi Mikä on muuttunut? Kenellä? Miten merkittävää se on? Onko se kestävää? Millä tavoin me edistimme näitä muutoksia?
Mikä on meidän ansiota? Impact Assessment: Understanding and assessing our contributions to change. Maureen O Flynn, October 2010. INTRAC The greater the gap between an organisation s point of initial intervention, and the people it is trying to affect, the harder it is for the organisation to confidently claim direct impact on the target group, or attribute the impact to their interventions. Many development organisations are now working to explore and document their contribution to change rather than claiming ownership of changes that have taken place. Are we able to measure it? Assess it? Or to provide examples of change and link them loosely to our work? All three levels have their own validity. The mistake is to try to measure something that is well beyond your own sphere of influence. 15
Muutosteoriat Miten ohjelma / hanke / organisaatio odottaa edistävänsä haluttuja muutoksia? Millaisiin olettamuksiin perustuu? Mitkä muut toimijat ja tekijät vaikuttavat? Vrt. tulosketju Evidenssin kerääminen tuloksista, olettamuksista ja muista vaikuttavista tekijöistä missä määrin muutosteoria pätee?
Muutostarina / tulosketju Välitön tavoite Kehitystavoite Tuotokset Toiminnot Sosiaalisen, taloudellisen, poliittisen ja ekologisen ympäristön vaikutus kasvaa Vaikutusten ketju
Outcome harvesting An evaluation tool that applies Outcome Mapping principles to identify, verify and formulate outcomes http://www.outcomemapping.ca/nuggets/outcome-harvesting Review documentation and draft outcome descriptions: Harvesters extract changes in social actors from reports, evaluations, and press releases along with documentation on what the change agents did to contribute to them. Engage with informants in formulating outcome descriptions Substantiate: Harvesters obtain the views of one or more independent people knowledgeable about the outcome and how they were achieved, to enhance the validity as well as the credibility of the findings. Analyse and interpret: Harvesters organise outcome descriptions to make sense of them, analyse and interpret the data and provide evidence-based answers to the useable harvesting questions.