Voiko asenteiden muutosta mitata? Työpaja

Transkriptio

1 Voiko asenteiden muutosta mitata? Työpaja

2 Työpajojen tavoite ja ohjelma Keskustelu ja esimerkkien työstäminen: Miten voimme seurata ja mitata järjestöjen aikaansaamaa muutosta asenteissa? Työpaja 2 ke klo Menetelmät asennemuutoksen seuraamiseksi ja mittaamiseksi Esimerkkejä asennemuutoksen indikaattoreista eri tasoilla (suorat ja epäsuorat kohderyhmät ja suuri yleisö) Vaikuttamishankkeet suurelle yleisölle Globaalikasvatushankkeiden vaikuttavuuden mittaaminen Suomessa 2

3 3 Menetelmät

4 Menetelmiä tiedon keräämiseksi Haastattelut Valmis haastattelurunko tai teemahaastattelu Avainhenkilöt: ennalta määritetty otos tai avoimempi otos Focus groups: 6-12 hengen ryhmiä, jotka edustavat ryhmää, jolla on sama intressi tai samantyyppinen identiteetti (esim. nuoret miehet, lapset, opettajat) Kyselyt (nettikyselyt, kyselytutkimukset) Valokuvat, videot Tarinat Työpajat (esim. voimaantumistyökalu)

5 Lisää tiedonkeruumenetelmiä Tapaustutkimukset (cases) Osallistavat menetelmät Satunnaistettu koeasetelma (randomized controlled trials, RCT) Kirjallisen aineiston analyysi Mielipidemittaukset ja barometrit Menetelmäpankki:

6 6

7 7 Mittarit

8

9 Edistyksen / muutoksen merkit (progress markers) Love to see (transformatiivinen, syvä muu Like to see (aktiivinen sitoutuminen) Expect to see (varhaiset, myönteiset reaktiot)

10

11 Miksi porrastetut mittarit? Tekee näkyväksi muutosprosessin monimutkaisuuden Mahdollistaa edistymisen varhaisen havainnoimisen Kannustaa pyrkimään mahdollisimman perusteelliseen muutokseen, esimerkiksi muutoksiin ihmisten ja ihmisryhmien välisissä suhteissa Auttaa parantamaan suunnitelmia pitkin matkaa

12

13 Asennetutkimusten ja analytiikan hyödyntäminen Mielipidetutkimukset Barometrit (esim. nuorisobarometri) Web analytiikka

14 Vaikutusten arviointi Mikä on muuttunut? Kenellä? Miten merkittävää se on? Onko se kestävää? Millä tavoin me edistimme näitä muutoksia?

15 Mikä on meidän ansiota? Impact Assessment: Understanding and assessing our contributions to change. Maureen O Flynn, October INTRAC The greater the gap between an organisation s point of initial intervention, and the people it is trying to affect, the harder it is for the organisation to confidently claim direct impact on the target group, or attribute the impact to their interventions. Many development organisations are now working to explore and document their contribution to change rather than claiming ownership of changes that have taken place. Are we able to measure it? Assess it? Or to provide examples of change and link them loosely to our work? All three levels have their own validity. The mistake is to try to measure something that is well beyond your own sphere of influence. 15

16 Muutosteoriat Miten ohjelma / hanke / organisaatio odottaa edistävänsä haluttuja muutoksia? Millaisiin olettamuksiin perustuu? Mitkä muut toimijat ja tekijät vaikuttavat? Vrt. tulosketju Evidenssin kerääminen tuloksista, olettamuksista ja muista vaikuttavista tekijöistä missä määrin muutosteoria pätee?

17 Muutostarina / tulosketju Välitön tavoite Kehitystavoite Tuotokset Toiminnot Sosiaalisen, taloudellisen, poliittisen ja ekologisen ympäristön vaikutus kasvaa Vaikutusten ketju

18 Outcome harvesting An evaluation tool that applies Outcome Mapping principles to identify, verify and formulate outcomes Review documentation and draft outcome descriptions: Harvesters extract changes in social actors from reports, evaluations, and press releases along with documentation on what the change agents did to contribute to them. Engage with informants in formulating outcome descriptions Substantiate: Harvesters obtain the views of one or more independent people knowledgeable about the outcome and how they were achieved, to enhance the validity as well as the credibility of the findings. Analyse and interpret: Harvesters organise outcome descriptions to make sense of them, analyse and interpret the data and provide evidence-based answers to the useable harvesting questions.