Taustapaperi: TULOSPERUSTAINEN LÄHESTYMISTAPA KEHITYSYHTEISTYÖSSÄ



Samankaltaiset tiedostot
Kehitysyhteistyön tuloksellisuus

Kohti Busania 2 miten valmistelut etenevät? Järjestötapaaminen Kepassa Niina Pitkänen

1.Yhtenäiset menettelytavat ja käytännöt kuormittavat vähemmän avunsaajamaiden hallintoa

Hakukierros 2009 Hakemusten arvioinnin prosessi. Kansalaisjärjestöseminaari Matti Lahtinen, UM/KEO/Kansalaisjärjestöyksikkö

Osallisuus ja tarinat kehitysyhteistyön arvioinnissa. Laura Lager 5/6/2013

SUOMEN KEHITYSPOLITIIKKA JA POST 2015 AGENDA

SOLID-rahastojen hakukoulutus. Mikä on projekti? , Helsinki

Lopullinen versio, syyskuu 2010 Paikallisen ja alueellisen tason kestävää kehitystä koskeva integroitu johtamisjärjestelmä

Kepan sopeutettu ohjelma

Evaluaatio Kumppanuusjärjestöt. Kansalaisjärjestöseminaari


Politiikkajohdonmukaisuus pakolaisuus ja kehityspolitiikka -evaluoinnissa

SOTE-järjestöjen alueverkosto

Kysely kansalaisjärjestölinjauksesta

Hankevalmistelumatkatuki Infotilaisuus Kepassa

Indikaattoreiden aika: koulutusindikaattorit valtiollisena hankkeena Suomessa

Suomalaisten kansalaisjärjestöjen kehitysyhteistyö

TOIMINTASUUNNITELMA 2011

Balanced Scorecard (BSC) = Tasapainoitettu mittaristo

Tulosperusteinen hankinta. Anniina Tirronen

Ajankohtaista kehityspoliittisella osastolla Kansalaisjärjestöseminaari

Kehitysyhteistyön leikkaukset vaikeuttavat miljoonien elämää

PEFC SUOMI SUOMEN METSÄSERTIFIOINTI RY

Projektityön ABC? Petri Kylmänen, Päihdetyön asiantuntijatoiminnan valmennus, Huuko , A-klinikkasäätiö

Liikkuja polku verkostotapaaminen

Hassinen Laura(UM) JULKINEN

Globaali vastuu Jyväskylän yliopistossa. Anna Grönlund

TULOKSELLISEN TOIMINNAN KEHITTÄMISTÄ KOSKEVA SUOSITUS


Korkeakoulun johtaminen ja kokonaisarkkitehtuuri. Päivi Karttunen, TtT Vararehtori TAMK

LYONIN JULISTUS TIEDON SAATAVUUDESTA JA KEHITYKSESTÄ. Hyväksytty IFLAn yleiskokouksessa Lyonissa Elokuussa 2014 Suomennos Päivi Jokitalo

Järjestöjen toiminnan arviointi ja JÄRVI-hankkeen kehittämät välineet

Ohjauksen uudet tuulet valtiovarainministeriön näkökulma hallinnon uudistumiseen. Palkeet foorumi Alivaltiosihteeri Päivi Nerg ltanen, VM

TOIMINTAKERTOMUS 2011

Yleisavustuksen tuloksellisuus- ja vaikutusselvitys. Selvitysten pisteytys

Voiko asenteiden muutosta mitata? Työpaja

Potilasturvallisuuden johtaminen ja auditointi

Suomen kehityspolitiikka ja North-South-South-ohjelma. Tarkastaja Marianne Rönkä Ulkoasiainministeriö

Sisäisen valvonnan ja riskienhallinnan perusteet Hyväksytty: kaupunginvaltuusto xx.xx.2014 xx

Hallituksen esitys talousarvioksi vuodelle A.Romar / Liite 7E

SISÄISEN VALVONNAN JA RISKIENHALLINNAN PERUSTEET

Käytäntöjen kehittämisen, mallintamisen ja arvioinnin REA-työkalu

Onko tilannekuvasi ja -tajusi kohdallaan? Pääjohtaja Olli-Pekka Heinonen LAPE-akatemian starttitilaisuus Helsinki,

Projektisykli. SKY Kansainvälistyvä kansanopisto HEO

Tuloksellisuudesta. Mitä on tuloksellisuus? Henkilöstönäkökulma. Tuloksellisuussuositus. Haasteita


Yhteisöllisen toimintatavan jalkauttaminen!

BACK TO BASICS 1 JOS SYDÄN VIELÄ SYKKII MATTI FORSBERG, JÄRJESTÖKONSULTTI

Avoin hallinto Rovaniemi VM/VKO

RYHMÄTÖIDEN TUOTOKSET. Mitkä tekijät vaikuttavat hyvien käytänteiden käyttöönottoon yrityksissä ja organisaatioissa? SITOUTUMINEN

Avoin hallinto Open Government Partnership. Suomen toimintaohjelman valmistelu

KEHITYSYHTEISTYÖN EVALUOINTI PÄÄTÖKSENTEON JA OPPIMISEN TUKENA. Aira Päivöke Kehitysyhteistyön evaluointi (EVA-11) VTV:n seminaari

SUOMEN KARATELIITON STRATEGIA Visio Suomi on varteenotettava karatemaa v. 2020, kansallisesti yhtenäinen ja kansainvälisesti menestyvä.

BEAM-ohjelma. KEHITYSYHTEISTYÖ JA KEHITTYVÄT MARKKINAT Ohjelmapäällikkö Minh Lam Kuntaliitto

PCM-projektiajattelu. Projektipalvelut Tutkimus- ja kehityskeskus

KEHITYSYHTEISTYÖ KENTÄLLÄ MIKÄ ON MUUTTUNUT?

SOSIAALINEN TILINPITO Kirsti Santamäki,

Sosten arviointifoorumi Elina Varjonen Erityisasiantuntija, RAY

Kirjastojen muuttuva toimintaympäristö haastaa perinteiset mittaustavat

Kehitysyhteistyövaliokunta MIETINTÖLUONNOS

Miksi vaikuttavuuden osoittaminen on niin tärkeää?

Tuloksellisuuserä Akavan Erityisalojen linjauksia

toiminnan suunnittelu, johtaminen ja kehittäminen

OHEISMATERIAALIN TARKOITUS

Millaisia tuloksia halutaan näkyville?

Aikamme Haaste. Kansallisesta meristrategiasta

Muutoksen hallittu johtaminen ja osaamisen varmistaminen

1 Teknisen ja ympäristötoimen mittareiden laatiminen

YHTEISTYÖSTÄ LISÄVOIMAA YHDISTYKSILLE -MITEN PÄÄSTÄ ALKUUN?

Taloudellinen päätöksenteko julkishallinnossa ongelmat ja rajoitteet

Mihin haasteisiin sinä haluaisit ratkaisuja viraston tulosohjauksessa?

Uusi Seelanti.

Open Forum for CSO Development Effectiveness Raportti Suomen kansallisesta konsultaatiosta Tuloksellisuustyöpajat

OPAS SOSIAALISEEN TILINPITOON


Siinä on ajatusta! Innovaatiot sosiaali- ja terveyspalveluissa

Vieremän kunnan Sisäisen valvonnan ja riskienhallinnan perusteet

Kansliapäällikön puheenvuoro

Yhdessä me se tehdään verkostojen rooli AMKE yhteisössä

KANSALAISJÄRJESTÖJEN TALOUDELLISTEN TOIMINTAEDELLYTYSTEN NYKYTILA VaLa, KANE, Kepa, SOSTE ja Valo

MITEN RAHOITTAA HYVÄ HANKE? KIRSI KARJALAINEN ASIANTUNTIJA, HANKERAHOITUS KUOPIO

Cleantechin kaupallistamisen edellytysten parantaminen lisää kasvua. Juho Korteniemi Cleantechin strateginen ohjelma

ULKOASIAINMINISTERIÖN KEHITYSEVALUOINTI Yhteistapaaminen Suomen Arviointiyhdistyksen kanssa

Tuloksellinen kunta on kaikkien etu

Tulevaisuusverstas. Toiminnallinen tehtävä

2. Kestävän kehityksen lähtökohtana kumppanimaiden omistajuus

Future Smart City. Tulevaisuuden kunta ekosysteemin ja alustatalouden keskiössä. Juha Ruokari. Huhtikuu 2018

JOHTAMINEN ULKOASIAINHALLINNOSSA

Strategia, toimintasuunnitelmat ja johtaminen. Varpu Ylhäinen

LARK alkutilannekartoitus

Kansalaisjärjestöjen ja korkeakoulujen yhteistyömahdollisuuksia kehitysyhteistyössä

Mikä on Suomen ihmisoikeusperustainen lähestymistapa kehitykseen?

Tavoitteena strategisempi, kevyempi, poikkihallinnollisempi ja yhtenäisempi tulosohjaus Valtioyhteisön yhteiset tavoitteet

Suomen kehityspolitiikka ja -yhteistyö Kohti oikeudenmukaista ja kestävää ihmiskuntapolitiikkaa

Oikeat tavoitteet avain onnistuneeseen tapahtumaan

TARKASTUSVALIOKUNTA Minna Ainasvuori JHTT, Liiketoimintajohtaja BDO-konserni

Reilun Pelin työkalupakki: Työkäytäntöjen kehittäminen

Selkeästi vaikuttava. STM-konsernin viestinnän linjaukset

Sisäisen valvonnan ja riskienhallinnan perusteet

Transkriptio:

Anja Onali 15.1.2013 Taustapaperi: TULOSPERUSTAINEN LÄHESTYMISTAPA KEHITYSYHTEISTYÖSSÄ Mitä tulosperustaisella lähestymistavalla tarkoitetaan? Mistä se juontaa juurensa ja mitä eri näkökulmia siihen liittyy? Mitä se merkitsee kansalaisjärjestöjen näkökulmasta? Tulosjohtaminen, tulosohjaus ja tulosperustainen lähestymistapa 1 viittaavat johtamismenetelmään ja toimintatapaan, jossa painotetaan ennalta määriteltyjen tavoitteiden asettamista ja tulosten seuraamista. Tässä työstämässä taustapaperissa kartoitetaan sitä, mistä tulosperustaisuudessa on kysymys ja mitä se merkitsee kansalaisjärjestöjen näkökulmasta. Paperi on tehty Kepan toimiston ja jäsenjärjestöjen käyttöön. 1 TULOSPERUSTAINEN LÄHESTYMISTAPA: MITÄ SE ON? Tulosjohtamisen tavoitteena on parantaa johtamista tietoon perustuvan päätöksenteon, suunnittelun ja oppimisen avulla ja edistää tuloksista raportointia. Kyseessä ei ole vain johtajan toiminta, vaan myös työntekijät ja tiimit etsivät kaiken aikaa ratkaisuja, jotka edistävät hyvien tulosten syntymistä. Tulosjohtamisen tarkoitus on olla tulevaisuuteen keskittyvä ajattelutapa, ei sääntökokoelma. 2 Yhtä yleisesti hyväksyttyä tulosjohtamisen märitelmää tai mallia ei ole. Eri toimijoiden käsitteet ja ajattelutavat eroavat toisistaan huomattavasti. Keskeisiä elementtejä ovat tulostavoitteiden ja mittareiden määrittely, seuranta, tuloksista oppiminen ja raportointi. Katso kuvio 1. 1.1 Taustaa Liike-elämässä jo 1950- ja 60-luvuilla alkanut tulosjohtaminen tuli julkishallintoon 1980-luvulla, jolloin monet OECD-maat modernisoivat julkista sektoriaan ja siirtyivät julkishallinnossa normiohjauksesta lähemmäs markkina-ajattelua. Julkiseen kehitysyhteistyöhön tulosjohtaminen tuli 1990-luvulla ja tuloksellisuudesta on tullut 2000-luvun agenda avun tehokkuuteen liittyvien prosessien ja toimenpiteiden seurauksena. 1 Englanniksi mm. Managing for Results, Management by Objectives, Results Based Management, Managing for Development Results, Performance Management 2 Alkuperäiset ajatukset: Drucker, P. (1954) The Practice of Management; Drucker, P. (1964) Managing for Results

Ajatus tulosohjauksesta ja rahoittajien ja kumppaneiden välisestä yhteistyöstä tiivistyivät vuonna 2005 Pariisin julistuksessa 3, jonka mukaan tulosohjaus (managing for results) on keskeinen keino kehitysyhteistyön tavoitteiden saavuttamiseksi. Taustalla oli kehityshankkeiden epäonnistuminen: hankkeilla ei saavutettu pysyviä tuloksia tai laajempia vaikutuksia. Avunantajien toimet olivat päällekkäisiä ja osin ristiriidassa toistensa kanssa. Kehitysyhteistyöhön liittyi monia rakenteellisia ongelmia. Paikallinen konteksti oli huonosti huomioitu, apuun liittyi paljon erilaisia ehtoja, seurantamekanismit puuttuivat ja ohjelmien ja sektoreiden tuloksista oli puutteellisesti tietoa. Kuvio 1 Tuloksiin perustuva johtaminen 4 Ratkaisuksi avunantajat ehdottivat laajempaa vuoropuhelua kumppaneiden kanssa ja näiden omistajuuden lisäämistä. Strategisten valintojen tulisi perustua maakohtaiseen analyysiin ja kontekstin huomioimiseen. Seurannassa tulisi ottaa käyttöön kansalliset mekanismit. Toimia ja sitoutumuksia avun tehokkuuden edistämiseksi on käsitelty Pariisin jälkeen Accran (2008) ja Busanin (2011) avun tuloksellisuuden huippukokouksissa. 1.2 Näkökulmia tulosohjaukseen Tulosohjauksesta käytävässä keskustelussa voi erottaa kaksi toisistaan kaukana olevaa koulukuntaa, joiden ajattelutavat ja käsitys kehityksestä ovat erilaiset. Tilivelvollisuuteen ja kontrolliin keskittyvät lähtevät käsityksestä, että kehityksessä on olemassa selkeät syy- 3 Pariisin julistuksen viisi keskeistä periaatetta ovat: omistajuus (ownership); yhteistyön sovittaminen kumppanimaiden kehitysstrategioihin (aligment); harmonisaatio (harmonization); tulosohjautuneisuus (managing for development results) ja molemminpuolinen vastuuvelvollisuus (mutual accountability). 4 Kuvio on Antero Klemolan suomennos Dr. Poaten /ITAD esityksestä, 8 3 2011

seuraussuhteet. He hakevat vastausta vastinetta rahalle kysymyksiin, laativat mittaristoja ja raportointijärjestelmiä ja pyrkivät objektiiviseen arviointiin. Liiallinen mittausinto voi kuitenkin aiheuttaa sen, että tulosohjauksesta saatavat hyödyt vähenevät joustavuuden kadotessa. Lähestymistavat, jotka ottavat huomioon kehityksen monimutkaisuuden ja erilaisten sosiaalisten ja kulttuuristen tekijöiden vaikutuksen, ovat avoimempia organisaation oppimiselle, tietoon perustuvalle suunnittelulle ja analyysille sekä prosessimaiselle työskentelylle ja päätöksenteolle. Arvioinnin tulee tästä näkökulmasta olla ennen kaikkea hyödyllistä toimijoille itselleen. Max Peberdy esitteli nämä ideat jo vuonna 2005 suomalaisille kehitysjärjestöille. Rahoittajan vaatimuksille perustuva suunnittelu- ja seurantajärjestelmä johtaa umpikujaan. Organisaation omalle oppimiselle rakentuvat järjestelmät tuottavat myös tietoa, jota voidaan hyödyntää raportoinnissa. Suunnittelun lähtökohtana tulisi olla sekä yhteiskunnan että hankkeen tasolla eri toimijoiden kanssa yhdessä muodostettu muutosteoria 5, joka määrittelee ne keinot ja mekanismit, jotka tarvitaan kehitystavoitteen saavuttamiseen. Muutostarina tulisi laatia yhdessä eri toimijoiden kanssa: kenen arvoista on kysymys ja kuka määrittelee onnistumisen? Muutostarina ja arvolähtökohdat ovat perustana myös seurannan ja mittaristojen rakentamiselle. Kehitysinterventioiden on tarkoitus vähentää epätasa-arvoa. Tämän päämäärän mukaisesti myös työkalujen tulee olla sellaisia, että ne osaltaan edistävät tasa-arvoa. 1.2 Tulosohjauksen haasteita Tulosohjauksen tavoitteet ovat osoittautuneet osin ristiriitaisiksi keskenään. Tietoon perustuva päätöksenteko ja oppimisen kautta tapahtuva toiminnan parantaminen ovat jääneet tilivelvollisuuden jalkoihin. Helposti mitattavat ohjelmat eivät ole kehityksen kannalta tuloksekkaimpia. Tulosten pakonomainen osoittaminen voi johtaa mekanistisiin malleihin ja riskejä ja virheitä karttelevan kulttuurin syntymiseen. Valta jakautuu apujärjestelmässä epätasaisesti. Tilivelvollisuus rahoittajaan ja pohjoisen veronmaksajiin päin on usein suurempi kuin tilivelvollisuus hyödynsaajille ja Etelän ihmisille. Apuketjut ovat pitkiä. Suurimmassa puristuksessa erilaisten tilivelvollisuusvaateiden kanssa ovat ketjun keskiosassa olevat välittäjäorganisaatiot, kuten kehitysmaiden kansalaisjärjestöt. 5 UM:n hanketukilomakkeissa muutosteoriasta (theory of change, program theory) käytetään käsitettä muutostarina.

2 MAHDOLLISUUDET JA UHAT KANSALAISJÄRJESTÖILLE Kansalaisjärjestöjen rooli kehitystoimijoina tunnustettiin Accrassa 2008. Lähtökohtana on, että kansalaistoimijoiden tulee kiinnittää huomiota oman työnsä tuloksellisuuteen ja avunantajien ja kehitysmaiden hallitusten taata suotuisa toimintaympäristö (enabling environment) kansalaistoimijoille. Kehityskulkuna pohjoisessa näyttää Accran jälkeen olleen kansalaisjärjestörahoituksen leikkaaminen ja järjestöjen toimintamahdollisuuksien kaventaminen konservatiivisten hallitusten toimesta (UK, Ruotsi, Hollanti). Kehittyvien talouksien kansalaisyhteiskunnat ovat myös muutosten edessä. Esimerkiksi Intiassa järjestöjen rahoitus on laskenut dramaattisesti, kun maa on noussut kokonaistaloudellisilla mittareilla mitattuna keskituloisten maiden ryhmään ja siirtynyt itse avunantajaksi. Monissa maissa järjestöihin kohdistuva sorto on lisääntynyt. 2.1 Tilanne Suomessa Suomessa tulosohjaus on noussut esiin vuonna 2011 tehdyn arvioinnin1 jälkeen. Uuden kehityspoliittisen toimenpideohjelman 2012 mukaan tulosperustaista lähestymistapaa vahvistetaan hallinnossa. Ohjelman mukaan se merkitsee entistä strategisempaa ja tavoitteellisempaa suunnittelua ja johtamista, tulosten seurantaa ja evaluointia sekä tuloksista oppimista ja viestintää. Julkisen avun osalta konkreettisena toimena on ollut tavoitteellisten maaohjelmien työstäminen Suomen pitkäaikaisten pääyhteistyömaiden osalta sekä UM:n sisäinen ohjeistus tulosperustaisuudesta ja sisäisten tietojärjestelmien päivitys. Ensimmäiset merkit uuden ohjelman toimeenpanosta ovat jo näkyvissä myös järjestöjen näkökulmasta: Hanketuen uusi hakulomake edellyttää mittareiden laatimista tuotoksille ja tuloksille sekä muutostarinan esittämistä hankkeesta. Sähköisen raportoinnin käyttöönotto todennäköisesti vahvistaa raportointia suhteessa mittareihin. Uusien kumppanuusjärjestöjen haussa on painotettu laatua ja tuloksellisuutta. KEO-30 pyysi elokuussa 2012 selvityksiä kumppanuusjärjestöiltä ja Kepalta niiden tuloksellisuustyöstä. Syksyn 2012 kansalaisjärjestöseminaarissa nostettiin esille järjestöjen työn tuloksellisuus ja täydentävyys esimerkiksi suhteessa maaohjelmiin.

Järjestöt ovat asettaneet tavoitteita ja mittareita sekä kehittäneet laatutyökaluja jo pitkään, joten tuloksellisuus ei aiheena ole sinänsä uusi. Tulosperustainen lähestymistapa tarjoaa sekä mahdollisuuksia että uhkia järjestökentälle. Katso taulukko 1. Taulukko 1 Mahdollisuudet ja uhat järjestöille Mahdollisuudet Strategiset valinnat sekä tavoitteiden että resurssien käytön suhteen terävöittävät järjestöjen työtä. Tavoitteiden asettaminen, toiminnan analyyttinen tarkastelu ja korjausliikkeiden tekeminen parantavat työn tuloksellisuutta eli aikaansaamaa muutosta. Järjestöille tarjoutuu mahdollisuus perustella omaa työtään ja osoittaa suurelle yleisölle toiminnan tuloksia ja saavutuksia. Tämä tukee osaltaan myös varainhankintaa. Uhat Helposti mitattavat hankkeet ovat yleensä vähiten transformatiivisia. Tulosten osoittamisen pakko voi johtaa siihen, että luovutaan riskinotosta ja pitkää sitoutumista vaativista hankkeista. Virheitä saatetaan ruveta peittelemään, jolloin niistä ei opita ja kehitytä. Avoimuus ja toinen toiselta oppiminen vähenevät ja järjestöt sulkeutuvat. Alati vaihtuvat ulkoministeriön vaatimukset ja kehityssektorin muodit pitävät järjestöt epätietoisuudessa siitä, mitä niiltä vaaditaan. Järjestöt pyrkivät ottamaan vaatimukset kuitenkin huomioon, mikä johtaa järjestöjen samankaltaistumiseen. Tämä on ristiriidassa sen kanssa, että järjestöjen kehitysyhteistyön tulisi olla mahdollista monenlaisille, ainutlaatuisille järjestöille ja tuottaa innovatiivisia hankkeita. 2.2 Pohdintaa Kepan roolista Kepan tehtävänä on koota ja välittää järjestökentän näkemyksiä. Kepa on ainutlaatuisessa asemassa siinä, että se voi kertoa sekä järjestöille että suurelle yleisölle kehityksen monitahoisuudesta ilman varainhankinnan tuomia paineita. Kepa seuraa kansainvälistä keskustelua ja

voi välittää analyysiä siitä jäsenilleen. Kattojärjestönä Kepalla on mahdollisuus keskustella UM:n virkamiesten kanssa koko järjestökenttää koskevista asioista. Kepalla on mielenkiintoisia oppimispilotteja ja toimintamuotoja, joita kannattaa jakaa eri foorumeilla sekä Suomessa että kansainvälisesti. Myös Etelän osaamisen esiintuominen on tärkeää. Seuraavina askeleina Kepa: selkiyttää käsitteiden käyttöä Kepan sisällä (tuotos, tulos, vaikutus, jne.). hälventää järjestöjen pelkoja kertomalla selkeästi asioiden taustat ja kannustamalla realististen tavoitteiden asettamiseen ja oppimiseen seurannan ja arvioinnin lähtökohtana. järjestää mahdollisuuksia järjestöjen yhteiseen oppimiseen ja jakamiseen. kehittää uudenlaisia työmuotoja (oppimispilotit, sparraus, oman toiminnan seuranta / Outcome Mapping). seuraa, analysoi ja tiedottaa oppimispiloteista. käy vuoropuhelua UM:n kansalaisjärjestöyksikön kanssa.

LÄHTEITÄ / LISÄTIETOA Lue ensin tummennetut lähteet! Bakewell, O. & Garbutt, A. (2005)The use and abuse of the Logical Framework Approach A Review of International Development NGO:s Experiences. The Big Push Forward is creating the space for discussion, debate and the exploration of appropriate approaches for assessing transformative development processes. ehttp://bigpushforward.net/ Christian Aid (2012) How Christian Aid Assesses Value for Money in its Programmes. http://www.christianaid.org.uk/images/value-for-money.pdf (5.11.2012) Hayman, R. (2012) The Busan Partnership: implications for civil society. Policy briefing paper 29. INTRAC. Ministry for Foreign Affairs of Finland (2012) Manual for Bilateral Programmes. http://formin.finland.fi/public/download.aspx?id=102581&guid={d9ab5d98-2ce5-4681-9e51-49ccd252c61c} (23.10.2012) Ministry for Foreign Affairs of Finland (2007). Evaluation Guidelines. Between Past and Future. Hakapaino Oy, Helsinki. Natsios, A. (2010) The Clash of Counter bureaucracy and Development. Centre for Global Development. http://www.hudson.org/files/publications/clash%20of%20counterbureaucracy %20and%20Developmen%20final%20text%20pdf.pdf (22.10.2012) OECD / DAC (2002) Results based management in the development co-operation agencies: a review of experience. Background report. OECD/DAC (2002) Glossary of Key Terms in Evaluation and Results Based Management. Owen, P. & Bayler, S. & Cummings, R. EES workshop 1.10.2012. Performance measurement and use: practice and theory in evaluation.

Oxfam (2012) Busan in a nutshell. What next for the Global Partnership for Effective Development Cooperation? Oxfam Briefing Note 2 October 2012. Poate, D. & Bartholomew, A. & Rothmann, I. & Palomäki, A. (2011) Evaluation of Results-Based Approach in Finnish Development Cooperation. Evaluation report 2011:2. Ministry for Foreign Affairs of Finland, KopijyväOy,Jyväskylä, 93 p. Ramalingam, B. (2011) Aid on the edge of chaos. Blog Post. http://aidontheedge.info (22.10.2012) The Siem Reap CSO Consensus on the International Framework for CSO Development Effectiveness. Agreed By The Second Global Assembly, Open Forum for CSO Development Effectiveness. Siem Reap, Cambodia, June 28 30, 2011. Tuloksellisuusprosessi http://www.kepa.fi/jasensivut/lista-jasenpalveluista/edunvalvonta/tuloksellisuusprosessi (22.10.2012) Ulkoasiainministeriö.( 2012) Suomen kehityspoliittinen toimenpideohjelma. Valtioneuvoston periaatepäätös 16.2.2012. Erweko Oy. Ulkoasiainministeriö.( 2010) Kehityspoliittinen kansalaisyhteiskuntalinjaus. Erweko Pianotuote Oy. UNICEF (2011) How to design and manage Equity-focused evaluations http://mymande.org/sites/default/files/ewp5_equity_focused_evaluations.pdf (23.10.2012) Wallace, T& Bornstein, L. & Chapman, J.(2006) The Aid Chain. Coercion and Commitment in Development NGOs. Warwickshire: Intermediate Technology Publications. Vähämäki, J.& Schmidt, M. & Molander, J. (2011) Review: Results Based Management in Development Cooperation. Riksbankens Jubileumsfond. www.rj.se/f23f-87f4cf866fdfe04be2d7125a47 (29.10.2012)