KEHITYSYHTEISTYÖN EVALUOINTI PÄÄTÖKSENTEON JA OPPIMISEN TUKENA Aira Päivöke Kehitysyhteistyön evaluointi (EVA-11) 3.6.2010 VTV:n seminaari
Kehitysyhteistyön evaluointi on kansainvälisesti määriteltyä Kehitysyhteistyön evaluointi on arviointitoiminnan yksi muoto Sitä määrittävät OECD/DAC:ssa yhteisesti sovitut Periaatteet (10 kpl) Evaluointikriteerit (5 kpl: relevanssi, tehokkuus, tuloksellisuus, kestävyys ja vaikuttavuus) Evaluointiprosessin ja lopputuotteen laatustandardit (ml. itsenäisyys, riippumattomuus, uskottavuus, käyttökelpoisuus) Käytössä myös EU:n komission lisäkriteerit: 3C:tä (cooperation, coherence, coordination) ja lisäarvo sekä lopputuotteen laatustandardit Esityksen nimi / Tekijä 2
Kehitysyhteistyön evaluointi UM:n organisaatiossa Kehityspoliittinen päätöksenteko ja suunnittelu Organisaation oppiminen KESKITETTY EVALUOINTI (EVA-11) Laajat ohjelma- tai teemaevaluoinnit; yhteisevaluoinnit; meta-analyysit koko kehitysyhteistyön evaluointitoiminnasta; kv. verkostoihin osallistuminen Tilivelvollisuus HAJAUTETTU EVALUOINTI Kehityspolitiikan toteutus: Projektisyklin hallinto: ex-ante- (appraisal), mid-term-, ex-post-, jälkievaluoinnit; monitorointi
Evaluointitiedon käyttäjien ja päätöksenteon valmistelijoiden tiedontarpeet? 4-vuotinen rullaava evaluointisuunnitelma osana vuosittaista EVA-11:n työsuunnitelmaa Evaluointisuunnitelma syntyy osaksi konsultatiivisen prosessin ja osaksi kehitysyhteistyön ajankohtaisten tarpeiden ml. globaalien tapahtumien mukaan EVA-11 on vastuussa itsenäisesti työohjelmastaan; keskustellaan kehityspoliittisen alivaltiosihteerin kanssa prosessin aikana; työsuunnitelman esittely KEPO:ssa Hajautetun evaluoinnin tarpeet pääosin hankesykliin liittyen. Myös ad hoc toimeksiantoja tarvittaessa. Esityksen nimi / Tekijä 4
Evaluointitiedon käyttö / vastuullistavat menettelyt Evaluointiraport Kehityspoliittisen -ti valmistuu johdon päätös: EVA-11 valmistelee Tulosten muistion, julkinen evaluoinnin esittely, seurannan painatus ja taulukon ja laaja jakelu ml. päätösesityk- sähköiset set verkot Kehityspoliittinen laaturyhmä antaa suosituksensa päätösesityksiin Seurantaraportointi n. 2 v:n kuluttua Päätöksen ja evaluoinnin seurantaraportin jakelu toimeenpanoa varten Kehityspoliittisen alivaltiosihteerin päätös evaluoinnin tulosten toimeenpanosta
Evaluointien seuranta ja vastuullistavat menettelyt Hajautetussa s.o. alueosastojen toimeenpanemissa evaluoinneissa keskeinen vastuu on yksiköllä ja myös hankkeiden sisään rakennetuilla ohjaus- ja johtoryhmillä (steering groups, supervisory boards, kenttäkäynnit) Evaluointien tulokset viedään hankkeiden vuosisuunnitelmiin, seuranta monitorointina ja vuosiraportteina Keskitetyn evaluoinnin 2008 ja 2009 aikana tehtyjen evaluointien tulokset ovat näkyneet hyvin laaturyhmään tuoduissa asiakirjoissa. Esim. Kehitystutkimuksen ; DEMO Finland ohjelman; CIMO-Henkilövaihdon ja Keski-Aasian ja Kaukasuksen ohjelman evaluoinnit jne. Esityksen nimi / Tekijä 6
Vaikuttavuustiedon tuottamisen ja hyödyntämisen ongelmakohdat? Kehitysevaluointien meta-analyysit kehitysyhteistyön koko evaluointitoiminnasta toteavat ongelmakohdiksi mm: - henkilöstön vaihtuvuus, heikko institutionaalinen muisti - evaluointitiedon/taidon puutteet, ml. tehtäväksiantojen laatu, mikä heijastuu hankkeiden suunnitteluun ja näkyy siinä, että niiden tuloksellisuuden, kestävyyden ja vaikuttavuuden määrittäminen jää heikoksi tai on mahdotonta - arkistossa säilytetyn dokumenttiaineiston puutteellisuus - suunnitteluun käytettyjen voimavarojen epäsuhta tehtävien laajuuteen nähden Esityksen nimi / Tekijä 7
Evaluointitoiminnan uudistuksia Meneillään on pilotti sisäisestä harmonisoinnista, s.o. useamman evaluoinnin paralleelista etenemisestä, käyttäen sekatiimien ja yhteisryhmien haastatteluja; evaluointien kuormittavuus organisaatiossa ja kentällä vähenee Harmonisointi kv. tasolla Yhteisevaluoinnit: Pariisin Deklaraation II-vaiheen evaluointi ja Tansanian budjettituki Yhteinen normi ja evaluointitiedosto suunnitteilla keskitetylle ja hajautetulle evaluoinnille Vahva koulutuspanos uusi henkilöresurssi saatu 1.6.2010. Vuosiraportti 2008-2009 valmisteilla - loputkin OECD/DAC:n evaluointiperiaatteet täyttyvät 2010 Esityksen nimi / Tekijä 8