ULKOASIAINMINISTERIÖN KEHITYSEVALUOINTI 22.01.2013 Yhteistapaaminen Suomen Arviointiyhdistyksen kanssa
Kehitysevaluoiti on kansainvälisesti säädeltyä Kehitysevaluointi on arviointitoiminnan yksi muoto OECD:n kehitysapukomiteassa (DAC) yhteisesti sovitut periaatteet (10 kpl) evaluointikriteerit evaluointiprosessin ja lopputuotteen laatustandardit EU:n tuomat lisäkriteerit ja raporttien laatustandardit 22.1.2013/AP 2
Kehitysevaluointi Ulkoasiainministeriössä Kehityspolitiikan ja yhteistyön suunnittelu ja päätöksenteko Keskitetty evaluointi (EVA-11) Laaja-alaiset evaluoinnit, meta- ja synteesievaluoinnit yhteisevaluoinnit, ml. monenkeskisten järjestöjen yhteisevaluoinnit Organisaation oppiminen Hallinnon läpinäkyvyys ja tulosvastuullisuus Hajautettu evaluointi Kehitysyhteistyötä hallinnoivat osastot ja edustustot; hanke-evaluointeja; yhteisevaluointeja multi-bi; rahastot Ulkoasiainministeriön sisäinen ohje (normi) 4/2011
Keskitetty kehitysevaluointi (EVA-11) EVA-11 kehityspoliittisen alivaltiosihteerin yhteydessä, toiminnallisesti itsenäinen työyksikkö. Keskitetyllä kehitysevaluoinnilla ja kehitysyhteistyön sisäisellä tarkastuksella on oma momentti kehitysyhteistyön budjetissa. Vuositasolla EVA-11:n budjetti on n. 2.1 MEUR, joka vastaa n. 0.23-0.25% kehitysyhteistyöbudjetista. EVA-11 toimii yhteistyössä kv evaluointiverkostojen kanssa (OECD/DAC EVALNET; EU Heads of Evaluation; Nordic+; EvalPartners, Afrea, IOCE, EES jne.) Esityksen nimi / Tekijä 4
EVA-11:n pääasialliset tehtävät Strategisesti tärkeiden ja laajojen temaattisten evaluointien toimeenpano ja johtaminen, tulosten käsittely ja päätösten valmistelu, tulosten toimeenpanon seuranta ja yhteenveto, raportointi KEPO:lle. Evaluointiraporttien julkaisutoiminta ja jakelu Evaluointien tuloksista tiedottaminen (mm. vuosiraporttien laatiminen; osallistuminen UM:n ja kehitysyhteispolitiikan ja yhteistyön yleiseen vuosittaiseen raportointiin) Osallistuminen kv. evaluointiyhteisöjen työhön Help-desk- ja koulutustoiminta, ml osallistuminen kv. aloitteiden kautta kumppanimaiden evaluointikapasiteetin rakentamiseen. Esityksen nimi / Tekijä 5
Kehitysevaluoinnin suunnittelu EVA-11:llä on 4-vuotinen rullaava evaluointisuunnitelma osana vuosittaista kokonaistyösuunnitelmaa. Evaluointisuunnitelma huomioi kehitysyhteistyön ajankohtaisia aiheita ja globaaliagendan tarpeita. EVA-11 työsuunnitelman hyväksyy kehityspoliittinen alivaltiosihteeri. EVA-11 kokoaa myös hajautetun evaluoinnin suunnitelmat. EVA-11 vie Kehityspoliittiselle ohjausryhmälle (KEPO) tiedoksi UM:n kehitysevaluointisuunnitelman. Esityksen nimi / Tekijä 6
EVA-11:n henkilöstövoimavarat Yhteensä viisi henkilöä: - Kehitysyhteistyön evaluoinnin päällikkö - Kehitysyhteistyön evaluoinnin avustaja - Seniori evaluointivirkamies (lähetystöneuvos) - Evaluointivirkamies (tarkastaja), syksystä 2009 - Koulutuksen asiantuntija (ylitarkastaja), kesästä 2010 Esityksen nimi / Tekijä 7
Laajojen evaluointien tulosten toimeenpano (normi 4/2011) Tulosten julkinen esittely, raportin painatus, jakelu ml. sähköiset verkot Kehityspoliittisen johdon päätös: EVA-11 valmistelee esittelymuistion ja seurantataulukon ja päätösesitykset Valmis evaluointiraportti EVA- 11 Kehityspoliittinen ohjausryhmä (KEPO) antaa suosituksensa päätösesityksiin KEPO EVA- 11 Seurantaraportointi 1-2 v:n kuluttua Päätös ja seurantaraportti jaellaan toimeenpanoa varten Kehityspoliittisen alivaltiosihteerin päätös evaluoinnin tulosten toimeenpanosta
Liite 1. Johdon päätökseen HEL7517-22 ULKOASIAINMINISTERIÖ / EVA-11 [Kansilehti] EVALUAATION SEURANTARAPORTTI Evaluation of.. (898.01) Evaluaatioraportt:i 2013:X KEPO:n suositus: KEPO suosittelee tämän seurantarportin sarakkeeseen kolme kirjattuja päätösesityksiä evaluoinnin tulosten toimeenpanemiseksi. Helsinki, / /2013 KEPO:n puheenjohtaja Evaluoinnin prosessi ja tulosten käsittely Tehtäväksianto: Avoin tarjouskilpailu: Evaluaatioryhmä: Evaluoinnin kesto: 06.04.2011-07.02.2012 Prosessi: Aloituskokous Inception raportti Muut mahdolliset kokoukset ja väliraportit: Desk-raportti: Loppuraportti: Tulosten esittely: KEPO-käsittely: Päätös evaluoinnin tulosten toimeenpanosta: Johdon päätös ASKI-järjestelmään: Evaluointiprosessi ja päätösvalmistelija: Esityksen nimi / Tekijä 9
Evaluoinnin havainnot ja suositukset Asianosaisten huomiot ja muut kommentit Esitys kehityspoliittisen johdon kannanotoksi Taustaa: Yleisiä kommentteja: Kehityspoliittisen johdon yleiset näkökohdat: Huomiot (H), Johtopäätökset Kommentit Päätösesitykset (J) ja Suositukset 1. [otsikoitu osio] 1. [otsikoituun osioon] 1. [Päätösesitykset) H: J: Suositellaan, että Suositellaan, että... [Mahdolliset kommentit tähän osioon] 1. Päätösesitys: [osion otsikko] Päätöksen toimeenpanon vastuu: [KEPO:n näkemys] Raportointi toimeenpanosta: 1-2 vuoden kuluttua Esityksen nimi / Tekijä 10
Evaluoinnin tuloksista tehdyn päätöksen sisältö Kepo:n jälkeen EVA-11 laatii lopullisen päätöksen: 1. Evaluoinnin tausta 2. Vahvuudet 3. Suomen erityispiirteet 4. Kehittämisalueet 5. Evaluointiraporttien laatu 6. PÄÄTÖKSET: evaluoinnin seurantaraportilta tuodaan päätösesitykset nyt vastaavasti numeroituina päätöksinä. Päättäjä: Kehityspoliittinen alivaltiosihteeri Esittelijä: KEPO:n puheenjohtaja (yleensä KEO:n osastopääll.) Jakelu toimeenpanoa varten: EVA-11 Esityksen nimi / Tekijä 11
Hajautetun evaluoinnin tulosten käsittely Hajautetuissa evaluoinneissa keskeinen vastuu evaluointien tulosten toimeenpanosta on normin 4/2011 mukaisesti yksiköillä ja sitä kautta hankkeiden sisään rakennetuilla ohjaus- ja johtoryhmillä (steering groups, supervisory boards). Evaluointien tulokset viedään hankkeiden vuosisuunnitelmiin, seurataan toteutusta (monitorointi) ja raportoidaan. EVA-11:n toimeenpanemat hajautettujen evaluointien metaevaluoinnit ja synteesit kokoavat yhteen hajautetun evaluoinnin antia. Esityksen nimi / Tekijä 12
Uudistamistyötä EVA-11:ssä Pilotoitu kolme menettelyä: yhdellä vaivalla enemmän tulosta - Sateenvarjomalli (neljä teemaa yhteinen tehtävänkuva; paralleeli toteutus; neljä tiimin johtajaa ja tiimiä; yhteishaastatteluja; erilliset raportit + synteesi; yksi managerointi) - Yhdessä itsenäisesti (yhteinen tehtävänkuva, eri kohteet, paralleeli toteutus, yksi tiimin johtaja; osa-tiimit; yhteishaastatteluja; erilliset raportit; yksi managerointi) - Kaksi yhdellä kertaa (yhteinen aihe, osaevaluoinneilla omat tehtäväosiot yhteisessä tehtävänkuvassa; yhteinen prosessi, yhteinen tiimi ja johtaja; erilliset raportit ; yksi managerointi) Evaluointiohjeistojen uudistustyö meneillään Esityksen nimi / Tekijä 13