Kehitysevaluoinnin vuosiraportti 2015

Kehitysevaluoinnin vuosiraportti 2015 Evaluation on Finland s Development Policy and Cooperation 2016/1

SISÄLTÖ KEHITYSEVALUOINTI ON OSA STRATEGISTA JOHTAMISTA JA LUOTETTAVAA KEHITYSTULOSTEN RAPORTOINTIA... 1 EVALUOINTIEN KESKEISET VIESTIT VUONNA 2015... 3 LAAJAT EVALUOINNIT VETÄVÄT YHTEEN KEHITYSYHTEISTYÖN TULOKSIA PITKÄLTÄ AIKAVÄLILTÄ... 5 Evaluointi Suomen kehityspoliittisista ohjelmista tulosjohtamisen näkökulmasta...6 Evaluointi Kenian maaohjelmasta...7 Evaluointi inklusiivisesta koulutuksesta Suomen kehitysyhteistyössä...8 Evaluointi Suomen humanitaarisesta miinatoiminnasta...9 Meta-evaluointi hajautetuista hanke- ja ohjelmaevaluoinneista...10 EVALUOINTITULOKSET KERTOVAT TOIMINNAN HAASTEISTA SEKÄ HAASTEELLISESTA TOIMINTAYMPÄRISTÖSTÄ... 12 Positiivisia tuloksia sekä mahdollisuuksia vieläkin parempaan...12 Riskien hallintaa ja hallitsemattomia riskejä...14 EVALUOINTIJÄRJESTELMÄKIN KAIPAA KEHITTÄMISTÄ... 18 Suomen ulkoasiainministeriö 2016 Raportin voi ladata ulkoasiainministeriön internet-sivuilta: http://formin.finland.fi -> Ministeriö ja edustustot -> Julkaisut -> Kehitysyhteistyön evaluointiraportit. Yhteystiedot: EVA-11@formin.fi ISBN 978-952-281-458-6 (pdf) ISSN 2342-8341 Kannen ja ulkoasun suunnittelu: Innocorp Oy/Milla Toro

KEHITYSEVALUOINTI ON OSA STRATEGISTA JOHTAMISTA JA LUOTETTAVAA KEHITYS- TULOSTEN RAPORTOINTIA Vuosi 2015 oli monella tapaa muutosten vuosi Suomen kehityspolitiikassa ja -yhteistyössä. Suurin yksittäinen muutos oli kehityspolitiikan budjettiin kohdistuneet mittavat leikkaukset, jotka vaikuttivat niin ulkoministeriön kuin yhteistyökumppaniemmekin toimintaan. Paineita on varmasti koettu kaikilla tahoilla toiminnan suhteuttamisessa uusiin taloudellisiin puitteisiin. Samalla valmisteltiin uutta kehityspoliittista linjausta, joka on nyt valmistunut ja lähetetty eduskunnan käsittelyyn kehityspoliittisena selontekona. Selonteko korostaa kehityspolitiikan tulosperustaisuutta, mitattavuutta ja tietoperustaista johtamista. Kehityspoliittinen selonteko luo tärkeää poliittista pohjaa kehityspolitiikan ja -yhteistyön tuloksellisuudelle. Kehityspolitiikan tulosten ja vaikutusten arvioinnissa evaluointi on kaikkein keskeisin ja kansainvälisesti vakiintunein prosessi. Luotettavien ja hyödyllisten evaluointien ehtona on toiminnan hyvä evaluoitavuus. Se merkitsee taitavaa suunnittelua ja tavoitteiden asettamista, johdonmukaista seurantaa, raportointia ja tietojärjestelmien toimivuutta ruohonjuuritasolta aina ylimpään johtoon saakka. Haasteeksi jää, miten evaluoinnit käytännössä vahvistavat asemaansa osana strategista tulosjohtamista. Kehityspolitiikan tuloksellisuus puhutti kehityspolitiikan parissa työskenteleviä laajemminkin, sillä vuonna 2015 valmistui eduskunnan pyytämä kehityspolitiikan vaikutuksia arvioiva ulkopuolinen selvitys. Tämä laatijansa nimellä kutsuttu Reinikan raportti hyödynsi kehityspolitiikasta laadittuja evaluointiraportteja ja päätyi hyvin pitkälle samoihin johtopäätöksiin kuin vuoden 2014 evaluoinnin vuosiraporttikin. Koska tätä selvitystä on hyödynnetty paljon eri puolilla ja kehityspolitiikan tasoilla, se on samalla toiminut hyvänä evaluointitiedon levittäjänä. Evaluointeja tehdään ulkoministeriössä useita kymmeniä joka vuosi. On joskus vaikea hahmottaa, mitä ne ovat kokonaisuudessaan tuoneet esille. Tämä vuosiraportti on yksi keino tuoda tiettynä aikana saavutettuja tuloksia esille tiiviissä muodossa niille, jotka eivät ennätä seuraamaan kaikkia evaluointeja. Kehitysevaluointi pyrkii tuottamaan riippumatonta, luotettavaa ja käyttökelpoista tietoa myös poliittisille päättäjille. Siksi koko kehityspolitiikan uskottavuuden kannalta on erittäin tärkeää, että ulkoministeriön evaluointijärjestelmään voi luottaa. Kehityspolitiikan tulosten ja vaikutusten arvioinnissa evaluointi on kaikkein keskeisin ja kansainvälisesti vakiintunein prosessi Koko kehityspolitiikan uskottavuuden kannalta on erittäin tärkeää, että ulkoministeriön evaluointijärjestelmään voi luottaa EVALUOINTI 1

Evaluointikulttuurin edistämisessä yksi keskeinen tekijä on päätöksentekijöiden evaluointitiedon kysyntä Uusi evaluoinnin normi korostaa evaluointien systemaattisuutta, suunnitelmallisuutta ja tulosten avoimuutta Evaluoinnin teemavuosi on takana mitä jäi käteen? Vuosi 2015 oli evaluoinnin kansainvälinen teemavuosi. Evaluoinnin teemavuoden kunniaksi ulkoasiainministeriön kehitysevaluoinnin yksikkö (EVA-11) järjesti useita evaluointia ja erityisesti evaluointikulttuuria edistäviä koulutustilaisuuksia. Systeemistä lähestymistapaa sekä muutosteoriaa esittelevät koulutustilaisuudet keräsivät suuren yleisömäärän. Joulukuun perinteinen evaluointipäivä herätti myös kiinnostusta laajasti, sillä se pureutui muun muassa evaluointien hankintaan sekä nuorten evaluoijien ammatilliseen kehittymiseen liittyviin kysymyksiin. Evaluointikulttuurin edistämisessä yksi keskeinen tekijä on päätöksentekijöiden evaluointitiedon kysyntä. Evaluointeja on turha tehdä, jos niille ei nähdä selvää käyttötarkoitusta. Koska evaluoinnit yleensä tuovat esille myös ongelmia ja haasteita, niihin saatetaan helposti suhtautua varauksellisesti ja välttelevästi. Suomi on sitoutunut noudattamaan OECD:n kehitysapukomitean evaluointiohjeita ja standardeja, joissa kiinnitetään erityistä huomiota riippumattomuuteen ja luotettavuuteen sekä evaluointien käyttökelpoisuuteen. Terve kriittisyys on osa evaluointien luonnetta. Näistä lähtökohdista ponnistava riippumaton arviointitoiminta on tärkeä osa hyvää ja vastuullista hallintoa sekä johtamista. Vuoden 2015 evaluoinnin satoa Vuonna 2015 kehitysevaluoinnin yksikkö julkisti viisi laajaa evaluointia ja aloitti neljä uutta evaluointia. Evaluointien normipohjaa vahvistettiin uudella normilla vuoden 2015 alusta lähtien. Uusi evaluoinnin normi korostaa evaluointien systemaattisuutta, suunnitelmallisuutta ja tulosten avoimuutta. Tämä evaluoinnin vuosiraportti luo katsauksen valmistuneisiin evaluointeihin sekä keskeisimpiin kehitysevaluointijärjestelmän ja evaluointikapasiteetin kehittämishankkeisiin. Raportti on kirjoitettu tiiviissä muodossa, joten se soveltuu hyvin yhteenvedoksi kiireisille päättäjille ja poliittisen tason toimijoille. Samalla se on pyritty kirjoittamaan selkeästi ajatellen laajempaa yleisöä. Raportti on osa kehitysyhteistyön tilivelvollisuutta ja läpinäkyvyyttä. Sen pohjalta voi saada hyvän käsityksen siitä, minkälaisia asioita evaluoinnit ovat nostaneet esille kehitysyhteistyöstä ja minkälaisia suosituksia ne ovat antaneet kehityspolitiikan ja -yhteistyön edelleen kehittämiselle. Raportti kuvaa lyhyesti myös sitä, miten ulkoasiainministeriö on päättänyt toimia evaluointien suositusten pohjalta. Vuosiraportista ei voi kuitenkaan tehdä johtopäätöksiä koskien kaikkia kehityspolitiikan ja -yhteistyön kysymyksiä, sillä yhden vuoden evaluoinnit eivät kata kaikkia kehityspolitiikan osa-alueita. Jyrki Pulkkinen Kehitysevaluoinnin päällikkö 2 EVALUOINTI

EVALUOINTIEN KESKEISET VIESTIT VUONNA 2015 Tulosjohtamista pitää kehittää edelleen Ulkoministeriössä on saavutettu viime vuosina edistystä tulosperustaisten hankkeiden ja ohjelmien suunnittelussa ja toteutuksessa. Hyviä esimerkkejä kehittämistyöstä ovat tulossuuntautuneet maastrategiat sekä monenkeskiset vaikuttamissuunnitelmat, joilla edistetään tulosperustaista toimintaa Suomen kehityspolitiikassa ja -yhteistyössä. Ulkoministeriö ei kuitenkaan ole vielä onnistunut luomaan tulosjohtamista edistävää organisaatioympäristöä. Lisäksi tietojärjestelmät eivät vielä ole riittävän kehittyneitä kaikki kehitysyhteistyön kanavat ja instrumentit kattavaan tulosten seurantaan ja raportointiin. Tasa-arvon edistäminen koulutuksen avulla on Suomen vahvuus Suomella on kansainvälisesti merkittävä ja johtava rooli vammaisten ihmisten oikeuksien sekä kaikille sopivan, inklusiivisen koulutuksen edistämisessä. Suomen tukemat hankkeet ovat vaikuttaneet positiivisesti inklusiivisen opetuksen toimintatapoihin, käytäntöihin ja tuloksiin. Esimerkiksi Kosovossa inklusiivinen ajattelutapa on integroitu opettajakoulutukseen: inklusiivisen opetuksen valmiudet ovat lisääntyneet ja inklusiivisen oppimisen toimintaperiaatteita ja strategioita on kehitetty. Nykyisin erityistarpeiset lapset käyvät aiempaa enemmän koulua tavallisissa luokissa vaikkakin useimmat erityistarpeiset lapset opiskelevat edelleen erityisopetusympäristöissä. On kuitenkin huomattava, että Suomen suhteellisen pienillä resursseilla ei yksin saavuteta suurta vaikutusta erityistarpeisten lasten oppimistuloksiin. Tulevaisuudessa tulisikin hyödyntää nykyistä enemmän kumppanuuksia samanhenkisten rahoittajien kanssa uusien tukikanavien avautumiseksi inklusiiviselle koulutukselle. Lisäksi saavutetut muutokset kumppanimaiden lainsäädännössä ja asenteissa eivät ole vielä vaikuttaneet erityistuen tarpeessa olevien lasten oppimistuloksiin. Opetustilanteissa erityistuen tarpeessa olevat lapset jäivät usein ilman tarvittavaa tukea. Kahdenvälinen yhteistyö on asianmukaista ja tuottaa myös tuloksia Suomen kahdenväliset hankkeet vastaavat sekä yhteistyömaan että Suomen kehityspolitiikan linjauksia ja tuottavat usein myös tuloksia. Tuloksellisuudessa on kuitenkin paljon haasteita. Konkreettisia esimerkkejä siitä, miten kahdenväliset hankkeet ovat vastanneet köyhien ihmisten tarpeisiin, ovat muun muassa maataloustuotannon lisääntyminen, terveyspalveluiden hinnan aleneminen kotitalouksille, tulvien hallinnan kehittäminen, metsätalouden kautta syntyneet tulot sekä ruokaturvan, säästöohjelmien ja lukutaidon kehittyminen. Tulosperustaisuus etenee, mutta tulosjohtamisesta ei voi vielä puhua Tasa-arvoa voi edistää koulutuksen kautta, mutta se pitäisi näkyä myös oppimistuloksissa Kahdenvälinen kehitysyhteistyö vastaa kumppanimaiden tarpeita ja Suomen kehityspolitiikkaa EVALUOINTI 3

Laajempia kehitysvaikutuksia on vielä vaikea arvioida, koska hankkeiden loppuevaluoinneissa vaikuttavuus ei ole vielä arvioitavissa Keniassa Suomi on saanut rahoitusosuuttaan merkittävämmän roolin valituilla yhteistyösektoreilla. Selittävinä tekijöinä voidaan pitää jatkuvuutta, aktiivista koordinointia sekä edustustoon palkattuja erityisasiantuntijoita. Myös poliittinen vaikuttaminen on edistänyt kehitysyhteistyön tuloksia. Kahdenvälisissä hankkeissa on kuitenkin parantamisen varaa tehokkuuden ja tulosten kestävyyden suhteen. Kestävyyden edistämisessä keskeistä on vahvistaa paikallista omistajuutta sekä varmistaa tarvittavan kapasiteetin ja resurssien kehittymisen hankkeen aikana. Yksi keino on hyödyntää enemmän paikallisia järjestelmiä. Laajempia kehitysvaikutuksia on vielä vaikea arvioida, koska hankkeiden loppuevaluoinneissa vaikuttavuus ei ole vielä arvioitavissa ja varsinaisia vaikuttavuusevaluointeja tehdään liian vähän. Kehitysevaluoinnin yksikkö (EVA-11) ulkoministeriössä Budjetti vuonna 2015: 2 miljoonaa euroa 3 5 laajaa evaluointia vuodessa Muut tehtävät: kehitysevaluointitoimen yleinen kehittäminen, evaluointikoulutus ja tukipalvelut yksiköille, evaluoinneista tiedottaminen, osallistuminen kansainväliseen evaluointitoimintaan 4 EVALUOINTI

LAAJAT EVALUOINNIT VETÄVÄT YHTEEN KEHITYSYHTEISTYÖN TULOKSIA PITKÄLTÄ AIKA- VÄLILTÄ Evaluointien tavoitteena on tuottaa perusteltua ja luotettavaa tietoa ulkoministeriön kehityspolitiikan johdolle, kumppaneille, poliittisille päätöksentekijöille, kansalaisille sekä hyödynsaajille siitä, miten kehityspolitiikka on saavuttanut sille asetettuja tavoitteita ja tuloksia. Lisäksi evaluoinnit antavat suosituksia siitä, miten kehitysyhteistyötä tulisi jatkossa kehittää. Vuonna 2015 valmistui viisi laajaa evaluointia: neljä temaattista sekä yksi metaevaluointi alueosastojen tekemistä hanke- ja ohjelmaevaluoinneista. 1. Evaluointi Suomen kehityspoliittisista ohjelmista tulosjohtamisen näkökulmasta 2003 2013 2. Evaluointi Kenian maaohjelmasta 2007 2013 3. Inklusiivinen koulutus Suomen kehitysyhteistyössä 2004 2013 4. Evaluointi Suomen humanitaarisesta miinatoiminnasta 1991 2015 5. Meta-evaluointi yksiköiden hanke- ja ohjelmaevaluoinneista 2012 2014 Evaluoinnit antavat suosituksia siitä, miten kehitysyhteistyötä tulisi jatkossa kehittää Kehitysyhteistyön evaluoinnin normin (1/2015) mukaisesti kaikkiin evaluointeihin reagoidaan. Vastineessa kehityspolitiikan johto päättää, miten evaluoinnin tulokset vaikuttavat toimintaan jatkossa. Yhteistyöstä vastaavat yksiköt laativat vastineesta luonnoksen, joka viedään kehityspoliittiseen ohjausryhmään kommentoitavaksi. Lopullisen vastineen vahvistaa kehitysyhteistyöstä vastaava alivaltiosihteeri. Evaluoinnin tuloksista on tärkeää oppia ulkoasiainministeriötä laajemmin. Vastineissa pitääkin harkita, missä määrin johdon tulee reagoida evaluoinnin tuloksiin sisäisesti ja missä määrin yhdessä kumppaneiden kanssa. Johdon vastineessa sovittujen toimenpiteiden toteutumista seurataan kahden vuoden ajan, jonka jälkeen niiden toteutumisesta laaditaan raportti. Kehitysevaluoinnin yksikkö avustaa osastoja tässä prosessissa. Lisäksi se kokoaa säännöllisesti yhteenvetoja evaluointien seurantaraporttien esille tuomista huomioista ja hyvistä käytännöistä kehityspoliittiselle ohjausryhmälle. Yksittäisten hanke-evaluointien tulokset käsitellään hankkeiden ohjausryhmissä ja johtokunnissa. Käsittelyprosessi ja yhdessä tehdyt päätökset kirjataan selkeästi ylös toimintasuunnitelmiin seurantaa varten. Evaluoinnin suositus- Kehitysyhteistyön evaluoinnin normin mukaisesti kaikkiin evaluointeihin reagoidaan EVALUOINTI 5

Uusimmista evaluoinneista on nähtävissä myös tallenne, jossa evaluoinnin tekijät esittelevät tulokset Tulosperustaisessa toiminnassa on edistytty, mutta tulosjohtamisen toimintakulttuuria on syytä kehittää jatkossa Kehityspoliittiset ohjelmat ovat välittäneet onnistuneesti ja vakuuttavasti Suomen kehityspolitiikan arvot ja johtavat periaatteet ten seuranta toteutetaan osana yhteistyön normaalia kokonaisseurantaa ja raportointia. Seuraavassa on esitetty tiivistetysti vuonna 2015 tehtyjen evaluointien tavoitteet ja keskeiset tulokset sekä niihin laaditut vastineet. Evaluointiraportit löytyvät kokonaisuudessaan ministeriön nettisivuilta: formin.finland.fi -> Ministeriö ja edustustot -> Julkaisut -> Kehitysyhteistyön evaluointiraportit. Uusimmista evaluoinneista on nähtävissä myös tallenne, jossa evaluoinnin tekijät esittelevät tulokset. Evaluointi Suomen kehityspoliittisista ohjelmista tulosjohtamisen näkökulmasta Evaluointi Suomen kehityspoliittisista ohjelmista tulosjohtamisen näkökulmasta tarkasteli kolmea viimeisintä ohjelmaa vuosilta 2004, 2007 ja 2012. Evaluointi porautui mm. ohjelmien laadintaprosesseihin, ohjauskeinoihin, ohjelmointiin ja raportointiin. Kehitysyhteistyön tuloksellisuutta on kehitetty viime vuosina voimakkaasti hanke- ja ohjelmatasolla. Sen sijaan kehityspoliittisen ohjauksen ylemmät tasot ovat jääneet vähemmälle huomiolle. Kehityspoliittisesta toimenpideohjelmasta on tullut keskeisin strateginen dokumentti ja ohjauksen väline. Evaluointi arvioi, että kehityspoliittiset ohjelmat ovat välittäneet onnistuneesti ja vakuuttavasti Suomen kehityspolitiikan arvot ja johtavat periaatteet. Ne eivät kuitenkaan tarjonneet kattavaa lähestymistapaa tulosperustaiseen johtamiseen ja kehityspolitiikan toteuttamiseen käytännössä. Ohjelmista puuttui asioiden priorisointi: peräkkäiset politiikat lisäsivät uusia tavoitteita, mutta eivät poistaneet aikaisempia. Evaluoinnin mukaan ulkoministeriössä on saavutettu viime vuosina merkittävää edistystä tulosperustaisessa hankkeiden ja ohjelmien suunnittelussa sekä toteutuksessa. Kattavilla tulossuuntautuneilla maastrategioilla sekä monenkeskisillä vaikuttamissuunnitelmilla on mahdollista edistää tulosperustaista toimintaa edelleen Suomen kehityspolitiikassa ja -yhteistyössä. Ulkoministeriö ei ole vielä onnistunut luomaan tulosjohtamista edistävää organisaatioympäristöä. Toiminnan kehittämiseen tähtäävän kokeilun ja oppimisen sijaan nykyinen organisaatiokulttuuri välttelee riskien ottamista ja priorisoi ohjeiden täsmällistä noudattamista. Tällainen organisaatiokulttuuri on esteenä tehokkaalle tulosperustaiselle toiminnalle. Lisäksi tietojärjestelmät eivät vielä ole riittävän kehittyneitä kaikki kehitysyhteistyön kanavat ja instrumentit kattavaan tulosten seurantaan ja raportointiin. Evaluoinnin tuloksien perusteella laadittiin johdon vastine, jonka mukaan: Ulkoministeriö valmistelee tiiviin kehityspoliittisen linjauksen, jossa määritellään kehityspolitiikan painopisteet hallituskaudelle. Hallituskaudella kehityspolitiikan tuloksellisuutta, vaikuttavuutta ja mitattavuutta parannetaan tulosraportointijärjestelmää kehittämällä. Tuloksia arvioidaan hallituskauden lopulla. Parannetaan tiedon saatavuutta kehityspolitiikan tuloksista ja vaikutuksista muodoissa, jotka tukevat ulkoista viestintää ja päätöksentekoa. 6 EVALUOINTI

Tietojärjestelmiä kehitetään palvelemaan näitä tavoitteita. Myös toiminta- ja taloussuunnittelua kehitetään edelleen edellisten pohjalta. Aiempaa niukempia henkilöstövoimavaroja kohdennettaessa painotetaan ensisijassa tulosten aikaansaamiseen liittyviä tarpeita. Lisäksi laaditaan tulosohjauksen kehittämisen toimintasuunnitelma sekä vahvistetaan kehitystä tukevaa politikkajohdonmukaisuutta. Lue lisää: Evaluointi Suomen kehityspoliittisista ohjelmista tulosjohtamisen näkökulmasta 2003 2013 Evaluointi Kenian maaohjelmasta Kenia on yksi Suomen pitkäaikaisimmista kehitysyhteistyökumppaneista. Se on afrikkalaisista pääkumppanimaista ainoa niin sanottu keskitulotason maa. Köyhyys ja eriarvoisuus ovat silti polttavia ongelmia. Kenian maaohjelmaevaluointi keskittyi arvioimaan kahdenvälistä kehitysyhteistyötä eli Suomen maaohjelmaa Keniassa. Evaluoinnin mukaan maaohjelma on ollut Kenian tärkeimpien kehityssuunnitelmien mukainen, vaikka se tehtiin pääasiassa ulkoasiainministeriön sisäisenä prosessina ilman laajaa konsultointia kenialaisten kanssa. Suomi on saanut kokoaan merkittävämmän roolin valituilla yhteistyösektoreilla. Tähän ovat vaikuttaneet jatkuvuuden lisäksi huomattavat rahalliset panostukset kyseisille sektoreille sekä edustustoon palkatut kehitysyhteistyön osaavat ja aktiiviset erityisasiantuntijat. Suomen yhteistyö, yleiset tavoitteet ja yhteistyösektorit ovat relevantteja, mutta kehitysyhteistyön tehokkuutta ja tuloksellisuutta voisi tulevaisuudessa parantaa toisilla yhteistyön toimeenpanotavoilla, uusilla kumppaneilla sekä maltillisemmalla budjetoinnilla. Evaluoinnin tulokset otetaan huomioon Kenian maaohjelmaa päivitettäessä siten, että: Tulosalueiden määrä suhteutetaan käytettävissä oleviin resursseihin ja tavoitteita tarkennetaan. Tulostavoitteiden ja sektoreiden valinta sekä päätökset kansallisten järjestelmien käytöstä tehdään tulos- ja riskianalyysin perusteella. Maakuntiin kohdistuvissa ohjelmissa tuetaan maakuntia niille kuuluvien vastuiden hoitamisessa. Rakennetaan pidemmän aikavälin edellytyksiä monipuolisemmille ja kestäville yhteistyösuhteille. Suomi korostaa eri valtionhallinnon toimijoiden, kansalaisyhteiskunnan ja yksityisen sektorin yhteistyön ja osallistumisen tärkeyttä yhteistyössään ja apukoordinaatioryhmissä. Tässä hyödynnetään kahdenvälisiä instrumentteja suunnitellusti ja räätälöiden, kaupallis-taloudellisen yhteistyön edistämistä sekä yhteistyötä Finnpron ja Team Finlandin kanssa. Lue lisää: Evaluointi Kenian maaohjelmasta 2007 2013 Keniassa on kiinnostusta myös uudentyyppiseen yhteistyöhön Suomi on saanut kokoaan merkittävämmän roolin valituilla yhteistyösektoreilla EVALUOINTI 7

Evaluointi inklusiivisesta koulutuksesta Suomen kehitysyhteistyössä Vammaisten ihmisten oikeuksien ja inklusiivisen koulutuksen edistämisessä on menty eteenpäin, mutta kansainvälistä yhteistyötä tarvitaan edelleen Ulkoasiainministeriön tukemat hankkeet ovat muuttaneet monien hallintoviranomaisten, opettajien ja vanhempien asenteita positiivisemmiksi inklusiivista opetusta kohtaan Inklusiivisen koulutuksen evaluoinnin mukaan ihmisoikeuksien edistäminen sekä vammaisten ihmisten oikeuksien ja mahdollisuuksien parantaminen ovat olleet Suomen kehityspolitiikan keskeisiä teemoja 1990-luvulta lähtien. Kehitysyhteistyö on tukenut vammaisten ihmisten oikeuksia erityisesti koulutuksessa sekä ihmisoikeusperustaisen lähestymistavan toteutumista yleisemmin. Tapaustutkimukset Suomen tuesta inklusiiviselle koulutukselle tehtiin Etiopiassa, Kosovossa ja Andeilla. Lisäksi vammaishankkeista tehtiin erillinen dokumenttianalyysi. Evaluoinnissa todettiin, että Suomella on kansainvälisesti merkittävä ja johtava rooli vammaisten oikeuksien sekä kaikille sopivan, inklusiivisen koulutuksen edistämisessä. Ulkoasiainministeriö on yli kaksinkertaistanut vammaishankkeidensa määrän ja rahoituksen viime vuosikymmenellä. Lisäyksestä huolimatta vammaisnäkökulma on onnistuttu saamaan kiinteäksi osaksi vain joka neljänteen hankkeeseen. Opetussektorilla Suomen kahdenvälistä täydentävää tukea on tarvittu useissa maissa, koska erityisopetusta ei ole saatu osaksi kumppanimaiden sektorirahoitusohjelmia. Suomen maakohtaisella tuella on ollut merkittävä vaikutus kumppanimaiden lainsäädännön sekä asenteiden muuttumisessa. Ulkoasiainministeriön tukemat hankkeet ovat muuttaneet monien hallintoviranomaisten, opettajien ja vanhempien asenteita positiivisemmiksi inklusiivista opetusta kohtaan. Muutokset kumppanimaiden lainsäädännössä ja asenteissa eivät ole kuitenkaan vielä vaikuttaneet erityistuen tarpeessa olevien lasten oppimistuloksiin. Opetustilanteissa erityistuen tarpeessa olevat lapset jäivät usein ilman tarvittavaa tukea ja useimmat erityistarpeiset lapset opiskelevat edelleenkin erityisopetusympäristöissä. Tulevaisuudessa pitäisi vahvistaa kumppanuuksia samanhenkisten rahoittajien kanssa, jotta inklusiiviselle koulutukselle löytyisi uusia tukikanavia. Evaluoinnin suositusten pohjalta päätettiin: Vahvistaa edellytyksiä vammaisten ihmisten oikeuksien edistämiseksi kehityspolitiikan ja -yhteistyön keinoin luomalla tiivis kokonaisnäkemys, jota hyödynnetään suunnittelussa ja vaikuttamistyössä. Tiivistetään yhteistyötä sidosryhmien kanssa sekä Suomessa että kansainvälisesti lähtemällä perustajajäseneksi vammaiskysymysten koordinaatioryhmään. Myös maaohjelmointiohjeistuksen päivityksen yhteydessä selvitetään mahdollisuuksia sisällyttää ohjelmien tavoitteita tukevaa kansalaisjärjestöyhteistyötä sekä ihmisoikeusperustaista lähestymistapaa ja ihmisoikeustavoitteita. Opetussektorin sektoriohjelma- ja hankeyhteistyön keinoja käytetään monipuolisesti inklusiivisen koulutuksen kehittämiseen mm. tietojärjestelmiä kehittämällä, tasa-arvotavoitteita edistämällä (etenkin vammaisten oppilaiden osalta), erityistarpeita ja oppimisvaikeuksia selvittämällä ja oppimistuloksia seuraamalla. Kansalaisjärjestöyhteistyötä kehitettäessä selvitetään mahdollisuuksia entistä täydentävämpään yhteistyöhön ihmisoikeusperustaisen lähesty- 8 EVALUOINTI

mistavan soveltamiseksi tilanteissa, joissa ulkoministeriön prioriteetit ja kansalaisjärjestöjenvahvuudet kohtaavat. Lisäksi hyödynnetään entistä systemaattisemmin asiantuntijoita. Lue lisää: Inklusiivinen koulutus Suomen kehitysyhteistyössä 2004 2013 Evaluointi Suomen humanitaarisesta miinatoiminnasta Humanitaarinen miinatoiminta on sekä kehitys- että humanitaarinen kysymys. Se muodostuu viidestä osa-alueesta, jotka ovat miinanraivaus, uhrien avustaminen, miinakieltosopimuksen noudattamisen edistäminen, miinavarastojen tuhoaminen sekä valistaminen miinoihin liittyvistä riskeistä. Humanitaarinen miinatoiminta perustuu Ottawan miinakieltosopimukseen. Humanitaarisen miinatoiminnan evaluoinnin mukaan Suomen toiminta on 25 vuoden aikana muuttunut alkuaikojen tarveharkintaisesta humanitaarisesta rahoituksesta mekaanisen miinanraivaustoiminnan kehittämisen kautta kansainvälisten miinatoimintajärjestöjen tueksi. Nykyinen tuki kanavoituu kokonaisuudessaan järjestöjen kautta. Vuosien 2002 2010 aikana Suomen humanitaarinen miinatoiminta oli melko sirpaloitunutta ja rahoitusta jaettiin pienissä erissä useisiin maihin. Tukea järkeistettiin vuonna 2010 solmimalla muutamia monivuotisia sopimuksia viiden järjestön kanssa. Tuki on pääasiassa kohdentunut Afganistaniin, Angolaan ja Kambodzhaan. Miinanraivaustyö ei yksinään takaa kehitystä, vaan sen lisäksi tarvitaan paljon muuta toimintaa. Humanitaarista miinatoimintaa on toteutettu ulkoministeriössä omana kokonaisuutenaan, erillään muusta kehitysyhteistyöstä. Se tulisikin linkittää selkeämmin muuhun kehitysyhteistyöhön ja esimerkiksi hauraiden valtioiden strategiaan. Evaluoinnin jälkeen humanitaarinen miinatoiminta päätettiin siirtää kehityspoliittiselta osastolta poliittisen osaston vastuulle, jotta sitä pystytään paremmin koordinoimaan muiden aseisiin liittyvien asioiden kanssa. Evaluoinnin perusteella päätettiin: Vahvistaa humanitaarisen miinatoiminnan yhteyksiä hauraiden valtioiden toimintaohjelmaan. Poliittinen osasto koordinoi tiiviissä yhteistyössä alueosastojen ja kehityspoliittisen osaston kanssa. Vähenevien määrärahojen tilanteessa keskitetään toimintaa hauraisiin maihin, joissa avun tarve on suuri ja joissa tuloksellisen toiminnan edellytykset täyttyvät: yhteistyöhallituksen omistajuus ja yhteistyövalmius, Suomen mahdollisuudet aktiivisesti seurata ja vaikuttaa toimintaympäristöön myös muun toiminnan kautta, toiminta täydentää muita Suomen tavoitteita, ml. turvallisuuspoliittiset tavoitteet. Päätettiin myös hyödyntää Suomen vahvuuksia yhteistyöhankkeissa muiden ministeriöiden ja yksityisen sektorin kanssa. Yhteistyöjärjestöistä päätettäessä säilytetään tasapaino konkreettisen toimeenpanon ja normatiivisen toiminnan tuen välillä. Keskitytään järjestöihin, joissa Suomi voi erilaisin keinoin olla aktiivisesti vaikuttamassa tuloksellisuuden vahvistamiseen, esim. hyödyntämällä suomalaista asiantuntemusta. Kohdennetaan tuki toimintaan, jolla on selkeästi määritellyt tavoitteet, joka täydentää muuta toimintaa ja joka mahdollistaa kokonaisvaltaisen lähestymistavan. Humanitaarinen miinatoiminta on muuttanut muotoaan 25 vuoden aikana Miinanraivaustyö ei yksinään takaa kehitystä, vaan sen lisäksi tarvitaan paljon muuta toimintaa EVALUOINTI 9

Humanitaarisen miinatoiminnan alasajo Kambodzhassa ja Angolassa tehdään nykyisten sopimusten päättyessä vuonna 2015. Tulevissa hankkeissa otetaan huomioon exit-suunnittelu alusta lähtien. Mikäli kokonaisvaltainen lähestymistapa tai maan erityistarpeet niin vaativat, Suomi saattaa jatkossakin tukea uhrien avustusta. Lue lisää: Evaluointi Suomen humanitaarisesta miinatoiminnasta Meta-evaluointi hajautetuista hanke- ja ohjelmaevaluoinneista Hankkeissa saatu aikaan tuloksia, mutta pitkän aikavälin vaikutuksista on vain vähän tietoa Evaluoinneista löytyi monia esimerkkejä siitä, miten hankkeet ovat vastanneet köyhien ihmisten tarpeisiin Hanke- ja ohjelmaevaluointeja teettävät kehitysyhteistyöstä vastaavat yksiköt alueosastoilla sekä kehityspoliittisella osastolla. Näiden evaluointien laatua sekä kehitysyhteistyön tuloksellisuutta laajemmin arvioidaan metaevaluointien avulla, joita kehitysevaluoinnin yksikkö (EVA-11) teettää säännöllisesti vuoden tai kahden vuoden välein. Vuoden 2015 alussa valmistuneessa metaevaluoinnissa oli kaksi osaa: ensimmäisessä arvioitiin evaluointiraporttien laatua ja ulkoministeriön henkilöstön evaluointien hallinnon osaamista. Aineistona oli 57 evaluointia tehtävänkuvauksineen, jotka oli teetetty hankkeista vuosien 2012 2014 aikana. Ensimmäisen osan tuloksia käsiteltiin osittain jo viime vuoden vuosiraportissa, mutta toisen osan tulokset valmistuivat vasta vuoden 2015 puolella. Toisessa osassa analysoitiin, mitä kehitysyhteistyön laadusta ja tuloksista voi sanoa hankkeiden evaluointitulosten perusteella. Sitä varten aineistosta eroteltiin soveltuvat hyvälaatuiset hanke-evaluoinnit ja analysoitiin näiden tuloksia. Tarkastelu kehitysyhteistyön tuloksellisuudesta tehtiin pelkästään luotettavien ja OECD-DAC:n laatukriteerit täyttävien hanke-evaluointien pohjalta. Metaevaluointien kehitysyhteistyön tuloksellisuutta arvioiva osa suunniteltiin siten, että se nostaa kehitysyhteistyön onnistumisia ja haasteita keskusteluun aineistolähtöisesti. Arvioitujen evaluointiraporttien mukaan tarkoituksenmukaiset ja useimmiten myös tulokselliset hankkeet ovat Suomen vahvuus. Evaluoinneista löytyi monia esimerkkejä siitä, miten hankkeet ovat vastanneet köyhien ihmisten tarpeisiin: maataloustuotanto on lisääntynyt, terveyspalveluiden hinta kotitalouksille on alentunut, tulvien hallinta on kehittynyt, naisten kyky käynnistää pienyrityksiä on parantunut, metsätalouden kautta on syntynyt tuloja sekä ruokaturva, säästöohjelmat ja lukutaito ovat kehittyneet. Metaevaluoinnin mukaan yhteistyökumppanien rooli hankkeissa oli avaintekijä onnistumisessa. Hankkeet, jotka keskittyvät kumppanien omiin kehityspyrkimyksiin, menestyivät parhaiten. Myös toimivalla yhteistyöllä ja viestinnällä on tärkeä merkitys. Tehokkaimpia olivat sellaiset hankkeet, joissa kumppanien välinen yhteistyö oli toimivaa. Tehokkaille hankkeille on tyypillistä joustavuus ja kyky reagoida muuttuviin tilanteisiin, korjata toimintaa haasteiden mukaisesti sekä kohdentaa resursseja tarpeiden mukaan. Haasteita on kuitenkin edelleen hankkeiden tehokkuudessa ja tulosten kestävyydessä. Tehokkuutta heikensivät hankkeiden puutteellinen suunnittelu ja 10 EVALUOINTI

johtaminen. Hitaat hallinnolliset prosessit (esim. maksatukset tai hankinnat), prosessien venyminen asiantuntijoiden rekrytoinnissa, epäselvät roolit toteutuksessa ja ylimitoitetut tavoitteet tuottivat myös ongelmia. Hankkeiden kestävyyttä heikentää usein instituutioiden riittämätön kapasiteetti sekä taloudellisten resurssien vähyys hankkeen päättymisen jälkeen. Siten myös kestävyyden takuuna on vahva paikallinen omistajuus ja lähestymistapa, joka varmistaa tarvittavan kapasiteetin ja resurssien kehittymisen hankkeen aikana. Kehitysyhteistyön vaikuttavuuteen liittyvät arviot olivat vaihtelevia. Hankkeiden vaikuttavuutta laski osittain se, että joitain kehityspolitiikan osa-alueita tai linjauksia laiminlyötiin evaluoinneissa. Ulkoministeriö on teettänyt vain muutamia hankkeen päättymisen jälkeen tehtyjä arviointeja. Siten hankkeiden pitkän aikavälin tuloksista ja vaikutuksista on saatavilla vain rajoitetusti tietoa. Hankkeiden riskien hallinta todettiin heikoksi. Myös läpileikkaavien teemojen ja ihmisoikeusperustaisuuden huomioimisen osalta tulokset ovat vaihtelevia. Meta-evaluoinnin tuloksien pohjalta päätettiin, että Systematisoidaan ja vahvistetaan evaluointikapasiteetin kehittämistarpeiden kartoitusta. Syksyllä 2015 kartoitetaan erityisesti jatkokoulutustarpeita sekä johdon evaluointikoulutus- ja ohjeistustarpeita. Jatkossa koulutustarpeet kartoitetaan vuosittain evaluointisuunnitelmien keräämisen yhteydessä sekä osastoneuvonantajia konsultoiden. Tarkastellaan vuodelle 2016 suunnitellussa evaluointikapasiteetin arvioinnissa sitä, miten evaluointien tuloksia käsitellään ja hyödynnetään erilaisissa hankkeissa. Evaluointitietojärjestelmä on kehitteillä ja se helpottaa olemassa olevan evaluointitiedon hakemista. Päätettiin myös tehdä meta-evaluointeja vuosittain ja hyödynnetään niiden tuloksia tulosraportoinnissa. Kokeillaan puitesopimuksia EVA-11:n hankinnoissa ja kannustetaan alueosastojakin kilpailuttamaan useita evaluointeja kerralla. Lisäksi päätettiin että ihmisoikeusperustaisuus sisällytetään kaikkiin tuleviin ohjeistoihin. Lue lisää: Meta-evaluointi hajautetuista hanke- ja ohjelmaevaluoinneista 2012 2014 Hankkeiden pitkän aikavälin tuloksista ja vaikutuksista on saatavilla vain rajoitetusti tietoa Hanke-evaluointeja tehdään keskimäärin 30 kpl vuodessa eri osastoilla Metaevaluoinnin avulla voidaan arvioida evaluointien laatua sekä vetää kehitysyhteistyöhankkeiden tuloksia yhteen Metaevaluointeja tehdään vuoden tai kahden vuoden välein EVALUOINTI 11

EVALUOINTITULOKSET KERTOVAT TOIMINNAN HAASTEISTA SEKÄ HAASTEELLISESTA TOIMINTAYMPÄRISTÖSTÄ Tässä luvussa pohditaan laajojen evaluointien tuloksia kokonaisuutena ja tehdään yhteenvetoa kehitysyhteistyön onnistumisista ja haasteista. Siinä nostetaan esille asioita, joita tämän vuoden evaluointitulosten perusteella on hyvä pohtia laajemmin. On kuitenkin hyvä huomata, että vuoden 2015 evaluointeja ei ole alun perin tehty yleistettäväksi koskemaan koko kehityspolitiikkaa ja -yhteistyötä, vaan ne ovat olleet rajattuja edellisessä luvussa mainittuihin aihepiireihin. Hakasuluissa on numeroviittaus evaluointeihin, joiden tarkemmat tiedot löytyvät lähdeluettelosta. Positiivisia tuloksia sekä mahdollisuuksia vieläkin parempaan Tulossuuntautuneilla maastrategioilla sekä monenkeskisillä vaikuttamissuunnitelmilla voidaan jatkossa edistää tulosperustaista toimintaa Suomen kehityspolitiikassa ja -yhteistyössä Vuoden 2015 evaluoinnit tuovat esille useaan otteeseen tiettyjä kehitysyhteistyön osa-alueita, joissa Suomi onnistuu erityisen hyvin. Esimerkiksi Suomen kehityspolitiikan ja -yhteistyön yleiset tavoitteet, painopisteet ja yhteistyösektorit ovat tarkoituksenmukaisia ja perusteltuja [2; 5]. Myös kehityspoliittisissa ohjelmissa on osattu viestiä onnistuneesti ja vakuuttavasti Suomen kehityspolitiikan arvoista ja yleisistä johtavista periaatteista. Lisäksi viime vuosina on edistytty tulosperustaisessa hankkeiden ja ohjelmien suunnittelussa ja toteutuksessa. Tulossuuntautuneilla maastrategioilla sekä monenkeskisillä vaikuttamissuunnitelmilla voidaan jatkossa edistää tulosperustaista toimintaa Suomen kehityspolitiikassa ja -yhteistyössä. [1] Hyvää kumppanuutta ja vahvaa asiantuntemusta Evaluoidut hankkeet noudattivat suurimmaksi osaksi kumppanimaan omia kehitystavoitteita. Tarkoituksenmukaisten hankkeiden koettiin usein lieventävän keskeisiä alueellisia ja maakohtaisia riskitekijöitä, kuten luonnonkatastrofeja tai ilmastomuutoksista aiheutuvia vahinkoja. Ne kohdistuivat selkeiden ongelmakohtien kehittämiseen, kuten ihmisten toimintakyvyn ja kapasiteetin sekä terveydenhoidon rahoituksen parantamiseen. Hankkeissa pyrittiin vaikuttamaan haavoittuvien ihmisryhmien, kuten maaseudun köyhien sekä nuorten työttömien elämäntilanteisiin. [5] 12 EVALUOINTI

Sekä maaohjelmatyöskentelyssä Keniassa että inklusiivisen koulutuksen tukemisessa Kosovossa, Etiopiassa ja Andien alueella Suomi on saavuttanut merkittävän roolin valitsemillaan toimintasektoreilla. Lisäksi Suomella on vahvaa asiantuntemusta kyseisiltä sektoreilta, ja se on panostanut työn pitkäjänteisyyteen ja jatkuvuuteen. Suomen edustustoissa työskentelee osaavia ja aktiivisia erityisasiantuntijoita. [2; 3] Ulkoministeriö on myös osannut valita tukensa kohteeksi kansainvälisiä kumppaneita, jotka suoriutuvat työstään hyvin. [4] Onnistumisia ihmisoikeusperustaisella lähestymistavalla Poliittinen vaikuttaminen ja työn aktiivinen koordinointi on lisännyt kehitysyhteistyön tuloksellisuutta sekä maaohjelmatyöskentelyssä että temaattisessa tuessa [2; 3]. Esimerkiksi inklusiivisessa koulutuksessa Suomen maakohtaisella tuella on ollut merkittävä vaikutus kumppanimaiden lainsäädännön sekä asenteiden muuttumisessa Kosovossa ja Etiopiassa. Suomi on onnistunut edistämään vammaisten henkilöiden oikeutta oppimiseen ihmisoikeusperustaisella lähestymistavalla ja saanut kansainvälisesti merkittävän ja jopa johtavan roolin työssään. Nykyisin useat Suomen tukemat maat tunnustavat erityistukea tarvitsevien lasten oikeuden koulutukseen. Hankkeet ovat vaikuttaneet ja muuttaneet monien hallintoviranomaisten, opettajien ja vanhempien asenteita positiivisemmiksi inklusiivista opetusta kohtaan. Haasteeksi jää kuitenkin näiden periaatteiden vieminen lasten ja koulujen arkeen ja oppimistuloksiin. [3] Jotkut hankkeet yhdistävät hyvin ihmisoikeusperustaisuutta ja koulutuksen tasa-arvoa. Esimerkiksi kaksikielisen ja monikulttuurisen opetuksen hanke (EIBAMAZ) toi uusia mahdollisuuksia jatkaa Amazonin ihmisten oikeuksien puolustamista osana opetuksen kehittämistä. Sen avulla myös luotiin uudistunutta identiteettiä sekä edistettiin itsetunnon ja monikulttuurisuuden tunnetta Amazonin yhteisöissä. Andien alueella koululuokkien viestintämalleissa tapahtui muutos ja alkuperäiskielten käyttö lisääntyi. [3] Yhteistyötä vahvistamalla voidaan saada aikaan vieläkin parempia tuloksia Vuoden 2015 kehitysevaluoinnit identifioivat usein myös sellaisia positiivisia saavutuksia, joita vahvistamalla voisi avautua uusia mahdollisuuksia saavuttaa entistä parempia tuloksia. Evaluointien suosituksissa usein kehotetaan esimerkiksi vahvistamaan viranomaisten välistä yhteistyötä, jos sillä on nähty olevan jo joitain positiivisia vaikutuksia. Humanitaarisen miinatoiminnan näkökulmasta yhteistyötä ja toiminnan johdonmukaisuutta ulkoasiainministeriön ja puolustusministeriön välillä tulisi kannustaa. Samoin yksityisen sektorin sekä niiden kansalaisjärjestöjen, joilla on ohjelmia aseiden ja ampumatarvikkeiden hävittämisestä, osallistumista tekniseen apuun pitäisi edistää ja jatkaa jo hyvin alkanutta yhteistyötä. [4] Paikallinen omistajuus on tärkeää hankkeiden kestävyyden vahvistamisessa. Onnistuneissa hankkeissa keskeisillä toimijoilla on vahva omistajuus ja heidän välillään vallitsee hyvä yhteistyö ja koordinaatio. Myös mukana olevien instituutioiden riittävä toimintakapasiteetti ja osaaminen ovat tärkeitä hankkeiden kestävyyden kannalta. [5] Yhteistyön merkitys nousee esille myös tarkasteltaessa tuen määrää ja muita käytettävissä olevia resursseja. Vaikka Suomen työ inklusiivisen koulutuksen Suomen edustustoissa työskentelee osaavia ja aktiivisia erityisasiantuntijoita Poliittinen vaikuttaminen ja työn aktiivinen koordinointi on lisännyt kehitysyhteistyön tuloksellisuutta Paikallinen omistajuus on tärkeää hankkeiden kestävyyden vahvistamisessa EVALUOINTI 13

edistämisessä on ollut merkittävää, samalla on selvää, ettei Suomen resursseilla yksin saavuteta suurta vaikutusta erityistarpeisten lasten oppimistuloksiin. Tulevaisuudessa tulisikin hyödyntää nykyistä enemmän kumppanuuksia samanhenkisten rahoittajien kanssa uusien tukikanavien avautumiseksi inklusiiviselle koulutukselle maailmanlaajuisesti. [3] Kehitysyhteistyö vaatii pitkäjänteistä suunnittelua ja toteutusta Kaupallisen yhteistyön merkitys kasvaa Pitkäjänteiseen ja johdonmukaiseen työhön tarvitaan pitkän aikavälin strategia Suomen tilanteen vertailu muihin avunantajamaihin avaa usein uusia mahdollisuuksia. Yli puolessa OECD/DAC-jäsenmaista on voimassaoleva kehitysyhteistyölaki tai paikallisen parlamentin vahvistama politiikka. Parlamenttitason politiikkarakenteet mahdollistavat pitkän aikavälin tavoitteiden laatimisen ja luovat odotuksia tuloksista. Kehitysyhteistyö vaatii pitkäjänteistä suunnittelua ja toteutusta. Vertailumaiden ja -järjestöjen pitkän aikavälin politiikka- ja strategiset suunnitelmat voisivat tarjota hyödyllisiä malleja Suomelle siihen, kuinka tarvittava pitkäjänteisyys otetaan paremmin huomioon kehitysyhteistyön suunnittelussa ja toteutuksessa. [1] Maakohtaisissa evaluoinneissa Suomen toimintaa verrataan usein muihin avunantajamaiden toimintamalleihin sekä kumppanimaan omaan avunantajapolitiikkaan. Kenian evaluoinnissa suositeltiin, että nykyistä hankekokonaisuutta tulisi täydentää rahoittamalla suoraan Kenian hallituksen ohjelmia. Se näytti olevan erityisesti Kenian hallituksen asettama prioriteetti avunantajien toiminnalle. [2] Evaluointien maakohtaiset analyysit antavat kontekstia myös evaluointien suosituksille. Kaupallisen yhteistyön merkitys kasvaa esimerkiksi Keniassa. Toisaalta olisi mietittävä, miten markkinat ja yksityinen sektori voivat vähentää köyhyyttä ja eriarvoisuutta, jotka ovat vielä maan isoja haasteita. Evaluointi suosittelee, että Suomen uuden maaohjelman valmistelussa vuosille 2017 2020 konsultoitaisiin laajasti eri toimijoita Keniassa. Uuden maaohjelman keskeinen tavoite voisi olla siirtyminen perinteisestä kehitysyhteistyöstä muunlaiseen toimintaan kuten taloudelliseen yhteistyöhön. Kehitysyhteistyön tehokkuutta ja tuloksellisuutta voisi tulevaisuudessa parantaa toisilla yhteistyön toimeenpanotavoilla, uusilla kumppaneilla sekä maltillisemmalla budjetoinnilla. [2] Riskien hallintaa ja hallitsemattomia riskejä Ulkoministeriön, edustustojen, kansalaisjärjestöjen ja muiden hankkeiden toteuttajien tulisikin pyrkiä saavuttamaan tuloksia strategisesti toisiaan täydentäen ja luoda synergiaan eri instrumenttien välillä Hyvin usein kehitysevaluoinnit identifioivat Suomen kehityspolitiikasta ja -yhteistyöstä myös haasteita, mahdollisia riskejä ja jopa uhkia, jotka kenties voitaisiin välttää tai korjata evaluointien suositusten mukaisilla toimenpiteillä. Vaikkei yhteistyön vahvistamista ja koordinaation merkitystä eri toimintojen ja toimijoiden välillä voi koskaan korostaa liikaa, usein näiden toteuttamiseen liittyy myös haasteita. Esimerkiksi vammaishankkeissa järjestelmällinen koordinaatio maatasolla eri apukanavien ja instrumenttien välillä on ollut vähäistä. Kansalaisjärjestöjen vammaishankkeet eivät ole systemaattisesti linjassa ministeriön strategisten suuntausten kanssa. Ulkoministeriön, edustustojen, kansalaisjärjestöjen ja muiden hankkeiden toteuttajien tulisikin pyrkiä saavuttamaan tuloksia strategisesti toisiaan täydentäen ja luoda synergiaan eri 14 EVALUOINTI

instrumenttien välillä. [3] Myös humanitaarisen miinatoiminnan evaluointi osoitti selvästi, ettei miinanraivaustyö yksinään edistä kehitystä, vaan tarvitaan myös paljon muunlaista toimintaa. [4] Myös maatasolla on yhteistyön haasteita. Esimerkiksi Keniassa ei riitä, että jatketaan yhteistyötä jo identifioitujen toimijoiden kanssa, vaan Suomen tulisi tukea entistä vahvemmin eri hallintotasojen välistä yhteistyötä. Haasteita voidaan siis nähdä myös kumppanien keskinäisessä yhteistyössä, jossa Suomi on vain yksi toimija muiden rinnalla. [2] Tausta-analyyseihin pitäisi panostaa enemmän Pienelle toimijalle, kuten Suomelle, on tyypillistä laajempien taloudellisten ja poliittisten tausta-analyysien heikkous. Siitä voi koitua ongelmia toiminnan kontekstin muuttuessa. Esimerkiksi humanitaarisen miinatoiminnan (HMA) prioriteetit ovat muuttuneet globaalilla tasolla vuosien kuluessa. Myös ulkoministeriön ja sen kumppaneiden tulisi kehittää toimintaansa sekä pyrkiä HMAtoiminnan sosio-ekonomisten vaikutusten syvällisempään ja laajempaan mittaamiseen. Tämä edellyttäisi parempien kontekstianalyysien tekemistä. [4] Toiminta eri kulttuurisissa konteksteissa on haasteellista, jos tausta-analyysit ovat puutteellisia. Esimerkiksi EIBAMAZ-hankkeen tulosmittarit eivät huomioineet monikulttuurisen ja kaksikielisen opetuksen toteuttamiseen liittyviä lukemattomia esteitä. Selkeä polku alkuvaiheessa määriteltyjen kunnianhimoisten tavoitteiden saavuttamiseksi puuttui. [3] Myös ihmisoikeusperustaisuuden ja läpileikkaavien tavoitteiden toteutumiseksi ulkoministeriön pitäisi tehdä syvempiä tausta-analyyseja [2]. Metaevaluoinnissa nousi esiin, että noin puolessa evaluoituja hankkeita tehokasta toimeenpanoa haittasi epäsuotuisa poliittinen ympäristö. Myös heikon institutionaalisen kapasiteetin ja ihmisten osaamisen koettiin vaikeuttavan noin joka kolmannen hankkeen toteuttamista. Lisäksi viestinnän ja tiedon jakamisen ongelmat eri toimijoiden kesken olivat usein esteenä tavoitteiden toteutumiselle. [5] Hankkeiden vaikuttavuuteen ja erityisesti kestävyyteen vaikuttaa suuresti se, miten kehitysyhteistyö saa puolelleen paikallisen poliittisen tuen. Hankkeen saavuttamat tulokset voivat kääntyä sitä vastaan, jos ne koetaan poliittisena uhkana. Esimerkiksi inklusiivisen ja monikulttuurisen koulutuksen poliittisella tuella oli hyvä perusta Boliviassa, mutta se osoittautui hauraaksi Ecuadorissa. [3] Myös humanitaarisen miinatoiminnan evaluointi toteaa, että Suomen tulisi suhtautua varauksella niiden maiden tukemiseen, joissa hallitus vaikeuttaa toimintaa ja joilla itsellään olisi varoja toiminnan rahoittamiseksi. [4] Pienelle toimijalle, kuten Suomelle, on tyypillistä laajempien taloudellisten ja poliittisten taustaanalyysien heikkous Hankkeiden vaikuttavuuteen ja erityisesti kestävyyteen vaikuttaa suuresti se, miten kehitysyhteistyö saa puolelleen paikallisen poliittisen tuen Kehityspoliittisessa suunnittelussa, johtamisessa ja raportoinnissa on puutteita Haasteita on myös ulkoministeriön oman toiminnan kehittämisessä ja johtamisessa. Kehityspolitiikan laadinta- ja budjetointiprosessit tehdään edelleen suurelta osin erillään toisistaan. Heikkous nykyisessä ohjausrakenteessa on linkkien puuttuminen tulos- ja talousarviosuunnittelun välillä strategia- ja ohjelmatasolla. Tämä aiheuttaa ongelmia tulosperustaiselle johtamiselle ja toiminnalle. On vaikea sitoutua tuloksiin tietämättä, mitä resursseja on käytettävissä. [1] EVALUOINTI 15

Ulkoministeriön tietojärjestelmät eivät ole vielä riittäviä tulosten seurantaan ja raportointiin niin, että ne kattaisivat kaikki kehitysyhteistyön apukanavat ja instrumentit Eduskuntaa ja suomalaista yhteiskuntaa ei saisi jättää vaille selkeää kokonaiskuvaa siitä, onko alun perin asetetut tavoitteet saavutettu Riskien hallinta on osin puutteellista. Niitä ei aina oteta huomioon hankkeiden suunnittelussa. Kun riskeihin ei ole varauduttu etukäteen, toteutuessaan ne aiheuttavat usein viivästyksiä ja joissakin tapauksissa estävät hankkeiden tavoitteiden saavuttamisen. [5] Hankkeista ei myöskään tehdä juurikaan perusteellisempia etukäteisevaluointeja (ex-ante evaluations) vaan ainoastaan hankesuunnitelman toteutettavuusarviointeja (apraisals). Lisäksi laaturyhmältä puuttuu valmiuksia arvioida hankkeiden mahdollisuuksia tuottaa tehokkaasti kehitystuloksia. Laaturyhmän toiminta keskittyy yksittäisiin hankkeisiin, toistaiseksi laajempi näkökulma puuttuu. [1] Evaluoinnit ovat kiinnittäneet huomiota seurannan sekä siitä kertyvien tilastojen ja raporttien puutteellisuuteen kehityspolitiikan ja -yhteistyön eri tasoilla. Esimerkiksi luotettavat ja käyttäjäystävälliset tilastot vammaisia henkilöitä tukevista ohjelmista puuttuvat tai ovat osin puutteellisia niin maatasolla kuin hankkeissakin. [3] Useita tulostavoitemittareita ei ole systemaattisesti seurattu ja raportoitu. Hanke-evaluoinneissa on hyvin vähän tietoa siitä, miten hankkeet ovat saavuttaneet ylätason tavoitteita tai vaikutuksia. [5] Ulkoministeriön tietojärjestelmät eivät ole vielä riittäviä tulosten seurantaan ja raportointiin niin, että ne kattaisivat kaikki kehitysyhteistyön apukanavat ja instrumentit. Vastuuyksiköiden keräämät tiedot eivät välity eteenpäin ulkoministeriössä. Kattavien tulossuuntautuneiden raporttien puute vaikeuttaa kehitysyhteistyön vaikutuksista raportointia eduskunnalle. Evaluoinnin mukaan aiempi tulosten raportointi on ollut hyvälaatuista, mutta sattumanvaraista, eikä se ole kattanut kaikkia avun kanavia. [1] On myös tärkeä havaita, että tulosjohtaminen onnistuu vain, jos poliittinen ohjaus ja siihen liittyvät rakenteet tukevat sitä. Kehityspoliittinen toimikunta (KPT) on periaatteessa ainoa politiikkatason elin, joka seuraa kehityspolitiikan toteutumista vuosittain ja raportoi siitä hallitukselle. KPT:n vaikutusvalta esimerkiksi politiikan johdonmukaisuustyössä on kuitenkin heikko, mikä johtuu osin sen rajoitetuista valtuuksista. Vaikka ulkoministeriö on toiminut aktiivisesti kehityspolitiikan johdonmukaisuuden edistämisessä kansainvälisellä tasolla, kotimaan politiikan johdonmukaisuus kärsii liian alhaisesta profiilista. Ministeriön edustajilla ei ole selkeitä valtuuksia tehdä asiaan liittyviä päätöksiä, joten strateginen lähestymistapa konkreettisine tavoitteineen ja resursseineen jää uupumaan. [1] Oppivaa ja tulosohjautunutta organisaatiokulttuuria on vahvistettava edelleen Pitkäjänteinen kehityspolitiikka edellyttää poliittisten tavoitteiden lisäksi jatkuvuutta yli hallituskausien sekä järjestelmän kykyä oppia aikaisemmasta toiminnasta yhdessä muiden toimijoiden kanssa. Ohjelmien laadintaprosessissa pitäisikin kiinnittää huomiota aiempiin kokemuksiin ja tuloksiin sekä hyödyntää paremmin evaluointien tuloksia. Monien määrällisten tai laadullisten tavoitteiden osalta pitäisi käydä keskustelua siitä, miksi tavoitteita ei ole saavutettu. Eduskuntaa ja suomalaista yhteiskuntaa ei saisi jättää vaille selkeää kokonaiskuvaa siitä, onko alun perin asetetut tavoitteet saavutettu (tai saavutetaanko ne todennäköisesti tulevaisuudessa), ja siitä, edustaako tehty työ hyvää sosiaalista investointia. [1] 16 EVALUOINTI

Yksi toistuvasti esille nouseva epäonnistuminen onkin se, ettei ulkoministeriö ole vielä pystynyt luomaan tulosjohtamiselle pohjautuvaa organisaatioympäristöä, vaikka useat evaluoinnit ovat siihen puuttuneet. Organisaatiokulttuuri on edelleen suurelta osin riskejä välttelevä. Kokeilun ja oppimisen sijaan se priorisoi ohjeiden täsmällistä noudattamista ja tulosvastuullisuutta. Tällainen julkiselle sektorille yleinen organisaatiokulttuuri on vakava este tehokkaalle tulosperustaiselle toiminnalle. [1] EVALUOINTI 17

EVALUOINTIJÄRJESTELMÄKIN KAIPAA KEHITTÄMISTÄ Evaluointitiedolle olisi käyttöä kehitysyhteistyön kaikissa eri vaiheissa, myös ennen varsinaisen toiminnan aloittamista Evaluointi mielletään yleisesti prosessiksi, joka tapahtuu aikaisintaan toiminnan puolivälissä tai sen jälkeen. Evaluointitiedolle olisi käyttöä kehitysyhteistyön kaikissa eri vaiheissa, myös ennen varsinaisen toiminnan aloittamista. Perinteisesti hankesuunnittelusykliin on kuulunut hankeaihion etukäteisarvio (appraisal). Ulkoministeriössä on keskusteltu, tehdäänkö kehityspolitiikan suunnitteluvaiheessa riittävässä laajuudessa myös ennakkoarviointeja (ex-ante evaluations) politiikan mahdollisista vaikutuksista sekä toimivuudesta. Samantyyppisiä ennakkoarviointeja voisi tehdä myös eri rahoitusinstrumenteille. Ministeriö on kokeiluluonteisesti aloittanut kehittävän evaluoinnin yhteistyössä Teknologian ja innovaatioiden kehittämiskeskus Tekesin kanssa liittyen uuteen BEAM (Business with Impact) -kehitysinnovaatio-ohjelmaan. Kyseessä on uuden instrumentin kehittävä evaluointi (developmental evaluation), jossa tuodaan arviointitietoa BEAM-ohjelman ohjausryhmälle koko instrumentin elinkaaren ajan vuosina 2015 2019. Evaluointitiimi raportoi havainnoistaan, johtopäätöksistään ja suosituksistaan vuosittain, keskittyen ohjelman edistymisen kannalta keskeisiin kysymyksiin. Ulkoministeriössä hanke-evaluoinnit tehdään pääsääntöisesti hankkeen puolivälissä tai heti hankkeen päätyttyä. Tästä johtuen evaluointien on vaikeaa löytää todisteita kehitysyhteistyön vaikuttavuudesta evaluointihetkellä. Varsinaisia vaikuttavuusevaluointeja (impact evaluations, ex-post evaluations) ei Suomen kehitysyhteistyöstä ole tehty, joten vaikuttavuutta on vaikea arvioida evaluointien pohjalta. Vaikuttavuuden arviointiin tulee kiinnittää enemmän huomiota tulevaisuudessa. Evaluointikulttuuria voidaan kehittää keskustelun ja koulutuksen keinoin Evaluointikulttuurin kehittäminen on pitkäaikaista ja hitaasti etenevää työtä. Evaluointikulttuurin kehittäminen edellyttää uusien evaluointimuotojen kehittämisen lisäksi paljon avointa keskustelua sekä koulutusta. Evaluointikapasiteettia ja -kulttuuria edistääkseen kehitysevaluoinnin yksikkö toteuttaa vuosittain Helsingissä evaluoinnin peruskoulutusta ulkoministeriön ja edustustojen henkilöstölle, joka vastaa hanke-evaluointien hallinnoinnista. Kolmeen moduuliin jaettu koulutus keskittyy evaluoinnin peruskäsitteisiin ja periaatteisiin, evaluointiprosessin hallintaan sekä ihmisoikeusperustaiseen lähestymistapaan evaluoinneissa. Keväällä 2015 siihen osallistui ulkoministeriön henkilöstön lisäksi konsultteja ja kansalaisjärjestöjen edustajia. Osallistujat pitivät erityisen positiivisena sitä, että kurssilla pystyi jakamaan kokemuksia, näkemyksiä ja hyviä käytäntöjä eri organisaatioissa työskentelevien ihmisten kesken. Perinteinen lähiopetuksena pidetty koulutus saavuttaa vain ne, joilla on mahdollisuus osallistua koulutukseen tiettynä aikana tietyssä paikassa. Koulutuk- 18 EVALUOINTI