Politiikkatoimien vaikuttavuuden arviointi -seminaariin 26.1.2009 Kommenttipuheenvuoro Suomen ympäristökeskus (SYKE) Ympäristöpolitiikan tutkimusohjelma Esityksen rakenne Taustani (1 kalvo) Vaikuttavuusarvioinnin isoin haaste Vaikutusarviointi vaikuttavuusarviointi indikaattorit Näyttöperusteinen politiikka/arviointi Mitkä politiikkatoimet pitäisi arvioida? Toimenpide-ehdotuksista Lyhyt kommentti esiselvityksen menetelmästä
: Taustani Kansantaloustieteilijästä Hallinnontieteilijäksi 1989 1990-1997 1997 OECD 1991-1996 AEA, EES, FES EEA YM, KTM, UM Arvioinnin (myös vaikuttavuusarvioinnin) isoin haaste Arviointien käyttö! Silti arviointikeskusteluissa korostuvat usein tekniset menetelmät, käyttäjät ja käytön edistäminen sen sijaan unohtuvat. Miten kehitetään sellaisia politiikkatoimien vaikuttavuusarvioinnin menetelmiä ja toimintatapoja, jotka edistävät käyttöä! Ville Valovirta, Markku Lehtonen, Ulla Rosenström
Käytön edistäminen Patton (1997, 20) Utilization-Focused Evaluation begins with the premise that evaluations should be judged by their utility and actual use; therefore, evaluators should facilitate the evaluation process and design any evaluation with careful consideration of how everything that is done from beginning to end, will affect use. the focus in utilizationfocused evaluation is on intended use by intended users. Osallistumista (participation) ja keskustelua (deliberation). Eduskunnan mutta erityisesti ministeriöiden rooli on keskeinen Käytännön esimerkki ongelmasta Arvioinnissa asetusehdotuksesta talousjätevesien käsittelystä vesihuoltolaitosten viemäriverkostojen ulkopuolisilla alueilla käytettiin kustannus-hyötyanalyysiä. Käytetty esimerkkinä raportissa Lainsäädännön vaikutusarvioinnin kehittäminen: lainsäädännön vaikutusarvioinnin tuen pilottihankkeen tukiryhmän ehdotuksia (2005). + Yhteistyö: SYKE, VATT + Julkaistu raporttina netissä (avoimuutta ja laadunvarmistusta) Ei vaikutuksia asetukseen
Vaikuttavuusarvioinnin yksinkertainen idea Valmistelu Policy formation Toimeenpano Policy implementation Politiikan kohde Targeted activities and actors Tavoitteet Politiikkatoimet käytännössä Panokset Toiminnot Tuotokset Perinteinen ohjaus Vaikuttavuusarviointi Näyttöperusteinen politiikka/arviointi Evidence based policy/evaluation Vaikutukset Vaikuttavuusarvioinnin vaikutusarviointi Valmistelu Policy formation Toimeenpano Policy implementation Politiikan kohde Targeted activities and actors Tavoitteet Politiikkatoimet käytännössä Panokset Toiminnot Tuotokset Perinteinen ohjaus Vaikuttavuusarviointi Tulosohjaus Tulosohjaus Vaikutukset Seurannat ja indikaattorit eivät ole arviointeja
Vaikuttavuusarviointi muuttuvassa maailmassa Päämäärät / ongelmat Käsitys maailmasta Muut tekijät Dynaaminen konteksti Tavoitteet Politiikkatoimet käytännössä Panokset Toiminnot Tuotokset Perinteinen ohjaus Vaikuttavuusarviointi Tulosohjaus Vaikutukset Näyttöperusteinen politiikka/arviointi On Euroopassa levinnyt Englannista, (Tanskan kautta muihin pohjoismaihin) On levinnyt terveyspolitiikasta muihin aloihin (sosiaali-, koulutus-, luonnonsuojelupolitiikka, jne.) Yhdysvalloissa koulutuspoliittinen esitys 2003 joka ehdotti proposed priority to experimental design studies Best for determining effectiveness Only ED studies will be used to determine project funding Arviointiyhteisön kuumin kysymys: What counts as credible evidence?
Keskeisiä amerikkalaisia lähteitä: AEA statement NOT AEA statement Donaldson & Christie 2005. The 2004 Claremont Debate: Lipsey vs. Scriven - Determining Causality in Program Evaluation and Applied Research: Should Experimental Evidence Be the Gold Standard? Journal of MultiDisciplinary Evaluation, 3, 60-77. Informing Federal Policies on Evaluation Methodology: Building the Evidence Base for Method Choice in Government Sponsored Evaluation, New Directions for Evaluation, 113, Julnes & Rog (eds). 2007. Donaldson, S.I., Christie, C.A. & Mark, M. (2009). What Counts as Credible Evidence in Applied Research Evaluation Practice? Thousand Oaks, CA: Sage. Minun näkemykseni näytöstä Tuomioistuin on parempi metafora kuin lääketiede Monenlaista näyttöä Yhteisvaikutukset Todistustaakka Tapauskohtainen harkinta Yhteisvaikutukset Käytännössä kokeellisia ja kvasikokeellisia menetelmiä pystytään hyvin harvoin käyttämään Menetelmällinen pluralismi & triangulaatio Counterfactual thinking Käyttö (missä, mihin, )
Miten vaikutuksia voidaan selvittää? Menetelmällinen pluralismi & triangulaatio Aineistoja, menetelmiä, arvioitsijoita, teorioita Teoriat! (ohjelma/interventioteoriat) Miten oletetaan muutosten tapahtuvan? Ketkä oletetaan tekevän mitä ja missä kontekstissa. Miksi politiikalla ei ole vaikutuksia tai miksi on sivuvaikutuksia: Väärät oletukset Toimeenpano Olosuhteet muuttuvat (Konteksti) Mitkä politiikkatoimet tulisi arvioida? Kaikki / jotkut Kokonaan / osittain Vanhat / Uudet Kokonaan / osittain (esim. tuloverolain (1535/92) 93 )
Mitkä politiikkatoimet tulisi arvioida? Tarvitaan kattavaa ja vakiintunutta vaikuttavuusarviointia Tuottajina: Valtiovarain controller toiminto ja Valtiontalouden tarkastusvirasto Käyttäjinä: VM, Eduskunta, hallinto laajasti Tarvitaan tarkennettua ja valikoivaa vaikuttavuusarviointia Tuottajina: Sektoritutkimuslaitokset, yliopistot ja konsultit Käyttäjinä: Ministeriöt, VNK, Eduskunta Enemmän vuorovaikutusta eri vaikuttavuusarviointien välillä From studies to streams Valikoivat arvioinnit pitäisi päättää sen perustella mihin päätöksenteko prosesseihin ne voisi liittyä ja millainen rooli niillä voisi olla intended use by intended users Konkreettisempia kommentteja toimenpideehdotuksista: Käyttäjät (erityisesti ministeriöt) keskeisemmin mukaan Roolien selkeyttäminen (tilaaja, tuottaja, kohde), ministeriö tai esim. Tekes voi toimia kaikissa näissä rooleissa. Paremmat linkit seurannan, indikaattoreiden, etukäteisvaikutusarviointien ja jälkikäteen tehtyjen vaikuttavuusarviointien välille Sivulla 56 todetaan tiedot toteutuneista, toteumassa olevista ja laadittavista arvioinneista saatetaan kootusti saataville. Tämä on kannatettavaa ja voisi olla toimenpideehdotus, lisäksi syvällisempää keskustelua toteutuneista arvioinneista tulisi tukea (esim. Suomen arviointiyhdistys tai tieteelliset seurat)
Lyhyt kommentti esiselvityksen menetelmästä Ymmärtääkseni esiselvitys on tehty lähinnä kirjoituspöytätyönä Ero moneen muuhun Sektoritutkimuksen neuvottelukunnan esiselvitykseen: Ilmastonmuutoksen hillitsemis- ja sopeutumistoimien arviointi ja vertailu, yli 30 haastattelua ja 2 asiantuntijatyöpajaa. ËTietty epätarkkuus SYKE:n yhteydessä harjoitettua politiikkatoimien analyysia ja arviointia ei tässä vaiheessa voi pitää sen enempää erityisen runsaana kuin suppeana.