Kokeilujen arviointi Annukka Berg (Syke) & Senja Laakso (HY) Aamukahvit kokeilujen arvioinnista 1.3.2018
Mikä kokeilu? Tapa saada tietoa toimenpiteiden tai muutosten vaikuttavuudesta ennen niiden laajempaa käyttöönottoa (Design for Government, 2015) Kokeilemisen ominaispiirteitä Pyrkimys kosketuksiin käytännön kanssa Toiminta tavoitteellista mutta selvästi rajattua Tulosten epävarmuuden ja oppimisen korostus
Erilaisia kokeiluja Kokeiluissa suuria eroja mm. Koossa: Pieni vs. iso Kestossa: Nopea vs. huolellisesti valmisteltu ja pitkäkestoinen Taustatiedoissa: Etsivä vs. tarkkarajainen Etenemistavassa: Notkea vs. suunnitelmallinen Tavoitteissa: Suoraa toimintaa/muutosta vs. luotettavaa tietoa optimoiva Kontrolloitavuudessa: Avoin vs. suljettu
Kokeilut hallinnoinnin tapana Kokeilevalla hallinnoinnilla (experimental governance) monta juurta Hallinnon kehittäminen satunnaistetuilla kenttäkokeilla (esim. nudge unitit USAssa ja UKssa) Nopeat kokeilut tuotteiden ja prosessien kehityksessä (esim. Lean, SCRUM, palvelumuotoilu) Transitio-ajattelu (esim. hollantilainen transition management) Suomessa kokeilukulttuuri nostettu mukaan PM Sipilän hallitusohjelmaan (2015) Kokeileva Suomi -kärkihanke Erityistä kehittämisen kulttuurien (vs. tekniikoiden) painotus Kokemuksia kokeiluista jo aiemmin, mm. Hiilineutraalit kunnat (HINKU, 2008-), Kohti resurssiviisautta (Sitra/ Jyväskylän kaupunki, 2013-15)
Erilaisia kokeiluja, erilaisia arvioinnin tapoja: Kokeilujen neljä funktiota
Lähtökohtia kokeilujen arviointiin Ymmärrys kokeilujen moninaisista käytöistä/ funktioista hallinnoinnin kokonaisuudessa Vertailu: Mitä on tavoiteltu? Mitä on saavutettu? Vaikutuspolun/hypoteesin kirkastaminen Huomio sekä prosessiin että lopputulokseen Erityinen paino (erilaisille) oppimisille Eri toimijoiden näkökulmat Paikallinen oppiminen ja oppien skaalautuminen
(Laakso, Berg & Annala 2017)
1. Kokeilut testeinä Onko kokeilulla saatu laadukasta tietoa? Toimiiko ehdotettu ratkaisu/ konteksti-mekanismi-yhdistelmä? Miksi? Arviointikriteereitä Hypoteesin/muutosteorian mielekkyys (mm. perustuuko aiemmalle tutkimukselle/tiedolle ilmiöstä) Koeasetelman laatu (testaako uskottavasti määriteltyä hypoteesia) Tuotetun tiedon luotettavuus ja kattavuus (esim. aito mahdollisuus yllättyä) Esim. perustulokokeilu mutta myös monet nopeat kokeilut mielekästä arvioida tästä näkökulmasta
2. Kokeilut vaikutuksen syventäjinä Onko kokeiluilla luotu pysyviä muutoksia/ vaikutuksia vallitseviin käytäntöihin ja toimintatapoihin? Miksi? Arviointikriteereitä Muutoksen saavuttaminen (esim. toimintatapojen muutos, muutokset kulutustottumuksissa) ja sen pysyvyys (myös pidemmällä aikavälillä) Paikallinen sitoutuminen (eri toimijoiden näkökulmien yhdistäminen) Esim. paikalliset/ alueelliset pilotti- Hankkeet ja living labit, kielten opiskelun monipuolistaminen
3. Kokeilut vaikutuksen laajentajina Onko kokeilulla saatuja oppeja ja toimintamalleja onnistuttu monistamaan ja skaalaamaan uusiin konteksteihin? Miten ja miksi/ miksi ei? Arviointikriteereitä Kontekstisidonnaisuus (elementit, jotka sitovat kokeiluja kontekstiin) Monistuvuus/ skaalautuvuus (esim. kokeilussa syntyneiden toimintamallien siirtyminen muihin kuntiin tai muille toimialoille) Hyväksyttävyys (esim. vastaanotto ja haasteet uusissa konteksteissa) Esim. HINKU-verkosto ja -kokeilut
4. Kokeilut systeemimuutoksen tuottajina Edesauttaako kokeilu yhteiskunnallista muutosta? Miten? Arviointikriteereitä Merkittävät ympäristö- tai sosiaaliset vaikutukset Muutoksen ulottuminen (ainakin lähes) kaikille hallinnon aloille sekä useille toimialoille (yksityinen ja julkinen sektori) Esim. Kokeileva Suomi, Digikuntakokeilu ja muut kuntakokeilut, MaaS
Esimerkki: Kohti resurssiviisautta (jyvaskyla.fi/resurssiviisaus) Systeemimuutos? Resurssiviisaus kaupungin strategiaan, pitkän aikavälin tavoitteet Vaikutuksen laajeneminen: Jyväskylässä kokeillut toimintamallit valtakunnallinen verkosto Pilotit vaikutuksen syventäjinä: Bussiloikka ja jatkokokeilut Nopeat kokeilut testeinä: Yli 210 ideaa, 14 toteutettua kokeilua
Yhteenveto
Arviointiprosessi tukemaan kokeiluja Kokeilukulttuurin ytimessä ristiveto laadukkaan tiedon tukeman hallitun muutoksen ja rämpimisen (Lindblom 1959) välillä Kokeilemisen taustaoletusten ja tavoitteiden selkeyttäminen ja reflektio Tärkeää osata käyttää tarkoituksenmukaista kokeilemista mielekkäillä tavoilla Keskeinen arvioinnin kohde!
Kokeilun tarkoituksenmukaisuus Mitä kentästä tiedetään? Esim. jos tietoa ja kokemuksia erilaisista (paikallisesti) toimivista ratkaisuista on jo paljon, tarkoituksenmukaista yrittää validoida jonkin mallin toimivuus laajemmin (esim. kenttäkokeella) tai pyrkiä sen suoraan skaalaamiseen ei tuottaa lisää sirpalemaista tietoa Mitä kentällä halutaan saada aikaan? Esim. paikallisen muutoksen syventämisessä inklusiivisuudella ja kokemuksellisuudella voi olla suuri rooli laajemmassa systeemimuutoksessa koeteltu fakta ja haastaminen voi toimia paremmin
Kokeilun mielekäs toteutus Millaista osaamista tarvitaan? Esim. kunnissa tulisi olla spesifiä osaamista, jotta kokeiluja voitaisiin suunnitella, toteuttaa, monitoroida ja arvioida mahdollisimman tarkoituksenmukaisesti ja niin, että oppeja saadaan tehokkaasti hyödynnettyä. Lisäksi intresseissä tulisi olla oppien skaalaaminen esim. verkostojen kautta. Miten kokemuksia dokumentoidaan? Esim. epäonnistuneet kokeilut saattavat unohtua, vaikka ne ovat oppimisen kannalta erityisen arvokkaita
Kehittämistyön inhimillisyys ja poliittisuus Kokeilukulttuurin nousu koettu hallinnossa monin paikoin raikkaana tuulahduksena, joka on lisännyt innostusta ja vähentänyt epäonnistumisen pelkoa (Stenvall 2017) Inhimilliset tekijät keskeinen osa kehittämistyön arviointia Samalla: kokeileminen myös tapa lykätä vaikeita päätöksiä, peittää toimettomuutta, tuottaa harhaanjohtavaa tietoa Arvioijien tehtävänä paljastaa kokeilujen poliittisuus
Kiitos! Kommentteja? The potential and risks of experimenting annukka.berg@ymparisto.fi senja.laakso@helsinki.fi 18
Kirjallisuutta Berg, A., Hildén, M. & Lahti, K. 2014. Kohti Kokeilukulttuuria. Sitra: Helsinki. Heiskanen, E. & Matschoss, K. 2016. Paikallisten ilmastokokeilujen arvioimisen haasteet. Oppiminen kahdessa vähähiilisessä kokeilussa. Alue ja Ympäristö 45, 2, 45 58. Laakso, S. 2017. A Practice Approach to Experimental Governance. Experiences from the Intersection of Everyday Life and Local Experimentation. Väitöskirja, Helsingin yliopisto. Laakso, S., Berg, A. & Annala, M. 2017. Dynamics of experimental governance: A meta-study of functions and uses of climate governance experiments. Journal of Cleaner Production, 169, 8 16. Yhteenveto artikkelista: http://kokeilevasuomi.fi/blogi/-/blogs/kuinka-jasentaa-kokeilujen-kenttaa- Saari ym. 2018. Kokeilut käytäntöön! Työkirja kokeilujen arviointiin. Työterveyslaitos: Helsinki. Stenvall, J. 2017. Kokeilut rubikin kuutiona? Kokeilujen ja kokeilukulttuurin arviointi ja merkitys julkishallinnossa. Suomen Kuntaliitto: Helsinki.