Kuntakokeilut kuntien velvoitteiden vähentämisen tueksi -hankkeen arviointi

Transkriptio

1 1 Kuntakokeilut kuntien velvoitteiden vähentämisen tueksi -hankkeen arviointi Loppuraportti

2 2 Sisällysluettelo 1. Kuntakokeilut kuntien velvoitteiden vähentämiseksi hankkeen arvioinnin tavoitteet ja toteutustapa Arvioinnin tavoitteet ja toteutus Arvioinnissa käytetyt aineistot ja menetelmät Arviointityöhön liittyviä haasteita Arvioitsijan rooli Kuntakokeilut-hankkeen toteutuksessa - konsultti hankkeelle ja arvioitsija kokeiluille Kokeilujen tavoitteiden, toteutuksen ja toimeenpanon onnistuneisuuden kokonaisarviointi - mikä toimi, mikä ei toiminut Kokeilujen valmisteluprosessin sekä tavoitteiden ja kokeilujen sisältöjen onnistuneisuus Kuntakokeilut -hankkeen toteutuksen onnistuneisuus Indikaattoreiden onnistuneisuus kokeilujen seurannan ja tuloksien sekä vaikutusten mittaamisen välineinä Yhteenveto kokeilujen tavoitteiden osuvuudesta, toteutuksesta ja toimeenpanosta Kokeiluissa saavutetut tulokset ja opit sekä hyvät käytännöt mitä saatiin aikaiseksi, missä onnistuttiin ja missä ei onnistuttu Kokeiluissa saavutettuja uusia toimintamalleja ja uusia palveluiden järjestämistapoja Tulosten juurruttaminen ja levittäminen Yhteenveto kokeilujen tuloksista Kuntakokeilun vaikuttavuus ja lisäarvo Kokeilujen vaikuttavuus - mitä kokonaisuutena saatiin aikaiseksi Kuntakokeilutoiminnan merkitys ja lisäarvo Oppeja ja kehittämisehdotuksia jatkoa ajatellen Arvioitsijoiden näkemyksiä Kuntakokeilut -hankkeesta ja sen arvioinnista Kehittämissuosituksia kokeilutoiminnan kehittämiseen sekä kokeilujen tulosten jatkohyödyntämiseen liittyen... 56

3 3 1. Kuntakokeilut kuntien velvoitteiden vähentämiseksi hankkeen arvioinnin tavoitteet ja toteutustapa Vuosien 2015 ja 2016 aikana toteutettiin Rakennepoliittisen ohjelman toimeenpanosta tehdyn päätöksen mukaisesti, kuntakokeiluja 57 Suomen kunnassa ja 45 kokeilukohteessa. Kokeilujen tarkoituksena oli lisätä kokeilukuntien toimintamahdollisuuksia vähentämällä niille laissa tai sen nojalla annetuissa säädöksissä asetettuja tehtäviä ja velvoitteita sekä niiden toteuttamisen ohjausta. Kokeilujen yleisinä tavoitteina oli edistää kokeilukunnissa sellaisten asiakaslähtöisten ja monialaisten toimintatapojen sekä palvelurakenteiden kehittämistä ja käyttöä, joiden avulla laissa säädettyjä tehtäviä voidaan kunnissa hoitaa taloudellisesti ja tuottavasti, kuitenkin lainsäädännössä asetetut palvelujen sisältöä koskevat vaatimukset toteuttaen. Kuntakokeilujen toteuttamiseksi laadittiin määräaikainen laki kuntien velvoitteiden ja ohjauksen vähentämistä ja monialaisten toimintamallien tukemista koskevista kokeiluista, joka oli voimassa alkaen aina vuoden 2016 loppuun asti. Laki mahdollisti toimintavapauksien lisäämisen ja sen puitteissa tehtävän kokeilutoiminnan. Mukana olleet kunnat saattoivat kahden vuoden aikana kehittää uusia toiminta- ja palvelumalleja, tehdä muutoksia palvelujen järjestämistapoihin ja työnjakoon kokeilujen tavoitteiden mukaisesti ja määräaikaisen lain mahdollistamien toimintavapauksien puitteissa. Tarkoituksena oli edistää kunnissa jo käynnissä olevia palveluprosessien ja toimintamallien kehittämistyötä. Kokeiluja toteutettiin kuuden eri toimintamallin puitteissa, joita olivat: Hyvinvoinnin integroitu toimintamalli (8 kokeilua, joissa 33 kuntaa mukana). Kokeilussa tuettiin monialaisten ja asiakaslähtöisten toimintamallien kehittämistä ja toteuttamista. Tätä varten yhdistettiin mm. lakisääteisiä yksilöllisiä palvelusuunnitelmia, suunniteltiin palveluita monialaisessa yhteistyössä ja selvitettiin poikkihallinnollisen tiedon tietosuoja- ja salassapitosäädösten tulkintoja sekä tehtiin tarvittavia muutosesityksiä sekä kokeiltiin niiden toimivuutta. Koulutuspalvelukokeilu (1 kokeilu, jossa alun perin 3 kuntaa mukana), jossa selvitettiin millaisilla ratkaisuilla kokeilualueen kunnat voisivat järjestää opetuksen parhaiten kuntien rajat ylittäen hyödyntämällä yhteistä oppilaitosverkkoa. Tarkoituksena oli myös hankkia kokemuksia lukiokoulutuksen hallinnollisesta yhteistyöstä. Asumispalvelujen toimintamalli (4 kokeilua, joissa 8 kuntaa mukana), jossa edistettiin vanhusten ja vammaisten ja muiden erityisryhmiin kuuluvien henkilöiden asumispalvelujen uusien toimintamallien luomista ja toteuttamista kunnille kustannuspaineita aiheuttavaa ohjausta keventäen ja asumispalveluja koskevien vahvistettujen periaatelinjausten mukaisesti ja kehittämällä kokeilualueilla tapahtuvaa asumisen valvontaa indikaattoripohjaiseksi. Valvonnan toimintamalli (4 kokeilua, joissa 18 kuntaa mukana), jossa lisättiin kokeilukuntien toimintamahdollisuuksia kuntien tehtäväksi säädettyjen palvelujen järjestämisessä ja tuottamisessa luomalla uusia toimintamalleja palveluiden ohjaukseen ja omavalvontaan sekä väljentämällä yksityiskohtaisten suositusten ja ohjeiden soveltamiskäytäntöjä. Kokeilujen pääsisältönä on

4 4 indikaattoriperusteisen valvontamallin kehittäminen kokeilualueilla, kuntien omavalvonnan ja sen roolin kehittäminen ja aluehallintovirastojen ja kuntien yhteistyön kehittäminen Kuntien ja Kelan yhteistyötä koskeva kokeilu (1 kokeilu, jossa 1 kunta mukana), jossa kokeiltiin kunnan ja Kelan palveluyhteistyötä ja selvitettiin Kelan tietojen hyödyntämistä kuntien toimeentulotukiprosessissa ja kunnallisten palvelumaksujen määrittelyä varten. Kokeilulla tuettiin perustoimeentulotuen myöntämisen ja maksamisen siirtymistä Kelalle valtakunnallisesti vuoden 2017 alusta. Nuorisotakuun toimintamalli (12 kokeilua, joissa 42 kuntaa mukana), jonka avulla tuettiin nuorisotakuun paikallista toteuttamista. Kokeilussa kehitettiin kuntien ja työvoimaviranomaisten yhteistyön toimintamalleja sekä opintoihin sijoittumisen palvelupolkuja. Nuorisotakuukokeilussa pyrittiin parantamaan tiedonsaantia nuoren tilanteesta ja palvelujen käytöstä sekä lisäämään nuorten työn ja eri palvelumuotojen tarjonnan joustavuutta. Merkittävä osa kokeiluista toteutettiin Ohjaamotoiminnan osana, jossa kuntakokeiluissa luotiin Ohjaamoille toimintamalli. Kokeilujen toteutuksen tueksi käynnistettiin kuntakokeiluhanke, jota johdettiin valtiovarainministeriöstä (VM). Hankkeessa luotiin edellytykset määriteltyjen kuntakokeiluiden toteuttamiselle yhteistyössä ministeriöiden, kuntien, kokeilussa mukana olevien virastojen (mm. Te-toimistot, AVI) ja Kelan kesken. Yleisenä tavoitteena oli ohjata kuntien kokeilutoimintaa niin, että kunnat voisivat kokeilun aikana kehittää taloudellisesti ja vaikuttavuudeltaan parhaita mahdollisia toimintamalleja. Hankkeen lopullisena tavoitteena oli mahdollistaa päätöksenteko jatkossa toimenpiteistä, joilla julkisen hallinnon kestävyysvajetta voidaan supistaa Arvioinnin tavoitteet ja toteutus Kuntakokeilut hankkeen toteutukseen kirjattiin hankkeen ulkopuolisen riippumattoman arvioinnin toteuttaminen. Toteutetun arviointityön kohteena olivat Kuntakokeilut kuntien velvoitteiden vähentämisen tueksi hankkeen valmistelu- ja toimeenpanovaihe vuosina Ulkoinen arviointi kohdistui kolmen keskeisen teeman ja tavoitteen ympärille, jotka olivat: hankkeen valmistelun ja tavoitteiden onnistuneisuus (tehdäänkö oikeita asioita) hankkeen toteutustavan ja toteuttamisen onnistuneisuus (tehdäänkö asioita oikein) hankkeen tulokset ja vaikutukset (erityisesti suhteessa kokeilujen yleisiin tavoitteisiin) Arvioinnin ydinkysymyksiä ovat olleet: i. Miten kokeiluhanke on organisoitu ja toteutettu? ii. Miten kunnat ovat toteuttaneet kokeilusopimuksissa määriteltyjä toiminnallisia muutoksia? iii. Miten kuntakokeilut vaikuttavat kunkin kokeiltavan toimintamallin ja kokeilukohteiden puitteissa ja yhteensä? asiakkaiden hyvinvointiin ja palvelukokemukseen sekä asiakaslähtöisyyteen palvelujen lakisääteisten vaatimusten toteuttamiseen tehtävien toteutuksen taloudellisuuteen ja laatuun

5 5 henkilöstön määrään ja rakenteeseen sekä siihen miten uudistuvat toimintamallit on koettu yhteisöllisyyteen ja vapaaehtoistyön toteuttamiseen ja hyödyntämiseen iv. Miten indikaattoriperusteinen arviointi on kokeilussa toteutettu? v. Miten indikaattoriperusteinen arviointi on vastannut kokeilun palvelujen arvioinnin ja viranomaisvalvonnan tarpeisiin? vi. Miten kuntien kokeilut vaikuttavat kokeilukuntien toimintamahdollisuuksiin palvelujen järjestämisessä ja tuottamisessa? vii. Miten kokeilut vaikuttavat valvontaviranomaisten ja kuntien väliseen yhteistyöhön sekä valvontaviranomaisten ja kuntien työmäärään? viii. Miten kokeilun vaikuttavat kuntien ja TE-toimistojen väliseen yhteistyöhön ja työnjakoon? ix. Miten kokeilut vaikuttavat kuntien toiminnan tuottavuuteen ja talouteen? x. Miten kokeilussa sovelletut toimintamallit laajetessaan vaikuttavat kuntien kykyyn tuottaa palveluita? xi. Miten kuntakokeilut vaikuttavat kansalaisten yhdenvertaisuuteen? Ulkoisen arviointityön työvaiheet olivat: 1. Hankkeen ja osallistuvien kuntien lähtökartoitukset ja lähtöanalyysi 2. Kuntakokeilut hankkeen toimintamallien aikaansaamien palvelujen järjestämistapojen ja palveluprosessien muutosten analyysi 3. Kuntakokeilut - hankkeen vaikutusanalyysi eri toimijoiden tehtäviin, työnjakoon, roolitukseen ja toimintavapauteen 4. Vertailuanalyysi kuntakokeilualueiden ja ei-kokeilualueiden välillä 5. Laadulliseen ja mahdollisuuksien mukaan määrälliseen seurantatietoon perustuva analyysi hankkeen tuloksista, vaikutuksista ja indikaattoriperusteisesta arvioinnista 6. Edellisten työvaiheiden perusteella tehty kokonaisarviointi kuntakokeilut - hankkeen merkityksestä 7. Arvioinnin tulosten väli- ja loppuraportointi Arviointityössä tuotettiin helmikuussa 2016 väliraportti, jota edeltävät työvaiheet keskittyivät erityisesti kuntakokeilujen valmistelun ja tavoitteiden onnistuneisuuteen sekä hankkeen toteutustavan ja toteuttamisen onnistuneisuuteen, väliarviointiraportin ajankohdan näkökulmasta. Arviointityön työvaiheet 1-3, sekä erityisesti valmistelun ja tavoitteiden asettamisen onnistuneisuus on raportoitu väliraportissa. Arvioinnin väliraportin havainnoilla kokeilujen toimeenpanon ja organisoinnin haasteista ja onnistumisista, kokeilujen etenemisestä sen hetkisestä tilanteessa sekä väliraportissa esitetyillä johtopäätöksillä ja kehittämisehdotuksilla, pyrittiin tukemaan kokeilujen toimeenpanoa kokeilujen loppukautta ajatellen. Väliraporttiin tuotettiin myös alustavaa tietoa kokeilujen tuloksista ja vaikutuksista sekä niiden syntymistä tukevaa tietoa. Tämän raportin sisältämä loppuarviointi toteutettiin syksyn 2016 ja vuoden vaihteen aikana. Loppuarviointi käsittelee kaikkia arvioinnin tavoitteita ja arviointikysymyksiä sekä kokonaisuutena arviointiprosessin eri työvaiheita. Loppuarvioinnissa tuodaan esille lopullinen kokonaisarviointi kokeiluista ja johtopäätökset Kuntakokeilut -hankkeen merkityksestä. Lisäksi loppuarvioinnissa tuotettiin tietoa kokeilujen lopullisista saavutetuista tuloksista ja opeista sekä havaittavista ja syntymässä

6 6 olevista vaikutuksista. Loppuraportin tietojen tarkoitus on palvella parhaalla mahdollisella tavalla päätöksentekoa koskien mahdollisuuksia lisätä kuntien toimintavapautta asetettujen julkistalouteen liittyvien tavoitteiden saavuttamiseksi. Ulkoisen arviointiprosessin lisäksi keskeisenä työkokonaisuutena arviointityössä oli kuntakokeilujen mahdollisimman onnistuneen ja vaikuttavan toimeenpanon sekä kuntakokeilujen onnistuneen toteutuksen tukeminen, kehittävän arvioinnin periaatteella. Arviointiprosessissa päätettiin arvioitsijoiden roolia muuttaa väliraportin ja edellä esitettyjen työvaiheiden 1-3 jälkeen vahvemmin hanketoiminnan kehittäjän roolin mukaiseksi. Hankkeen toimeenpanoa ja kokeilujen onnistumista on tuettu tiiviillä yhteistyöllä ja asiantuntijatuella Kuntakokeilut hankkeen johdolle mm. yhteispalaverien muodossa, työpajojen sisällön yhteissuunnittelussa ja toteutuksessa sekä arvioinnin tiedon tuottamisen suuntaamisessa vahvemmin hankkeen onnistuneen toimeenpanon tiedontarpeita tukevaksi. Arvioinnissa toteutettiin mm. kyselyitä kokeilujen toteuttajille asiantuntijatuen ja hankkeen johdon tuen tarpeisiin liittyen kokeilujen loppukautta ajatellen. Lisäksi kokeilujen toimintamallikohtaisille asiantuntijatiimeille toteutettiin kyselyitä, jossa kartoitettiin asiantuntijoiden näkemyksiä kokeilujen tavoitteiden saavuttamisen tukitarpeisiin liittyen sekä kokeilujen tulosten jatkohyödyntämiseen liittyvää tietoa lainsäädännön jatkovalmistelua ajatellen. Arvioinnin tuella kuntakokeilukohteet työstivät mm. ennakoivan vaikuttavuusarvioinnin mukaisen mallin kokeilukohteiden (resurssit/panokset toiminta tulokset tavoitteet) tavoiteltavien vaikutusten syntylogiikasta sekä lopetussuunnitelman (exit-plan) kokeilujen loppuajalle, joka sisälsi mm. kokeilukohteiden tulosten juurtumisen ja levittämisen suunnitelman. Kuntakokeilut Laki kuntien velvoitteiden ja ohjauksen vähentämistä ja monialaisten toimintamallien tukemista koskevista kokeiluista Hallinnonalojen ja organisaatioiden rajat ylittävien toimintamallikokonaisuuksien toteutumisen mahdollistaminen Poikkihallinnollisten toimintamallien toteuttamisen lakisääteisiä ja ohjauskäytännöstä johtuvien esteiden poistaminen Kunnissa käynnissä olevaa palveluprosessien ja toimintamallien kehittämistyön edistäminen Laissa tai säädöksissä asetettujen tehtävien ja velvoitteiden sekä niiden toteuttamisen ohjauksen vähentäminen 1. Hyvinvoinnin integroitu toimintamalli 2. Koulutuspalvelukokeilu 3. Asumispalvelujen toimintamalli 4. Valvonnan toimintamalli 5. Kuntien ja Kelan yhteistyö 6. Nuorisotakuukokeilu Kokeilu/kunta/alue-kohtaiset tulokset ja vaikutukset Uudet palvelu- ja toimintamallit Muutokset palveluiden järjestämistavoissa ja prosesseissa Muutokset eri toimijoiden toimintatavoissa ja työnjaossa Kokeilukuntien toimintamahdollisuuksien lisääntyminen Asiakaslähtöisten ja monialaisten toimintatapojen ja palvelurakenteiden kehittyminen Tehtävien toteutuksen tuottavuus ja laatu Kuntien velvoitteiden ja ohjauksen vähentyminen Laissa säädettyjen tehtävien taloudellinen ja tuottava hoito Asiakaslähtöisten ja monialaisten toimintatapojen sekä palvelurakenteiden taloudellinen ja tuottava kehittyminen Kuntien yhdistämisselvitysten ja sosiaali- ja terveydenhuollon palvelurakenteiden uudistamisen tuki Toimenpiteet julkisen hallinnon kestävyysvajeen supistamiseksi Kokemukset siitä, miten kunnat voivat säädösmuutosten ja muiden toimenpiteiden avulla poikkihallinnollisesti kehittää palvelurakennettaan ja säästää kustannuksiaan Tiedon ja ymmärryksen lisääntyminen ohjausrakenteiden toimivuudesta ja niiden yhteydestä kustannusten muodostumiseen. Kuva 1. Kuntakokeilut -hankkeen ajateltu vaikutuslogiikka

7 7 Oheisessa kuvassa (Kuva 1.) on hahmotettu Kuntakokeilut hankkeen ajateltua vaikutuslogiikkaa, johon perustuen arviointityön tutkimuskysymyksiä tarkastellaan loppuarvioinnissa. Kuvasta nähdään miten uusista palvelu- ja toimintatoimintamalleista, muutoksista palveluiden järjestämistavoissa ja prosesseissa sekä muutoksista toimijoiden toimintatavoissa ja työnjaossa, odotetaan syntyvän kuuden eri toimintamallin tuloksia sekä Kuntakokeilujen yleisten tavoitteiden mukaisia laajempia vaikutuksia Arvioinnissa käytetyt aineistot ja menetelmät Arviointityön erityisluonteesta johtuen siinä on pyritty käyttämään mahdollisimman kattavasti erityyppisiä aineistoja sekä hyödyntämään yhtälailla niin laadullisia kuin määrällisiäkin arviointimenetelmiä, pääpainon ollessa laadullisissa menetelmissä. Väliraportoinnissa käytetyn aineiston perusrunko koostui Kuntakokeilut hankkeen sekä kokeilujen tuottamista dokumenteista sekä kuntakokeilulakiin liittyvien materiaalien analysoinnista, 48:stä yksilöja ryhmähaastatteluista saaduista asiantuntijoiden ja kokeilujen toteuttajien näkemyksistä ja tiedoista, kahdesta kyselystä kokeilujen toteuttajille ja niistä saadusta seurantatiedoista kokeilujen etenemisestä ja toteutuksen toimivuudesta ja haasteista, kyselystä kokeilujen asiantuntijaryhmälle toimeenpanon onnistuneisuudesta ja kokeilujen edistymisestä sekä odotuksista kokeiluista saatavien tuloksien ja vaikutusten suhteen, kokeilujen toiminnan raportoinnista ja indikaattoriraportoinnista saaduista tiedoista ja kolmessa työpajassa toteutettujen ryhmätöiden/keskustelujen johtopäätöksistä sekä yhteenvetoanalysoinneista. Väliarvioinnin osana toteutettiin myös 9 case-tutkimusta eri kokeilukohteista, joiden puitteissa kyseisien kokeilujen toteuttajia haastateltiin erikseen. Arvioinnin osana analysoitiin myös kaikki kokeilujen indikaattorit (tarkempi indikaattori-analyysi esitetty arvioinnin väliraportissa). Väliarvioinnin aineistot ja menetelmät on esitetty tarkemmin väliraportin yhteydessä. Syksyn ja loppuvuoden 2016 ja alkuvuoden 2017 aikana toteutetun loppuarvioinnin aineistonkeruu ja tutkimusmenetelmät on kuvattu seuraavassa. Sähköinen kysely nro 3 kokeilujen tuloksista ja vaikutuksista toteutettiin kokeilujen toteuttajille sekä välisinä aikoina. Vastauksia kyselyyn saatiin 45 kappaletta. Vastauksia saatiin kaikista toimintamalleista ja 25 kokeilusta. Kyselyllä kartoitettiin tietoja kokeilukohteittain siitä, saavutettiinko kokeilussa tavoitellut tulokset, kokeilujen toteuttamiseen liittyvistä opeista, VM-johtoisen Kuntakokeilut hankkeen toteutuksen onnistuneisuudesta, kokeiluissa saavutettujen tulosten sisällöistä, tulosten juurruttamisesta ja levittämisestä sekä arvioidusta kokeilujen aikaansaamista vaikutuksista suhteessa kokeiluilla yleisesti tavoiteltaviin vaikutuksiin. Kuntakokeilukuntien ja ei-kokeilukuntien vertailuanalyysien tarkoituksena oli selvittää mitä lisäarvoa kokeiluissa mukana oleminen on mahdollistanut ja tuonut kokeilukuntiin, suhteessa niihin kuntiin joissa kokeiluja ei toteuteta. Analyysilla tuotettiin lisäarvoa pyrittäessä erottamaan hankkeen erillisvaikutusta tai ohjausvaikutuksia kuntien toimintatapoihin ja toimintavapauteen sekä siitä seuraaviin prosesseihin ja laajempiin vaikutuksiin. Vertailuanalyysi toteutettiin Hyvinvoinnin integroidun toimintamallin ja Nuorisotakuun toimintamallin kohdalla. Tietoa kartoitettiin kyselyillä ( välisenä aikana) kuntiin, jotka eivät kuuluneet kuntakokeiluihin (vastauksia 21 kappaletta), sekä

8 8 kuntakokeilukuntien kohdalla arvioinnin muun tiedon keruun ja hankeraportoinnin tuottamasta materiaalista. Loppuarvioinnin aikana toteutettiin kaksi hankkeen johdon ja arvioitsijoiden järjestämää työpajaa, joissa teemana oli mm. kokeilujen tulosten juurruttamisen ja levittämisen sekä jatkohyödyntämisen tukeminen. Työpajoissa mm. työstettiin kokeilukohteittain exit-plan suunnitelmaa kokeilujen loppuajalle sekä käytiin keskustelua kokeilujen tuloksista ja toiminnasta saaduista opeista. Työpajoissa työstettiin myös kokeilujen posterijulkaisun sisältöjä. Työpajat toteutettiin sekä Loppuarvioinnin osana arvioitsijat osallistuivat myös osaan kokeilukohteisiin tehdyistä kuntavierailuista. Vierailuilla kokeilujen toteuttajat esittelivät kokeilukohteen toimintaa ja saavutettuja tuloksia. Vierailujen ja niissä käytyjen keskustelujen ja tiedonvaihdon avulla saatiin syvennettyä ja tarkennettua sekä monipuolistettua tietoa kokeilujen toiminnasta ja saavutuksista. Kuntakokeilujen päättyessä kokeilujen koordinaatioryhmälle ja asiantuntijatiimeille toteutettiin delfoimuotoinen kyselytutkimus, jossa pyrittiin yhtenäisen asiantuntijanäkemyksen muodostumiseen kokeilujen tulosten ja hyvien käytäntöjen tunnistamisen ja niiden juurruttamisen/ levittämisen tukemisen suhteen. Toisiaan seuraavien kolmivaiheisen kysely- ja iterointikierrosten sisältämä Delfoi-tutkimus toteutettiin välisenä aikana. Edellisten lisäksi merkittävä tiedon lähde loppuarvioinnissa on ollut myös Kuntakokeilut hankkeen oma kokeilujen toiminnan kuvauksen raportointi sekä kokeilujen indikaattoriraportointi, joita on analysoitu loppuarvioinnin osana. Lisäksi loppuarvioinnin osana toteutettiin täydentäviä asiantuntijahaastatteluita. Loppuarvioinnin kannalta haasteellinen tekijä on ollut tilastollisten aineistojen saatavuus sekä indikaattoritiedon puutteet. Tilastollinen analyysi, jolla kokeilujen vaikutuksia mm. toiminnan taloudellisuuteen olisi voitu arvioida, ei ollut mahdollinen johtuen taloustietojen puutteista. Kuntien taloustiedot eivät olleet yhdenmukaisesti tuotettuja ja riittävän tarkkoja kokeilujen tulosten ja vaikutusten tarkasteluun. Lisäksi kokeilujen indikaattoriseuranta ei onnistuneella tavalla tuottanut tarpeellista tietoa. Tässä suhteessa tilastolliseen analyysiin liittyviin tutkimuskysymyksiin, on jouduttu suurilta osin ottamaan kantaa laadullisemman tutkimuksen keinoin, niiltä osin kun se on ollut mahdollista. Yhteenvetoanalyysien sekä arvioitsijoiden sisäisten työkokousten avulla arvioinnin eri vaiheiden analyysit koottiin kokonaisvaltaisiksi johtopäätöksiksi arvioinnin tutkimuskysymysten mukaisesti. Arviointityötä on toteutettu tiiviissä yhteistyössä toimeksiantajan ja erityisesti Kuntakokeilut hankkeen johtohenkilöstön kanssa. Arviointia on tukenut ja ohjannut Kuntakokeilut hankkeen koordinaatioryhmä, Koordinaatioryhmällä oli tärkeä rooli sekä arviointityön painotusten ohjaamisessa, että näkemyksellisen aihealueeseen liittyvän asiantuntemuksen välittämisessä arviointityöhön. Tässä loppuraportissa esitetyt arviointihavainnot perustuvat useasta näkökulmasta kerätyn tiedon kokonaisvaltaiseen tulkintaan. Lopulliset johtopäätökset hankkeen sekä kokeilujen toteutustavan onnistuneisuudesta sekä kokeilujen tuloksista ja vaikuttavuudesta perustuvat eri aineistolähteistä tehtyyn kokonaisvaltaiseen tulkintaan.

9 Arviointityöhön liittyviä haasteita Arviointityö on kohdistunut kolmen keskeisen teeman ympärille, jotka ovat olleet: Kuntakokeilut - hankkeen valmistelun ja tavoitteiden onnistuneisuus (tehdäänkö oikeita asioita), hankkeen toteutustavan ja toteuttamisen onnistuneisuus (tehdäänkö asioita oikein) sekä hankkeen tulokset ja vaikutukset suhteessa sille asetettuihin tavoitteisiin (vaikuttavuus). Etenkin hankkeen vaikutusten tunnistamiseen on liittynyt haasteita, jotka kohdistuivat pitkällä aikavälillä välillisesti syntyvien vaikutusten tunnistamisen ja mittaamisen haasteisiin. Osa näistä haasteista on vaikuttavuusarviontiin liittyviä yleisiä metodisia haasteita ja osa laaja-alaisen ja monitasoisen Kuntakokeilu hankkeen omista erityispiirteistä nousevia haasteita. Yleisesti vaikutusten tunnistamisen ja kuvaamisen sekä vaikuttavuusseurannan ja raportoinnin haasteet kiteytyvät monialaisissa ohjelmissa ja hankkeissa vaikutusten synnyn kompleksiseen dynamiikkaan, jossa asioiden välisiin monimutkaisiin syy-seuraussuhteisiin vaikuttavat lukuisat eri tekijät. Koska Kuntakokeilut -hankkeen tavoittelemat eritasoiset taloudelliset, toiminnalliset ja yhteiskunnalliset vaikutukset syntyvät pääsääntöisesti ketjuuntuneiden ja osin myös päällekkäisten syy-seuraus-suhteiden kautta, on kokeiluhankkeen ja sen eri kokeiluiden erillisvaikutusten osoittaminen esimerkiksi tehtävien taloudelliseen ja tuottavaan hoitoon tai toiminnallisiin kustannussäästöihin metodisesti hankalaa. Osin erillisvaikutusten arviointia on myös hankakoittanut se, että Kuntakokeilulaki ei sellaisenaan ole antanut kokeilukunnille isoa etua muihin kuntiin nähden, joten esimerkiksi kuntia vertailemalla Kokeilulain erillisvaikutusta on vaikea osoittaa. Onkin hyvin todennäköistä, että valikoitumisella mukaan kuntakokeiluhankkeisiin sekä hankkeen antamalla tuella on ollut merkittävämpi vaikutus kokeiluilla aikaansaatuihin tuloksiin, kuin itse kokeilulain antamilla mahdollisuuksilla. Muita yleisiä vaikutusten tunnistamisen ja kuvaamisen haasteita arviointityössä ovat olleet myös: hankkeella tavoiteltavien vaikutusten toteutumisen pitkä aikajänne, eri toimintamalleilla tavoiteltavien vaikutusten epäsuora syntydynamiikka, lopputuloksiin vaikuttavien tekijöiden ja toimijoiden monilukuisuus sekä toiminnalla tavoiteltavien tulosten ja vaikutusten kvantifioitavuuden vaikeus. Toimintamallista riippuen eri kokeiluhankkeilla on lukuisia erityyppisiä vaikutuspolkuja, joiden kautta ne pyrkivät saavuttamaan tavoitteensa. Vaikutusdynamiikasta riippuen kokeiluhankkeiden vaikutuspolkujen pään saavuttaminen kestää pääsääntöisesti useita vuosia ja eri poluilla tapahtuva kehitys tai eteneminen voi olla hyvinkin erivauhtista. Kokeiluhankkeissa on mukana myös runsaasti erilaisia toimijoita sekä muita tahoja, joiden toiminta vaikuttaa haluttuihin tuloksiin. Eri tahojen toiminta voi olla hyvinkin eriaikaista tai jopa eriparista, jolloin kokeilutoiminnan erillisvaikutuksia on vaikea toimintaympäristössään tunnistaa. Toiminta eri toimintamalleissa ja kokeiluissa on monesti hyvin erityyppistä. Samoin kokeiluissa aikaansaadut tuotokset, tulokset ja tavoiteltavat vaikutukset ovat erityyppisiä ja useasti myös luonteeltaan laadullisia, jolloin vaikutusten tunnistamiseen ja kuvaamiseen on vaikeaa löytää systemaattisia indikaattoreita, jotka tarjoaisivat mahdollisuuden myös pidempien vaikutusketjujen etenemisen seurantaan. Tämä koskee sekä yksittäisten kokeiluhankkeiden kuin myös Kuntakokeilut -hankkeen vaikutusten toteutumien seurantaan ja arviointia. Kuntakokeilut hanke käynnistyi tilanteessa, jossa kehitystyötä oli kunnissa monilta osin tehty jo ennen kokeilujen käynnistämistä ja eri kunnat olivat kehitystyössään hyvin eri vaiheissa. Tämän tyyppisessä tilanteessa lähtötilanteen määrittely (esim. lähtötason indikaattorit) osoittautui hyvin hankalaksi, eikä

10 10 varsinaista 0-tilannetta pystytty systemaattisesti kokeiluille määrittämään. Vastaavasti myös kokeilukuntien vertailu tai benchmarking muihin kokeilun ulkopuolisiin kuntiin osoittautui vaikutusten arvioinnin näkökulmasta hankalaksi, sillä myös kokeiluun kuulumattomat kunnat ovat tehneet vastaavaa kehittämistyötä kokeilua ennen ja sen aikana. Lisäksi kokeilujen mukainen toiminta on kokeiluhankkeelle asetettuihin laajakantoisiin tavoitteisiin nähden ollut varsin pienimuotoisia, eritasoisia ja pirstaleista, jolloin hankaluutena on ollut yleistää eri kokeiluissa aikaansaadut tulokset koskemaan laajemmin kuntakokeilut -hankkeen tavoitteita 1.4. Arvioitsijan rooli Kuntakokeilut-hankkeen toteutuksessa - konsultti hankkeelle ja arvioitsija kokeiluille Arviointityö on ollut luoteeltaan kehittävä ja sen toimintatapa on ollut vahvasti toimintatutkimuksellinen. Kehittävän arvioinnin luonteen mukaisesti arvioinnissa keskityttiin arvioitavan kohteen kriittiseen analyysiin sekä toiminnan tuottaman hyödyn määrittämiseen kytkemällä arviointiprosessi tiiviisti toiminnan tehokkuuden ja vaikuttavuuden parantamiseen. Lähtökohtana työssä oli tukea kuntakokeilut hankkeen ja sen kokeilujen mahdollisimman tuloksellista ja vaikuttavaa toteuttamista mm. seuraamalla ja analysoimalla toimintatappojen kehitystä, tunnistamalla hyviä ja vaikuttavia toimintaprosesseja ja käytäntöjä, vahvistamalla vaikuttavuusajatteluun perustavaa jatkuvan kehittämisen kulttuuria ja ohjauksellista ajattelutapaa sekä luomalla pohjaa tulosten ja vaikutusten juurruttamiseen. Arviointiprosessi perustui vuorovaikutteisuuteen ja dialogisuuteen arvioitsijan sekä kuntakokeilut hankkeen että sen kokeilujen välillä. Tässä työprosessissa arvioitsijan rooli vaihteli arviointihankkeen eri vaiheissa (Kuva 2.). Arvioitsijan rooli arviointiprosessissa Lähtöanalyysi Ulkopuolinen arvioija Toimeenpanon onnistuneisuuden arviointi Alustavien tulosten ja vaikutusten arviointi Tulosten ja vaikutusten arviointi Kokonaisarviointi Kehittäjä/konsultti Arvioinnin kesto/hankkeen elinkaari Kuva 2. Arvioitsijoiden rooli hankkeen ulkopuolisena arvioijana sekä hanketoiminnan kehittäjänä työprosessin aikana.

11 11 Arvioitsijalla oli kokeilujen koordinaatioryhmän (arvioinnin ohjausryhmä) päätöksen mukaisesti arviointiprosessissa kaksijakoinen rooli toisaalta Kuntakokeilut -hankkeen konsulttina, että kokeilun ulkoisena arvioitsijana. Tämä kaksoisrooli on tarkoittanut sitä, hanketta on pyritty arvioimaan kriittisesti, mutta samalla tukemaan sen toimintaa siten, että se olisi hankkeen kaikilla tasoilla mahdollisimman tehokasta ja vaikuttavaa. Arvioitsijoina olemme pyrkineet irrottautumaan hanketoiminnan kehittäjän roolista ulkoiseksi arvioinnin kohdetta havainnoivaksi arvioitsevaksi tahoksi. Tästä huolimatta arvioitsijana olemme olleet vaikuttamassa hankkeen tulosten ja vaikutusten syntyyn ja siten osaltamme jäävejä arvioimaan objektiivisesti esimerkiksi Kuntakokeilut -hankkeen lopullista onnistuneisuutta ja vaikuttavuutta. Tämän vuoksi olemme tässä loppuraportissa ja hankkeen kokonaisarvioinnissa keskittyneet kuvaamaan hankkeella aikaansaatuja tuloksia ja vaikutuksia, hyviä toimintatapoja ja käytäntöjä sekä toimintakonseptin onnistuneisuutta ensisijaisesti tulevia kokeiluja silmällä pitäen. Arvioinnin ohjausryhmän ohjeistuksen mukaisesti loppuraportoinnissa keskiössä ovat olleet arviointiprosessin kautta saadut opit. Vastaavasti kokonaisarvioinnissa olemme objektiivisuuden nimissä pyrkineet välttämään arvokannanottoja koskien Kuntakokeilut -hankkeen lopullista onnistuneisuutta ja vaikuttavuutta.

12 12 2. Kokeilujen tavoitteiden, toteutuksen ja toimeenpanon onnistuneisuuden kokonaisarviointi - mikä toimi, mikä ei toiminut Kuntakokeilujen laaja-alainen ja monivaiheinen valmisteluprosessi käynnistyi Rakennepoliittisen ohjelman toimeenpanon päätöksen mukaisesti vuonna 2013 ja kokeilujen toteutusvaihe oli vuosina 2015 ja Valtiovarainministeriö asetti elokuussa 2013 kuntien velvoitteiden vähentämistä koskevien kokeilujen valmisteluhankkeen. Kokeilujen sisällöistä tehtiin esiselvitys, jossa kuultiin kuutta eri kuntaa. Tämän jälkeen valmisteluun tuli mukaan laajemmin kuntia sekä asiantuntijaviranomaisia ministeriöistä ja muusta valtion hallinnosta, joiden tarpeita ja näkemyksiä kuultiin ja kartoitettiin kuuteen toimintamalliin liittyen. Kokeiluja ja siihen kuuluvaa lainsäädäntöä valmisteltiin eri osapuolten kanssa yhteistyössä. Valmistelua koordinoi keskitetysti valtiovarainministeriö. Haku kuntakokeiluihin oli vuoden 2013 lopussa kuuteen eri toimintamallikokonaisuuteen. Kuntien toiminnassa mahdollistaneet lainsäädännön väljennykset sisältänyt kokeilujen toteutuksen pohjaksi laadittu määräaikainen kuntakokeilulaki astui voimaan ja voimassaolo päättyi Kuntakokeilujen käytännön toteuttaminen käynnistyi vuoden 2015 alusta. Kokeilujen toteuttamisen esille tuotuina lähtökohtina olivat kuntalähtöisyys, jossa huomioidaan kuntien tarpeet toiminnan tarkoituksenmukaisemmalle ja sujuvammalle toteuttamiselle; strategialähtöisyys huomioiden kokeilujen kytkeminen kunnissa käynnissä olevaan kehittämistoimintaan ja strategioihin; sopimusperusteisuus kokeilukohteiden tarkemmassa määrittelyssä ja indikaattoreiden määrittelyssä; asiakaslähtöisyys ja moniammatillisuus toimintamallien kehittämisessä ja tulosten seurannassa; Velvoitteiden ja suositusperusteisten ohjeiden ja soveltamiskäytäntöjen keventäminen muutosmekanismina; Tietojen käsittelyn helpottaminen monialaisessa toiminnassa yhtenä toiminnan tavoitteena sekä Tulosindikaattoriperusteisuus valvonnassa ja seurannassa. Kuntakokeilujen toteuttamiseen lähti mukaan 57 kuntaa. Yksittäisiä kokeilukohteita kokeilussa oli 45 kappaletta. Suurin osa kokeiluista toteutettiin useamman kunnan kuntaryhmissä, joihin oli määritelty yksi kokeilun vetäjäkunta. Kokeilujen ja keskeisten valtion viranomaisten välille laadittiin sopimukset kokeilujen sisällöistä ja toteuttamisesta. Käytännössä kokeiluja toteutettiin kunnissa monialaisessa useamman hallinnonalan yhteistyössä ja usein perustyön osana. Kokeilujen seuranta toteutettiin kuntien laatimilla indikaattoreilla (joihin valmis rakenne tuli valmisteluhankkeelta valtion hallinnon viranomaisilta) sekä tämän lisäksi muulla tiedonkeruulla ja seurannalla. Kokeilujen toteutusta tukeva valtiovarainministeriön Kuntakokeilut hankkeen toimeenpanovaihe käynnistyi vuoden 2014 aikana Kokeilujen valmisteluprosessin sekä tavoitteiden ja kokeilujen sisältöjen onnistuneisuus Kuntakokeilut -hankkeen valmistelu pohjautui laajasti tunnistettuihin tavoitteisiin uudistaa kuntien lakisääteisten tehtävien toteuttamista tarkoituksenmukaisemmiksi, tehokkaammiksi ja asiakaslähtöisemmiksi. Tarve kokeilla uutta kuntien lakisääteisten tehtävien toteutuksen kehittämiseksi ja toteuttamistapojen keventämiseksi oli olemassa ja tässä suhteessa kokeilut olivat lähtökohtaisesti osuvia.

13 13 Kuntakokeilujen valmistelu oli aihealueen laajuuden, toimijoiden määrän sekä erilaisten toimijoiden osittain erilaisten intressien takia haasteellinen prosessi. Valmisteluun liittyi valmistelutyötä tekevien kuntien sekä ministeriöiden näkökulmasta epävarmuutta ja epäselvyyksiä. Kokeilujen sisällöt hakivat muotoaan pitkään valmistelun aikana. Valmistelun aikana ei ollut kaikilta osin selvyyttä minkälaisiin kokeilusisältöihin valmistelutyöllä pyritään ja mitä lopulta kokeiluissa on mahdollista tehdä. Kokeilut muovautuivat lopulliseen muotoonsa vastaa myöhäisessä vaiheessa valmistelun aikana, kun lakien ja säädösten hyväksyminen toimintamallien taustalle selkiytyi valmistelun loppuvaiheessa. Esivalmisteluvaiheessa, jossa mm. kuusi toimintamallia muodostettiin, kuntien toiveita kartoitettiin kuuden kunnan kanssa käytyjen neuvottelujen myötä. Kyseinen järjestely aiheutti myöhemmässä vaiheessa hämmennystä, sillä syytä miksi kyseiset kunnat valikoituivat tekemään suuntaavaa esivalmistelua ei laajemmin ymmärretty, eikä myöskään perusteita kuudelle valitulle toimintamallille. Esivalmistelussa tunnistettiin kuitenkin oikealla tavalla tarve laaja-alaisten moniammatillisten palvelumallien ja kuntalais- ja asiakaslähtöisten palveluorganisaatioiden ja prosessien kehittämiseen. Tässä nostettiin esiin erityisesti haasteet tietosuoja- ja salassapitosäädösten suhteen, vaadittujen palvelusuunnitelmien moninaisuuden haasteet tulokselliselle ja vaikuttavalle toiminnalle, valvonnan yksityiskohtaisuus sekä suositusten tiukat säännöt ja normimaisuus. Muodostetut toimintamallit sisälsivät keskeisimpiä elementtejä kuntien velvoitteiden vähentämisessä. Esiselvityksen jälkeen valmisteluun osallistettiin laajasti osapuolia eri ministeriöistä, valtion virastoista sekä kunnista. Valmistelua tehtiin kehittämistarpeisiin liittyen korostetusti kuntien näkökulmasta, jossa valtion lakiasäätävät viranomaisten roolina oli kuulla kuntien toiveita ja pohtia voidaanko kyseisiä asioita toteuttaa lainsäädäntöön. Kuntien ja ministeriöiden yhteistyölle jäi varsin vähän aikaa ja syvälle menevää dialogia ei muodostunut kuntien ja ministeriöiden välille. Kokeilujen keskeisenä lähtökohtana oli kuntalähtöisyys, mutta osittain valmistelussa olisi ollut syytä tehdä vahvemmin yhteistyötä lainsäädäntöä valmistelevan valtionhallinnon ja kuntien välillä valmistelun alkuvaiheessa, jotta heti olisi saatu vahvempi yhteinen näkemys siitä mitä on mahdollista toteuttaa lainsäädännön väljentämisessä. Selkeämpi näkemys olisi varhaisessa vaiheessa tarvittu siitä, minkä tyyppisiä muutoksia voidaan lakisääteisesti tehdä ja mihin löytyy valmiutta. Ministeriöitä ei lopulta saatu sitoutettua riittävän vahvasti valmisteluun ja motivoitua yhteistyöhön kuntien kanssa. Valmistelusta muodostui monivaiheinen prosessi, jossa erityisesti lainsäätämiseen liittyen oli epäselvyyksiä siitä, mitä kokeilulaki tulee lopulta mahdollistamaan. Tämä aiheutti erityisesti kuntien kokeilukohtaiseen valmistelutyöhön epäselvyyksiä. Myös aikataulujen kiristyminen erityisesti valmisteluprosessin loppua kohden aiheutti haasteita. Valmistelutyöhön olisi tarvittu kunnissa enemmän aikaa siinä vaiheessa, kun kunnat muodostivat omien kokeilujensa varsinaisia sisältöjä kuuden toimintamallin pohjalta. Tietoa valmistelun tueksi ja ohjausta tuli aikatauluihin suhteutettuna myöhäisessä vaiheessa, jossa aikaa asioiden viimeistelyyn ei jäänyt riittävästi. Lisäksi jonkin verran epäselvyyttä kunnissa valmisteluun ja lopulta kokeilujen toteutukseen toi myös Kuntakokeilujen lain sisältämien asioiden päällekkäisyys eri sektoriministeriöiden muun lakivalmistelun kanssa. Kuntakokeilulaki ei kaikilta osin täyttänyt kuntien alkuperäisiä odotuksia ja se ei tarjonnut kuntien näkökulmasta merkittäviä uusia kuntien toivomia lainsäädännön mahdollistamia kevennyksiä ja toimintamahdollisuuksia kuntien toimintaan. Uusia mahdollisuuksia laki tarjosi lähinnä Hyvinvoinnin integroidussa toimintamallissa mahdollisuutena yhdistää eri hallinnonalojen asiakkaille laadittavia

14 14 lakisääteisiä suunnitelmia ja niiden tietoja. Myös Kuntien valvontaa koskevan toimintamallin kohdalla laki sisälsi mm. indikaattoriperusteisen valvonnan käyttöönottoon ja edistämiseen liittyen uusia mahdollisuuksia ja Asumispalvelumallin kohdalla väljennyksiä rakennuskohteiden avustuksen saamisen ehtoihin. Kokeilukohteissa valmistelutyötä tehtiin monien kokeilujen osalta kuntien hallintokuntien ja eri yksiköiden johdon toimesta. Ongelma asiaan liittyen oli se, kokeilujen varsinaista toteuttajahenkilöstöä ei valmistelun kautta sitoutettu riittävästi varsinaiseen kokeilutoimintaan, eikä heidän tietämystä hyödynnetty riittävästi kokeilujen sisältöjen suunnittelussa. Tämä on osaltaan vaikuttanut toteuttajahenkilöstön sitoutumiseen ja ymmärrykseen siitä, mitä ollaan tekemässä ja mitä laajempia hyötyjä kokeilulla pyritään saavuttamaan. Mikäli omaa työtä ja toimintaa koskevien muutosten syitä ja päämääriä ei tunneta, aiheuttaa se monesti muutosvastarintaa ja sitoutumisvaikeuksia uutta kohtaan. Kokeilukohtaisesti tavoitteet kirjattiin kuntien ja valtion välisiin kokeilusopimuksiin. Kokeilukohtaisella tasolla kokeilun tavoitekirjaukset jäivät suurilta osin myös hyvin laveasti määritellyiksi ja osittain epämääräisiksi. Kokeilujen toteutuksen kannalta ne eivät terävöittäneet riittävällä tavalla tavoiteltavaa kohdetta toimintaan. Vaikka kokeilutoimintaa eroaa hanketyöstä siinä, että tarkkoja tavoitteita ei ole tarvetta määritellä ja ne muodostuvat monilta osin kokeilutoimintaa toteutettaessa, olisi silti tarkempi fokus tavoitetasolla ollut tärkeää muodostaa jo toiminnan alussa. Kokeiluissa ei myöskään määritelty lähtötasoa ja toisaalta tavoitetasoa, johon kokeilutoiminnalla pyritään toiminnan kehittämisessä pääsemään. Esimerkiksi tavoiteltavia vaikutuksia talouteen ja asiakkaisiin ei määritelty etukäteen. Valmistelutyön onnistumisena voi pitää sitä, että se kytki laajan toimijajoukon mukaan kokeilujen toteuttamiseen ja kunnat saivat prosessissa tuoda esille omia näkemyksiään ja tarpeitaan. Lisäarvona valmisteluprosessissa oli myös se, että kuntien tarpeita voitiin kuulla aidosti ja kuntien näkemyksiä ja tarpeita saatiin välitettyä myös laajemmin valtionhallintoon. Suhteessa Kuntakokeilujen teema-alueen laajaan kokonaisuuteen ja toimintakentän pirstaleisuuteen sekä näiden asioiden tuomaan haasteellisuuteen nähden, kuntakokeilujen valmistelu oli yleisesti ottaen onnistunut prosessi. Kokeilujen yleisiä tavoitteita voi pitää jälkikäteen tarkasteltuna onnistuneina ja ne ovat vastaavat niihin tarpeisiin, joita kuntien tehtäväkentän taloudellinen hoito julkisen talouden kestävyysvajeen näkökulmasta sekä palvelujen laadun varmistamisen näkökulmasta vaatii. On kuitenkin muistettava, että kuntakokeilujen toimintamallien ja kokeilukohteiden sisältöjen kokonaisuus on ollut osin pirstaleista ja yhteiskunnallisiin haasteisiinsa nähden varsin pienimuotoista. Kokeilujen jälkeen jatkossa oleellista on se, syntyykö kokeiluista riittäviä laaja-alaisempia vaikutuksia suhteessa Kuntakokeilut -hankkeen yhteiskunnallisiin päämääriin vai jäävätkö kokeilujen tulokset yksittäistä pisteittäisiksi vaikutuksiksi kokeilukunnissa Kuntakokeilut -hankkeen toteutuksen onnistuneisuus Valtiovarainministeriön kuntakokeilut hankkeen kokeiluja toimeenpaneva osa asetettiin ja se oli käytännössä suoraa jatkumoa valmisteluhankkeelle. Toimeenpanevan hankkeen tehtävänä oli koordinoida, tukea ja luoda puitteet kokeilujen toteutukselle sekä seurata kokeilujen toteutusta.

15 15 Kuntakokeilut -hankkeen toimeenpanovaiheen keskeisimpiä toimintamuotoja olivat viestintä ja tiedottaminen (sisäinen ja ulkoinen), kokeilukohteiden toiminnan koordinointi, asiantuntijatuen tarjoaminen, työpajat, vierailut kunnissa sekä seurannan toteuttaminen indikaattoreilla ja toiminnan raportoinnilla. Hankkeessa varsinaista palkattua henkilökuntaa oli 2 kappaletta (projektipäällikkö ja projektiassistentti). Tämän lisäksi hankkeella oli koordinaatioryhmä, jonka tehtävänä oli hankkeen toiminnan tukeminen ja osapuolten yhteistyön toteuttaminen ja koordinointi. Ryhmässä olivat edustettuna kokeiluihin osallistuvien ministeriöiden, valtionvirastojen, Kelan, valvontaviranomaisten, tietosuojavaltuutetun toimiston ja Kuntaliiton edustajat. Lisäksi hankkeen osana toimivat asiantuntijatiimit jokaiselle toimintamallille sekä indikaattoreihin ja tietosuojaan liittyen. Asiantuntijatiimit seurasivat hankkeen etenemistä ja toimivat asiantuntijoina kokeilujen substanssikysymyksissä. Kuntakokeilut -hankkeen tavoitteena on ollut luoda edellytykset kuntakokeilujen toteuttamiselle yhteistyössä ministeriöiden, kuntien ja Kelan kesken sekä ohjata kuntien kokeilutoimintaa siten, että kunnat voivat kokeilun aikana kehittää taloudellisesti ja vaikuttavuudeltaan parhaita mahdollisia toimintamalleja. Hankkeen tuli kokeilujen tulosten perusteella mahdollistaa tieto toimenpiteistä, jotka osaltaan tukevat julkisen hallinnon kestävyysvajeen supistamista. Hankkeen organisointi ja rakenne olivat suhteellisen toimivia. Erityisesti hankkeen johdon ja paikallistason toimintaa pystyttiin johtamaan ja koordinoimaan varsin onnistuneesti rakenteen kautta. Hankkeessa luotiin onnistuneita rakenteita viestinnälle ja yhteistyölle mm. kokeilutoimijoiden käytössä olleen sähköisen säännöllisen tiedottamisen, nettiportaalien/materiaalipankkien ja työpajojen kautta. Hankkeen organisointi mahdollisti varsin hyvät lähtökohdat toiminnan johtamiselle sekä koordinointityölle, kuten myös roolituksen eri toimijoiden työlle. Hankkeen asema valtiovarainministeriön organisaatiossa muuttui sen toteutusaikana. Aluksi hanke toimi erillään itsenäisenä hankkeena ministeriön ylijohtajan alaisuudessa. Hanke siirtyi kunta- ja alueosaston alaisuuteen vuoden 2016 aikana. Hanke ei toteutusaikanaan integroitunut ministeriön tai kunta- ja alueosaston toimintaan ja prosesseihin, vaan jäi osin ulkopuoliseksi ministeriön muusta toiminnasta. Vahvempi asema ministeriössä ja ministeriön muun toiminnan kytkeminen hankkeen toteutuksen tueksi olisi ollut hyödyllistä sen toteutuksessa. Tällöin ministeriön voimavaroja ja asiantuntemusta olisi saatu kytkettyä kokeilujen toteutuksen tueksi ja laajemmin voimaa kokeilujen toteutukseen. Hankkeen toimeenpanotyössä erityisiä vahvuusalueita olivat johtaminen ja toimijoiden koordinaatiotyö sekä tuki kunnille käytännön työssä ongelmatilanteissa. Onnistunutta olivat myös hyvin toiminut viestintä ja toimijoiden informointi hankkeen etenemisestä. Toimivia asioita hankkeen ja kokeilujen onnistuneen toimeenpanon kannalta olivat myös työpajatilaisuudet ja vertaistuen mahdollistaminen saman toimintamallin kokeiluista. Erityisen hyvänä käytäntönä hankkeen toiminnassa olivat hankkeen johdon sekä asiantuntijoiden kuntavierailut ja niiden myötä suora yhteydenpito kuntiin. Vaikka vierailut vaativat aikaa/resursseja tuottivat ne raportointeihin tai kyselyihin verrattuna moniulotteisempaa ja syvällisempää tietoa kokeiluista sekä mahdollistivat hyödyllisen sparrauksen ja keskustelun hankkeen johdon ja asiantuntijoiden sekä kokeilukohteiden välillä.

16 16 Kokeilujen teemoihin liittyvä asiantuntijatuki Työpajat ja seminaarit, niistä saatujen hyötyjen näkökulmasta Toiminnan organisointi ja rakenne Viestintä ja tiedottaminen Kokeiluun kytkeytyvien toimijoiden toiminnan johtaminen ja koordinointi Kokeilujen raportoinnin toteutuksen ohjaus Indikaattoriperusteise n seurannan ohjaus ja tuki Ministeriöiden ja eri hallinnonalojen välinen yhteistyö Kokeilujen toteutuksen ohjaus ja tuki ministeriöstä kuntiin Marraskuu 2016 Tammikuu 2016 Lokakuu = Erittäin hyvin 4 = Hyvin 3 = Kohtalaisesti 2 = Huonosti 1 = Erittäin huonosti Kuva 3. VM-johtoisen kuntakokeiluhankkeen toimivuus kokeilujen toteuttajien näkökulmasta arvioituna vastausten keskiarvotietona (Arvioinnin kyselyt kokeilujen toteuttajille kunnissa lokakuu 2015/n=55, tammikuu 2016/n=56 sekä marras-joulukuu 2016/n=45) Erityisiä haasteita hankkeen toimeenpanossa olivat ohjaus ja koordinaatio ministeriötasolta paikallistasolle, joka oli eri hallinnonalojen väliselle yhteistyölle puutteellista. Esimerkiksi Nuorisotakuun toimintamallissa TEM:n Ohjaamo-toiminnan ja Ohjaamoissa toteutettavan kuntakokeilutoiminnan liittyi jonkin verran epäselvyyksiä siitä, mikä kuntakokeilujen rooli Ohjaamotoiminnan osana on. Myöskään asiantuntijatuki kokeilukohteille ei ollut riittävää erityisesti kokeilujen alkupuolella. Asia korjaantui jonkin verran mm. kuntavierailuilla sekä muuten aktiivisemmalla työllä kokeilujen loppuaikana. Silti esimerkiksi asiantuntijatiimien työstä ei saatu parasta mahdollista tukea kokeilujen toteutukselle. Hankkeen toteutuksen haasteena on ollut poikkihallinnollisen toimintatavan yleinen ongelma, eli siltä on puuttunut riittävä ohjausvoima kokeiluihin. Hankkeella ei ollut taloudellista tai muuta ohjausvoimaa kokeiluihin ja muihin kokeiluja edistäviin toimijoihin. Kannustekeinoina kokeilukohteille toiminnan tehokkaaseen edistämiseen ovat olleet kuntakokeilulain suomien etuuksien lisäksi lähinnä informaatioohjauksen keinot. Ministeriötasolla tukea ei kaikkien hallinnonalojen osalta onnistuttu poikkihallinnollisesti kytkemään kokeilujen toteutukselle. Hanke ja kokeilut eivät saaneet laajasti eri hallinnonalojen kannustetta ja tukea sekä ohjausta toimintaan. Kuntakokeilut hankkeen koordinaatioryhmä toimi hankkeessa tukena hankkeen totutuksessa ja seurasi sen etenemistä. Myös sen toiminnassa näkyi poikkihallinnollisen yhteistyön haasteet, sen toiminnan jäädessä poikkihallinnollisen koordinaatiotyön ja yhteistyön edistämisessä merkitykseltään vähäiseksi.

17 17 Muuten koordinaatioryhmän työssä käytiin onnistuneesti kokeilujen aihealueiden suhteen keskustelua ja välitettiin tietoa ja tukea kokeilujen hankkeen toteutukseen. Yleisesti Kuntakokeilujen kokonaisuuden johtamiselle ja koordinaatiolle merkittävä haaste oli kokeiluihin sisällytetyn teema-alueen laaja-alaisuus ja resurssien vähäisyys suhteessa laajaan kokonaisuuden hallintaan. Tämä ei mahdollistanut hankkeelta kaikilta osin räätälöityä substanssitukea eri toimintamallien kokeilukohteille ja niiden aihealueille. Erityisesti toimintamallikohtaisten monialaisten asiantuntijatiimien panos jäi vähäiseksi useamman toimintamallin kohdalla eikä asiantuntijuutta saatu hyödynnettyä parhaalla mahdollisella tavalla. Kokeiluja jouduttiin käsittelemään yhtenä kokonaisuutena ja toteutuksessa ei ollut mahdollista tarjota asiantuntijuutta ja ohjaustukea riittävän yksityiskohtaisella tasolla. Toteutuksen haasteeksi muodostui mm. se, että erityyppisiä laajalle teema-alueella ulottuvia kokeiluja jouduttiin johtamaan samoilla toimintatavoilla. Kokeilukohteissa toimeenpanossa selkeä esille noussut haaste oli kokeilukohteittaisen indikaattoriseurannan ja muun raportoinnin raskaus erityisesti kokeilujen alkuvaiheessa. Indikaattorien kohdalla tämä johtui lähtökohtaisesti jo muodostetuista indikaattoristoista, johon tiedon tuottaminen siinä laajuudessa mitä alun perin suunniteltiin, oli erittäin työlästä. Keskeinen oppi tässä suhteessa onkin, että indikaattoreita tulisi vastaavissa tilanteissa muodostaa selvästi vähemmän ja fokusoitu niihin asioihin, joista on aidosti hyötyä kokeilun tehokkaassa ja vaikuttavassa toimeenpanossa. Huomattavaa on myös, että esimerkiksi Nuorisotakuun kokeiluissa kohteilla oli raportoitavana Kuntakokeilun lisäksi mm. ESR-rakennerahastohanke raportointi, mikä lisäsi raportoinnin raskautta. Raportoinnin haasteellisuuden noustua esille sitä kevennettiin hankkeen edetessä. Merkittävä osa kokeiluista oli niiden toteutusaikana suunnitellusta aikataulusta jäljessä. Alkuvuodesta 2016 lähes puolet arvioinnin kyselyyn vastanneista arvio, että oma kokeilu on jäljessä suunnitellusta aikataulusta. Syynä tähän olivat esimerkiksi tietojärjestelmien toimituksissa ilmenneet viivästykset sekä käyttöönotossa ilmenneet ongelmat. Kyseisiä viivästyksiä ei osattu ennakoida riittävän hyvin ja esimerkiksi järjestelmien käyttöön ottoon liittyvään koulutukseen ja henkilöstön sitouttamiseen järjestelmien käytössä, ei kaikissa tapauksissa osattu panostaa riittävästi. Aikatauluun vaikutti myös laajemmin keskeisten toimijoiden riittävän laajan sitoutumisen puute. Osassa kokeiluista tämä näkyi työntekijätasolla muutosvastarintana ja osassa vahvemmin johdon sitoutumisen ja sen kautta muutosjohtamisen riittämättömyytenä. Kokeiluntoiminnan resurssien puute oli myös merkittävä tekijä aikataulujen viivästymisessä. Kokeilujen toteutukseen ei pystytty irrottamaan sitä täysipäiväisesti toteuttavia henkilöitä. Kokeilutoimintaa toteutettiin oman perustyön ohessa, jolloin aikaa ja panoksia ei kokeilutoimintaan ollut riittävästi. Lisäksi osassa kokeiluista tapahtui avaintyöntekijävaihdoksia ja kuntien hallinnollisten rakenteiden muutoksia, jotka vaativat sopeutumisaikaa kokeilutoiminnan toteuttamiselle. Mm. Nuorisotakuun kokeilutoiminnan käynnistämisessä haaste oli myös Ohjaamo-toiminnan toteutustilojen käyttöön saamisen viivästykset. Tavoitteiden saavuttamisen kannalta merkittäväksi haasteeksi muodostui kokeilujen lyhyt toteutusaika. Merkittävässä osassa kokeiluja päästiin vasta vuoden 2016 käytännön toteuttamisvaiheeseen. Vuosi 2015 oli mennyt toteutuksen suunnittelussa ja valmistelevissa toimenpiteissä. Tämä jätti uusille toimintamalleille ja palvelujen/toiminnan järjestämistapojen muutoksille hyvin lyhyen kokeiluajan. Toteutusaikaa saavutettaville tuloksille ja niistä saataville opeille jäi käytännössä vain vuosi 2016 aikaa.

18 18 Useissa kohteissa kokeiluja ei ehditty täysin viedä loppuun asti suunnitelluilta osin. Kokeilujen toteutusajanjakson jäädessä lyhyeksi, olisi kokeilutoiminnan käynnistäminen mahdollisimman pian määräaikaisen kokeilulain voimaantulon jälkeen ollut tärkeää. Konkreettista kokeilutoimintaa ehdittiin tekemään usean kokeilun kohdalla liian lyhyen ajanjakson ajan, jotta niistä olisi saatu laajemmin syvällisempää tietoa uusien toimintamallien ja palveluissa tapahtuneiden muutosten vaikutuksista. Kokeilujen loppuaikana tiedon puuttuminen kokeilulain mahdollistamien asioiden jatkosta määräaikaisen lain päättymisen jälkeen hankaloitti kokeilukohteissa toimintaa, kun ei tiedetty voidaanko kokeilutoimintaa kaikilta osin jatkaa. Selvyyttä ei ollut pitkään vuoden 2016 aikana, voidaanko kehitettyjä uusia toimintamalleja jatkaa niissä tapauksissa, joissa kokeilulain jälkeinen lainsäädäntö, ei sitä mahdollista. Toimintamallien jatkohyödyntämiselle olisi tässä suhteessa voitu aiemmassa vaiheessa luoda selvemmät puitteet varhaisemmassa vaiheessa. Toteutusympäristön asettamana haasteena kokeilujen toteutukselle erityisesti niiden loppukaudella oli hallituskauden vaihdos, joka muutti kokeilujen asemaa valtionhallinnossa sekä toi kokeiluilla haettavien tulosten jatkohyödyntämiseen tulevaisuudessa epävarmuustekijöitä. Toisaalta uusi hallitus vahvisti kokeilukulttuuria, mutta toi myös uusia hallitusohjelman kärkihankkeiden kokeiluja toteutukseen, mikä siirsi arvioinnin kohteena olevia kokeiluja taka-alalle. Kokeilutoiminnassa keskeistä on jatkossa varmistaa pitkäaikainen hallituskausien ylittävä sitoutuminen toimintaan. Arvioinnin kohteena olevien kokeilujen kohdalla eri toimijoiden kyky edistää niiden toteutusta laaja-alaisesti väheni, kun uuden hallituskauden kokeilut käynnistyivät Indikaattoreiden onnistuneisuus kokeilujen seurannan ja tuloksien sekä vaikutusten mittaamisen välineinä Kokeilujen etenemisen, tuloksellisuuden ja vaikuttavuuden seurannan pohjaksi muodostettiin kokeilukohtaiset seurantaindikaattorit kokeilujen valmisteluvaiheen osana. Indikaattorit laadittiin pääosin kokeilun toteuttajien toimesta, valmiina annettuun kolmiportaiseen rakenteeseen (taustaindikaattorit, toiminnallisia muutoksia kuvaavat indikaattorit, palvelukehityksen kuvaaminen). Keskimääräisesti kokeilukohteessa indikaattoreita oli noin kappaletta kokeilukohdetta kohden ja suuri osa indikaattoreista sisälsi useampia mittareita, jotka tuottivat indikaattoritiedon. Indikaattoriseurantaa tehtiin kokeiluissa puolen vuoden välein. Toimintamalleista huomioitava on, että valvontamallin ja asumispalvelun osalta indikaattoripohjainen seuranta muodostaa perusteen kokeilukohteiden valvonnan toteuttamiselle kokeiluaikana. Indikaattoreiden valmistelutyö tehtiin kiireellisellä aikataululla ja varsin vähäisillä resursseilla. Laadittujen indikaattoreiden käyttöön ja hyödyntämiseen liittyi useita haasteita ja niiden hyötyarvo hankkeiden tulosten ja vaikutusten seurannassa sekä hankeohjauksessa jäi lopulta vähäiseksi. Syitä indikaattoreiden toimimattomuuteen oli mm. se, että indikaattoreita oli käytössä suuri määrä ja laajoihin indikaattoripatteristoihin ei kyetty kaikilta osin tuottamaan tietoa. Tämä johtui mm. tiedon tuottamisen suuresta työmäärästä ja ajallisten resurssien puutteesta sekä toisaalta, koska tarvittavaa tietoa ei kaikilta osin ollut saatavissa indikaattoriin tai tietoa mm. asiakkaista ei ollut kattavasti saatavissa erityisesti kokeilujen alussa (riittävä asiakasmäärä saavutettiin vasta kokeilun loppupuolella).