Kuntakokeilut kuntien velvoitteiden vähentämisen tueksi hankkeen arviointi VNK 4.3.2016

Kuntakokeilut kuntien velvoitteiden vähentämisen tueksi hankkeen arviointi VNK 4.3.2016 Copyright Tempo Economics Oy Äyritie 12 B, 01510 Vantaa www.tempoeconomics.fi

Esityksen sisältö 1. Mistä kuntakokeilussa on kyse 2. Mitä arvioinnilla tavoitellaan ja miten arviointityö toteutetaan 3. Millaisia haasteita arviointiin liittyy 4. Mitkä ovat tähänastiset opit arvioinnista/arvioinnin kohteesta Copyright Tempo Economics Oy Äyritie 12 B, 01510 Vantaa Tel. +358 46-712 2316 www.tempoeconomics.fi

Yleistä VM:n kuntakokeiluista

Valtiovarainministeriön kuntakokeilut 2015-2016 Kuntakokeilujen tavoitteena on lisätä kokeilukuntien toimintamahdollisuuksia vähentämällä niille laissa tai sen nojalla annetuissa säädöksissä asetettuja tehtäviä ja velvoitteita sekä niiden toteuttamisen ohjausta. edistää sellaisten asiakaslähtöisten ja monialaisten toimintatapojen sekä palvelurakenteiden kehittämistä ja käyttöä, joiden avulla laissa säädettyjä tehtäviä voidaan kunnissa hoitaa taloudellisesti ja tuottavasti Tavoitteena on myös, että kokeilujen tulosten perusteella voidaan päättää toimenpiteistä, jotka osaltaan tukevat julkisen hallinnon kestävyysvajeen supistamista. Kokeilujen tueksi on annettu Laki kuntien velvoitteiden ja ohjauksen vähentämistä ja monialaisten toimintamallien tukemista koskevista kokeiluista. Sen mukaisesti kokeilukunnat ovat saaneet vapaammat kädet toimia, kun valtio vähentää lakisääteisiä velvoitteita ja keventää suositusten soveltamiskäytäntöjä. Kuntakokeilut käynnistyivät 5.1.2015. Kokeiluja toteutetaan vuosien 2015 ja 2016 aikana yhteensä 16 kunnassa tai kuntaryhmissä, joissa kuntia on yhteensä 57. Kokeiluissa on mukana kuusi toimintamallia: Hyvinvoinnin integroitua toimintamallia koskeva kokeilu Koulutuspalveluja koskeva kokeilu Kuntien toiminnan valvontaa koskeva kokeilu Asumispalveluja koskeva kokeilu Kunnan ja Kansaneläkelaitoksen yhteistyötä koskeva kokeilu Nuorisotakuuta koskeva kokeilu Copyright Tempo Economics Oy Äyritie 12 B, 01510 Vantaa Tel. +358 46-712 2316 www.tempoeconomics.fi

Kuntakokeilut kuntien velvoitteiden vähentämisen tueksi - hanke 2015-2016 Valtiovarainministeriön kuntakokeilut hankkeen tavoitteena on luoda edellytykset kuntakokeilujen toteuttamiselle yhteistyössä ministeriöiden, kuntien ja Kelan kesken sekä ohjata kuntien kokeilutoimintaa siten, että kunnat voivat kokeilun aikana kehittää taloudellisesti ja vaikuttavuudeltaan parhaita mahdollisia toimintamalleja. Hankkeen toteuttamisen periaatteita ja keinoja ovat: kuntalähtöisyys strategialähtöisyys ja muutosten kytkeminen kuntien toimintaan asiakaslähtöisyys toimintamalleissa ja tulosten seurannassa moniammatillisuus ja toimiala- sekä organisaatioriippumattomuus toimintamallien kehittämisessä velvoitteiden ja suositusperusteisten ohjeiden ja soveltamiskäytäntöjen keventäminen muutosmekanismina tietojen käsittelyn helpottaminen monialaisessa toiminnassa tulosindikaattoriperusteisuus valvonnassa ja seurannassa sopimusperusteisuus kokeilukohteiden tarkemmassa määrittelyssä ja indikaattorien määrittelyssä Copyright Tempo Economics Oy Äyritie 12 B, 01510 Vantaa Tel. +358 46-712 2316 www.tempoeconomics.fi

Arviointityön tavoitteet ja toteutustapa

Arvioinnin tavoitteet Arvioinnin kohteena on Kuntakokeilut kuntien velvoitteiden vähentämisen tueksi hankkeen valmistelu- ja toimeenpanovaihe vuosina 2014-2016. Arvioinnin toteutusaika on 4/2015-3/2017 Arviointi kohdistuu kolmen keskeisen teeman ympärille, jotka ovat: hankkeen valmistelun ja tavoitteiden onnistuneisuus (tehdäänkö oikeita asioita) hankkeen toteutustavan ja toteuttamisen onnistuneisuus (tehdäänkö asioita oikein) soveltuvin osin hankkeen tulokset ja vaikutukset Arviointi on luonteeltaan konsultoiva ja sen totutusprosessi on pyritty kytkemään Kuntakokeilut hankkeen elinkaareen, siten että arviointi tuottaisi hankkeen tietotarpeisiin mahdollisimman reaaliaikaista tietoa. Copyright Tempo Economics Oy Äyritie 12 B, 01510 Vantaa Tel. +358 46-712 2316 www.tempoeconomics.fi

Arviointityön sisältöä ohjaavat painotukset i. Moninäkökulmainen tutkimusote ii. Tulos- ja vaikuttavuusohjautuva tarkastelutapa/ ennakoiva arviointi iii. Vuorovaikutteinen/dialoginen arviointiprosessi sekä reaaliaikainen tiedontuotanto

Moninäkökulmainen arviointiviitekehys kuntakokeilut hankkeen arviointiin Ulkoinen vaikuttavuus Kuntien velvoitteet ja ohjaus Sisäinen toimintakyky Tehtävien toteutuksen tuottavuus ja laatu Vaikutukset Tulokset Palvelujen/tehtävien hoidon organisointi ja rakenne Muutokset Toimintamahdollisuudet ja toimintavapaus Kuntakokeilut Palveluprosessit, mallit ja toimintatavat Palvelun käyttäjät/ asiakkaat Kuntien sisäinen monialainen yhteistyö Ulkoiset yhteistyösuhteet /sidosryhmäyhteistyö

Kuntakokeilut hankkeen ajateltu vaikutuslogiikka Kuntakokeilut Laki kuntien velvoitteiden ja ohjauksen vähentämistä ja monialaisten toimintamallien tukemista koskevista kokeiluista Hallinnonalojen ja organisaatioiden rajat ylittävien toimintamallikokonaisuuksien toteutumisen mahdollistaminen Poikkihallinnollisten toimintamallien toteuttamisen lakisääteisiä ja ohjauskäytännöstä johtuvien esteiden poistaminen Kunnissa käynnissä olevaa palveluprosessien ja toimintamallien kehittämistyön edistäminen Laissa tai säädöksissä asetettujen tehtävien ja velvoitteiden sekä niiden toteuttamisen ohjauksen vähentäminen Kokeilu/kunta/alue-kohtaiset tulokset ja vaikutukset Kuntien velvoitteiden ja ohjauksen vähentyminen 1. Hyvinvoinnin integroitu toimintamalli 2. Koulutuspalvelukokeilu 3. Asumispalvelujen toimintamalli 4. Valvonnan toimintamalli 5. Kuntien ja Kelan yhteistyö 6. Nuorisotakuukokeilu Uudet palvelu- ja toimintamallit Muutokset palveluiden järjestämistavoissa ja prosesseissa Muutokset eri toimijoiden toimintatavoissa ja työnjaossa Kokeilukuntien toimintamahdollisuuksien lisääntyminen Asiakaslähtöisten ja monialaisten toimintatapojen ja palvelurakenteiden kehittyminen Tehtävien toteutuksen tuottavuus ja laatu Laissa säädettyjen tehtävien taloudellinen ja tuottava hoito Asiakaslähtöisten ja monialaisten toimintatapojen sekä palvelurakenteiden taloudellinen ja tuottava kehittyminen Kuntien yhdistämisselvitysten ja sosiaali- ja terveydenhuollon palvelurakenteiden uudistamisen tuki Toimenpiteet julkisen hallinnon kestävyysvajeen supistamiseksi Kokemukset siitä, miten kunnat voivat säädösmuutosten ja muiden toimenpiteiden avulla poikkihallinnollisesti kehittää palvelurakennettaan ja säästää kustannuksiaan Tiedon ja ymmärryksen lisääntyminen ohjausrakenteiden toimivuudesta ja niiden yhteydestä kustannusten muodostumiseen.

Tulos- ja vaikutusohjautuva arviointitapa/ennakoivan arvioinnin malli Kuntakokeilut Laki kuntien velvoitteiden ja ohjauksen vähentämistä ja monialaisten toimintamallien tukemista koskevista kokeiluista ARVIOINNIN TUOTTAMAN PALAUTTEEN HYÖDYNTÄMINEN Hallinnonalojen ja organisaatioiden rajat ylittävien toimintamallikokonaisuuksien toteutumisen mahdollistaminen Poikkihallinnollisten toimintamallien toteuttamisen lakisääteisiä ja ohjauskäytännöstä johtuvien esteiden poistaminen Kunnissa käynnissä olevaa palveluprosessien ja toimintamallien kehittämistyön edistäminen Laissa tai säädöksissä asetettujen tehtävien ja velvoitteiden sekä niiden toteuttamisen ohjauksen vähentäminen 1. Hyvinvoinnin integroitu toimintamalli 2. Koulutuspalvelukokeilu 3. Asumispalvelujen toimintamalli 4. Valvonnan toimintamalli 5. Kuntien ja Kelan yhteistyö 6. Nuorisotakuukokeilu Toimeenpanon onnistuneisuus Kokeilu/kunta/alue-kohtaiset tulokset ja vaikutukset Uudet palvelu- ja toimintamallit Muutokset palveluiden järjestämistavoissa ja prosesseissa Muutokset eri toimijoiden toimintatavoissa ja työnjaossa Kokeilukuntien toimintamahdollisuuksien lisääntyminen Asiakaslähtöisten ja monialaisten toimintatapojen ja palvelurakenteiden kehittyminen Tehtävien toteutuksen tuottavuus ja laatu Tulokset ja vaikutukset Kuntien velvoitteiden ja ohjauksen vähentyminen Laissa säädettyjen tehtävien taloudellinen ja tuottava hoito Asiakaslähtöisten ja monialaisten toimintatapojen sekä palvelurakenteiden taloudellinen ja tuottava kehittyminen Kuntien yhdistämisselvitysten ja sosiaali- ja terveydenhuollon palvelurakenteiden uudistamisen tuki Toimenpiteet julkisen hallinnon kestävyysvajeen supistamiseksi Vaikuttavuus ja lisäarvo Kokemukset siitä, miten kunnat voivat säädösmuutosten ja muiden toimenpiteiden avulla poikkihallinnollisesti kehittää palvelurakennettaan ja säästää kustannuksiaan Tiedon ja ymmärryksen lisääntyminen ohjausrakenteiden toimivuudesta ja niiden yhteydestä kustannusten muodostumiseen. ARVIOINTITIEDON TUOTTAMINEN

Arvioitsijan rooli arviointiprosessissa Vuorovaikutteinen/dialoginen arviointiprosessi Lähtöanalyysi Ulkopuolinen arvioija Toimeenpanon onnistuneisuuden arviointi Alustavien tulosten ja vaikutusten arviointi Tulosten ja vaikutusten arviointi Kokonaisarviointi Kehittäjä/konsultti Arvioinnin kesto/hankkeen elinkaari

Arviointiprosessin eteneminen Työvaiheet 1. Hankkeen ja osallistuvien kokeilujen/ kuntien lähtötilannekartoitukset ja lähtöanalyysi 2. Toimeenpanon arviointi ja kokeilujen aikaansaamien palvelujen järjestämis-tapojen ja palvelu-prosessien muutosten analyysi 4. Kvasi-eksperimentaalinen vertailuanalyysi kuntakokeilualueiden ja ei-kokeilualueiden välillä 5. Määrällinen ja laadullinen analyysi hankkeen tuloksista, vaikutuksista ja indikaattoriperusteisesta arvioinnista 6. Kokonaisarviointi kokeilujen ja Kuntakokeilut - hankkeen merkityksestä 3. Analyysi hankkeen vaikutuksista eri toimi-joiden tehtäviin ja toimintatapoihin, työnjakoon, roolitukseen ja toimintavapauteen 7. Arvioinnin tulosten raportointi Arviointitiedon kytkeminen hankkeen toteutuksen tueksi Dialogiset työpajat Hankkeen koordinaatioryhmän kokoukset Hankkeen projektiryhmän kokoukset Delfoi-prosessi X X X X X X X X X X X X X X. X X. X X. X Väliraportti 28.2.2016 Loppuraportti 31.3.2015 X X X X X Arvioinnin kesto/hankkeen elinkaari

Arviointiin liittyviä haasteita

Arviointiin liittyviä haasteita Erillisvaikutusten arvioinnin hankaluus - Lähtötilanteen määrittely on vaikeaa, sillä kokeilujen mukainen kehittämistoimintaa on ollut kunnissa tehty jo ennen kokeilujen käynnistämistä kokeiluissa mukana olevat kunnat ovat tässä hyvin eri vaiheissa - Vertailu muihin kuntiin on vaikeaa, sillä muut kuin kokeilukunnat ovat tehneet vastaavaa kehittämistyötä, vaikka eivät kokeiluun ovat osallistuneet Vaikutusten mittaamisen ja kvantifioitavuuden vaikeus - Eri kokeiluissa lopulliset/tavoiteltavat vaikutukset syntyvät kymmenien/satojen erityyppisten mekanismien kautta. Ei ole olemassa hyviä koko hanketta kuvaavia indikaattoreita, joilla voisi kuvata yleisellä tasolla hankkeen/kokeilujen vaikutuksia. Eli mitä arvioidaan ja mitataan? - Vaikutukset eri kokeiluissa syntyvät pääsääntöisesti ketjuuntuneen vaikutusmekanismin kautta pitkällä aikavälillä. Lyhyellä aikavälillä vaikutukset näkyvät ensisijassa laadullisina muutoksina toimintakäytännöissä ja prosesseissa, joita ei pysty määrällisillä mittareilla osoittamaan. Eli millaisilla mittareilla arvioidaan? Tulosten yleistettävyyden vaikeus - Kokeilujen mukainen toiminta on asetettuihin laajakantoisiin tavoitteisiin nähden hyvin pienimuotoista ja pisteittäistä ja niissä aikaansaadut tulokset ovat pirstaleisia ja hyvin eri tasoisia. Hankaluutena on yleistää aikaansaadut tulokset koskemaan laajemmin kuntakokeilun tavoitteita Tutkijan ja arvioitsijan rooli kehittävässä arvioinnissa/objektiivisuuden säilyttäminen? Copyright Tempo Economics Oy Äyritie 12 B, 01510 Vantaa Tel. +358 46-712 2316 www.tempoeconomics.fi

Tähänastiset opit arvioinnista/arvioinnin kohteesta

Tähänastisia yleisiä havaintoja/oppeja arvioinnista ja sen kohteesta Indikaattoriperusteinen seuranta ja ohjaus ei toimi. Kunnat saivat varsin vapaat kädet määritellä itse kokeilujen tavoitteet ja seurannan tulosindikaattorit - tämä on osin johtanut epäsystemaattiseen tavoitteenasetteluun ja epätarkoituksenmukaisiin seurantaindikaattoreihin Toimivien indikaattoreiden määrittely olisi vaatinut taustakseen kokeilukohtaiset vaikutusdynamiikka kuvaavat mallit ja indikaattorit selkeät lähtö- ja tavoitetasot Alhaaltapäin rakentuvissa hankkeissa tarvitaan myös vahvaa ylhäältäpäin tulevaa strategista ohjausta Laaja tavoitteenasettelu on johtanut kokeiluissa siihen, että ollaan tehty vähän kaikkea ja kokeilut ovat jääneet jälkeen ajatellusta aikatulusta jatkossa kokeiluista tulisi määrittä tärkeimmät kärjet ja fokusoida toiminta niihin. Hankkeelta puuttuu ohjausvoima kokeiluihin/kuntiin hankkeella ei ole taloudellista tai muuta ohjausvoimaa kokeiluihin, kokeilulaki ei ole riittävän kannustava, muut käynnissä olevat asiat toimintaympäristössä (iha-alueet, sote-ratkaisut yms.) ovat isompia ja tärkeämpiä jos ei ole millä työntää, pitäisi olla keinoja joilla luodaan homman vetoa. Hanke-kehittämisväsymys hankkeilla ja ohjelmilla tulisi olla elinkaaren eri vaiheisiin välineitä ja kannusteita hanketoimijoiden motivointiin Uhkana (kuten yleisemminkin hanketoiminnassa) on se, että kokeiluissa saadaan aikaiseksi rakenne ja prosessit toiminnalle, mutta tulokset jäävät syntymättä ja hyödyntämättä. kehittämistyönjatkuvuuden turvaamiseksi ja pysyvienvaikutusten aikaansaamiseksi kaikkiin kokeiluhankkeisiin tarvittaisiin oman excit plan -suunnitelma Copyright Tempo Economics Oy Äyritie 12 B, 01510 Vantaa Tel. +358 46-712 2316 www.tempoeconomics.fi

KIITOS!