Valvontatoiminnan vaikuttavuus ONNETTOMUUKSIEN EHKÄISYN OPINTOPÄIVÄT 8. 9.11.2017 Original Sokos Hotel Vantaa TUOMAS LAINE, tutkija, taloustieteen tohtoriopiskelija TAMPEREEN YLIOPISTON JOHTAMISKORKEAKOULU
Valvonnan vaikuttavuus, mitattavuus ja arvioitavuus 1. Vaikuttavuuden määrittely 2. Miksi vaikuttavuutta tulisi mitata I. Resurssiallokaatio ja julkisenrahan käyttö KHA/KVA, Arviointimenetelmillä pyritään maksimoimaan verorahoin rahoitettujen palvelujen yhteiskunnalle tuottamaa hyötyä II. Kehittämisnäkökulma Tietoa palvelujen ja toimenpiteiden yhteydestä kustannusten, hyötyjen ja haittojen kohdistumisesta kohdistetaanko palvelu optimaalisella tavalla? 3. Mitä pelastustoimen palvelujen vaikuttavuudesta tiedetään I. Nykytilanne II. Haasteet III. Mahdollisuudet 4. Case: Määräaikaiset palotarkastukset 8.11.2017 2
1. Vaikuttavuuden määrittely (IOOI) Input, Output, Outcome, Impact PANOS TUOTOS VAIKUTUS VAIKUTTAVUUS Inputilla eli panoksilla Tarkoitetaan työhön sijoitettuja resursseja esim. työtunnit, materiaalit, kiinteät Kustannukset jne. Kertoo mitä annetuilla panoksilla saatiin aikaan. Mitä mitattavissa olevaa saatiin aikaiseksi? Kuvaa mitä Vaikutuksia tuotoksilla on? Kertoo mikä on muuttunut tuotoksen myötä. Millaisia muutoksia työn tavoitteita ajatellen on saatu aikaiseksi? Vaikuttavuuden taso, jota tällä työpanoksella voidaan sanoa tapahtuneen? Kokonaisresurssit, resurssit eri palveluille ja toimenpiteille Valvontasuoritteet mm. toteutetut määräaikaiset palotarkastukset, turvallisuusviestinnän suoritteet Parantunut paloturvallisuuskulttuuri, havaitut ja poistetut riskitekijät yms. Muutos rakennuspalo ja rakennuspalovaarojen lukumäärissä, palokuolemat, loukkaantumiset, omaisuushaitat yms. 8.11.2017 3
1. Vaikuttavuuden määrittely Kustannukset, vaikuttavuus ja hyöty osana toiminnan mittareita Tuottavuus Panokset Henkilöstö ja aika Materiaalit Tilat ja laitteet Prosessi Panosten muuttaminen tuotoksiksi Tuotokset Toimenpide/palvelu Laatu Vaikutukset Parantunut paloturvallisuus Panosten hinta Tehokkuus Tuotosten hinta Hyöty (Toiminnan olemassaolon tarkoitus ja oikeutus) Vaikuttavuus Ennaltaehkäisty: Kustannukset Kannattavuus Kustannus-hyötyanalyysi = Hyöty kustannus = Nettohyöty Tuotot Muokattu lähteestä: Lönnqvist, A., Jääskeläinen, A., Kujansivu, P., Käpylä, J., Laihonen, H., Sillanpää, V., Vuolle, M. (2010), Palvelutuotannon mittaaminen johtamisen välineenä, Tietosanoma Oy. Inhimillinen kärsimys Kiinteistölle ja irtaimistolle aiheutunut haitta Haitta elinkeinolle Hyvinvointitappio Yms. 8.11.2017 4
2. Miksi vaikuttavuutta tulisi mitata Resurssiallokaatio ja julkisenrahan käyttö Julkisten varojen niukkuus johtaa leikkauksiin ja allokaatiopäätöksiin Julkiset palvelut kilpailevat samoista resursseista Rajoitettu rationaalisuus ihmisen rationaalista eli optimaalista valintaa päätöksentekotilanteissa rajoittavat saatavilla olevan informaation rajallisuus, päätöksentekijän rajalliset kognitiiviset kyvyt sekä päätöksentekoon käytettävissä oleva rajoitettu aika Poliittinen päätöksenteko usein altis ulkoisille vaikuttimille ja kognitiivisille harhoille ns. kauneuskilpailu Tärkeää tuottaa tietoa resurssien tuottamista hyödyistä yhteiskunnalle Vaikuttavuuden arviointi keskeinen osa yhteiskuntataloudellisen arviointia ja menetelmien hyödyntämistä. Pelkkä vaikuttavuus ei itsessään ole riittävä tarkastelun kohde, vaan valitun toimintatavan tai -muodon lisäksi tulee tietää sen kustannukset. Kustannus hyötyanalyysi (KHA) ja Kustannus vaikuttavuusanalyysi (KVA) yleistyneet viime vuosikymmenten aikana julkisen päätöksenteon välineinä. Menetelmiä on käytetty mm. tuomioistuinten päätösten, julkisen säännöstelyn, ilmastonmuutoksen tutkimuksessa, rakennushankkeiden-, terveydenhuollon ja sosiaalisten ohjelmien arvioinnissa. Pelastustoimenpalvelut eivät ole erityisasemassa 8.11.2017 5
2. Miksi vaikuttavuutta tulisi mitata Kehittämisnäkökulma Antaa jalansijaa uudenlaiselle tietojohtamiselle ja Evidence based toimintatavalle ja syventää ymmärrystä tutkitusta aiheesta ja sen syy seuraussuhteista Havaita vaikuttavuudeltaan parhaat toimintatavat ja toimintamuodot Havaita kehittämistarpeet ja luoda tietoa siitä mistä vaikuttavuuserot peräisin Edistää parhaiden ja vaikuttavimpien toimintatapojen leviämistä yli alue- ja organisaatiorajojen Allokaatiotehokkuus Kohdennetaan resurssit kaikkein vaikuttavimpiin toimenpideohjelmiin, kohdennetaanko resurssit tavoitteiden mukaisesti? Edellyttää tietoa myös palvelujen ja toimenpiteiden kustannusten, palveluista saavutettavien hyötyjen ja haittojen kohdistumisesta kohdistetaanko palvelu optimaalisella tavalla? 8.11.2017 6
3. Mitä pelastustoimen palvelujen vaikuttavuudesta tiedetään Nykytilanne Kansainvälinen ja kansallinen tutkimus vähäistä ja hajanaista > Ei olemassa olevaa laajasti hyväksyttyä metodologiaa Vanhimmat palvelujen vaikuttavuuden tutkimukset 1950 1960 luvulta (Iso-Britannia). Tutkimusasetelmat järjestäen varsin heikkoja mm. ennen jälkeen tarkasteluja Yhteiskuntataloudellinen kannattavuusarviointia hyödynnetty jonkin verran palovaroittimien ja sprinklereiden vaikuttavuustutkimuksessa (mm. Uusi Seelanti, Yhdysvallat, Australia, Iso-Britannia), mutta ei julkaistuja tutkimuksia palvelujen arvioinnista Suomessa yksittäisiä raportteja. Lisäksi viime vuosina alettu arvioimaan auditoivan palotarkastuksen tuottamaa tietoa Yhteiskuntataloudellisten arviointimenetelmien soveltuvuutta pelastustoimen palvelujen optimoinnissa tutkittu PSR rahoittamassa Yhteiskuntataloudellisten arviointimenetelmien soveltuvuus pelastustoimen palvelujen optimoinnissa hankkeessa (Pelop: 2014 2016) + Valmisteilla vaikutusanalyysi valvonnan suorista vaikutuksista (Pirkanmaa) 8.11.2017 7
3. Mitä pelastustoimen palvelujen vaikuttavuudesta tiedetään Haasteet Mahdollisia selityksiä vähäiseen tutkimustietoon: Ennaltaehkäisevien palvelujen vaikuttavuuden mittaaminen yleensä vaikeampaa kuin toiminnan joka rakentaa, parantaa tai mahdollistaa vrt. mm. syöpäseulonta Ennaltaehkäisty onnettomuus tutkittavana ilmiönä: Mitataan usein asioita, jotka eivät ole toteutuneet > Asettaa vaatimuksia tiedon määrälle ja laadulle > Kokeellisten asetelman puute Suhteellisen pieni julkinen palvelu ja vaihteleva rahoituspohja > hajaantuneet tutkimusresurssit Tiedon keräys: Yhteisten standardien, määritelmien ja toimintatapojen puute Alueelliset erot Puutteet tietojärjestelmissä Motivaatio miksi tietoa kerätään? Edellytykset vaikutusten ja vaikuttavuuden mittaamiseen vaihtelevat eri toimintamuotojen ja palvelujen välillä. Turvallisuusviestinnän ja valistuksen vaikuttavuutta ja kohdentumista vaikea mitata vrt. Olemassa olevaa tietoa valvonnan kohdistumisesta ja toiminnan sisällöstä. 8.11.2017 8
3. Mitä pelastustoimen palvelujen vaikuttavuudesta tiedetään Mahdollisuudet Yhteiskuntataloudellisen tarkastelun näkökulmasta olemassa olevaa hyödynnettävää tietoa toiminnan kohdistumisesta ja sisällöstä olemassa valvonnan suoritteiden ja pelastustoiminnan osalta Olemassa olevaa tutkimustietoa rakennuspalojen haitoista Haittatekijät suhteellisen tarkasti mitattavissa Toiminnan hyödyt suhteellisen suoraviivaisia ja välittömiä > ennaltaehkäisty haitta (vrt. Julkinen liikenneinvestointi) Ennaltaehkäisty rakennuspalo Liikenneinvestointi Palokuolemat Loukkaantuneiden hoitokustannukset ja aiheutuva tuotantotappio Rakennus ja irtaimistohaitat Selkeä kustannusrakenne Agglomeraatioedut (läheisyyden edut, tuottavuus), saavutettavuus, muutokset käyttäytymisessä Vaikutukset työ ja tuotemarkkinoihin, maankäyttö jne. Kustannusarvioiden sisältämä epävarmuus Lyhyt aikajänne, mitattavissa olevat suureet Laskelmat sisältävät paljon epävarmuutta (teoriassa myös dynaamisia malleja). Vaikutusten aikajänne jopa 50 vuotta. 8.11.2017 9
4. Valvontatoiminnan yhteiskuntataloudellinen tarkastelu case: Määräaikaiset palotarkastukset Valvonnan toteutuksesta laadultaan parempaa ja määrältään suurempi tietoaineisto verrattuna muihin ennaltaehkäiseviin palveluihin Keskeinen ennaltaehkäisevän palvelun muoto. Yksi pitkäaikaisimmista ennaltaehkäisevien palvelujen muodoista Alueellisten pelastuslaitosten toimintakustannukset keskimäärin noin 352 miljoonaa euroa, josta ennaltaehkäisevien palvelujen osuus karkeasti noin 5 10 prosentin luokkaa (Määttälä 2010). Yksi suurimpia ja laajasti kansalaiset tavoittava julkinen ohjelma Suomessa Suuri hyöty potentiaali > Rakennuspalojen aiheuttamat aineelliset vahingot valtakunnalliset noin 135 M /vuosi, loukkaantumisista aiheutuneet kustannukset n.15m vuosi, n. 80 palokuolemaa vuodessa + epäsuorat vaikutukset PELOP hankkeessa tarkastelu keskittyi viidellä alueelle: (Keski Suomi, Pohjanmaa, Pirkanmaa, Helsinki ja Keski Uusimaa) 8.11.2017 10
4. Valvontatoiminnan yhteiskuntataloudellinen tarkastelu case: Määräaikaiset palotarkastukset Suomi edelläkävijä tiedon keräämisessä: Valvonnan suoritteista ja toiminnasta kerätty tietoa myös sähköisiin tietojärjestelmiin 1990 luvun alusta alkaen. Tietoa toiminnan sisällöstä: Paloturvallisuuteen vaikuttavista riskitekijöistä, kohteen ominaisuuksista, valvontahistoriasta yms. Onnettomuustietoja kerätty Kansalliseen onnettomuus ja resurssitietokantaan (Pronto), Rakennustiedot (VRK rakennustietokanta) 8.11.2017 11
4. Määräaikaiset palotarkastukset Vaikuttavuuden analogia Selittävinä tekijöinä: 1.) Kyky kohdentaa toimenpiteet oikeisiin kohteisiin oikein kohdistettuna rajalliset resurssit kohdistuvat kaikkein eniten riskejä sisältäviin kohteisiin. 2.) Toimenpiteiden sisältö ja tarkastusväli laskee kohteen vahinkoriskiä puututaan, havaitaan, opastetaan ja motivoidaan kohteen sisältämien riskitekijät huomioiden + kohteen sisältämien riskien mukaiset tarkastusvälit Valitettavasti nykyiset tietojärjestelmät ja tiedonkeruuratkaisut eivät mahdollista toimenpiteiden suorien vaikutusten (mm. havaittujen ja korjattujen puutteiden, muutokset turvallisuuskulttuurissa) tarkastelua laajemmassa mittakaavassa mm. erilaisten laskennallisten vaikuttavuus indikaattorien hyödyntämiseen. Tutkimuskirjallisuus ei myöskään sisällä estimaatteja valvonnan vaikuttavuudesta Kehitystä on kuitenkin tapahtunut esim. auditoivan palotarkastuksen tuloksiin on alettu kiinnittämään enemmän huomiota (mm. Helsingin kaupungin pelastuslaitos) + Paloturvallisuuskampanjoiden vaikuttavuuden arviointi (SPEK 2016) 8.11.2017 12
4. Määräaikaiset palotarkastukset vaikuttavuus Palotarkastusten vaikuttavuus tulisi kuitenkin näkyä tilastollisessa tarkastelussa: 1.) rakennuspalojen määrässä 2.) rakennuspalojen aiheuttamissa haitoissa 3.) rakennuspalojen aiheuttamissa henkilövahingoissa Valvonnanvaikuttavuuden mittaaminen kuitenkin ongelmallista poikkileikkaus ja aikasarja aineistoilla Kohdekohtainen riski josta seuraa endogeenisuusharha valvontaa kohdistetaan riskiperustaisesti. Merkitys: valvonta kohdistuu kaikkein riskillisimpiin kohteisiin eli myös onnettomuuksien todennäköisyys suurin kohteissa joissa valvontaa tapahtuu eniten (kuva). Kuvion diagonaaliviivan alapuolelle sijoittuvissa kohdetyypeissä tarkastettujen kohteiden onnettomuusriski suurempi kuin tarkastamattomissa. Vastaavasti viivan yläpuolelle sijoittuvat kohdetyypit ovat kohteita, joissa tarkastamattomissa kohteissa keskimäärin enemmän onnettomuuksia 8.11.2017 13
4. Määräaikaiset palotarkastukset vaikuttavuus Päätettiin tarkastella voisiko yksilötason tietoa sisältävät paneeliaineistot ja analyysimenetelmä, jotka huomioivat kohdekohtaisen riskin (fixed ja random effect- mallit) tarjota ongelmiin ratkaisun. Poiminta: Valvontatoimenpiteet, kohteet ja onnettomuudet vuosina 2008 2014 Viiden pelastuslaitoksen alueilta, sisältäen noin 352 000 valvontatoimenpidettä, joista noin 50 000 määräaikaisia palotarkastuksia erityiskohteisiin, noin 13 000 rakennuspaloa tai rakennuspalovaaraa, noin 800 000 rakennusta, noin 2 000 000 asukasta. 8.11.2017 14
4. Määräaikaiset palotarkastukset vaikuttavuus Havaintoja: Keskussairaalat, muut sairaalat ja Vanhainkodit ja kehitysvammaisten hoitolaitokset: Tilastollisesti merkitseviä ja voimakkaasti negatiivisia eli paloriskiä vähentäviä vaikutuksia. Toimenpiteen vaikuttavuus (T-1) suuruus luokaltaan jopa -0.040 onnettomuuden lukumäärään. Estimointitulosten luotettavuuteen on kuitenkin suhtauduttava varauksella Aineiston puutteet (puuttuvat havainnot ja määrittelyyn liittyvät puutteet) vähentävät tulosten luotettavuutta. Tulokset normaalijakaumaoletuksilla (mm. Poisson mallit eivät tuottaneet tilastollisesti merkitseviä tuloksia) Tulosten luotettavuutta vaikea testata nykyisellä aineistolla Lisäksi lähtökohtaisesti pelkkien marginaalisten vaikutusten huomioiminen tn. aliarvioi palvelun vaikuttavuutta ja yhteiskunnallista hyötyä > osa vaikutuksista realisoituu pitkällä aikavälillä 8.11.2017 15
4. Määräaikaiset palotarkastukset aineiston anomaliat ja haasteet Laajasta tietoaineistosta huolimatta useita puutteita, jotka vaikeuttavat toiminnan mittaamista ja vaikuttavuuden arvioimista 1) Määritelmälliset erot Palvelujen määrittelyissä suuria alueellisia eroja: 56 erilaista valvontatoimenpidetyyppiä alueellisen vaihtelun ollessa 16 toimenpidetyypistä 33 tyyppiin. Kohteiden määrittelyssä suuria eroja: aineisto sisältää peräti 122 erilaista valvontakohdetyyppiä. Aluekohtaisesti kohdetyyppien määrä vaihtelee 44 kohdetyypistä 89 kohdetyyppiin Mahdollisia selityksiä: Aluekohtaisiin tarpeisiin luodut erityiskohdetyypit sekä edelleen käytössä olevat vanhentuneet kohdemäärittelyt. (vrt kansallinen ohje (A luokitus): noin 40 kohdetta) 2) Kirjaamiseen liittyvät erot Karttapohjainen sijaintitieto epätarkka: Hätäkeskus vrt. pelastusviranomainen Kohdetietojen kirjaaminen: Merlot vrt. Pronto, mm. Pronton poiminnasta noin 30 prosenttia havainnoista ei sisällä rakennustunnusta ja 30 prosentissa rakennustunnus virheellinen Tietojärjestelmän käytettävyys: Alun perin suunniteltu paikallisiin tarpeisiin. Heikot tiedonlouhinta edellytykset > motivaatio: miksi tietoa on kirjattava (huolellisesti)? 8.11.2017 16
4. Määräaikaiset palotarkastukset Kustannukset Laajasta tietoaineistosta huolimatta valvonnan ja ennaltaehkäisevän työn ja suoritteiden kustannuksia arvioitu vain karkealla tasolla Ei käytössä olevaa toimintapohjoista kustannuslaskentaa > Toimenpiteiden kustannuksia voidaan arvioida asiantuntija kyselyn pohjalta Määräaikaisten tarkastusten keskimääräinen kustannus vaihteli yksittäisen määräaikaisen tarkastuksen osalta viljankuivaamorakennusten 122 eurosta keskussairaalan 241 euroon. Keskimääräiset kustannukset vaihtelivat suhteellisen vähän suhteessa kohdetyypin kokoon tai kohteen käyttötarkoitukseen nähden > Indikoi eroja toimenpiteen sisällössä Sen sijaan arviot sisälsivät merkittäviä eroja alueiden välillä. > indikoi mahdollisia eroja toimenpiteen sisällössä 8.11.2017 17
Ryhmäkeskustelu Ryhmäkeskustelun tarkoituksena on jakaa eri alueiden asiantuntijoiden näkemyksiä valvonnan suoritteen eli valvontakäynnin sisällöstä ja toteutuksesta (kaksi erillistä kysymystä). Ryhmäkeskustelulle on varattu aikaa yhteensä 10 minuuttia. Toivomme, että ryhmä kirjaa lyhyesti ryhmäkeskustelussa nousseita näkemyksiä ja ajatuksia paperille. Ryhmäkeskustelun purku toteutetaan esityksen lopussa. 1. Kuvailkaa kaikki mahdolliset syyt miksi valvonnan suoritteet eli valvontakäyntien sisältö ja toimintatavat eivät voisi olla määritelty ja toteutettu samalla tavalla kaikkialla Suomessa yli organisaatiorajojen? 2. Arvioikaa vaihtelevatko valvontakäyntiin sidotut keskimääräiset resurssit kohdetyyppien välillä? Entä tulisiko valvontakäyntiin sidotuissa resursseissa (esimerkiksi aikaresurssi) olla eroja valvontakohdetyyppien välillä? 8.11.2017 18
4. Määräaikaiset palotarkastukset Rakennuspalon aiheuttama keskimääräinen haitta Ennaltaehkäisty haitta on valvonnan tuottama hyöty yhteiskunnalle, jonka vuoksi kokonaishaitan arvioiminen on keskeinen osa kustannus hyötyanalyysiä Rakennuspalojen aiheuttama haittaa on arvioitu Suomessa lähinnä palokuolemien lukumäärän ja aineellisten vahinkojen näkökulmasta < Kokonaishaitta sisältää myös muita tekijöitä Laskelma huomioi myös keskimääräiset hoitokustannukset (1.&2.), tuotantotappion eli työkyvyn menetyksestä seuraavan kustannuksen (1. & 2.), laskennalliset epäsuorat kustannukset (2.), palokuolema (1. taloudellinen haitta vrt. 2. taloudellinen haitta + inhimillinen kärsimys yms.) Laskelman pohjana kansallisia ja tuoreita tutkimustuloksia liekkionnettomuuksissa loukkaantuneiden hoito ja tuotantotappioista sekä palokuolemien aiheuttamasta tuotantotappiosta (Haikonen et al., 2014;2015;2016) 8.11.2017 19
4. Määräaikaiset palotarkastukset Rakennuspalon aiheuttama keskimääräinen haitta Haitan määrä ja jakauma vaihtelee voimakkaasti valvontakohteiden välillä: Korkeimmat kokonaishaitat Päiväkodeissa, Korkeakouluissa ja tutkimuslaitoksissa, Hotelli, loma ja virkistyskodeissa Arvioi keskimääräistä haittaa pitkällä aikavälillä > selitys: Kustannusten jakaumat suhteellisen vinoja mm. Loukkaantumisten aiheuttamista hoitokustannuksista 7 8% tapauksista selittää 50% kaikista kustannuksista Keskimäärin merkittävin vahinkotyyppi on rakennusvahingot, mutta asuinkohteet poikkeus! Laskelmien 1. ja 2. kokonaisvahinkojen odotusarvot vaihtelevat suuresti kohteissa, joissa tapahtuu henkilövahinkoja. Laskelmat kokonaisuudessaan: Yhteiskuntataloudellisten arviointimenetelmien soveltuvuus pelastustoimen palvelujen optimoinnissa -loppuraportti https://tampub.uta.fi/handle/10024/101954 8.11.2017 20
4. Määräaikaiset palotarkastukset Toiminnan kustannusten ja potentiaalisen hyödyn tarkasteleminen Kustannusten ja hyötyjen arvioiminen tarjoaa tietoa toiminnan tavoitteista, kohdentumisesta ja potentiaalisesta hyödystä Tarkastelemalla kustannuksia ja hyötyjä vaikuttavuuden näkökulmasta, voidaan toiminnalle asettaa tavoitteita ja arvioida resursseja suhteessa tavoiteltavaan (ja todennäköiseen) hyötyyn. Suhteellisen matalat kustannukset ja vastaavasti korkeat keskimääräiset haitat osoittavat valvonnan suuren potentiaalin Kuvio: Pystyakseli kertoo valvonnan nettohyödyn vaikuttavuuden funktiona. Vaikuttavuutta kuvataan ennaltaehkäisevien toimenpiteiden (tässä tapauksessa määräaikaisten palotarkastusten) osuutena kaikista toimenpiteistä. Mitä korkeampi ennaltaehkäisevien toimenpiteiden osuus sitä korkeampi nettohyöty yhtä ennaltaehkäistyä rakennuspaloa kohden. 8.11.2017 21
4. Resurssien kohdistuminen toteutuneisiin haittoihin suhteutettuna Suuria eroja resurssien allokoitumisessa suhteessa toteutuneisiin haittoihin. Toisin sanoen, valvonnan kohdetyypeille kohdennetut resurssit eivät seuraa toteutunutta keskimääräistä vahinkojen kokonaismäärää (voidaan ymmärtää myös vahinkojen odotusarvona) kohdetasolla. Eniten resursseja kohdistuu ympärivuorokautisessa käytössä oleviin kohteisiin (A100 A145) ja opetusrakennuksiin ja päiväkoteihin (A200 A220). Vähiten Asuinkohteisiin (05), maatalousrakennuksiin (A500 A520) ja teollisuus- ja varastorakennuksiin (A400 A420) Kuvio: Vaaka akselilla prosenttiosuus valvonnan kohdistamista resursseista suhteessa ko. kohdetyypissä tapahtuneisiin rakennuspalojen aiheuttamiin vahinkoihin. Pisteen koko kertoo valvontakustannusten absoluuttisesta tasosta ( ) 8.11.2017 22
4. Havaintoja Tärkeää tietoa toiminnan sisällöstä on olemassa, mutta sen hyödyntäminen on vaikeaa. Suomi edelläkävijä tiedon keräämisessä, mutta ei välttämättä tiedon hyödyntämisessä. Valvonnan potentiaalinen nettohyöty erittäin korkea > Mahdolliset parannukset toiminnan vaikuttavuudessa tarjoavat suuren palkinnon Haitat vaihtelevat kohdetyypeittäin suhteellisen paljon, kustannukset eivät niinkään miksi? Resurssit eivät kohdistu tasaisesti suhteessa toteutuneisiin haittoihin miksi? Alueiden välillä eroja palvelutarjonnassa. On todennäköistä, että tehokkaita ja vaikuttavia toimintamuotoja ei ole otettu käyttöön kaikilla alueilla ja vastaavasti tehottomia toimintamuotoja esiintyy edelleen > Parhaiden toimintatapojen levittäminen aluerajojen yli välttämätöntä Alustavat estimaatit palvelun marginaalisesta vaikuttavuudesta lupaavia > Suuri osa epävarmuustekijöistä on korjattavissa määrittelyn yhdenmukaistamisella, toimintatapoja muuttamalla ja tietojärjestelmiä kehittämällä Huomio: Määritelmälliset erot alueiden välillä hankaloittavat vaikuttavuuden mittaamista, mutta aiheuttavat myös vakavia ongelmia toimintaa kuvaavien indikaattoreiden sekä tuottavuuslaskelmien taustalla. 8.11.2017 23
4. Lopuksi Vaikuttavuuden mittaaminen on kehitysprosessi, joka vaatii suunnitelmallisuutta ja pitkäjänteisyyttä Pelastustoimen palvelujen sisältö ja kohteet määriteltävä yhdenmukaisesti ja tietoa toiminnan vaikutuksista kerättävä systemaattisesti koskee kaikkia toimintamuotoja > edellyttää resursseja tietojärjestelmien kehitykseen ja toiminnan määrittelyyn > Data comes first ajattelu Vaikutukset ja vaikuttavuus eivät erillisiä asioita Tilastollisen analyysin lisäksi myös toimenpiteiden suorien vaikutusten mittaaminen ja tapaustutkimukset ovat välttämättömiä Yhteiskuntataloudellinen tarkastelu ja palveluista kerättävän datan hyödyntäminen tarjoaa uudenlaisia mahdollisuuksia palvelujen kehittämiseen Vaikuttavuuden mittaamisen edellytysten parantuessa myös erilaiset koneoppimisen algoritmit ja ennustavien mallien hyödyntäminen tulee mahdolliseksi. Suomi voi olla edelläkävijä myös tulevaisuudessa! 8.11.2017 24
Kiitokset Tuomas Laine +358 44 502 7788 laine.tuomas.m@student.uta.fi 8.11.2017 25
Ryhmäkeskustelu Ryhmäkeskustelun tarkoituksena on jakaa eri alueiden asiantuntijoiden näkemyksiä valvonnan suoritteen eli valvontakäynnin sisällöstä ja toteutuksesta (kaksi erillistä kysymystä). Ryhmäkeskustelulle on varattu aikaa yhteensä 10 minuuttia. Toivomme, että ryhmä kirjaa lyhyesti ryhmäkeskustelussa nousseita näkemyksiä ja ajatuksia paperille. Ryhmäkeskustelun purku toteutetaan esityksen lopussa. 1. Kuvailkaa kaikki mahdolliset syyt miksi valvonnan suoritteet eli valvontakäyntien sisältö ja toimintatavat eivät voisi olla määritelty ja toteutettu samalla tavalla kaikkialla Suomessa yli organisaatiorajojen? 2. Arvioikaa vaihtelevatko valvontakäyntiin sidotut keskimääräiset resurssit kohdetyyppien välillä? Entä tulisiko valvontakäyntiin sidotuissa resursseissa (esimerkiksi aikaresurssi) olla eroja valvontakohdetyyppien välillä? 8.11.2017 26