Pelastustoimen palvelujen yhteiskuntataloudellinen tarkastelu - tähän saakka opittua PALOTUTKIMUKSEN PÄIVÄT 2017 Hanasaaren kulttuurikeskus Espoossa 29. 30. elokuuta 2017. TUOMAS LAINE, tutkija, tohtoriopiskelija TAMPEREEN JOHTAMISKORKEAKOULU
Mihin yhteiskuntataloudellisia kannattavuusarvioita tarvitaan? Julkisenvallan ja toimijoiden tulisi saada vertailla taloudellisia vaikutuksia eri toimenpideohjelmien valmistelussa menetelmien avulla voidaan saavuttaa optimaalisempaa julkisenrahan käyttöä. Arviointimenetelmillä pyritään maksimoimaan verorahoin rahoitettujen palvelujen yhteiskunnalle tuottamaa hyötyä Menetelmät toimivat myös oppimislaitteena. Antaa jalansijaa uudenlaiselle tietojohtamiselle ja Evidence based toimintatavalle Tietoa palvelujen ja toimenpiteiden yhteydestä kustannusten, hyötyjen ja haittojen kohdistumisesta kohdistetaanko palvelu optimaalisella tavalla? Kohdistetaanko palvelut oikeudenmukaisesti? Alueiden väliset erot ja kehitystrendit
Kustannukset, vaikuttavuus ja hyöty osana toiminnan mittareita Tuottavuus Panokset Henkilöstö ja aika Materiaalit Tilat ja laitteet Prosessi Panosten muuttaminen tuotoksiksi Tuotokset Toimenpide/palvelu Laatu Vaikutukset Parantunut paloturvallisuus Tehokkuus Vaikuttavuus Panosten hinta Tuotosten hinta Hyöty (Toiminnan olemassaolon tarkoitus ja oikeutus) Ennaltaehkäisty: Kustannukset Kannattavuus Kustannus-hyötyanalyysi = Hyöty kustannus = Nettohyöty Tuotot Muokattu lähteestä: Lönnqvist, A., Jääskeläinen, A., Kujansivu, P., Käpylä, J., Laihonen, H., Sillanpää, V., Vuolle, M. (2010), Palvelutuotannon mittaaminen johtamisen välineenä, Tietosanoma Oy. Inhimillinen kärsimys Kiinteistölle ja irtaimistolle aiheutunut haitta Haitta elinkeinolle Hyvinvointitappio Yms.
Yhteiskuntataloudellisten kannattavuusarvioinnin yleistyminen Kustannus hyötyanalyysi (KHA) ja Kustannus vaikuttavuusanalyysi (KVA) ovat yleistyneet viime vuosikymmenten aikana julkisen päätöksenteon välineinä Menetelmien käytettävyydestä ja niiden tuottamista hyödyistä on paljon positiivisia tuloksia. Menetelmiä on käytetty mm. tuomioistuinten päätösten, julkisen säännöstelyn, ilmastonmuutoksen tutkimuksessa, rakennushankkeiden-, terveydenhuollon ja sosiaalisten ohjelmien arvioinnissa. Pelastusalalla hyödynnetty jonkin verran palovaroittimien ja sprinklereiden vaikuttavuustutkimuksessa (mm. Uusi Seelanti, Yhdysvallat, Australia), mutta ei julkaistuja tutkimuksia palvelujen arvioinnista. Arviointimenetelmien soveltuvuutta pelastustoimen palvelujen optimoinnissa tutkittu PSR rahoittamassa Yhteiskuntataloudellisten arviointimenetelmien soveltuvuus pelastustoimen palvelujen optimoinnissa hankkeessa (Pelop: 2014 2016)
Edellytykset yhteiskuntataloudellisten kannattavuusarviointien soveltamiseen pelastustoimessa Olemassa olevaa tutkimustietoa rakennuspalojen haitoista Haittatekijät suhteellisen tarkasti mitattavissa Hyödynnettävää tietoa toiminnan kohdistumisesta ja sisällöstä olemassa valvonnan suoritteiden ja pelastustoiminnan osalta Toiminnan hyödyt suhteellisen suoraviivaisia ja välittömiä > ennaltaehkäisty haitta (vrt. Julkinen liikenneinvestointi) Ennaltaehkäisty rakennuspalo Liikenneinvestointi Palokuolemat Loukkaantuneiden hoitokustannukset ja aiheutuva tuotantotappio Rakennus ja irtaimistohaitat Agglomeraatioedut (läheisyyden edut, tuottavuus), saavutettavuus, muutokset käyttäytymisessä Vaikutukset työ ja tuotemarkkinoihin, maankäyttö jne. Lyhyt aikajänne, mitattavissa olevat suureet Laskelmat sisältävät paljon epävarmuutta. Vaikutusten aikajänne jopa 50 vuotta, arviointi edellyttää teoriassa dynaamisia malleja.
Haasteet yhteiskuntataloudellisten kannattavuusarviointien soveltamiseen Olemassa oleva tutkimus pelastustoimen palveluista vähäistä, hajanaista ja epäjohdonmukaista > Ei olemassa olevaa laajasti hyväksyttyä metodologiaa Kustannus hyöty analyysi edellyttää arvioita kustannuksista, hyödyistä ja vaikuttavuudesta > Ei olemassa olevia kansallisia tai kansainvälisiä kustannus, hyöty tai vaikuttavuusestimaatteja Mahdollisia selityksiä Suhteellisen pieni julkinen palvelu ja vaihteleva rahoituspohja > hajaantuneet tutkimusresurssit Tiedon keräys: Yhteisten standardien, määritelmien ja toimintatapojen puute, motivaatio miksi tietoa kerätään? Ennaltaehkäisty onnettomuus tutkittavana ilmiönä: Mitataan usein asioita, jotka eivät ole toteutuneet > Asettaa vaatimuksia tiedon määrälle ja laadulle > Kokeellisten asetelman puute > Edellytykset vaihtelevat eri toimintamuotojen ja palvelujen välillä. Turvallisuusviestinnän ja valistuksen vaikuttavuutta ja kohdentumista vaikea mitata vrt. Olemassa olevaa tietoa valvonnan kohdistumisesta ja toiminnan sisällöstä.
Valvontatoiminnan yhteiskuntataloudellinen tarkastelu case: Määräaikaiset palotarkastukset Valvonnan toteutuksesta laadultaan parempaa ja määrältään suurempi tietoaineisto verrattuna muihin ennaltaehkäiseviin palveluihin Keskeinen ennaltaehkäisevän palvelun muoto. Yksi pitkäaikaisimmista ennaltaehkäisevien palvelujen muodoista Alueellisten pelastuslaitosten toimintakustannukset keskimäärin noin 352 miljoonaa euroa, josta ennaltaehkäisevien palvelujen osuus karkeasti noin 5 10 prosentin luokkaa (Määttälä 2010). Yksi suurimpia ja laajasti kansaiset tavoittava julkinen ohjelma Suomessa Suuri hyöty potentiaali > Rakennuspalojen aiheuttamat aineelliset vahingot valtakunnalliset noin 135 M /vuosi, loukkaantumisista aiheutuneet kustannukset n.15m vuosi, n. 80 palokuolemaa vuodessa + epäsuorat vaikutukset
Valvontatoiminnan yhteiskuntataloudellinen tarkastelu case: Määräaikaiset palotarkastukset Suomi edelläkävijä tiedon keräämisessä Valvonnan suoritteista ja toiminnasta kerätty tietoa myös sähköisiin tietojärjestelmiin 1990 luvun alusta alkaen. Tietoa toiminnan sisällöstä: Paloturvallisuuteen vaikuttavista riskitekijöistä, kohteen ominaisuuksista, valvontahistoriasta yms. Onnettomuustietoja kerätty Kansalliseen onnettomuus ja resurssitietokantaan (Pronto) Rakennustiedot (VRK rakennustietokanta) PELOP hankkeessa tarkastelu keskittyi viidellä alueelle: (Keski Suomi, Pohjanmaa, Pirkanmaa, Helsinki ja Keski Uusimaa)
Määräaikaiset palotarkastukset Kustannukset Laajasta tietoaineistosta huolimatta valvonnan ja ennaltaehkäisevän työn ja suoritteiden kustannuksia arvioitu vain karkealla tasolla Ei käytössä olevaa toimintapohjoista kustannuslaskentaa > Toimenpiteiden kustannuksia voidaan arvioida asiantuntija kyselyn pohjalta Määräaikaisten tarkastusten keskimääräinen kustannus vaihteli yksittäisen määräaikaisen tarkastuksen osalta viljankuivaamorakennusten 122 eurosta keskussairaalan 241 euroon. Keskimääräiset kustannukset vaihtelivat suhteellisen vähän suhteessa kohdetyypin kokoon tai kohteen käyttötarkoitukseen nähden > Indikoi eroja toimenpiteen sisällössä Sen sijaan arviot sisälsivät merkittäviä eroja alueiden välillä. > indikoi mahdollisia eroja toimenpiteen sisällössä
Määräaikaiset palotarkastukset Rakennuspalon aiheuttama keskimääräinen haitta Ennaltaehkäisty haitta on valvonnan tuottama hyöty yhteiskunnalle, jonka vuoksi kokonaishaitan arvioiminen on keskeinen osa kustannus hyötyanalyysiä Rakennuspalojen aiheuttama haittaa on arvioitu Suomessa lähinnä palokuolemien lukumäärän ja aineellisten vahinkojen näkökulmasta < Kokonaishaitta sisältää myös muita tekijöitä Laskelma huomioi myös keskimääräiset hoitokustannukset (1.&2.), tuotantotappion eli työkyvyn menetyksestä seuraavan kustannuksen (1. & 2.), laskennalliset epäsuorat kustannukset (2.), palokuolema (1. taloudellinen haitta vrt. 2. taloudellinen haitta + inhimillinen kärsimys yms.)
Määräaikaiset palotarkastukset Rakennuspalon aiheuttama keskimääräinen haitta Laskelman pohjana kansallisia ja tuoreita tutkimustuloksia liekkionnettomuuksissa loukkaantuneiden hoito ja tuotantotappioista sekä palokuolemien aiheuttamasta tuotantotappiosta (Haikonen et al., 2014;2015;2016) Arvioi keskimääräistä haittaa pitkällä aikavälillä > huom. Kustannusten jakaumat suhteellisen vinoja Haitan määrä ja jakauma vaihtelee voimakkaasti valvontakohteiden välillä
Vaikuttavuuden mittaaminen Vaikuttavuuden analogia Selittävinä tekijöinä: 1.) Kyky kohdentaa toimenpiteet oikeisiin kohteisiin oikein kohdistettuna rajalliset resurssit kohdistuvat kaikkein eniten riskejä sisältäviin kohteisiin. 2.) Toimenpiteiden sisältö ja tarkastusväli laskee kohteen vahinkoriskiä puututaan, havaitaan, opastetaan ja motivoidaan kohteen sisältämien riskitekijät huomioiden + kohteen sisältämien riskien mukaiset tarkastusvälit Valitettavasti nykyiset tietojärjestelmät ja tiedonkeruuratkaisut eivät mahdollista toimenpiteiden suorien vaikutusten (mm. havaittujen ja korjattujen puutteiden, muutokset turvallisuuskulttuurissa) tarkastelua laajemmassa mittakaavassa mm. erilaisten laskennallisten vaikuttavuus indikaattorien hyödyntämiseen. Tutkimuskirjallisuus ei myöskään sisällä estimaatteja valvonnan vaikuttavuudesta. Kehitystä on kuitenkin tapahtunut esim. auditoivan palotarkastuksen tuloksiin on alettu kiinnittämään enemmän huomiota (mm. Helsingin kaupungin pelastuslaitos) + Paloturvallisuuskampanjoiden vaikuttavuuden arviointi (SPEK 2016)
Määräaikaiset palotarkastukset vaikuttavuus Palotarkastusten vaikuttavuus tulisi kuitenkin näkyä tilastollisessa tarkastelussa: 1.) rakennuspalojen määrässä 2.) rakennuspalojen aiheuttamissa haitoissa 3.) rakennuspalojen aiheuttamissa henkilövahingoissa. Valvonnanvaikuttavuuden mittaaminen kuitenkin ongelmallista poikkileikkaus ja aikasarja aineistoilla Kohdekohtainen riski josta seuraa endogeenisuusharha valvontaa kohdistetaan riskiperustaisesti (kuva) Voisiko yksilötason tietoa sisältävät paneeliaineistot ja analyysimenetelmä, jotka huomioivat kohdekohtaisen riskin (fixed ja random effectmallit) tarjota ongelmiin ratkaisun?
Määräaikaiset palotarkastukset vaikuttavuus Poiminta: Valvontatoimenpiteet, kohteet ja onnettomuudet vuosina 2008 2014 Viiden pelastuslaitoksen alueilta, sisältäen noin 352 000 valvontatoimenpidettä, joista noin 50 000 määräaikaisia palotarkastuksia erityiskohteisiin, noin 13 000 rakennuspaloa tai rakennuspalovaaraa, noin 800 000 rakennusta, noin 2 000 000 asukasta
Määräaikaiset palotarkastukset aineistoon liittyvät anomaliat ja haasteet Laajasta tietoaineistosta huolimatta useita puutteita, jotka vaikeuttavat toiminnan mittaamista ja vaikuttavuuden arvioimista 1) Määritelmälliset erot Palvelujen määrittelyissä suuria alueellisia eroja: 56 erilaista valvontatoimenpidetyyppiä alueellisen vaihtelun ollessa 16 toimenpidetyypistä 33 tyyppiin. Kohteiden määrittelyssä suuria eroja: aineisto sisältää peräti 122 erilaista valvontakohdetyyppiä. Aluekohtaisesti kohdetyyppien määrä vaihtelee 44 kohdetyypistä 89 kohdetyyppiin Mahdollisia selityksiä: Aluekohtaisiin tarpeisiin luodut erityiskohdetyypit sekä edelleen käytössä olevat vanhentuneet kohdemäärittelyt. (vrt kansallinen ohje (A luokitus): noin 40 kohdetta) 2) Kirjaamiseen liittyvät erot Karttapohjainen sijaintitieto epätarkka: Hätäkeskus vrt. pelastusviranomainen Kohdetietojen kirjaaminen: Merlot vrt. Pronto, mm. Pronton poiminnasta noin 30 prosenttia havainnoista ei sisällä rakennustunnusta ja 30 prosentissa rakennustunnus virheellinen Tietojärjestelmän käytettävyys: Alun perin suunniteltu paikallisiin tarpeisiin. Heikot tiedonlouhinta edellytykset > motivaatio: miksi tietoa on kirjattava (huolellisesti)?
Määräaikaiset palotarkastukset vaikuttavuus Havaintoja: Keskussairaalat, muut sairaalat ja Vanhainkodit ja kehitysvammaisten hoitolaitokset: Tilastollisesti merkitseviä ja voimakkaasti negatiivisia eli paloriskiä vähentäviä vaikutuksia. Toimenpiteen vaikuttavuus (T-1) suuruus luokaltaan jopa -0.040 onnettomuuden lukumäärään. Estimointitulosten luotettavuuteen on kuitenkin suhtauduttava varauksella Aineiston puutteet (puuttuvat havainnot ja määrittelyyn liittyvät puutteet) vähentävät tulosten luotettavuutta. Tulokset normaalijakaumaoletuksilla (mm. Poisson mallit eivät tuottaneet tilastollisesti merkitseviä tuloksia) Tulosten luotettavuutta vaikea testata nykyisellä aineistolla Huomioitavaa: Pelkkien marginaalisten vaikutusten huomioiminen tn. aliarvioi palvelun vaikuttavuutta ja yhteiskunnallista hyötyä > osa vaikutuksista realisoituu pitkällä aikavälillä
Toiminnan kustannusten ja potentiaalisen hyödyn tarkasteleminen Kustannusten ja hyötyjen arvioiminen tarjoaa tietoa toiminnan tavoitteista, kohdentumisesta ja potentiaalisesta hyödystä Tarkastelemalla kustannuksia ja hyötyjä vaikuttavuuden näkökulmasta, voidaan toiminnalle asettaa tavoitteita ja arvioida resursseja suhteessa tavoiteltavaan (ja todennäköiseen) hyötyyn. Suhteellisen matalat kustannukset ja vastaavasti korkeat keskimääräiset haitat osoittavat valvonnan suuren potentiaalin
Resurssien kohdistuminen toteutuneisiin haittoihin suhteutettuna Suuria eroja resurssien allokoitumisessa suhteessa toteutuneisiin haittoihin: Eniten resursseja kohdistuu ympärivuorokautisessa käytössä oleviin kohteisiin (A100 A145) ja opetusrakennuksiin ja päiväkoteihin (A200 A220). Vähiten Asuinkohteisiin (05), maatalousrakennuksiin (A500 A520) ja teollisuus- ja varastorakennuksiin (A400 A420)
Some times you win some, some times you learn some Tärkeää tietoa toiminnan sisällöstä on olemassa, mutta sen hyödyntäminen on vaikeaa Valvonnan potentiaalinen nettohyöty erittäin korkea > Mahdolliset parannukset toiminnan vaikuttavuudessa tarjoavat suuren palkinnon Haitat vaihtelevat kohdetyypeittäin suhteellisen paljon, kustannukset eivät niinkään miksi? Resurssit eivät kohdistu tasaisesti suhteessa toteutuneisiin haittoihin miksi? Alueiden välillä eroja palvelutarjonnassa. On todennäköistä, että tehokkaita ja vaikuttavia toimintamuotoja ei ole otettu käyttöön kaikilla alueilla ja vastaavasti tehottomia toimintamuotoja esiintyy edelleen > Parhaiden toimintatapojen levittäminen aluerajojen yli. Alustavat estimaatit palvelun marginaalisesta vaikuttavuudesta lupaavia > Suuri osa epävarmuustekijöistä on korjattavissa määrittelyn yhdenmukaistamisella, toimintatapoja muuttamalla ja tietojärjestelmiä kehittämällä Huomio: Määritelmälliset erot alueiden välillä hankaloittavat vaikuttavuuden mittaamista, mutta aiheuttavat myös vakavia ongelmia toimintaa kuvaavien indikaattoreiden sekä tuottavuuslaskelmien taustalla.
Mahdollisuudet tulevaisuudessa Yhteiskuntataloudellinen tarkastelu ja palveluista kerättävän datan hyödyntäminen tarjoaa uudenlaisia mahdollisuuksia palvelujen kehittämiseen Vaikuttavuuden mittaamisen edellytysten parantuessa myös erilaiset koneoppimisen algoritmit ja ennustavien mallien hyödyntäminen tulee mahdolliseksi, mutta vaikuttavuuden mittaaminen on kehitysprosessi, joka vaatii suunnitelmallisuutta ja pitkäjänteisyyttä Nykyisten tietoaineistojen käytettävyyttä parannettava Suomi on liian pieni maa jaettavaksi > Data comes first ajattelu Palvelun sisältö ja kohteet määriteltävä yhdenmukaisesti ja tietoa toiminnan vaikutuksista kerättävä systemaattisesti koskee kaikkia toimintamuotoja > edellyttää resursseja tietojärjestelmien kehitykseen ja toiminnan määrittelyyn Tilastollisen analyysin lisäksi myös toimenpiteiden suorien vaikutusten mittaaminen ja tapaustutkimukset ovat välttämättömiä Suomi voi olla edelläkävijä myös tulevaisuudessa!
Kiitokset Tuomas Laine Tuomas.laine.M@uta.fi +358 44 502 7788