Seuranta ja vaikutusten arviointi neuvontatyössä Lea Gynther, 13.11.2012
Sisältö Vaikutukset ja vaikuttavuus: arviointisykli Miksi seurantaa ja vaikutusarviointia tehdään? Mitä vaikutuksia arvioidaan ja miten? Toimintatavat kuluttajien energianeuvonnassa
Arviointisykli Vaikutusten arviointi. Suunnitelma/ vaikuttavuusarvio Etukäteisarviointi Vaikutukset Politiikkatoimen suunnittelu Toimenpiteen toteuttaminen Korjattu etukäteisarviointi Vaikutusten uudelleenarviointi Vaikuttavuuden arviointi Jälkikäteisarviointi Vaikuttavuus
Miksi seurantaa ja vaikutusarviointia?
Seurannan ja vaikutusten arvioinnin tavoitteita Kansainväliset raportointitarpeet Kansallisessa politiikassa eri toimenpiteet kilpailevat usein samoista resursseista tuloksellisuus tulee voida osoittaa Pitkään jatkuneissa toimenpiteissä seuranta ja vaikutusten arviointi käynnistetty usein jo alkuvaiheessa (esim. energiakatselmukset 1992, energiatehokkuussopimukset 1997) Toimenpiteiden tavoitteiden toteutumisen seuranta Tiedon tuottaminen toimenpiteen aikana Ollaanko oikealla polulla? Onko tarvetta korjausliikkeisiin? Tiedon tuottaminen tulevien toimenpiteiden suunnitteluun Mikä toimi, missä kehitettävää?
Kansainväliset velvoitteet Kasvihuonekaasuraportoinnissa päästöjen lisäksi raportoidaan toteutetut toimenpiteet ja niiden vaikutukset (ns. policies & measures) Energiapalveludirektiivin raportointivelvoitteet Kansallinen energiatehokkuuden toimintasuunnitelma kolmen vuoden välein (NEEAP). Sisältää toimenpiteiden vaikutusarvioita. Uuden Energiansäästödirektiivin raportointivelvoitteet Raportointitapa vielä jäsentymättä Valkoisten sertifikaattien (energy efficiency obligation) käyttöönotto vältettävissä jos voidaan osoittaa, että vastaavat säästöt saadaan aikaan muilla toimenpiteillä.
Kansalliset tarpeet Valtioneuvoston periaatepäätös energiatehokkuudesta (2/2010). Kuluttajaneuvontaan liittyviä toimenpiteitä: Kuluttajien energianeuvontajärjestelmä otetaan käyttöön ja nimetään toiminnalle valtakunnallinen koordinaatiokeskus. Huolehditaan siitä, että kotitalouksilla on saatavilla luotettavaa ja ajantasaista puolueetonta tietoa energiansäästökeinoista sekä niiden suositeltavuudesta ja kannattavuudesta koko energiajärjestelmämme huomioon ottaen. Seurantaa koskeva toimenpide: Ilmasto- ja energiapolitiikan ministerityöryhmä seuraa toimeenpano-ohjelman toteutumista ja vaikutuksia. Ensimmäinen tilannekatsaus toimeenpanon toteutumisesta tehdään keväällä 2011.
Projektien ja toimenpiteiden tarpeet Seurannan kaksi roolia Tuottaa projektin toteutuksen aikana palautetietoa projektipäällikölle ja mahdollistaa korjaavat toimenpiteet Tuottaa lähtötietoja projektin vaikuttavuuden arviointiin Vaikutusten arviointi: Kaksi aikaulottuvuutta Termit vaikutukset ja vaikuttavuus eivät Etukäteisarviointi (vaikutukset) ole täysin vakiintuneita. Usein puhutaan vain vaikutusarvioinnista (kuten tässäkin Jälkikäteisarviointi (vaikuttavuus) esityksessä). Kaksi lähtökohtaa arviointiin (jako ei aina selväpiirteinen) Prosessiarviointi: usein laadullista, mutta voi perustua myös toiminnallisten indikaattoreiden seurantaan (lisää myöhemmissä kalvoissa) Vaikutusten/vaikuttavuuden arviointi: määrällistä arviointia (lisää myöhemmissä kalvoissa)
Mitä vaikutuksia arvioidaan ja miten? - Prosessiarviointi - Vaikutusten/vaikuttavuuden arviointi
Esimerkkejä prosessiarvioinnista/ laadullinen arviointi Asiakastyytyväisyys ja palaute Keskeisten toimijoiden (sidosryhmät) identifiointi, roolit ja näkemykset Toimenpiteen suunnitteluvaiheen vahvuudet ja heikkoudet Toteutusvaiheen vahvuudet ja heikkoudet (esim. projektin johtaminen, koordinointi) Esteet toimenpiteen menestykselle (ulkoisia tai sisäisiä tekijöitä) Projektin tulosten hyödyntäminen Miksi osa kohderyhmästä ei halunnut toimenpiteen piiriin (non-response/ non-participation)
Esimerkkejä prosessiarvioinnista/ määrällinen arviointi Jaetun materiaalin määrä Tilaisuuksiin osallistuneiden määrä Lehti-ilmoitusten määrä TV-kampanjan katsojamäärät Internet-sivujen kävijämäärät Tukihakemusten ja myönnettyjen tukien määrä Energianeuvojien kontaktimäärät, neuvonnan aiheet ja annetut neuvot Markkinatiedon ja käyttäjien raportoimien toimenpiteiden vertailu (esim. laitemäärät)
Miten prosessiarviointia tehdään? Itse tai ulkopuolinen arviointi (third-party) Menetelmiä Kyselyt tai haastattelut rahoittajille, toteuttajille ja kohderyhmille Hankkeen raporttien ja muiden tuotosten analysointi Seurantatiedon analysointi Vertailuryhmän käyttö Projektikohteissa käyminen Mediaseuranta Tilastotieto
Kuluttajien energianeuvonnan arviointiraportti Pirkko Kasanen, Koordinet Oy, raportti 7.12.2011 Hankkeen alusta syksyyn 2011 Tarkastelukohteet: Hankeen koordinointi Pilot-hankkeissa sovellettavien toimintatapojen soveltuvuus kehitettävän järjestelmän osana Yksittäisten pilottihankkeiden toteuttaminen
Vaikutusten/vaikuttavuuden määrällinen arviointi Energiankulutus (MWh) Kulutuksen väheneminen Energiankäytön tehostuminen absoluuttisesti tai muutoksena ominaiskulutuksissa Hiilidioksidipäästöt (päästöjen väheneminen, tonnia) Kustannustehokkuus (euroa per säästetty tai uusiutuvalla tuotettu MWh) Muutokset kohderyhmän asenteissa, tietopohjassa tai käyttäytymisessä Benchmarking Markkinamuutokset (laitekanta)
Vaikuttavuuden arvioinnin vaiheet 1. Arvioinnin tavoitteiden määrittely jo toimenpiteen käynnistyessä 2. Arviointimenetelmän valinta jo toimenpiteen käynnistyessä Määritellään, mitä tietoa tulee kerätä 3. Tietojen kerääminen Kerätään tieto seurannan kautta toimenpiteen aikana ja/tai Kerätään tietoa toimenpiteen jälkeen Kumpi pätee, riippuu käytettävästä arviointimenetelmästä 4. Arvioinnin toteuttaminen ja raportointi 5. Tuloksista viestintä ja hyödyntäminen tulevien toimenpiteiden suunnittelussa
Vaikuttavuuden arvioinnin menetelmiä Insinöörilaskelmat Perustuen seurantatietoon Perustuen tietoon toteutuneiden toimien määrästä ja keskimääräisiin säästöihin Laskutusanalyysi (kulutustiedot laskuista tai sähkönmyyjältä ennen ja jälkeen toimenpiteen) Suora mittaaminen (toimenpide on/off) Mallintaminen
Tiedonkeruumenetelmiä arvioihin Seurantajärjestelmän tuottama tieto Tilastotieto Kysymiseen perustuvat menetelmät: posti-, sähköposti-, puhelin- tai internet-kysely; henkilökohtainen haastattelu; mielipidetutkimus, kuluttajapaneeli, oppilaiden tai kurssin osanottajien testaaminen Suora mittaaminen Ennen ja jälkeen toimenpidettä tehtyjen kyselyjen vertailu Toimenpiteeseen osallistuneiden vertaaminen kontrolliryhmään Markkinatutkimukset
Case-esimerkki: Energianeuvonta Isossa-Britanniassa Energianeuvontaa toteuttaa Energy Saving Trust (EST) neuvontakeskuksissa eri puolilla maata. Neuvojat kirjaavat jokaisen yhteydenoton: nimi, yhteystiedot, kysytty asia ja annettu neuvo. Yhteydenotto noin 6 kk kuluttua. Kysytään onko toimenpide toteutettu. Jos toimenpide on toteutettu, selvitetään mikä merkitys juuri neuvonnalla oli sen toteutumisessa. Vaikutusten arviointi (CO 2 -vähenemä) tehdään laskemalla keskimääräisillä vähenemillä eri tyyppisille toimenpiteille. Tulokset luokkaa 47 000 tonnia hiiltä vuositasolla. Kustannustehokkuus 7,2 puntaa per tonni hiiltä laskettuna vain EST:n panokselle.
Toimintatavat kuluttajien energianeuvonnassa
Monipuolista seurantaa ja kehitystyötä Neuvonta- ja viestintätoimet (käynnistynyt 2010) Henkilökohtainen neuvonta, yhteenveto Neuvonta tapahtumissa (mm. aihe, kohderyhmät, osallistujamäärät) Neuvontaa tukeva viestintä (mm. mediayhteistyö) Muu toiminta (mm. verkottuminen) Henkilökohtaisen neuvonnan vaikutusarviointi Neuvontaloki (käynnistynyt keväällä 2012). Tavoitteena säästöjen määrällinen arviointi. Erillisarviot mahdollisia joillekin toimintamuodoille (esim. taloudellinen ajotapa) Internet-sivujen kävijäseuranta (alkaa heti kun sivut saadaan toimintaan) Liittymäkohtia muuhun seurannan ja vaikuttavuuden kehitystyöhön (mm. liikkumisen ohjaus, josta julkaistaan esiselvitys vielä vuoden 2012 aikana)
Henkilökohtainen neuvonta, arviointitapa 1. Neuvontatapahtumien kirjaukseen tehty Neuvontaloki Henkilöt yhteystietoineen, aihepiiri. Erikseen kuluttajat ja organisaatiot. 2. Tyyppisäästöselvitys kunkin yksittäisen energiansäästötoimenpiteen keskimääräisistä vaikutuksista 3. Puhelinkysely yhteystietonsa jättäneille Mitä toimenpiteitä toteutettu tai suunniteltu toteuttaa Saadun neuvonnan merkitys toimenpiteiden toteuttamiselle Palautetta neuvonnasta 4. Vaikutusten arviointi energiayksiköissä Neuvonnan säästöt raportointikaudella, MWh
Internet-sivulle kävijäseuranta Kävijöiden määrä Katsotut aineistot Myöhemmässä vaiheessa mahdollisesti kyselyjä esim. Tyytyväisyydestä aineistoihin ja sivustoon Aikeista toteuttaa toimenpiteitä
Lisää aiheesta: www.kuluttajienenergianeuvonta.fi