HANKETYÖN VAIKUTTAVUUDEN ARVIOINTI Mitä vaikuttavuus on? Vaikuttavuuden arviointi? Kokemuksia Anu Räisänen 2012
Tuloksellisuuden käsitteistö (VM) Tuloksellisuus tehokkuus taloudellisuus suoritteet tulokset/tuotokset vaikutukset tuottavuus vaikuttavuus Tarpeet Yhteiskunta Vaikutukset/tulokset Tavoitteet Panokset Toiminnot Tuotokset - kustannukset prosessit suoritteet - tuotantotekijät Palvelukyky Aikaansaannoskyky Tuottavuus Taloudellisuus Vaikuttavuus (yhteiskunnallinen tila, vaikutus kansalaisiin)
VAIKUTTAVUUS KÄSITE Vaikuttavuus käsite ja sen erottaminen muista käsitteistä Nettomuutos kohdetoiminnossa, toiminnan ansio (vaikuttavuus) Muutoksen aikaansaaminen (= tehokkuus) Panokset vaikuttavuuden aikaansaamiseksi (=kustannukset) vrt. yhteys käsitteisiin: tulos, vaikutus, hyöty. vrt. toimenpiteiden toteutuminen ja tulosten saavuttaminen (laatusanasto) Vaikuttavuus & näkyvät vaikutukset / piilovaikutukset/välilliset vaikutukset Tavoitteiden & toimenpiteiden merkitys (odotetut & odottamattomat vaikutukset) Kompleksiset interventiot Interventioiden teoreettinen perusta Aikakäsityksen merkitys Vaikutusten kietoutuminen muihin tekijöihin yhteys vaikuttavuuteen Taustalla / kontekstissa olevat muut näkökohdat ja vaikuttavat tekijät Hyödynsaajat palvelun saaja / maksaja (vrt. välitön/välillinen) kansalliset hyödyt/oma hyöty
VAIKUTUSTEN ENNAKKOARVIOINTI toimeenpanon aikainen arviointi jälkeenpäin tapahtuva arviointi Mistä kyse Ennakoidaan tulevat vaikutukset päätöksenteon pohjaksi ja määritetään mittarit Vaihtoehtoiset tavoitteet sekä punninta ja vaikutusten ketjuuntuminen (ympäristö- kustannus-, oppimistulos-, työllistymisvaikutukset jne.) Määrälliset mittarit ja laadulliset kuvaukset vaikutusten ennakoinnin ja arvioinnin perustana Päätösvaihtoehdot: ovatko todellisia Muutokset vaikutukset Ihmisiin liittyvät vaikutukset Ympäristövaikutukset Organisaatio- ja henkilöstövaikutukset Taloudelliset vaikutukset
ARVIOINTIA OHJAAVAT NÄKEMYKSET Mitä arvioidaan kun arvioidaan hankkeen vaikutuksia / vaikuttavuutta? Millaista tietoa hankkeesta halutaan tuottaa? Mitä tietoa tarvitaan? LIIKUTTAAKO HANKE KETÄÄN TAI MITÄÄN? JÄTTÄÄKÖ JÄLJEN? Millainen tausta-ajattelu ja ymmärrys kohdetoiminnasta ohjaa tapaa, jolla vaikutukset tehdään näkyväksi? Millaiseen maaperään kohdetoiminto on istutettu mitä oli olemassa jo ennen ja mitä olisi tapahtunut hankkeesta riippumatta? Millaisen totuuden valittu arviointiorientaatio -metodit tuottavat hanketoiminnan laadusta, tehokkuudesta ja sen tuloksista, vaikutuksista ja vaikuttavuudesta? SITÄ SAAT MITÄ TILAAT Mitä muuta kontekstissa ja sen ympärillä tapahtuu? (potentiaalit?)
ARVIOINNIN MERKITYS HANKKEESSA ARVIOINTIASETELMAN JA -KYSYMYSTEN MERKITYS SUURI VARMISTETAAN, ETTÄ TOIMINTA ON TAVOITTEIDEN JA SUUNNITELMAN MUKAISTA (MYÖS OHJELMAN TAVOITTEET) ANALYSOIDAAN PROSESSI, JONKA SEURAUSTA TULOKSET OVAT: TOIMINNAN JA TULOSTEN VÄLINEN LOGIIKKA TARKASTELLAAN ODOTETTUJA JA ODOTTAMATTOMIA TULOKSIA /VAIKUTUKSIA / VAIKUTTAVUUTTA TEHDÄÄN MYÖS JOHTOPÄÄTÖKSIÄ SIITÄ, MITEN KEHITETTY TOIMINTA VOIDAAN VAKIINNUTTAA JA SIIRTÄÄ TOISEEN YMPÄRISTÖÖN Panokset Prosessi Tulokset Välittömät vaikutukset PT -vaikutukset/ vaikuttavuus
PROSESSIN LAATU & TULOKSET & EDELLYTYKSET PROSESSIN LAATU & TEHOKKUUS - hankkeen organisointi EDELLYTYKSET - voimavarojen käyttö (taloudellisuus) PROSESSIN TULOS & VAIKUTTAVUUS - tavoitteiden suunnassa eteneminen - välitön tulos - pitkän aikavälin vaikuttavuus Prosessin laatu Tulokset Prosessin laatu & Tulosten laatu Edellytykset hyödynsaajat
KOKEMUKSIA HANKETOIMINNAN ARVIOINNISTA Perustuu hankkeesta annettuun näyttöön (evidence based orientaatio) Aineiston osuvuus, monipuolisuus & tarkoituksenmukaisuus Otettava huomioon kontekstin yleiset vaatimukset & kulttuuri Konteksisidonnaisuuden syväymmärrys Taustalle hankkeen ja sen taustalla olevan ohjelman tavoitteet sekä koulutuspolitiikan tahtotila Arviointiasetelma tulosten ja vaikutusten/vaikuttavuuden arviointiin: Arvioinnin tarkoitus ja tehtävä: miten intervention pitäisi vaikuttaa ja tuottaa tuloksen? Kohteen määrittäminen Arviointikysymykset: osuvuus! Arvioinnin peruste: kriteerit muut perusteet / perusteen puuttuminen Arvioinnin ajoittaminen hiivako uuniin
Kokemuksia jatkuu Hankeprosessin & lopputuloksen arviointi: keskinäinen yhteys Mittareiden ja seurannan merkitys vaikuttavuuden arvioinnissa (muu aineisto) Ohjelman yhteiset mittarit kokonaisvaikuttavuus Vaikuttavuuden laadulliset ja määrälliset indikaattorit, muut tunnusluvut, näkemykset Yhteys tavoitteisiin Sisäisen & ulkopuolisen arvioinnin tasapaino hankkeen/ohjelman arvioinnissa Hanketoimijoiden vertaileva arviointi - tulosarviointi Vahvan & heikon näytön merkitys ja riittävyys vaikuttavuuden arvioimiseksi Milloin näyttö on kylliksi vahva arvioiville johtopäätöksille? Miten kompleksiset interventiot arvioidaan: virheet/tehottomuus? Miten tunnistetaan hitaat vaikutukset? Miten muiden tekijöiden kuin hankkeen vaikutukset minimoidaan? Arviointitulosten tulkinta ja johtopäätökset: hankkeen aikana & sen jälkeen
KOKEMUKSIA KÖÖPENHAMINA PROSESSIN ARVIOINNISTA Maat valitsivat tavoitteita edustavat hyvät hankkeet tavoitteiden, painopisteiden ja tulosten mukaan Monitahoinen luokittelumalli ja kriteeristö sekä ohjelma prosessien ja tulosten arvioimiseksi Luokittelu laadullinen analyysi Loppuraportti käännetään kaikille EU kielille Kokemus: Ovatko hankkeet painopisteiden ja tavoitteiden mukaisia? Onko hanke toteutettu niin, että se mahdollistaa tavoitteiden saavuttamisen ja tuottaako se vaikuttavuutta (tekeminen vai tulos pääasia)? Tuotetaanko uusia malleja vai muutetaanko kohdetoimintaa? Hankkeen aikaiset /pysyvät muutokset?
Kommentit HRD -hankkeiden arviointiin Painopisteiden ja vaikuttavuustavoitteiden määrittäminen (ohjelma/painopisteet) Suunnitelmille asetettavat laatu- ja sisältövaatimukset Hankkeen paremmuuden arviointi Sisällön osumatarkkuus suhteessa ohjelman tavoitteisiin Tulos- ja vaikuttavuustavoitteet ja niiden konkretisointi Prosessit ja niiden toimivuus ja suhde tavoitteisiin /menetelmien motivoivuus Kriteerit (esim.) Osuvuus Asiakaslähtöisyys; motivoivuus ja hyöty Toteutettavuus (prosessi, menetelmät) Tarkoituksenmukaisuus Täsmällisyys ja tarkkuus Kommentit: saavutettavuus, tutkimus- ja arviointi- sekä kehittämishankkeiden tulosten soveltaminen