EU-hankkeen arviointi 26.8.2010 Espoo Harri Lappalainen Hanketaito Oy harri.lappalainen@hanketaito.fi
Miksi arvioidaan? julkisen kehittämistoiminnan arviointi auttaa suuntaamaan kehittämisvarat ja -panokset oikeisiin kohteisiin oikealla hetkellä tuottaa tietoa sekä päätöksentekijöille että hankkeen toteuttajille varmistaa, että ollaan lähdössä tekemään oikeita asioita oikealla tavalla tuottaa tietoa testatuista toimintatavoista toimintamalleista tuotoksista * mitä kannattaa jatkossa hyödyntää? * mitä ei kannata ainakaan sellaisenaan hyödyntää tai mikä vaatii jatkotutkimista/kehittämistä? * miten jatkossa kannattaa/ei kannata tehdä kehittämistyötä ** hankkeiden tuloksellisuuden arviointi aina epätäydellistä: laboratorio-olosuhteita saavutetaan EU-hankkeissa varsin harvoin suuntaa-antavatkin tiedot auttavat!!
tärkeät käsitteet pitkän aikavälin vaikutus tavoite tulos tuotos toimenpide panos tuottavuus vaikuttavuus indikaattori mittari/tiedon lähde Terminologiaa * valitettavasti terminologia ei ole eri viranomaisillakaan yhteneväinen
Miten projektin toimintaa arvioidaan? Poimintoja hankesuunnitelmista Koulutus-, valmennus-, konsultointi- ja asiantuntijatoimenpiteiden onnistumista mitataan toimenpidekohtaisilla palautelomakkeilla. Lomakkeet analysoidaan ja tuloksia käytetään projektin toimenpiteiden tarkempaan suuntaamiseen ja kehittämiseen Tavoitteiden toteutumisella. Hankkeen loppupuolella teetetään projektiarviointi ulkopuolisella taholla. (HL: Sanalliset tavoitteet & budjetissa ei varattu rahaa ulkoiseen arviointiin) Ohjausryhmässä arvioidaan projektin toimintaa ja hallinnointia. Kussakin casessa arvioidaan omaa toimintaa projektiryhmässä saatujen palautteiden perusteella. Projektin kestoaikana sen toimintaa arvioidaan itsearviointimenettelyllä sekä loppuevaluoinnilla, joka teetetään ulkopuolisella ja riippumattomalla evaluaattorilla. mielellään jotain hieman konkreettisempaa
Tuotosten ja tulosten määrittelystä kohdistuuko hanke suoraan kohderyhmään esim. osaamisen kasvattaminen, yrittäjien sukupolvenvaihdokset, irtisanottujen työllistäminen uuden toimintamallin rakentamiseen ja sitä kautta välillisesti kohderyhmään esim. uuden koulutusohjelman rakentaminen, työllistämismallin kehittäminen mihin kehitysvaiheeseen hanke kohdistuu esiselvitys tai tutkimus tuotekehitys demonstrointi tai markkinoille saattaminen mallin, tuotteen tai prosessin hyödyntäminen
Hankkeen arvioinnista arviointisuunnitelmassa määritetään mielellään ainakin kuka arvioi milloin arvioidaan mitä arvioidaan miten arvioidaan kuka arviointitietoa hyödyntää
Kuka arvioi rahoittajat pääsääntöisesti edellyttävät vähintään itsearviointia toteuttajana koordinaattori tai partneri (sisäinen arviointi) arviointikohteet, menetelmät, mittarit jne. päätetään hankekonsortion kesken * arvioinnin jatkuva hyödyntäminen!
Kuka arvioi ulkoinen arviointi arviointi ostetaan alihankintana kustannukset pääsääntöisesti tukikelpoisia, pitää muistaa budjetoida summatiivinen vai formatiivinen arviointi? milloin ulkoinen arviointi hankkeen toteuttajat epävarmoja arviointikohteista tai - menetelmistä luotettavan (palaute)tiedon kerääminen edellyttää ulkopuolista toimijaa arviointitiedon analysointi edellyttää hankkeen toteuttajalta puuttuvaa erityisosaamista (esim. tilastollista, taloudellista, sisältöön liittyvää) halutaan tukea hankkeen johtamisjärjestelmää (jatkuvan arvioinnin kautta) halutaan ns. second opinion hankkeen onnistumisesta
Hankkeen arviointi elinkaaren eri vaiheissa ARVIOINTI & VALORISAATIO OHJELMATYÖ = toteuttajat = rahoittaja = ulkopuolinen arvioitsija MÄÄRITTELY TOTEUTUS SUUNNITTELU RAHOITUKSEN JÄRJESTÄMINEN
Mitä arvioidaan? Valmisteluvaihe case Turku monet tärkeimmistä kohteista löytyvät nykyään valitun rahoituslähteen valintakriteereistä Laatukriteerit; case LLP:n kehittämishankkeet relevanssi metodologia ja työohjelma innovatiivisuus hankekonsortion laadukkuus eurooppalainen lisäarvo kustannus-hyöty -taso tulosten relevanssi ja odotetut vaikutukset levittämis- ja hyödyntämissuunnitelma
Mitä arvioidaan? Toteutusvaihe 1 arviointi voi kohdistua ennakkoarviointikohteiden lisäksi mm. seuraaviin asioihin tuotokset onko syntynyt uusia hyödyntämiskelpoisia tuotoksia tuotosten laatu määrittyy usein tulosten kautta tulokset muutokset kohteessa/kohderyhmässä arvostetaanko määrää vai laatua? kontrolliryhmien käyttö onko syntynyt jotain alun perin suunnittelemattomia tuotoksia tai tuloksia esim. koulutuksen monet tulokset
Muutoksen osoittaminen indikaattorit osoittavat sen, onko kehitettävässä kohteessa tapahtunut muutoksia kerättävän tiedon tulee olla mitattavissa; joko laadullisesti tai määrällisesti mitata juuri sitä asiaa, mitä sen on tarkoitus mitata (validiteetti) suorat ja epäsuorat indikaattorit olla luotettavasti mitattu tai todennettu (reliabiliteetti) olla aikaan sidottu olla riittävän herkkä mittaamaan muutosta ko. ajanjaksossa ja kyetä tuomaan verrattavien kohteiden erot esille olla kohtuullisilla kustannuksilla saatavissa tuottaa projektin vetäjien kannalta relevanttia tietoa
Mitä arvioidaan? Toteutusvaihe 2 arviointi voi kohdistua ennakkoarviointikohteiden lisäksi mm. seuraaviin asioihin hyvät käytännöt? hankkeen kokonaistavoitteen täyttyminen onko valorisaatioprosessi onnistunut resurssien käyttö henkilöstö talous toteutusprosessin toimivuus hankekonsortio muut sidosryhmät yhteistyön jatkuvuus
Miten arvioidaan? Valmistelu ja alkuvaihe Logical Framework -menetelmä lähtötilanteen (ongelman/tarpeen) määrittely ja arviointi SWOT yksilön lähtötilanteen kartoitus hanketta toteuttavan organisaation sisäinen arviointijärjestelmä
Miten arvioidaan? Toteutusvaihe epämuodollinen arviointi mm. avoimet kysymykset kyselyissä, palautekeskustelut, (oppimis)päiväkirja, vapaa observointi tilastollinen analyysi, esim. määrällinen muutos prosentuaalinen muutos kustannus-hyöty -analyysi tuotosten asiantuntija- ja vertaisarviointi käyttökelpoinen työkalu samaan teemaan kuuluvissa hankkeissa
Case-esimerkki FORTUNA-projekti : Projektiin sijoitetun kuntarahoituksen nettohyötylaskelma Projektin kohderyhmänä työttömät työnhakijat (700 per vuosi) arvioitiin asiakkaiden työllistymisen vaikutukset kunnan verotulokehitykseen ja toimeentulotuki-menoihin kunta sijoitti projektiin noin 580 000 euroa laskelmassa huomioitiin ensin se, mitkä olivat projektin kokonaiskustannukset ja mikä oli arvio työllistyneiden kunnallisverokertymästä tämän jälkeen arvioitiin muutokset asiakkaiden toimeentulotukimenojen kehityksessä työllistymisen jälkeen lopuksi voitiin arvioida projektin kokonaisnettohyöty euroina ja hyötysuhteena: jos hyötysuhde ylittää arvon 1, niin projekti on ollut kustannushyödyn näkökulmasta kannattava Kunnalle projektin hyöty oli 2,9 kertainen eli kunnan sijoittama tukieuro tuli kolminkertaisena takaisin * Asiakasotokseen perustuva arvio kunnallisverotulosta ** Kertoo, montako euroa hanke on tuottanut voittoa siihen sijoitettua euroa kohden Fortuna-projekti vuosina 2000 2005 Eurot Hyöty * 1 702 682 Projektin kokonaiskustannus (EU, valtio, kunta, yksityinen) 1 553 701 Nettohyöty 148 981 Hyöty-kustannus suhde ** 1,1 Kustannus Turun kaupungille Nettohyöty Turun kaupungille Hyöty-kustannus suhde Turun kaupungille lähde: Niina Nikka 2006 583 111 1 119 571 2,9
Miten arvioidaan? vertaisoppiminen tuotosten (hyvien käytäntöjen) arvioinnissa tuotoksen (hyvän käytännön) kehittäjä järjestää työpajan, jossa käytäntöä esitellään (työpajan voi myös organisoida ulkopuolinen asiantuntijataho) osallistujina riippumattomia asiantuntijoita tapahtuman jälkeen nettiin laitetaan sekä tiivistelmä käsitellystä hyvästä käytännöstä että riippumattomien asiantuntijoiden lausunnot siitä voisiko menetelmää noudattaa missä tahansa hankkeessa? kenen olisi hyvä olla mukana työpajassa? kehittäjän edustajat pilotoinnin kohderyhmän edustus pilotoinnin arvioitsija vastaavaa työtä tekevät asiantuntijat hallinnon edustaja (aluetaso, ministeriö) potentiaalisen kohderyhmän edustajia pilottiryhmän ulkopuolelta
Miten arvioidaan? Toteutusvaihe kyselyt ja niitä tukevat täydentävät haastattelut, esim. kohderyhmäkyselyt sidosryhmäkyselyt haastattelut avoin teema lomake yksilö vs. ryhmähaastattelu laatujärjestelmät, kuten BSC ja EFQM usein organisaatiotason johtamisen ja arvioinnin välineitä, voidaan tietyiltä osin hyödyntää myös hanketasolla
Miten arvioidaan? kyselyistä aina ei ole mielekästä kohdistaa kyselyä koko kohderyhmään. Mikä otantatapa valitaan, esim. satunnaisotanta ositettu otanta otanta koon tai aseman mukaan laadinnassa mukana kohderyhmän edustus kyselyn testaus tiukasti rajattu määrä kysymyksiä vastaajan tunnistetiedot? asteikko, esim. Likert-asteikko sama asteikko mielellään koko ajan saman suuntainen kysymyksenasettelu järjestysasteikko nominaaliasteikko kyselyn ajoitus vaikuttaa vastauksiin ja niiden luotettavuuteen reliabiliteetin varmistaminen kysymällä samaa asiaa useammassa kysymyksessä
Kuka arviointitietoa hyödyntää? arviointitiedon hyödyntäjiä hanketiimi ja partnerit hankkeen kohderyhmä oma organisaatio toimialan muut toimijat rahoittajat myös ohjelmien arvioitsijat poliittiset päättäjät myös kuntalaiset jatkuvan arvioinnin tehtävänä tuottaa tietoa hankkeen vetäjien päätösten tueksi muutosehdotukset ja korjausliikkeet hankesuunnitelmaan verrattuna
Seuranta vs. arviointi seuranta ja arviointi ovat keskeinen osa hankkeen (organisaation) laadunvarmistusta seurannan avulla varmistetaan hankkeen eteneminen hankesuunnitelman mukaisesti seurannan avulla kerätään tietoa arvioinnin pohjaksi edellyttää seurantaindikaattorien ja tiedonkeruun yksityiskohtien (aika, tiedon lähde, keruutapa) määrittelyä rahoittaja usein määrittää pakolliset seurantatiedot kannattaa perehtyä ajoissa maksatushakemuksiin ja väliraportointilomakkeisiin arvioinnin tehtävänä on kerätyn tiedon muokkaaminen, analysointi ja tulkinta