Arviointi kehittämisen tukena Pori Harri Lappalainen Hanketaito Oy

Transkriptio

1 Arviointi kehittämisen tukena Pori Harri Lappalainen Hanketaito Oy

2 Projektitoiminnassa ns. alkupää on tärkeä vaikuttavuuden ja tehokkuudenkin kannalta. On panostettava riittävästi tavoitteiden ja valintakriteereiden määrittelylle. Tavoite pysyvien vaikutusten aikaansaamiseksi on yksi niistä. Hankkeiden tulee istua siihen maastoon, jossa niiden odotetaan toimivan. - Markku Gardin lähde: Alueosaaja-hankkeen loppuraportti

3 Miksi arvioidaan? julkisen kehittämistoiminnan arviointi auttaa suuntaamaan kehittämisvarat ja -panokset oikeisiin kohteisiin oikealla hetkellä tuottaa tietoa sekä päätöksentekijöille että hankkeen toteuttajille tuottaa tietoa testatuista toimintatavoista toimintamalleista tuotoksista * mitä kannattaa jatkossa hyödyntää? * mitä ei kannata ainakaan sellaisenaan hyödyntää tai mikä vaatii jatkotutkimista/kehittämistä? * miten jatkossa kannattaa/ei kannata tehdä kehittämistyötä

4 Miten projektin toimintaa arvioidaan? Poimintoja hankesuunnitelmista Koulutus-, valmennus-, konsultointi- ja asiantuntijatoimenpiteiden onnistumista mitataan toimenpidekohtaisilla palautelomakkeilla. Lomakkeet analysoidaan ja tuloksia käytetään projektin toimenpiteiden tarkempaan suuntaamiseen ja kehittämiseen Tavoitteiden toteutumisella. Hankkeen loppupuolella teetetään projektiarviointi ulkopuolisella taholla. (HL: Sanalliset tavoitteet & budjetissa ei varattu rahaa ulkoiseen arviointiin) Ohjausryhmässä arvioidaan projektin toimintaa ja hallinnointia. Kussakin casessa arvioidaan omaa toimintaa projektiryhmässä saatujen palautteiden perusteella. Projektin kestoaikana sen toimintaa arvioidaan itsearviointimenettelyllä sekä loppuevaluoinnilla, joka teetetään ulkopuolisella ja riippumattomalla evaluaattorilla. mielellään jotain hieman konkreettisempaa

5 Tuotosten ja tulosten määrittelystä pitää määritellä, kohdistuuko hanke suoraan kohderyhmään esim. osaamisen kasvattaminen, yrittäjien sukupolvenvaihdokset, irtisanottujen työllistäminen uuden toimintamallin rakentamiseen ja sitä kautta välillisesti kohderyhmään esim. uuden koulutusohjelman rakentaminen, työllistämismallin kehittäminen mieti, mihin kehitysvaiheeseen hanke kohdistuu esiselvitys tai tutkimus tuotekehitys demonstrointi tai markkinoille saattaminen mallin, tuotteen tai prosessin hyödyntäminen

6 Hankkeen arvioinnista arviointisuunnitelmassa määritetään mielellään ainakin kuka arvioi milloin arvioidaan mitä arvioidaan miten arvioidaan kuka arviointitietoa hyödyntää

7 Kuka arvioi rahoittajat pääsääntöisesti edellyttävät vähintään itsearviointia toteuttajana koordinaattori tai partneri (sisäinen arviointi) arviointikohteet, menetelmät, mittarit jne. päätetään hankekonsortion kesken * arvioinnin jatkuva hyödyntäminen!

8 Kuka arvioi ulkoinen arviointi arviointi ostetaan alihankintana kustannukset pääsääntöisesti tukikelpoisia, pitää muistaa budjetoida summatiivinen vai formatiivinen arviointi? milloin ulkoinen arviointi hankkeen toteuttajat epävarmoja arviointikohteista tai - menetelmistä luotettavan (palaute)tiedon kerääminen edellyttää ulkopuolista toimijaa arviointitiedon analysointi edellyttää hankkeen toteuttajalta puuttuvaa erityisosaamista (esim. tilastollista, taloudellista, sisältöön liittyvää) halutaan tukea hankkeen johtamisjärjestelmää (jatkuvan arvioinnin kautta) halutaan ns. second opinion hankkeen onnistumisesta

9 Hankkeen arviointi elinkaaren eri vaiheissa OHJELMATYÖ ARVIOINTI & VALORISAATIO = toteuttajat = rahoittaja = ulkopuolinen arvioitsija MÄÄRITTELY TOTEUTUS SUUNNITTELU RAHOITUKSEN JÄRJESTÄMINEN

10 case Turku Mitä arvioidaan? Valmisteluvaihe monet tärkeimmistä kohteista löytyy nykyään valitun rahoituslähteen valintakriteereistä Laatukriteerit; case LLP:n kehittämishankkeet metodologia ja työohjelma innovatiivisuus hankekonsortion laadukkuus eurooppalainen lisäarvo kustannus-hyöty -taso tulosten relevanssi ja odotetut vaikutukset levittämis- ja hyödyntämissuunnitelma

11 Mitä arvioidaan? Toteutusvaihe arviointi voi kohdistua mm. seuraaviin asioihin tuotokset onko syntynyt uusia hyödyntämiskelpoisia tuotoksia tuotosten laatu määrittyy usein tulosten kautta tulokset muutokset kohteessa/kohderyhmässä arvostetaanko määrää vai laatua? kontrolliryhmien käyttö onko syntynyt jotain alun perin suunnittelemattomia tuotoksia tai tuloksia hyvät käytännöt? hankkeen kokonaistavoitteen täyttyminen onko valorisaatioprosessi onnistunut toteutusprosessin toimivuus hankekonsortio muut sidosryhmät yhteistyön jatkuvuus

12 Mitä arvioidaan? Toteutusvaihe muutoksen arvioinnin tasoja tavoiteltu vs. tavoittelematon myönteinen vs. kielteinen lyhytkestoinen vs. pitkäkestoinen subjektiivinen vs. objektiivinen määrällinen vs. laadullinen * tärkeää määritellä muutosta kuvaavat indikaattorit

13 Miten arvioidaan? Valmistelu ja alkuvaihe Logical Framework -menetelmä lähtötilanteen (ongelman/tarpeen) määrittely ja arviointi SWOT yksilön lähtötilanteen kartoitus hanketta toteuttavan organisaation sisäinen arviointijärjestelmä

14 Miten arvioidaan? Toteutusvaihe epämuodollinen arviointi mm. avoimet kysymykset kyselyissä, palautekeskustelut, (oppimis)päiväkirja, vapaa observointi tilastollinen analyysi, esim. määrällinen muutos prosentuaalinen muutos kustannus-hyöty -analyysi tuotosten asiantuntija- ja vertaisarviointi käyttökelpoinen työkalu samaan teemaan kuuluvissa hankkeissa

15 Miten arvioidaan? Toteutusvaihe kyselyt ja niitä tukevat täydentävät haastattelut, esim. kohderyhmäkyselyt sidosryhmäkyselyt haastattelut avoin teema lomake yksilö vs. ryhmähaastattelu BSC ja EFQM usein organisaatiotason johtamisen ja arvioinnin välineitä, voidaan hyödyntää myös hanketasolla

16 Muutoksen osoittaminen indikaattorit osoittavat sen, onko kehitettävässä kohteessa tapahtunut muutoksia kerättävän tiedon tulee olla mitattavissa; joko laadullisesti tai määrällisesti mitata juuri sitä asiaa, mitä sen on tarkoitus mitata (validiteetti) suorat ja epäsuorat indikaattorit olla luotettavasti mitattu tai todennettu (reliabiliteetti) olla aikaan sidottu olla riittävän herkkä mittaamaan muutosta ko. ajanjaksossa ja kyetä tuomaan verrattavien kohteiden erot esille olla kohtuullisilla kustannuksilla saatavissa tuottaa projektin vetäjien kannalta relevanttia tietoa

17 Miten arvioidaan? kyselyistä aina ei ole mielekästä kohdistaa kyselyä koko kohderyhmään. Mikä otantatapa valitaan, esim. satunnaisotanta ositettu otanta otanta koon tai aseman mukaan laadinnassa mukana kohderyhmän edustus kyselyn testaus tiukasti rajattu määrä kysymyksiä vastaajan tunnistetiedot? asteikko, esim. Likert-asteikko sama asteikko mielellään koko ajan saman suuntainen kysymyksenasettelu järjestysasteikko nominaaliasteikko kyselyn ajoitus vaikuttaa vastauksiin ja niiden luotettavuuteen reliabiliteetin varmistaminen kysymällä samaa asiaa useammassa kysymyksessä

18 Miten arvioidaan? vertaisoppiminen tuotosten (hyvien käytäntöjen) arvioinnissa tuotoksen (hyvän käytännön) kehittäjä järjestää työpajan, jossa käytäntöä esitellään (työpajan voi myös organisoida ulkopuolinen asiantuntijataho) osallistujina riippumattomia asiantuntijoita tapahtuman jälkeen nettiin laitetaan sekä tiivistelmä käsitellystä hyvästä käytännöstä että riippumattomien asiantuntijoiden lausunnot siitä voisiko menetelmää noudattaa missä tahansa hankkeessa? kenen olisi hyvä olla mukana työpajassa?

19 Kuka arviointitietoa hyödyntää? arviointitiedon hyödyntäjiä hanketiimi ja partnerit hankkeen kohderyhmät oma organisaatio toimialan muut toimijat rahoittajat myös ohjelmien arvioitsijat poliittiset päättäjät myös kuntalaiset jatkuvan arvioinnin tehtävänä tuottaa tietoa hankkeen vetäjien päätösten tueksi muutosehdotukset ja korjausliikkeet hankesuunnitelmaan verrattuna

20 Seuranta vs. arviointi seuranta ja arviointi ovat keskeinen osa hankkeen (organisaation) laadunvarmistusta seurannan avulla varmistetaan hankkeen eteneminen hankesuunnitelman mukaisesti seurannan avulla kerätään tietoa arvioinnin pohjaksi edellyttää seurantaindikaattorien ja tiedonkeruun yksityiskohtien (aika, tiedon lähde, keruutapa) määrittelyä rahoittaja usein määrittää pakolliset seurantatiedot kannattaa perehtyä ajoissa maksatushakemuksiin ja väliraportointilomakkeisiin arvioinnin tehtävänä on kerätyn tiedon muokkaaminen, analysointi ja tulkinta

21 Eri tasojen määrittelystä vaikutukset usein kuvataan esim. vaikuttaa positiivisesti usein näkyy vasta vuosien päästä hankkeen päättymisestä yleensä yhteiskunnan tasolla tapahtuvia muutoksia tavoite kuvataan hyötynä kohteelle/kohderyhmälle, esim. lisääntynyt, parantunut toteutuakseen edellyttää yleensä toimenpiteitä myös kohderyhmältä pitäisi realisoitua viimeistään hankkeen päättyessä tulokset muutos, joka aiheutuu tuotoksien seurauksena hankkeessa voi myös olla useita tuloksia, jotka yhdessä aikaansaavat kokonaistavoitteen täyttymisen tuotokset kuvataan esim. tuotettu, valmistettu, järjestetty voivat olla käsin kosketeltavia fyysisiä tuotoksia (esim. DVD, opas), tapahtumia (konferenssi, seminaari) tai toimintamalleja toimenpiteet kuvataan esim. suunnitellaan, testataan, laaditaan, koulutetaan, tutkitaan, kartoitetaan panokset (resurssit) kuinka paljon rahaa hankkeen toteuttaminen vaatii budjetti mitä osaamisresursseja vaaditaan mitä tiloja, laitteita ja välineitä tarvitaan

22 Apua ohjelmatason indikaattoreista? case Manner-Suomen ESR-ohjelma : ohjelmatason indikaattorit (1/2) TL 1 Sairauspoissaolot ja työssäviihtyvyys Uusien yritysten eloonjääminen 3 vuotta perustamisen jälkeen TL 2 työllistyminen PAT & MAMU & yli 55 v. sijoittuminen työhön, koulutukseen tai muuhun toimenpiteeseen 3kk ESR-toimenpiteen jälkeen TL 3 Tietty % järjestelmiä käyttäneistä on kokenut saaneensa hyötyä TL 4 Opastusjärjestelmä MAMUille MAMUjen työllistyminen yrityksiin ratkaisuna yritysten rekrytointivaikeuksiin lähde: Manner-Suomen ESR-ohjelma-asiakirja