KEHITTÄMISHANKE Tavoite 1-ohjelman hankkeen seuranta ja arviointi Joensuu 13.11.2002 Reijo Keränen Laadukas hanke 2002 Hankkeiden ja toiminnan arviointi 1
Aluekehitysohjelmien ja hankkeiden arvioinnin perustelua Rakennerahasto-ohjelmien arviointi perustuu asetuksiin (mm. yleisasetuksen III luku, art. 40-43). Ks. myös www.inforegio.org/wbdoc/docoffic/vm20002006/chap2_fi.htm: ennakkoarviointi on selonteko, jossa selitetään ja perustellaan nykytilanteesta, valitun strategian ja toimintalinjojen johdonmukaisuudesta, toivotusta vaikutuksesta, jaetuista rahoitusvaroista ja suunnitellusta täytäntöönpanojärjestelmästä tehtyä analyysia Laadukas hanke 2002 Hankkeiden ja toiminnan arviointi 2
Aluekehitysohjelmien ja hankkeiden arvioinnin perustelua.. Yksittäisen hankkeen arviointi perustuu hyvään hallintokäytäntöön Hankekohtaista arviointia ei ole juurikaan ohjeistettu esimerkiksi rahoituspäätöksissä tai muissa ohjeissa. Hankearviointi on oleellinen osa hanketoimintaa Arviointi tukee laatuajattelua ja toiminnan kehittämistä. Hankkeen laatuajattelu lähestyy Toimintajärjestelmää (Integrated Management System) Toimintajärjestelmä on yritysten sisäisen toiminnan jäsentämiseen kehitetty työkalu. Laadukas hanke 2002 Hankkeiden ja toiminnan arviointi 3
Toiminnan arvioinnin perustelua: Helsingin yliopisto Helsingin yliopiston toiminnan arviointi perustuu yliopistolain 5 :ään: Yliopistojen tulee arvioida koulutustaan, tutkimustaan sekä taiteellista toimintaansa ja niiden vaikuttavuutta. Yliopistojen on myös osallistuttava ulkopuoliseen toimintansa arviointiin. Yliopiston tulee julkistaa järjestämänsä arvioinnin tulokset. Toimintansa laadun varmistamiseksi Helsingin yliopisto toteuttaa arviointeja niin opetuksen, tutkimuksen kuin tukitoimintojenkin alueilla. Laadukas hanke 2002 Hankkeiden ja toiminnan arviointi 4
Toiminnan arvioinnin perustelua: Helsingin TKK SISÄINEN ARVIOINTI. Korkeakoulun ja sen yksiköiden strategiatyöhön liittyy aina itsearviointi. Sen avulla etsitään uusia vahvuusalueita sekä kehittämis-, sopeuttamis- ja saneeraustarpeita. Korkeakoulun tietokantoja ja tietojärjestelmiä kehitetään sellaisiksi, että ne palvelevat myös toiminnan seurannan ja arvioinnin kannalta hajautetusti ja käyttäjäystävällisesti. Tarkoituksena on kehittää korkeakoululle laadunhallintajärjestelmä, joka otetaan käyttöön pilottiyksiköiden kautta. ULKOINEN ARVIOINTI. Teknillinen korkeakoulu on ilmoittautunut ja hyväksytty EUA:n (European University Association) Institutional Review - ohjelmaan liittyvään follow-up arviointiin. Laadukas hanke 2002 Hankkeiden ja toiminnan arviointi 5
Toiminnan arvioinnin yleisyys - Esimerkiksi internet on tulvillaan toiminnan arviointiin liittyvää aineistoa - Varsinkin oppilaitokset (opetus yleensä), kulttuuri ja valtionhallinto ovat käyttäneet toiminnan arviointia jo jonkin aikaa työkalunaan - Toiminnan arviointia käytetään aidosti prosessien kehittämiseen ja kilpailukyvyn parantamiseen; laatuajattelu myynnin edistämiseen ja profiloitumiseen Laadukas hanke 2002 Hankkeiden ja toiminnan arviointi 6
Hanketyö ja toiminnan arviointi Nykyisin arvioidaan/on syytä arvioida lähes kaikkea ohjelmoitua toimintaa Varsinkin itsearvioinnin/sisäisen arvioinnin merkitys on korostunut Arvioinnilla pyritään parantamaan laatua, lisäämään tehokkuutta ja lopulta kohentamaan toimijan/toiminnan kilpailukykyä (vrt. menetelmänä Benchmarking tai Logical Framework); toiminnan arviointi Laadukas hanke 2002 Hankkeiden ja toiminnan arviointi 7
Hanketyö ja toiminnan arviointi.. Hanketyö on organisaatioihin sidottua; hakijaorganisaatio vastaa Hanketyön asema organisaatiossa vaatii tarkastelua ennen hankkeen toiminnan lopullista arviointia: o onko hanke organisaation normaalia toimintaa? jos on, silloin arvioinnin perustelut ja menetelmät ovat yleisesti käytettäviä, jo testattuja jos ei ole, pitää tunnistaa hanketoiminnan erilaisuus/erikoisuudet ja räätälöidä arviointia arvioinnin tuotekehitys o on siis kyettävä tunnistamaan hanketoiminnan ja organisaation toiminnan erot ja yhteneväisyydet ennen kuin on mahdollista tehdä toiminnan lopullista arviointia Muuttuuko hanke organisaation näköiseksi vai elääkö hanke omaa elämäänsä? Laadukas hanke 2002 Hankkeiden ja toiminnan arviointi 8
Hanketoiminnan erikoisuus Laadukas hanke 2002 Hankkeiden ja toiminnan arviointi 9
Hanketyö ja toiminnan arviointi.. Hanketoiminta (kehittämisprojektit) on vielä niin uusi toimintatapa, että o hankkeen tehtävä on vielä jäsentymätön o hankkeen oma organisaatio / asema taustaorganisaatiossa ovat vielä vakiintumattomat o henkilöstön asema ja vastuut ovat irrallisia; hankehenkilöstö vakituinen henkilöstö" Toiminnan tavoitteellisuus ja laatu ovat avainsanoja nykyajan toiminnassa o jos ne ovat avainsanoja myös hankkeen toteuttajalla, siis hankkeen taustaorganisaatiossa, ovat ne avainsanoja myös hanketyössä o jos ne eivät ole avainsanoja taustaorganisaatiossa, eivät ne ole sitä myöskään hankkeessa Laadukas hanke 2002 Hankkeiden ja toiminnan arviointi 10
Arviointitavat: Ulkopuolinen arviointi Hankkeiden toiminnan arviointeja on mahdollista tehdä ainakin kolmella tavalla. Ulkopuolinen arviointi tehdään hankkeen suunnitteluun, toteutukseen ja edunsaantiin osallistumattoman tahon toimesta. Ulkopuolinen arviointi korostaa riippumattomuutta ja objektiivista näkökulmaa. Hankearviointeja tekevät arviointityöhön erikoistuneet organisaatiot ja konsultit. Laadukas hanke 2002 Hankkeiden ja toiminnan arviointi 11
Arviointitavat: Sisäinen arviointi Sisäinen arviointi tarkoittaa sellaista arviointia, jossa arvioinnista vastaa jokin hankkeen toteuttajaa lähellä oleva taho. Esimerkiksi hanketta hallinnoivan tai toteuttavan organisaation nimeämä tiimi. Sisäisen arvioinnin tekijät eivät pääsääntöisesti kuitenkaan ole hankkeen toteuttajia. Sisäisellä arvioinnilla ei kenties ole samanlaista lisäarvoa kuin ulkopuolisella arvioinnilla; johtopäätösten riippumattomuus. Sisäisen arvioinnin etuna on, että arvioinnin tekijöillä on läheistä tietoa ja tuntumaa hankkeen sisäisiin ja ulkoisiin tekijöihin, kuten synergiat ja ristiriidat. Sisäinen arviointi edellyttää organisaation todellista halua kehittää hanketoiminnan osaamista; luottamus. Laadukas hanke 2002 Hankkeiden ja toiminnan arviointi 12
Arviointitavat: Itsearviointi Itsearviointi tarkoittaa arviointia, jonka suorittavat hankkeen sisällä olevat vastuuhenkilöt. Itsearvioinnilla haetaan johtopäätöksiä operatiivisen tason nopeita ratkaisuja varten. Itsearviointia voidaan käyttää myös sellaisen tiedon tuottamiseen, joka toimii käynnistäjänä suurempiin tiedonhankintoihin ja arviointeihin. Itsearvioinnin merkitys korostuu jatkuvasti. Laadukas hanke 2002 Hankkeiden ja toiminnan arviointi 13
Arviointityypit: Ennakkoarviointi, väliarviointi ja jälkiarviointi Ongelma ja tarve Suunnitelma Toteutus Ennakkoarviointi Seuranta Väliarviointi Tulokset Seuranta Jälkiarviointi Laadukas hanke 2002 Hankkeiden ja toiminnan arviointi 14
Arviointityyppien perustehtävät Ennakkoarviointi Väliarviointi Jälkiarviointi Suunnitelman ja toimintaympäristön tarpeiden kohtaavuuden tarkistus Tavoitteiden tarkistus Panostusten tarkistus Hallinnon sopivuuden/toimivuuden tarkistus Loogisuuden tarkistus Pakollisten osioiden tarkistus Tulosten ja vaikutusten mittaaminen ja analysointi Muutosesitykset Palaute tuleville hankkeille; alustavat opit Tulosten ja vaikutusten lopullinen arviointi Suositukset ja opit - muille hankkeille - taustaorganisaatiolle - partnereille Laadukas hanke 2002 Hankkeiden ja toiminnan arviointi 15
Ennakkoarviointi Ennakkoarvioinnin tehtävänä on keskittyä hankkeen toteutettavuuteen; arviointi vastaa kysymykseen onko hanke toteutettavissa esitetyssä muodossaan? vaikuttavuuteen; arviointi vastaa kysymykseen saavutetaanko ne vaikutukset ja tavoitteet, joita hankkeella tavoitellaan? edistääkö vaikutustavoitteita esimerkiksi ohjelmatasolla? edistääkö paikallisia vaikutuksia? tehokkuuteen; arviointi vastaa kysymykseen onko valittu toteutustapa tehokkain riittävän tehokas? esimerkiksi suhteessa käytettävään aikaan tai rahaan? Lisäksi ennakkoarvioinnin on syytä ottaa kantaa hankeen hallintoon, seurantajärjestelmään jne. Kyseessä on siis toiminnan arviointi etukäteen. Arviointisuunnitelmassa tai arvioinnin tilauksessa määritetään ne asiat, joihin halutaan ennakkoarvioinnin erityisesti keskittyvän. Laadukas hanke 2002 Hankkeiden ja toiminnan arviointi 16
Ennakkoarvioinnin tehtäviä ja asetelmia Ennakkoarvioinnin kohteena on hankesuunnitelma ennakkoarviointi tehdään ennen suunnitelman esittämistä rahoittajille ja hyväksymistä Arvioinnin laatijan tekemiä keskeisiä kysymyksiä: Onko hankkeen toimintaympäristö tulkittu oikein? esimerkiksi muutoksen suunta, lineaarisuus ja nopeus Onko ongelma rajattu oikein? ratkaiseeko hanke kaikkein keskeisimpiä ongelmia? ovatko tavoitteet kohdallaan? ovatko toimenpiteet oikein suunnatut? Ovatko resurssit oikein mitoitetut? Laadukas hanke 2002 Hankkeiden ja toiminnan arviointi 17
Ennakkoarvioinnin tehtäviä ja asetelmia.. Ovatko toimijat oikein valittuja? vastuutus, asiantuntemus, avautuvat verkostot? Onko hallinto/organisaatio oikea/kykenevä suoriutumaan tehtävästään? onko organisaatio vanha, muuhun tehtävään koottu? onko organisaatio uusi, juuri tähän tehtävään mitoitettu? Voiko seuranta ja arviointi toimia suunnitelmassa kuvatussa muodossa? Onko suunniteltu toiminta säädösten mukainen? :? Lopulta: Onko todennäköistä, että suunnitelmassa esitetyt tavoitteet (odotetut tulokset) saavutetaan? Laadukas hanke 2002 Hankkeiden ja toiminnan arviointi 18
Ennakkoarvioinnin ja hanketoiminnan haaste Kolme hanketyyppiä: 1. Esiselvitys (valmisteluhanke, toteutettavuusselvitys) 2. Kehittämishanke 3. Tuloshanke (esimerkiksi yrityshanke) Kullakin hanketyypillä on erilaiset tavoitteet ja toimintatavat erilainen arviointikäytäntö; varsinkin ennakkoarviointi on hyvin erilainen. Ongelman tarkkuus Valmisteluhanke Kehittämishanke Yrityshanke/ investointihanke Hanketoiminnan polku/ennakkoarvion näköala Laadukas hanke 2002 Hankkeiden ja toiminnan arviointi 19
Väliarviointi Väliarvioinnin yhtenä tehtävänä on tuottaa suhteellista ja absoluuttista tietoa hankkeen etenemisestä. Väliarvioinnin merkittävin tehtävä on toimia tiedontuottajana ja välittäjänä. Väliarviointi tuottaa tietoa siitä, eteneekö hanke kuten on suunniteltu toimintaympäristön muutos edellyttää Väliarviointi antaa suosituksia tarpeellisista muutoksista tavoitteet, resurssit, toimintatavat Väliarviointi on ohjausväline arvioinnin tulosten on oltava päätöksentekoelinten käytössä riittävän usein. Ainakin ennen sellaisia ajankohtia, jolloin hankkeen tulevista linjauksista päätetään. Laadukas hanke 2002 Hankkeiden ja toiminnan arviointi 20
Jälkiarviointi Jälkiarviointi keskittyy kriittisen kokonaiskuvan muodostamiseen. Arvioinnin tehtävänä on tuoda esille onnistumiset ja epäonnistumiset sekä niiden syyt. Jälkiarviointi on osa oppimisprosessia. Kohteena on paitsi hankeen toteuttaja, myös rahoittaja ja muu hankeympäristö myös rahoitusohjelman tasolla. Tämän vuoksi tiedon jakaminen on jälkiarvioinnin ydintehtävä. Arviointitulosten mukaan jälkiarvioinnilla on mahdollista parantaa toimintaa sekä lisätä tehokkuutta ja laatua seuraavassa hankkeessa toteuttavassa organisaatiossa toimijoiden verkostossa Jälkiarviointia voidaan painottaa esimerkiksi sen mukaan, missä arvioitava hanke väliarvioinnin viestien mukaan epäonnistui tai onnistui. Laadukas hanke 2002 Hankkeiden ja toiminnan arviointi 21
Hankearvioinnin haasteita Hanketoiminnan luonteesta seuraa joitakin haasteita. On väärä käsitys, että arviointeihin ei kannata ryhtyä, koska hanke loppuu jo vuoden kuluttua. mitä nopeatempoisempi toiminta, sitä enemmän tarvitaan seurantaa ja arviointia! Suurin hyöty saadaan lyhyiden hankkeiden ennakkoarvioinnista. On suositeltavaa, että pienenkin hankkeen ennakkoarvioinnin tekijä tekee hankkeesta ainakin lyhyen väliarviointikatsauksen. Tämä toimintamalli on edullinen, koska ennakkoarvioinnin tekijällä on jo sen kautta olemassa perustiedot ja näkemys hankkeesta; perehtymisjaksoa ei tarvita. Itsearvioinnin merkitys korostuu lyhyissä hankkeissa. Jos on tehty ulkopuolinen ennakkoarviointi, arvointeihin perehtynyt hankevastaava voi tehdä itsearviointina tuloksekasta väliarviointia. Laadukas hanke 2002 Hankkeiden ja toiminnan arviointi 22
Hankearvioinnin haasteita.. Valmisteluhankkeet ja toteutettavuusselvitykset ovat lisääntyneet; niitä tuleekin suosia. Varsinkin hankkeissa, jotka vielä etsivät varsinaista toimintatapaa ja/tai joiden suunnitelma kaipaa vielä hiomista, tulisi selvitys- ja hiomisvaiheeseen lisätä ennakkoarvioinnin otetta. Arviointisuunnitelma on syytä sisällyttää hankesuunnitelmaan; arvioinnin aikataulutus ja resurssointi, arviointitapa, arviointitulosten käyttö Laadukas hanke 2002 Hankkeiden ja toiminnan arviointi 23
Arviointien peruskohteita Hankkeen[suunnitelman]) kokonaisuus loogisuus ymmärrettävyys Tavoitteiden ja ongelmien vastaavuus Tavoitteiden realistisuus suhteessa resursseihin Strategian ja tavoitteiden kohtaavuus Strategian ja toimenpiteiden kohtaavuus Toimenpiteiden ja tavoitteiden kohtaavuus Toimenpiteiden tuloksellisuus Toimenpiteiden vaikuttavuus Arviointiaineiston saatavuus ja luotettavuus; seuranta Laadukas hanke 2002 Hankkeiden ja toiminnan arviointi 24
Hankkeen toteutuksen yksinkertainen kaava Rahoituspä ä tös Poliittinen ohjaus Asiantuntijaohjaus/toimihenkilöohjaus Onge l ma Tavoite Suunnitelma Toimintaympäristön Keinot e nnakointi Tarve Toteutus Seuranta Arviointi Väliarviointi Ennakkoarviointi Jälkiarviointi Tulos Laadukas hanke 2002 Hankkeiden ja toiminnan arviointi 25
Arviointiasetelmia 1 2 4 3 5 Toimintaympäristö Tarve Tavoite Strategia Resurssit Toimenpiteet Toteutuma Tuotos Tulos Vaikutus 9 8 7 6 Laadukas hanke 2002 Hankkeiden ja toiminnan arviointi 26
Arviointiasetelmia Arvioitava hanke: Arviointityyppi: Arvioija: Nro Arviointiasetelma Kysymys Johtopäätös Esitys 1 Tarve Tavoite Asianmukaisuus 2 Tavoite Resurssit Riittävyys 3 Resurssit Toteutuma Tehokkuus 4 Resurssit Toimenpiteet Hyötysuhde 5 Toimenpiteet Toteutuma Edistyminen 6 Tavoite Toteutuma Vaikuttavuus 7 Tavoite Toimenpiteet Kohtaavuus 8 Tavoite - Toimintatapa Osuvuus 9 Toteutuma - Tarve Hyöty Laadukas hanke 2002 Hankkeiden ja toiminnan arviointi 27
Mittaaminen Hankkeelle asetetaan tavoitteet, jotka voidaan jakaa kolmeen peräkkäiseen tasoon: Toiminnalliset tavoitteet Erityistavoitteet Hankkeen yleistavoitteet Arvioinnin ja seurannan kannalta on tarpeen, että edellä mainittujen tasojen mukaisesti hankkeissa mitataan tulokset: Tuotoksina (outputs) eli tavaroina tai palveluina, jotka tuotetaan hankkeella [liiketoimintasuunnitelmia tukeva sovellutus] Tuloksina (results) eli hankkeen aiheuttamina välittöminä muutoksina kohderyhmissä [liiketoiminnan kehittyminen, kannattavuus, kilpailukyky] Vaikutuksina (impacts) eli pitkän aikavälin (rakenteellisina) muutoksina kohdealueella tai -ryhmissä [toimialan kehittyminen, arvonlisäyksen kasvu, BKTn kasvu] Aluekehitysohjelmat painottuvat rakenteellisiin vaikutuksiin. Hankkeet painottuvat tuotosten avulla tuloksiin. Laadukas hanke 2002 Hankkeiden ja toiminnan arviointi 28
Mittaaminen ja tavoitteet hankkeessa Vaikutukset kohteeseen ja kohderyhmään Vaikutukset lopulliset pitkän aikavälin Tulokset välittömät vaik. kohderyhmissä Varsinaiset tavoitteet Erityistavoitteet Hankkeen tavoitteisto Tuotokset hankkeella tuotetut palvelut Toim innalliset tavoitteet Panokset Hankkeen toimenpiteet Laadukas hanke 2002 Hankkeiden ja toiminnan arviointi 29
Mittaaminen Tavoitteiden saavuttamisen mittaamista varten niille asetetaan erityisiä määrällisiä tai laadullisia mittareita indikaattoreita, jotka jakaantuvat vastaavasti: panosindikaattoreihin (ml. rahoitusindikaattorit) tuotosindikaattoreihin tulosindikaattoreihin ja vaikutusindikaattoreihin. Indikaattorit ovat keskeisiä ohjelman seurannan ja arvioinnin tietolähteitä erityisesti arvioitaessa ohjelman: tehokkuutta (tuotokset tai tulokset panoksiin suhteutettuna) vaikuttavuutta (toteutunut/suunniteltu vaikutus) ja hyödyllisyyttä (vaikutukset/tarpeet). Arvioinneissa joudutaan ottamaan kantaa indikaattoreiden toimivuuteen yleensä kattavuuteen aineistojen saatavuuteen Laadukas hanke 2002 Hankkeiden ja toiminnan arviointi 30
Mittaaminen. OHJELMAN LAADINTA Kehittämistarpeet KOHDEALUE sosioekonomiset ongelmat (sisältö) Vaikutukset Tulokset OHJELMA OHJELMAN TOIMEENPANO Tavoitteet Panokset Toimenpiteet Tuotos (sitoutuminen ) kehittämisprosessit Relevanssi arviointi Kohtaavuus Tehokkuus Vaikuttavuus Hyöty ja kestävyys Laadukas hanke 2002 Hankkeiden ja toiminnan arviointi 31
Indikaattorityyppejä Tavoite Perusindikaattori Vaikuttavuusindikaattori Toiminnallinen Tuotos Toteutunut/ tavoite suunniteltu tuotos Erityistavoite Tulos Toteutunut/suunniteltu tulos Yleistavoite Vaikutus Toteutunut/suunniteltu vaikutus Tehokkuusindikaattori Tuotos verrattuna kustannuksiin Tulos verrattuna kustannuksiin Vaikutus verrattuna kustannuksiin Laadukas hanke 2002 Hankkeiden ja toiminnan arviointi 32
Esimerkkinä arviointimatriisi: kohtaavuus Hankkeen toimenpide 1 vaikuttaa suoraan tavoite 1:n toteutumiseen; toimenpide 1 vaikuttaa epäsuorasti tavoite 4:n toteutumiseen; toimenpide 5 ei vaikuta lainkaan tavoite 1:n toteutumiseen MATRIISI 2. Tavoite 1 Tavoite 2 Tavoite 3 Tavoite 4 Tavoite n Toimenpide 1 Toimenpide 2 Toimenpide 3 Toimenpide 4 Toimenpide 5 Toimenpide n =suora vaikutus =epäsuora vaikutus =ei vaikutusta Laadukas hanke 2002 Hankkeiden ja toiminnan arviointi 33
Esimerkkinä arviointimatriisi: tavoitteiden toteutuminen Matriisiin sijoitetaan seurantatiedoista tietyn ajankohdan leikkaus, jolloin matriisi voi saada esimerkiksi seuraavan kuvitteellisen muodon tilanteessa, jossa ohjelma/hanke on edennyt puoliväliin MATRIISI 3. Tavoite 1 Tavoite 2 Tavoite 3 Tavoite 4 Tavoite n Toimenpide 1 11 34 2 0,1 Toimenpide 2 7 Toimenpide 3 11 1 0,5 Toimenpide 4 4 Toimenpide 5 4 Toimenpide n 11 0,6 Toteutuma yht. 15 45 18 7 1,2 Kokonaistavoite 30 150 20 15 1,5 % tavoitteesta 50 30 90 47 80 Laadukas hanke 2002 Hankkeiden ja toiminnan arviointi 34
Esimerkkinä arviointimatriisi: tavoitteiden toteutuminen; vaikuttavuus MATRIISI 4 Tavoite 1 Tavoite 2 Tavoite 3 Tavoite 4 Tavoite n Toimenpide 1 11 34 2 0,1 Toimenpide 2 7 Toimenpide 3 11 1 0,5 Toimenpide 4 4 Toimenpide 5 4 Toimenpide n 11 0,6 Toteutuma yht. 15 45 18 7 1,2 Kokonaistavoite 30 150 20 15 1,5 % tavoitteesta 50 30 90 47 80 =suora vaikutus =epäsuora vaikutus =ei vaikutusta Laadukas hanke 2002 Hankkeiden ja toiminnan arviointi 35
Esimerkkinä arviointimatriisi: kustannusten kohdentuminen Toteutuneet kustannukset MATRIISI 5. Tavoite1 Tavoite2 Tavoite3 Tavoite4 Tavoite n Toimenpide 1 40 65 73 3 Toimenpide 2 19 Toimenpide 3 20 31 18 Toimenpide 4 16 Toimenpide 5 47 Toimenpide n 32 10 Tot. kust. yht. 56 85 51 151 31 Kok.kust. 300 200 150 250 100 % kok.kust:sta 19 43 34 60 31 19 % =suora vaikutus 24 % =epäsuora vaikutus 57 % =ei vaikutusta Laadukas hanke 2002 Hankkeiden ja toiminnan arviointi 36
Esimerkkinä arviointimatriisi: kustannus-hyöty; tehokkuus Kustannukset toteutumaa kohden MATRIISI 6 Tavoite1 Tavoite2 Tavoite3 Tavoite4 Tavoite n Toimenpide 1 3,64 1,91 36,50 30,00 Toimenpide 2 2,71 Toimenpide 3 1,82 31,00 36,00 Toimenpide 4 4,00 Toimenpide 5 11,75 Toimenpide n 2,91 10 Toteutumakerroin 3,73 1,89 2,83 21,57 25,83 Odotuskerroin 10,00 1,33 7,50 16,67 66,67 =suora vaikutus =epäsuora vaikutus =ei vaikutusta Laadukas hanke 2002 Hankkeiden ja toiminnan arviointi 37
Esimerkkinä ennakkoarviointitaulukko: tekninen tarkistus Hankkeen nimi: Suunnitelman osio Riittävä Täydennettävä Puuttuu Huom! Suunnitelman ja toimintaympäristön kohtaavuus Toimintaympäristön analyysi ongelman määrittely Tukee rahoitusohjelmaa Tukee alueen/organisaation strategiaa Tukee..n strategiaa Tavoitteet, tavoitteiden realistisuus Määrälliset tavoitteet Laadulliset tavoitteet Toteutettavuus (tavoitteiden saavuttamistavat) Toimintatapa (strategia) Toimenpiteet Panostus (suhteessa tavoitteisiin) Rahoitus Henkilöstö Seuranta Mittarit Kuvaus seurannan toteuttamisesta Hallinnon/hallinnan sopivuus ja toimivuus Hallinnon kuvaus Toteuttajien vastuutus/yhteistoiminta Teemat Tasa-arvo Ympäristö/kestävä kehitys Kilpailu Innovatiivisuus Työllisyys YLEISARVIO Laadukas hanke 2002 Toiminnan arviointi 38
Hankesuunnitelman laadunvarmistus - Testausraati, asiantuntijapaneeli - Ohjausryhmä toimii jo suunnitelmavaiheessa - Kohderyhmien ja edunsaajien kuuleminen - Rahoittajien informointi ja kuuleminen - Ennakkoarviointi - PALAUTE HALLINNOSTA JA SIDOSRYHMILTÄ - Täydennykset - Suunnitelman jatkuva päivitys uusi käsittely hallinnossa Laadukas hanke 2002 Toiminnan arviointi 39
Yksi pohja sisäiselle arvioinnille I Hankkeen perustiedot Hankkeen nimi Hanketyyppi 1 Hanke alkoi Hanke päättyy Vastuuhenkilö 1 esiselvitys, kehittämishanke, yrityshanke, tutkimus, selvitys, arviointi, muu II Resurssit (Suunnitelmasta / 200 ja rah.päätöksestä / 200 ) 200 200 200 200 Yht Kustannuslaji mk mk mk mk mk Yhteensä 200 200 200 200 Yht Rahoitus/rahoittaja mk mk mk mk mk Yhteensä Työsuhteessa olevat työntekijät / 200 lkm Työsuhteisten tekemä työ hankkeelle hlötyökk Ostopalvelutyöntekijät ja konsultit lkm Ostopalvelutyönt./konsulttien tekemä työ hankkeelle hlötyökk Yhteensä III Hankkeen kohteet (suunnitelmasta / 200 ) Partnerit, yhteistyötahot, asiantuntijaorganisaatiot Henkilöitä Yrityksiä, yhteisöjä Kohdeyrityksiä hankkeella Kohdeyhteisöjä/-organisaatioita hankkeella Kohdehenkilöitä hankkeella lkm lkm lkm lkm lkm Yhteensä Laadukas hanke 2002 Toiminnan arviointi 40
IV Perustavoitteet suunnitelmasta; hyväksytty ohjausryhmässä / 200 Ajankohta Ajankohta / / Hankkeen määrälliset tavoitteet Tavoite Toteutuma (abs) Toteutuma (%) Toteutuma (abs) Toteutuma (%) Ajankohta / Toteutuma (abs) Toteutuma (%) Laadulliset tavoitteet Toteutuma ajankohtana / 200 Laadulliset tavoitteet Toteutuma ajankohtana / 200 V Muut erillistavoitteet (hyväksytty ohjausryhmässä / 200 ) Ajankohta / Ajankohta / Määrälliset erillistavoitteet Tavoite Toteutumtumtumtuma Toteu- Toteu- Toteu- (abs) (%) (abs) (%) Ajankohta / Toteutuma (abs) Toteutuma (%) Laadulliset erillistavoitteet Toteutuma ajankohtana / 200 Laadulliset erillistavoitteet Toteutuma ajankohtana / 200 Laadukas hanke 2002 Toiminnan arviointi 41
Laadullinen arviointi kaudelta / 200 - / 200 Yleistä Tärkeimmät yhteistyötahot Toimintaympäristössä tapahtuneet muutokset Tärkeimmät saavutukset arviointikaudella Suurimmat pettymykset kaudella suhteessa suunnitelmaan ja tavoitteisiin Muutostarpeet hankkeessa Hankkeen esille nostamat mahdollisuudet ja tarpeet Tuotekehitysmahdollisuudet/ -aihiot Yrityskehitysmahdollisuudet/ -aihiot Esiselvitystarpeet Jatkohanketarpeet/ -aihiot Kehittämistarpeet Johtopäätökset ja esitykset ohjausryhmälle Hankkeen yleinen tila Muutostarpeet Esitykset Kehittämistarpeet Esitykset Arvio laadittu / 200 Arvio käsitelty/hyväksytty / 200 Hankevastaava Ohjausryhmän puheenjohtaja Laadukas hanke 2002 Toiminnan arviointi 42