LIITE 1 16.1.2008 MANNER-SUOMEN ESR-OHJELMA 2007-2013: ARVIOINTISUUNNITELMA 1. Johdanto Manner-Suomen ESR-ohjelma-asiakirjassa 2007-2013 todetaan arviointisuunnitelman sisältävän alustavan suunnitelman ohjelmakauden aikana toteutettavista arvioinneista. Paitsi ohjelma-asiakirjaan arviointisuunnitelma perustuu myös: - rakennerahastoja koskevaan yleisasetukseen (EC No 1083/2006), - Working Document No. 5 Indicative Guidelines on Evaluation Methods: Evaluation During The Programming Period asiakirjaan, ja - aiemmilta rakennerahasto-ohjelmakausilta saatuihin kokemuksiin. Arviointisuunnitelma on indikatiivinen suunnitelma ohjelmakauden aikana toteutettavista arvioinneista. Se sisältää kuvauksen arvioinnin yleisistä koordinointijärjestelyistä ja prosesseista, sekä ohjelmakauden aikana toimeenpantavista arvioinneista kohteineen ja aikatauluineen. Edellä mainittujen asetuksen ja ohjelmaasiakirjan mukaan toimintaympäristön, ohjelma-asiakirjan, toimeenpanossa tapahtuneiden tai muista syistä johtuvien tiedontarpeiden muutosten takia arviointisuunnitelmaa voidaan ohjelmakauden aikana muuttaa. Arviointisuunnitelman laatimisen taustalla on arvioinnin luonteen muuttuminen ohjelmakaudella 2007-2013 aiemmasta väliarviointipainotteisesta ns. jatkuvaan arviointiin (on-going evaluation): sen täysimääräinen hyödyntäminen vaatii uudenlaista suunnittelua, sekä arvioinnin ja seurannan entistä tiiviimpää yhteen nivomista. Asetuksessa arvioinnit määritellään luonteeltaan strategisiksi (koko kehittyminen suhteessa EU:n ja kansallisesti tärkeiksi katsottuihin tavoitteisiin) tai toiminnallisiksi (toimenpiteet suhteessa asetettuihin tavoitteisiin sekä hallinto- ja toimeenpanojärjestelmien toimivuus). Arviointeja tehdään ennen ohjelmakauden alkamista (ex ante), sen aikana (on-going) ja sen päätyttyä (ex post). Asetus myös määrittelee jäsenvaltion ja komission tehtävät arviointiprosessissa. Kun Manner-Suomen ESR- ex ante-arviointi toimeenpantiin valmistelun yhteydessä ja on jo päättynyt, ja kun ex post arvioinnista vastaa komissio yhdessä jäsenvaltion kanssa, sisältää tämä dokumentti alustavan suunnitelman ohjelmakaudella 2007-2013 toteutettavista on-going- arvioinneista. 2. ESR-arvioinnin ohjausryhmä Arvioinnista vastaa hallintoviranomainen, ja sen toteuttamisen periaatteista päättää seurantakomitea. ESR-toiminnan arviointia koordinoi seurantakomitean asettama ESR-arvioinnin ohjausryhmä, jonka jäseninä toimivat ohjelmaa toimeenpanevien viranomaisten ja muiden tahojen edustajat. Puheenjohtajana toimii hallintoviranomaisen edustaja. Asioiden valmistelu ESR-arvioinnin ohjausryhmässä tapahtuu pääsääntöisesti hallintoviranomaisen toimesta, mutta myös muut ohjausryhmässä edustettuna olevat tahot voivat esittää ja valmistella asioita ohjausryhmän käsiteltäväksi.
ESR-arvioinnin ohjausryhmän käsittelemiä asioita ovat: 1) arviointisuunnitelman valmistelu (seurantakomitean päätettäväksi) 2) arviointisuunnitelman toimeenpano: - ulkopuolisille arvioitsijoille suunnattujen tarjouskilpailujen käynnistäminen ja arvioitsijoiden valinta - toimeenpantavien arviointien ohjaaminen 3) arviointisuunnitelman tarvittaessa tapahtuva päivittäminen. 3. Jatkuva arviointi Ohjelman toimeenpanon ja hallinnon ohjaamista varten tarvitaan tietoa, josta osa saadaan seurantajärjestelmästä. Jatkuvan arvioinnin avulla on mahdollista saada käytännönläheistä ja entistä monipuolisempaa tietoa toimeenpanosta ja toimintaympäristöstä. Seuranta ja arviointi nivotaan tiiviisti yhteen mahdollisimman relevantin tiedon käyttöön saamiseksi. Arviointia voidaan toteuttaa niin valtakunnallisesti kuin alueellisestikin, tai teema-, toimintalinja- kuin ohjelmakohtaisestikin. Ohjelman toimeenpanon edistyessä ja arvioinnin käynnistyessä tullaan arviointisuunnitelmaa täydentämään alueellisten ja temaattisten arviointien osalta. ESR-arviointisuunnitelma tullaan soveltuvin osin yhteensovittamaan myös EAKR-ohjelmien arviointien kanssa niiden suunnittelun ja toimeenpanon käynnistyttyä. Jatkuva arviointi koostuu 1) tiettyjen indikaattoreiden edellyttämistä erillisselvityksistä, 2) valtakunnallisten kehittämisohjelmien ja muiden ESR-hankkeiden säännönmukaisesta ja jatkuvasta arvioinnista, sekä 3) edellä mainittuja hyödyntävistä ja yhteenvetävistä koko ja sen toimintalinjojen edistymistä analysoivista arvioinneista. Arvioinnit ovat luonteeltaan pääasiassa toiminnallisia/operatiivisia, mutta edellä kuvatuista 3)- tyyppisissä arvioinneissa tullaan tekemään myös strategisia arviointeja. 3.1. Toimintalinjatason indikaattorit ESR-ohjelma-asiakirjan liitteissä 2 ja 4 kerrotaan toimintaympäristöä kuvaavat sosioekonomiset indikaattorit ja ESR-ydinindikaattorit, jotka saadaan seurantajärjestelmästä. Liitteessä 3 (ohjelmatason ja toimintalinjojen indikaattorit sekä toimintalinjojen erityistavoitteet ja niitä mittaavat indikaattorit) kuvattavista indikaattoreista osa saadaan seurantajärjestelmästä, kun taas osa edellyttää erillisselvitysten tekoa. Erillisselvitystä edellyttävät toimintalinjojen erityistavoitteet ja niitä mittaavat indikaattorit ovat: - toimintalinja 1, tavoite 1: sairauspoissaolojen määrä ja työntekijöiden kokema työssä jaksamisen ja viihtyvyyden lisääntyminen, - toimintalinja 1, tavoite 2: ESR:n tuella syntyneiden uusien yritysten eloonjäämisaste 3 vuotta perustamisen jälkeen, - toimintalinja 3, tavoite 1: (neuvonta-, ohjaus- ja osaamis-) järjestelmiä käyttäneiden kokema hyöty, - toimintalinja 3, tavoite 2: koulutukseen osallistuneista (työpaikkaohjaajista ja opettajista) sen hyödylliseksi kokeneiden %-osuus, - toimintalinja 4, tavoite 1: projekteissa mukana olevien rekrytointivaikeuksiinsa (maahanmuuttajien avulla) ratkaisun löytäneiden yritysten osuus - toimintalinja 4, tavoite 2: ESR-toiminnalla kehitettyjen (ja levitettyjen) hyvien käytäntöjen lukumäärä.
Kohde Aineistot ja lähteet Raportointi-ajankohta Huomioitavaa Ao. toimintaa kyseisessä toimintalinjassa sisältävät valtakunnalliset kehittämisohjelmat (myöh. vk-ohjelmat) ja hankkeet Seurantajärjestelmä, kyselyt vk-ohjelmille, hankkeille ja kohderyhmille, sekä haastattelut ja hankkeiden omien arviointien hyödyntäminen Kerran vuodessa vuosiraportoinnin yhteydessä. Lisäksi on line -raportointia seurantakomitealle. Tiivis, pragmaattinen ja helposti hyödynnettävä raportti sisältäen keskeisten tunnuslukujen esittämisen lyhyine analyyseineen 3.2. Ohjelman toimeenpanon arviointi Ohjelman toimeenpanon arvioinnilla tarkoitetaan ulkopuolisen arvioitsijan/ arvioitsijoiden kerran vuodessa vuosiraportoinnin yhteydessä tuottamaa arviointiraporttia/-raportteja. Aineistona ulkopuolinen arvioitsija voi käyttää mm. jo olemassa olevaa aineistoa (mm. seuranta-aineistoa, projektien itsensä tekemiä tai teettämiä arviointeja) sekä projekteille/tukirakenteille tehtäviä kyselyjä (esim. projektien väliraportoinnin yhteydessä). Tarvittaessa voidaan kerätä myös haastattelu- tms. aineistoa. Nämä kerran vuodessa tuotettavat arviointiraportit ovat luonteeltaan pragmaattisia, pelkistettyjä ja tiiviitä raportteja, jotka sisältävät tietoa edistymisestä, laadukkuudesta, hallinnon toimivuudesta jne. Kohde Aineistot ja lähteet Raportointi-ajankohta Huomioitavaa Toimeenpanon edistyminen ja mahdollisesti esiin nousseet toimintalinjoittain Seurantajärjestelmä, kyselyt vk-ohjelmille, hankkeille ja kohderyhmille, sekä hankkeiden omien arviointien hyödyntäminen Kerran vuodessa vuosiraportoinnin yhteydessä. Lisäksi on line -raportointia seurantakomitealle. Tiivis, pragmaattinen ja helposti hyödynnettävä raportti sisältäen keskeisten tunnuslukujen esittämisen lyhyine analyyseineen ESR-ohjelma toimeenpannaan valtakunnallisessa osiossa ja neljässä alueellisessa osiossa. Valtakunnallisessa osiossa toimeenpano tapahtuu pääasiassa ns. valtakunnallisten kehittämisohjelmien kautta. Valtakunnallisten hankkeiden toimeenpanoa tukee ns. tukirakenne, jonka tehtäviin kuuluu mm. hyvien käytäntöjen ja verkostoitumisen edistäminen. Yksi tukirakenteen tehtävistä on vaikuttavuuden ja tuloksellisuuden edistäminen. Tukirakenne myös vastaa omaan kehittämisohjelmaansa kuuluvien projektien arvioinnista. Erikseen selvitettävillä ohjelmatason indikaattoreilla mitataan ESR- kaikkia toimintalinjoja koskevia vaikutuksia, tuloksia ja aikaansaannoksia. Tällaisia indikaattoreita ovat: 1. Osallistujien valmiuksien ja osaamisen paraneminen 2. Työhön, koulutukseen tai muuhun toimenpiteeseen sijoittuminen ESR-toimenpiteiden avulla 3. Verkostot ja kumppanuudet 4. Hyvät käytännöt, uudet toimintamallit ja innovaatiot 5. Tasa-arvon edistäminen. Kohde Aineistot ja lähteet Raportointi-ajankohta Huomioitavaa Ohjelmatason Seurantajärjestelmä, Joka toinen vuosi Ko. indikaattoreiden indikaattorit (ohjelma- kyselyt vk-ohjelmille, vuosiraportoinnin selvitys ja seuranta alkaa
asiakirjan liitteen 3 mukaisesti) hankkeille ja kohderyhmille, sekä haastattelut, hankkeiden omien arviointien hyödyntäminen yhteydessä alkaen vuonna 2009 (raportointivuosi 2008) lähtö- ja tavoitetasojen määrittelyllä. Tuotoksen tulee olla tiivis, pragmaattinen ja helposti hyödynnettävä raportti. Jatkuvassa arvioinnissa ohjelmaa tarkastellaan toimintalinjoittain ja mahdollisesti alueittain. Koko arviointi on osa strategista arviointia. 3.3. Strateginen arviointi Ohjelman strategisessa arvioinnissa keskitytään vetämään yhteen ja analysoimaan erillisselvityksinä toteutetuista toimintalinjatason indikaattoreista ja toimeenpanon arvioinneista saatuja tuloksia. Täydentäviä menetelmiä ja tietoja käytetään, mutta periaatteessa myös strategisessa arvioinnissa pitäydytään tiiviissä ja helppolukuisissa raporteissa. Strategisessa arvioinnissa keskitytään arvioimaan valittujen strategioiden relevanssia, konsistenssia, vaikuttavuutta ja tehokkuutta. Huomiota kiinnitetään siihen, miten ohjelma toteuttaa yleisiä EU:n ja kansallisia tavoitteita, kuten esimerkiksi Lissabonin strategiaa, sekä ESRtoimintaa ohjaavia yleisiä periaatteita, kuten esimerkiksi tasa-arvoa ja sosiaalisten innovaatioiden syntyä, kumppanuutta, pienten toimijoiden aseman turvaamista ja kestävää kehitystä. Kohde Aineistot ja lähteet Raportointi-ajankohta Huomioitavaa Yhteenveto toimeenpanon arvioinneista ja erilliselvityksistä: - relevanssi - konsistenssi/koherenssi - vaikuttavuus - tehokkuus Tehdyt arviointiraportit ja erillisselvitykset, mahdolliset täydentävät aineistot Vuoden 2009 syksyn seurantakomiteassa (raportointivuodet 2007-2009 Tavoitteena selkeä ja helposti hyödynnettävä raportti 4. Arviointisuunnitelman toimeenpano Seurantakomitean käsiteltyä arviointisuunnitelman käynnistää arvioinnin ohjausryhmä ulkopuolisille arvioitsijoille suunnatut tarjouskilpailut. Tutkimuskysymykset, aikataulut yms. tarkennetaan tarjouspyynnöissä. Arvioinnin ohjausryhmä valitsee arvioitsijat saatujen tarjouksien perusteella. Hallintoviranomainen tekee valittujen arvioitsijoiden kanssa arviointisopimukset. Ennen arviointityön aloittamista on valittujen arvioitsijoiden esitettävä ohjausryhmälle hyväksyttäväksi työsuunnitelma, josta yksityiskohtaisesti ilmenee arvioinnin eteneminen. Arvioitsijat raportoivat työn edistymisestä ohjausryhmälle vähintään puolivuosittain. Ohjelman seurantakomitealle arvioitsijat raportoivat vuosittain tai erikseen arviointisopimuksessa sovittavalla tavalla. Aiemmin tämän asiakirjan luvussa 3 kuvatut erillisselvitykset ja arvioinnit on liitteessä esitetty taulukkomuodossa. Arvioinnit tullaan toteuttamaan 5 erillisessä arviointikokonaisuudessa (TL:t 1-4 sekä strateginen arviointi, kts. liite).
LIITE Manner-Suomen ESR-ohjelmassa kaudella 2007-2013 toimeenpantavat arviointikokonaisuudet: TL3 TL4 Toimintalinja 1, tavoite 2: yritysten eloonjäämisaste Toimintalinja 3, tavoite 1: järjestelmiä käyttäneiden kokema hyöty Toimintalinja 3, tavoite 2: koulutuksen osallistuneista sen hyödylliseksi kokeneiden %-osuus Toimintalinja 4, tavoite 2: kehitetyt ja levitetyt hyvät käytännöt Toimintalinja 4, tavoite 1: rekrytointivaikeuksiinsa ratkaisun löytäneet yritykset Toimintalinjatason indikaattorit (erillisselvitykset) TL1 Toimintalinja 1, tavoite 1: sairauspoissaolot sekä työssä jaksaminen ja viihtyminen Ohjelman toimeenpanon arviointi TL1 Toimintalinjan 1 toimeenpanon edistyminen TL2 Toimintalinjan 2 toimeenpanon edistyminen TL3 Toimintalinjan 3 toimeenpanon edistyminen TL4 Toimintalinjan 4 toimeenpanon edistyminen
Ohjelmatason indikaattorit TL1 Osallistujien valmiuksien ja osaamisen parantaminen TL2 Työhön, koulutukseen tai muuhun toimenpiteeseen sijoittuminen ESRtoimenpiteiden avulla TL3 Verkostot ja kumppanuudet TL4 Hyvät käytännöt, uudet toimintamallit ja innovaatiot TL4 Tasa-arvon edistäminen Strateginen arviointi ESRstrategia erillisselvityksistä: relevanssi, konsistenssi/ Yhteenveto toimeenpanon arvioinneista ja koherenssi, vaikuttavuus ja tehokkuus Raportointi syksyllä 2009 (raportointivuodet 2007-2009)