Tarkennettu arviointisuunnitelma

1 Vuosina 2007-2013 toteutettavan Manner- Suomen ESR-ohjelman toimeenpanon arviointi vuosina 2009-2011 TEM/2803/13.01.01/2009 Tarkennettu arviointisuunnitelma 10.2.2010

2 Sisällysluettelo ARVIOINNIN TYÖSUUNNITELMA... 3 1 YLEISTÄ... 3 2 ARVIOINTITYÖN TAVOITTEET JA LÄHESTYMISTAPA ARVIOINTIIN... 4 2.1 TOIMINTALINJATASOISTEN JA OHJELMATASOISTEN ERILLISELVITETTÄVIEN INDIKAATTORITIETOJEN TUOTTAMINEN JA ANALYSOINTI... 4 2.2 OHJELMAN JA SEN TOIMINTALINJOJEN TOIMEENPANON ARVIOINTI... 5 3 ARVIOINNIN TOTEUTUSTAPA... 6 3.1 ARVIOINNIN TYÖVAIHEET... 6 3.2 AIKATAULUTETTU TYÖSUUNNITELMA VUODELLE 2010... 8 4 ARVIOINTITIIMI... 10 4.1 ARVIOINTIKONSORTION TYÖNJAKO... 11

3 Arvioinnin työsuunnitelma 1 Yleistä Euroopan sosiaalirahaston avulla tuetaan erilaisia työllisyyttä ja osaamista edistäviä hankkeita. Ohjelmalla rahoitetaan hankkeita, joiden tavoitteena on työllistymisen edistäminen, työssä pysyminen ja syrjäytymisen ehkäisy. ESR tukee yrittäjyyttä ja yritysten kehittämistä sekä parantaa työorganisaatioiden toimivuutta ja tuottavuutta kestävällä tavalla. Rakenteellisilla hankkeilla mm. uudistetaan koulutusjärjestelmiä ja opetussuunnitelmia ja pyritään siten vastaamaan työelämän tarpeisiin. Lisäksi pyritään helpottamaan koulutuksesta työelämään siirtymistä sekä aikuisväestön koulutukseen osallistumisen edellytyksiä. Manner-Suomen ESR-toimenpideohjelma on valtakunnallinen ja kattaa koko maan. Ohjelmalla rahoitetaan hankkeita, joiden tavoitteena on työllistymisen edistäminen, työssä pysyminen ja syrjäytymisen ehkäisy. Ohjelmassa on valtakunnallinen osio ja neljä alueellista osiota 1. Sen toimintalinjat ovat: Toimintalinja 1: Työorganisaatioiden, työssä olevan työvoiman ja yritysten kehittäminen sekä yrittäjyyden lisääminen Toimintalinja 2: Työllistymisen ja työmarkkinoilla pysymisen edistäminen sekä syrjäytymisen ehkäiseminen Toimintalinja 3: Työmarkkinoiden toimintaa edistävien osaamis-, innovaatio- ja palvelujärjestelmien kehittäminen Toimintalinja 4: Jäsenvaltioiden ja alueiden välinen yhteistyö ESR-toiminnassa Ohjelman tavoitteena on luoda 12 000 uutta työpaikkaa, 7 000 uutta yritystä ja vaikuttaa 450 000 henkilön työllistyvyyden ja osaamisen paranemiseen. Sen rahoituskehys on 615,4 milj.. Lisäksi kansallista julkista rahoitusta ohjelman toteuttamiseksi on varattu 798,7 milj.. ESRohjelman valtakunnallisen osion sisällä rahoitusta on keskitetty kansallista politiikkaa täydentäviin laajoihin valtakunnallisiin kehittämisohjelmiin. Arvioinnista on tehty suunnitelma vuosille 2007-2013. Sen mukaisesti arviointityö on pyritty kytkemään ns. jatkuvan arvioinnin avulla aiempaa kiinteämmin tukemaan ohjelman toteutusta 2 siten, että arviointityö toteutetaan komivaiheisesti. Arvioinnin ensimmäinen vaihe on toteutettu 2007-2009. Siinä rakennettiin toimintalinjakohtaiset ja ohjelmatasoiset indikaattorit, luotiin näitä tuottava seurantajärjestelmä sekä tuotettiin indikaattoritietoon perustuvat arvioinnit kultakin toimintalinjalta ohjelman ensimmäisen toimeenpanovuoden ajalta. Tämän arvioinnin kohteena on ohjelman ja sen toimintalinjojen edistymisen toiminnallis-operationaalinen arviointi vuosina 2009-2011. Työssä tuotetaan ja analysoidaan ohjelmatasoisia ja toimintalinjatasoisia indikaattoritietoja sekä arvioidaan ohjelman toimeenpanoa. Työ perustuu vahvasti arvioinnin ensimmäisessä vaiheessa luotuihin toimintalinjakohtaisiin seurantajärjestelmiin ja niiden tuottamiin indikaattoritietoihin. 1 ESR-ohjelma toimeenpannaan valtakunnallisessa osiossa ja neljässä alueellisessa osiossa. Valtakunnallisessa osiossa toimeenpano tapahtuu pääasiassa ns. valtakunnallisten kehittämisohjelmien kautta. Valtakunnallisten hankkeiden toimeenpanoa tukee ns. tukirakenne, jonka tehtäviin kuuluu mm. hyvien käytäntöjen ja verkostoitumisen edistäminen. Alueelliset osiot ovat Itä-Suomen, Pohjois-Suomen, Länsi-Suomen ja Etelä- Suomen alueosiot. 2 Nykyisellä rakennerahasto ohjelmakaudella 2007-2013 ohjelmien arviointityö pyritään ns. jatkuvan arvioinnin avulla kytkemään aiempaa kiinteämmin tukemaan ohjelman toteutusta. Jatkuva arviointi koostuu 1) tiettyjen indikaattoreiden edellyttämistä erillisselvityksistä, 2) valtakunnallisten kehittämisohjelmien ja muiden ESRhankkeiden säännönmukaisesta ja jatkuvasta arvioinnista, sekä 3) edellä mainittuja hyödyntävistä ja yhteenvetävistä koko ohjelman ja sen toimintalinjojen edistymistä analysoivista arvioinneista. Jatkuvan arvioinnin avulla on mahdollista saada käytännönläheistä ja entistä monipuolisempaa tietoa ohjelman toimeenpanosta ja toimintaympäristöstä.

Ohjelman valtakunnallinen osio Ohjelman alueosiot Toimintalinjakohtaiset osiot 4 2 Arviointityön tavoitteet ja lähestymistapa arviointiin Arvioinnin tehtävänä on: 1. arvioida ohjelman tuloksia ja vaikutuksia toimintalinjatasoisten ja ohjelmatasoisten indikaattoreiden avulla sekä 2. arvioida ohjelman ja sen toimintalinjojen toimeenpanoa. Arvioinnissa tuotetaan tietoa erikseen ohjelman valtakunnallisesta osiosta sekä kustakin ohjelman neljästä alueosiosta. Arviointitehtävä kattaa ohjelmatason ja toimintalinjatason indikaattoreiden tuottamisen ja analysoinnin sekä ohjelman ja sen toimintalinjojen toimeenpanon arvioinnin. Työssä tukeudutaan kokonaisvaltaiseen, jatkuvaa arviointia tukevaan, lähestymistapaan. Kuvassa 1. on kuvattu kokonaisvaltaisesti arvioinnin toteutustapaa osana ESR-ohjelman jatkuvan arvioinnin prosessia. Ohjelma- ja toimintalinjatason indikaattoreiden seurantajärjestelmä Indikaattoritietoon pohjautuva tulosten ja vaikutusten arviointi Toimintalinjakohtaisilla erillisselvityksillä tuotettavat indikaattorit EURA 2007 järjestelmästä suoraan saatavat indikaattorit ESR-ohjelman kaikkia toimintalinjoja koskevat erillisselvityksillä saatavat ohjelmatason indikaattorit Muut ohjelman toteutumisen arvioinnissa käytettävät tiedot ja menetelmät Toimintalinjakohtaiset tulokset ja vaikutukset ESR-ohjelman kaikkia toimintalinjoja koskevat tulokset ja vaikutukset ohjelmatasolla Ohjelman ja sen toimintalinjojen toteutumisen arviointi Toimintalinjojen toimeenpano Hankkeiden tavoiteasetanta Valintakriteerit ja valintamenettelyt Hanketason tulokset ja vaikutukset Rakennerahastojen yhteensovittaminen yms. Kehittämisehdotukset ohjelman loppukaudelle Seuranta- ja indikaattorijärjestelmän ja tiedonkeruumenetelmien täsmentäminen Indikaattori- ja muun seurantatiedon analysointi Kehittämisehdotukset ohjelman loppukautta varten Indikaattori- ja muun seurantatiedon tuottaminen Johtopäätökset ohjelman toimeenpanoista ja tuloksista ja vaikutuksista Kuva 1. Kokonaisvaltainen lähestymistapa arviointityöhön 2.1 Toimintalinjatasoisten ja ohjelmatasoisten erillisselvitettävien indikaattoritietojen tuottaminen ja analysointi Toimintalinjatasoisten ja ohjelmatasoisten indikaattoritietojen tuottaminen ja analysointityö perustuu jatkuvan arvioinnin periaatteen mukaisesti jo luotuun toimintalinjatasoiseen ja ohjelmatasoiseen indikaattorijärjestelmään. Ohjelman ja sen toimintalinjojen tuloksia ja vaikutuksia kuvaavat indikaattorit on määritelty kautta 2007-2013 koskevan ESR-ohjelman arviointisuunnitelmassa ja niitä tuottava systemaattinen jatkuvan seurannan mahdollistava seurantajärjestelmä luotiin ensimmäisessä arviointivaiheessa 2008-2009. Indikaattorit kertovat ohjelman onnistumisesta omien tavoitteidensa saavuttamisessa. Niiden avulla arvioinnissa tuotetaan tietoa mm. seuraavanlaisiin arviointikysymyksiin:

- Miten eri toimintalinjat ovat edenneet päätavoitteidensa saavuttamisessa ja millaisia tuloksia toimintalinjoilla on saavutettu? - Miten ESR-ohjelma on edennyt kaikkia toimintalinjoja yhteisesti koskevien vaikutusten, tulosten ja aikaansaannoksien tuottamisessa? - Mikä on ollut ohjelman vaikuttavuus ohjelman toimeenpanon tässä vaiheessa? Osa ohjelman tuloksia ja toteutumista kuvaavista indikaattoreista saadaan suoraan EURA 2007- järjestelmästä. Osa puolestaan vaatii erillisselvityksiä. Indikaattoritietoja tuotettaessa ja analysoitaessa tukeudutaan ensimmäisen arviointikierroksen aikana kehitettyihin järjestelmiin sekä työmenetelmiin, jotta erilliselvitettävistä indikaattoreista saadaan systemaattista ja vertailukelpoista tietoa ja arvioinnissa tuotettavat indikaattorit pystytään suhteuttamaan niiden lähtötasoihin. Erillisselvitettävät indikaattorit, vuotta 2008 koskevat lähtötasot sekä indikaattorien tuottamisessa käytettävät työmenetelmät on koottu liitteeseen 1. 5 2.2 Ohjelman ja sen toimintalinjojen toimeenpanon arviointi Ohjelman ja sen toimintalinjojen toimeenpanon arvioinnissa keskeisenä fokuksena on ohjelman toteutuminen suhteessa sille asetettuihin tavoitteisiin. Ohjelman puolivälin (väliarvioinnin) tienoissa ohjelman onnistuneen toimeenpanon keskeinen kysymys on tuleeko ohjelma nykyisellä toteutustavalla saavuttamaan tavoitteensa ja pitäisikö ohjelmaa ja sen toteutuskonseptia kehittää, jotta se saavuttaisi tavoitteensa mahdollisimman tehokkaasti. Toimeenpanon arviointi voidaan tältä pohjalta kiteyttää kolmeen pääkysymykseen: 1) Tehdäänkö ohjelmassa sekä sen toimintalinjoissa ja hankkeissa oikeita asioita tavoitteiden saavuttamisen näkökulmasta, 2) Tehdäänkö asiat tehokkaasti ja tavoitteiden saavuttamisen kannalta tarkoituksenmukaisella tavalla sekä 3) Pitääkö ohjelman toteutustapaa ja keinoja muuttaa, jotta tavoitteet saavutetaan tehokkaasti. Arviointityössä vastauksia haetaan erityisesti seuraaviin kysymyksiin: - Onko ja miten ohjelmalla ja sen toimintalinjojen toimeenpanossa onnistuttu vastaamaan asetettuihin tavoitteisiin? Mikäli tavoitteita ei ole saavutettu, mitkä ovat siihen keskeiset syyt? Jos tavoitteet on saavutettu, mikä on ollut erityisen onnistunutta ja miksi? - Onko hankkeiden tavoiteasetanta ollut realistinen suhteessa käytettävissä olleisiin resursseihin? - Ovatko ohjelman valintakriteerit ja hankkeiden valintamenettelyt olleet onnistuneita? - Mikä on hankkeiden vaikuttavuus ja millaisia tuloksia ja vaikutuksia on saatu aikaan hanketasolla? - Millaisia hankkeita tulisi kussakin toimintalinjassa painottaa? - Miten rakennerahastojen (EAKR ja ESR) yhteensovittaminen ohjelman alueellisissa osioissa on toteutunut ja miten siinä on onnistuttu? Ohjelman ja sen toimintalinjojen toimeenpanon arviointi perustuu ensisijaisesti toimintalinjakohtaisen hankekokonaisuuden seurannalle. Erityistä huomiota siinä pyritään kiinnittämään toimeenpanossa mahdollisesti esiin nousseisiin ongelmiin sekä toisaalta tuloksekasta ja vaikuttavaa toimintaan tukeviin hyviin käytäntöihin. ESR-arvioinnin ensimmäisessä vaiheessa (2008-2009) luodun menettelytavan mukaisesti keskeisiä menetelmiä toimeenpanon arvioinnissa ovat hanke- ja rahoittajakyselyt, teemahaastattelut sekä EURA 2007- järjestelmän tuottaman tiedon (lähinnä volyymitiedot) hyödyntäminen. Rakennerahastojen (EAKR ja ESR) yhteensovittamisen onnistumisen arviointi edellyttää lisäksi erillisajona EURA 2007-järjestelmäöstä tehtävää hanketason tarkastelua. Arvioinnissa on tarkoituksenmukaista hyödyntää myös valtakunnallisista hankkeista tehtyjä erillisselvityksiä ja arviointeja, sikäli kun niitä on saatavilla.

6 3 Arvioinnin toteutustapa 3.1 Arvioinnin työvaiheet Tässä esitetty arviointisuunnitelma perustuu edellä kuvattuihin periaatteisiin nojaavan lähestymistapaan. Keskeistä siinä on jo olemassa olevan indikaattori- ja seurantajärjestelmän tuottaman tiedon systemaattinen hyödyntäminen ESR-ohjelman toimeenpanon tukena. Arviointityö toteutetaan tältä pohjalta vuosittain kuudessa toisiaan tukevassa työvaiheessa jotka ovat: a) ESR-arvioinnin ensimmäisessä vaiheessa (2007-2009) luodun toimintalinjakohtaisen seuranta- ja indikaattorijärjestelmän sekä siihen liittyvien tiedonkeruumenetelmien täsmentäminen ja yhdenmukaistaminen. b) Indikaattori- ja muun seurantatiedon tuottaminen c) Indikaattori- ja muun seurantatiedon analysointi d) Johtopäätökset ohjelman toimeenpanoista ja tuloksista ja vaikutuksista e) Kehittämisehdotukset ohjelman loppukautta varten f) Tulosten raportointi a) Arviointityön ensimmäisessä vaiheessa kootaan yhteen kunkin toimintalinjan erillisselvitettäville indikaattoreille sekä ohjelmatason indikaattoreille luodut järjestelmät, menetelmät ja mittausalustat. Oleellista on myös koota ohjelman ensimmäisen vuoden osalta jo tuotetut indikaattoritiedot yhtenäiseen tietokantaan, sillä useiden indikaattoreiden osalta ensimmäisen vuoden tiedot muodostavat lähtötason indikaattorin seurannalle ja tulkinnalle. Työvaiheessa on edelleen syytä systematisoida ja yhdenmukaistaa eri toimintalinjojen indikaattoreille sekä koko ohjelmatasolle luotuja indikaattoreiden tuottamismenetelmiä (mm. kyselylomakkeet), siten että ne ovat toistettavissa vuosina 2010 ja 2011 sekä myös tämän arviointitehtävän jälkeen esimerkiksi loppuarviointia tehtäessä. Työvaiheen lopputuloksena on yhtenäinen kuvaus kunkin erillisselvitettävän indikaattorin aineistolähteistä, toteutustavasta sekä indikaattorin tuottaman tiedon tulkinnasta siihen sisältyvine epävarmuustekijöineen. Työvaiheen tulosten perusteella arviointisuunnitelmaa ja indikaattoreiden tuottamisessa käytettäviä menetelmiä täsmennetään. b) Indikaattoritiedon tuottamisen lähtökohtana ovat toimiva seurantajärjestelmä sekä toteuttamiskelpoiset menetelmät. Arvioinnin ensimmäisessä vaiheessa yhdenmukaistetun järjestelmän ja täsmennettyjen menetelmien avulla tuotetaan toimintalinjakohtaiset erillisselvitettävät indikaattorit sekä ohjelmatasoiset erillisselvitettävät indikaattorit. Koska indikaattoreiden erityispiirteistä johtuen järjestelmät ja menetelmät ko. indikaattoreiden tuottamiseksi ovat hyvin erityyppiset, edellyttää arviointityö monen tyyppisten menetelmien sekä lähteiden käyttöä. Erityishuomiota vaativat mm. ne toimintalinja- ja ohjelmatason indikaattorit, joiden tuottaminen perustuu erillisiin kyselyihin ja mittausalustoihin (mm. työntekijöiden kokema työssä jaksamisen ja viihtyvyyden lisääntyminen, uusien yritysten eloonjäämisaste koulutettujen, työpaikkaohjaajien ja opettajien koulutuksesta kokema hyöty). Keskeisiä menetelmiä ja lähteitä indikaattorien tuottamiseksi ovat mm: hankekyselyt, haastattelut, erilliskyselyt kohderyhmille, valmiista seurannasta tai tietokannoista kootut tiedot (EURA, OPAL, Voitto +) 3 sekä nonstop-tyyppiset mittausalustat. 3 Uuden yritystoiminnan synnyn tukemisen osalta erillisselvitettäväksi indikaattoriksi on määritetty ESR:n tuella syntyneiden uusien yritysten eloonjäämisaste 3 vuotta perustamisen jälkeen. Indikaattori mittaa ESR-toiminnan vaikutuksia aikaviiveellä ja antaa tietoa yritysten eloonjäämisestä vasta ohjelman loppukaudella. Indikaattorin tuottamisessa käytetään hyväksi EURAsta saatavaa tietoa ESRtuilla perustetuista yrityksistä sekä muista tietokannoista (esim. Voitto +, Fonecta) saatavia yritysten tilipäätöskertomuksia. Esimerkiksi ohjelman ensimmäisen vuoden aikana (2008) syntyneistä

Ohjelman ja sen toimintalinjojen toimeenpanon arviointi perustuu pääosin hanketason tietoon jota saadaan EURA 2007 järjestelmästä sekä erillisellä hankekyselyllä. Tutkijatiimi näkee tarkoituksenmukaiseksi, että ohjelman toimeenpanoa arvioidaan myös alueellisille rahoittajatahoille tehdyn kyselyn avulla. c) Indikaattori- ja muun seurantatiedon analysointivaiheessa edellisessä työvaiheessa kerätty tieto analysoidaan erikseen kunkin indikaattorin osalta. Tulokset tulkitaan ja raportoidaan tulosten, vaikutusten ja ohjelman etenemisen osalta toimintalinja- ja ohjelmatasolla sekä erikseen ohjelman valtakunnallisesta osiosta että alueosioista. Hyvinä käytäntöinä voidaan esiin nostaa myös yksittäisten hakkeiden toimintatapoja ja tuloksia. Ohjelman toimeenpanon osalta vastaukset haetaan erityisesti kysymyksiin: miten ohjelmalla ja sen toimintalinjojen toimeenpanossa onnistuttu vastaamaan sille asetettuihin tavoitteisiin? Miten rakennerahastojen (EAKR ja ESR) yhteensovittaminen ohjelman alueellisissa osioissa on toteutunut? Onko hankkeiden tavoiteasetanta ollut realistinen suhteessa käytettävissä olleisiin resursseihin? Ovatko ohjelman valintakriteerit ja hankkeiden valintamenettelyt olleet onnistuneita? Millaisia hanketason tuloksia on saavutettu? d) Johtopäätökset ja e) kehittämisehdotukset ohjelman toimeenpanoista ja tuloksista ja vaikutuksista perustuvat edellisten työvaiheiden tulosten kokonaisvaltaiseen tulkintaan. Johtopäätöksissä huomiota kiinnitetään erityisesti seuraaviin kysymyksiin: - Mitkä ovat ohjelman tulokset ja tämänhetkinen vaikuttavuus - Tullaanko ohjelman tavoitteet saavuttaman ohjelmakauden kuluessa - Tehdäänkö ohjelmassa sekä sen toimintalinjoissa ja hankkeissa oikeita asioita tavoitteiden saavuttamisen näkökulmasta - Tehdäänkö asiat tehokkaasti ja tavoitteiden saavuttamisen kannalta tarkoituksenmukaisella tavalla sekä - Pitääkö ja miten ohjelman toteutustapaa ja keinoja muuttaa, jotta tavoitteet saavutetaan tehokkaasti f) Tulosten raportointi Arviointitiedon tuottamisessa lähtökohtana on arviointitiedon käyttötarkoitus sekä merkitys ohjelman päätöksentekoa ja toimeenpanoa tukevana palautteena. Arvioinnin edistymisestä ja arvioinnin tuloksista raportoidaan hallintoviranomaiselle ja arvioinnin ohjausryhmälle kaksi kertaa vuodessa tilaajan kanssa sovittavalla tavalla. Lisäksi arvioitsijat esittelevät arvioinnin tuloksia TEMin järjestämissä seminaareissa toimeksiantajan kanssa myöhemmin sovittavan aikataulun mukaisesti. Arviointiraportti tuotetaan kirjallisesti kerran vuodessa. Siinä kuvataan arvioinnin tuloksia, ohjelman ja sen toimintalinjojen toimeenpanon edistymistä sekä hyviä käytäntöjä ja mahdollisia toimeenpanon ongelmia. Raportissa pyritään antamaan myös suosituksia ohjelman toteutusta silmälläpitäen. 7 yrityksistä ko. indikaattoritieto on mahdollista tuottaa vasta vuoden 2011 loppupuoliskolla. Tähän ajankohtaan sakka seurantajärjestelmään kerätään tunnistetietoa perustetuista yrityksistä.

8 3.2 Aikataulutettu työsuunnitelma vuodelle 2010 Arviointityö käsittää kaksi arviointikierrosta: vuoden 2009 seurantatietojen ja toimeenpanon arvioinnin sekä vuoden 2010 seurantatietojen ja toimeenpanon arvioinnin. Tarjouspyynnön mukaisesti arvioinnit tulisi luovuttaa tilaajalle vuoden 2009 tietojen osalta maaliskuussa 2010 ja vuoden 2010 tietojen osalta maaliskuussa 2011. Aikataulu etenkin vuoden 2009 tietojen osalta on hyvin haasteellinen, sillä osa erillisselitettävistä indikaattoreista perustuu kyselyihin ja mittausalustoihin, joiden rakentaminen ja vastausten saaminen vie aikaa. Osa indikaattoreista perustuu sellaisten järjestelmien tietoihin, joita ei edellisen vuoden osalta ole alkuvuodesta saatavilla. Edellisvuotta koskevat indikaattoritiedot tuotetaan maaliskuun loppuun mennessä siltä osin kun ne on mahdollista tuottaa. Tulokset raportoidaan huhtikuun aikana siten, että ne voidaan liittää vuosiraportoinnin yhteyteen. Oheiseen taulukkoon on koottu arvioinnin vuotuinen työsuunnitelma koskien vuosia 2010-2011. 2010 1. ESR-arvioinnin ensimmäisessä vaiheessa (2007-2009) luodun toimintalinjakohtaisen seuranta- ja indikaattorijärjestelmän sekä siihen liittyvien tiedonkeruumenetelmien täsmentäminen ja yhdenmukaistaminen. vko 4-6 Indikaattorijärjestelmän yhteen kokoaminen ja systematisointi Työvaiheessa tehdään yhtenäinen kuvaus kunkin erillisselvitettävän indikaattorin aineistolähteistä, toteutustavasta sekä indikaattorin tuottaman tiedon tulkinnasta siihen sisältyvine epävarmuustekijöineen. Työvaiheen tulosten perusteella arviointisuunnitelmaa ja indikaattoreiden tuottamisessa käytettäviä menetelmiä täsmennetään. Erityishuomio kiinnitetään hankekyselyn tiivistämiseen. Hankekyselyn sisältöä yhdenmukaistaan eri toimintalinjojen kysymysten kesken, jotta ohjelman eri toimintalinjojen toteutumisesta saadaan mahdollisimman yhtenäinen ja vertailukelpoinen kuva. vko 6-7 Arviointisuunnitelman täsmentäminen yhdessä tilaajan kanssa (ohjausryhmä) Työsuunnitelmaa, arviointitiedon tuottamisessa käytettäviä menetelmiä, raportointiaikataulua, seminaarien, työkokousten ajankohtia yms. täsmennetään yksityiskohtaiseksi työsuunnitelmaksi yhdessä toimeksiantajan kanssa. 2. Indikaattori- ja muun seurantatiedon tuottaminen ja analysointi vko 9-11 vko 10-11 Hankekysely Hankekysely on vakiomuotoinen ja yhteinen ohjelman kaikkien toimintalinjojen hankkeille. Sen avulla selvitetään hanketasolla ohjelman yleisten periaatteiden toteutumista, ohjelman ja sen toimintalinjojen toimeenpanoa ja etenemistä, toimeenpanon edellytyksiä, hankkeiden sisältöä ja tuloksia, hyviä käytäntöjä yms. Hankekyselyn avulla tuotetaan myös tietyt erillisselvitettävät indikaattorit (mm. verkostot ja kumppanuudet). Tietokanta-analyysi (EURA) EURA 2007 tietokannasta kerätään tarpeen mukaan hankekohtaista volyymitietoa hankkeiden taustatiedoista, toimenpiteiden kohteina olleista

henkilöistä, perutetuista yrityksistä yms. Toistaiseksi Euraan ei ole kirjattu vuotta 2009 koskevia seurantatietoja. Mahdolliset erityisajot tehdään, kun vuotta 2009 koskevat seurantatiedot on siueltä saatavissa. 9 vko 9-10 vko 11- OPAL-palautteen analyysi OPAL-palautetta käytetään hyväksi ohjelmatason indikaattorin, Osallistujien valmiuksien ja osaamisen paraneminen, tuottamisessa ja analysoinnissa. OPAL-järjestelmä tuottaa ennalta sovitut valmiit taulukkopohjaiset perustulosteet ESR- koulutusten onnistumista sekä vaikutusta osallistujien kokemaan koulutuksen hyötyyn ja ammattitaidon lisääntymiseen Kohderyhmäkyselyt Erityyppiset kohderyhmäkyselyt ovat keskeinen osa erillisselvitettävien indikaattoreiden tuottamista. Nämä erilliskyselyillä selvitettävät indikaattorit, niissä käytettävät kyselypohjat sekä mittaus-/tulkinta-alustat on kartoitettu arviointityön ensimmäisessä työvaiheessa. Niiden tuottamista on kuvattu lähemmin liitteessä 1. 3. Johtopäätösten ja kehittämisehdotuksien laadinta vko 12-14 vko 14-15 Indikaattoritietojen kokonaisanalyysi Johtopäätökset Työvaiheessa tehdään kokonaisanalyysi ja esitetään johtopäätökset edellä kuvattujen työvaiheiden tulosten perusteella. Kokonaisanalyysissä ja johtopäätöksissä annetaan vastaukset arvioinnin tavoitteiden mukaisiin ydinkysymyksiin. Työvaihe suoritetaan temaattisia arviointimatriiseja ja työpajatyöskentelyä hyväksikäyttäen. vko 15-17 Yhteinen kehittämistyöpaja tilaajan kanssa (ohjausryhmä) 4. Tulosten raportointi Työpajassa käydään läpi arvioinnin keskeiset tulokset ja havainnot, iteroidaan niitä yhdessä toimeksiantajan kanssa sekä mietitään suosituksia ohjelman jatkoa ajatellen. Saadun palautteen perusteella arviointiraporttia täsmennetään ja täydennetään sekä muotoillaan johtopäätökset ja suositukset lopulliseen muotoonsa vko 15-17 vko 18 Vuoden 2009 tulosten alustava raportointi Arvioinnin keskeiset tulokset koskien indikaattoreita ja ohjelman toteutumista vuoden 2009 osalta raportoidaan tiiviissä ja informatiivisessa muodossa toimeksiantajalle huhtikuun aikana siten, että arvioinnin tulokset voidaan liittää vuosiraportoinnin yhteyteen. Raportissa annetaan tietoa erikseen sekä ohjelman valtakunnallisen osion että neljän alueellisen osion osalta. Lopullinen vuoden 2009 tietoja koskeva raportti Laajempi vuotta 2009 koskeva arviointiraportti suosituksineen toimitetaan toimeksiantajalle ennen seurantakomitean kokousta viikolla 18. vko 20 Tulosten esittely seurantakomitealle Kuopiossa 18.-19. 5.2010

10 vko 4 vko 5 vko 6 vko 7 vko 8 vko 9 vko 10 vko 11 vko 12 vko 13 vko 14 vko 15 vko 16 vko 17 vko 18 vko 19 vko 20 vko 21 helmikuu maaliskuu huhtikuu toukokuu 1. Arviointisuunnitelman täsmentäminen Indikaattorijärjestelmän systematisointi Arviointisuunnitelman täsmentäminen 2. Indikaattori- ja muun seurantatiedon tuottaminen ja analysointi Hankekysely Tietokanta-analyysi (EURA) OPAL-palautteen analyysi Kohderyhmäkyselyt 3. Johtopäätösten ja kehittämisehdotuksien laadinta Indikaattoritietojen kokonaisanalyysi Johtopäätökset Yhteinen kehittämistyöpaja 4. Tulosten raportointi Vuoden 2009 tulosten alustava raportointi Lopullinen vuoden 2009 tietoja koskeva raportti Tulosten esittely seurantakomitealle Kuva 2. Aikataulusuunnitelma keväälle 2010. Vuoden 2011 osalta työsuunnitelma noudattaa samaa työsuunnitelmaa. Koska indikaattoritiedon tuottamismenetelmät on koottu yhteen ja systematisoitu samoin mittausalustat otettu käyttöön edellisenä vuonna, voidaan vuoden 2011 osalta aikataulu toteuttaa alkuperäisessä tarjouspyynnön mukaisessa aikataulussa. 1/2011 Hankekysely 1/2011 Rahoittajakysely (jos tarpeen vrt. strategia-arviointi) 2/2011 Tietokanta-analyysi EURA 2/2011 OPAL-palautten analyysi 2/2011 Kohderyhmäkyselyt 3/2011 Indikaattoritietojen kokonaisanalyysi 3/2011 Johtopäätökset 3/2011 Vuoden 2010 tulosten raportointi (raporttiluonnos) 4/2011 Yhteinen kehittämistyöpaja tilaajan kanssa (ohjausryhmä) 4/2011 Suositukset 4/2011 Lopullinen vuoden 2010 tietoja koskeva loppuraportti 5-6/2011 Tulosten esittely seurantakomitealle 4 Arviointitiimi Arviointityö toteutetaan Tempo Economics Oy.n ja Ramboll Management Consultingin tutkijakonsortiossa. Tutkimuskonsortio koostuu kokeneista tutkijoista, joilla on vahvaa kokemusta rakennerahastotoiminnan arvioinnista ja kehittämisestä sekä monipuolista osaamista erityyppisten tutkimus- ja arviointimenetelmien käytöstä. Arvioinnin vastuullisena johtajana toimii FL Mikko Valtakari (varamies Toni Riipinen) ja muina arvioitsijoina toimivat KTT Toni Riipinen (varamies Mikko Valtakari), YTM Olli Oosi (varamies Henrik Pekkala), VTM Henrik Pekkala (varamies Olli Oosi) sekä KTM Nita Korhonen (varamies Henrik Pekkala)

11 4.1 Arviointikonsortion työnjako Arviointityössä eri toimintalinjojen arviointi toteutetaan samanaikaisesti edellä esitettyihin työsuunnitelman työvaiheisiin perustuen. Karkean työnjaon mukaisesti Tempon tutkijaryhmä vastaa arvioinnissa Toimintalinjojen 1 ja 2 erillisselvitettävien indikaattoreiden tuottamisesta ja näiden toimintalinjojen toimeenpanon arvioinnista. Tempo vastaa myös ohjelmatason indikaattoreiden: Osallistujien valmiuksien ja osaamisen parantaminen ja Työhön, koulutukseen tai muuhun toimenpiteeseen sijoittuminen ESR-toimenpiteiden avulla tuottamisesta. RMC:n tutkijaryhmä vastaa puolestaan Toimintalinjojen 2 ja 3 erillisselvitettävien indikaattoreiden tuottamisesta ja näiden toimintalinjojen toimeenpanon arvioinnista sekä ohjelmatason indikaattoreiden: Verkostot ja kumppanuudet sekä Tasa-arvon edistäminen tuottamisesta. Ohjelmatason indikaattorin Hyvät käytännöt, uudet toimintamallit ja innovaatiot tuottamisesta vastaa koko arviointitiimi, samoin ohjelman valtakunnallista osiota ja kustakin neljää alueellisesta osiota koskevista tulkinnoista ja johtopäätöksistä. Arviointityön vastuullisena johtajana ja koordinaattorina toimii Mikko Valtakari. Hän osallistuu arviointityön kaikkiin työvaiheisiin. Muina arvioitsijoina toimivat KTT Toni Riipinen (mm. tilastolliset indikaattorit, johtopäätökset ja suositukset), YTM Olli Oosi (mm. indikaattorijärjestelmän ja menetelmien täsmentäminen ja kehittäminen, analyysit, johtopäätökset ja suositukset), VTM Henrik Pekkala (aineistonhankinta, analyysit johtopäätökset ja suositukset) sekä KTM Nita Korhonen (aineiston hankinta ja analysointi). Arviointitehtäviä ja kunkin henkilön roolia arviointityössä on kuvattu oheisessa kaaviossa. TYÖVAIHE a) Seuranta- ja indikaattorijärjestelmän sekä siihen liittyvien tiedonkeruumenetelmien täsmentäminen ja yhdenmukaistaminen. b) Indikaattori- ja muun seurantatiedon tuottaminen c) Indikaattori- ja muun seurantatiedon analysointi d) Johtopäätökset ohjelman toimeenpanoista ja tuloksista ja vaikutuksista e) Kehittämisehdotukset ohjelman loppukautta varten Valtakari (Tempo) Riipinen (Tempo) Oosi (RMC) Pekkala (RMC) X X X Korhonen (RMC) X X X X X X X X X X X X X X X X X f) Tulosten raportointi X X X