EUROOPAN YHTEISÖJEN KOMISSIO Bryssel 5.12.2000 Ohjelmakausi 2000 2006: menettelytapoja koskevat valmisteluasiakirjat VALMISTELUASIAKIRJA n 8 Rakennetukitoimien väliarviointi
SISÄLLYSLUETTELO Esipuhe...3 Johdanto: Väliarvioinnin rakennepoliittiset tavoitteet... 4 Ensimmäinen osa: Väliarvioinnin vaiheet... 5 1.1. Arvioinnin aikataulu... 6 1.2. Arvioinnin suunnittelu... 7 1.3. Arvioinnin hallinto... 10 1.4. Arvioinnin riippumattomuus... 10 1.5. Arvioinnin järjestäminen kustannustehokkaalla tavalla... 11 1.6. Suhteellisuusperiaatteen noudattaminen... 11 1.7. Rahoitus... 11 1.8. Arvioinnin rakenne... 11 1.9. Laatu... 12 1.10. Kumppanien ja muiden osapuolten kuuleminen... 13 1.11. Julkisuus... 13 1.12. Arviointitulosten ja suoritusvarauksen tarkastelu... 14 Toinen osa: Väliarvioinnin keskeiset tekijät... 15 2.1. Aiempien arviointitulosten analysointi... 15 2.2. Valtion, alueen tai alan vahvuuksien, heikkouksien ja mahdollisuuksien ennakkoarvioinnin ajankohtaisuuden analysointi... 16 2.3. Strategian ajankohtaisuuden ja johdonmukaisuuden arviointi... 16 2.4. Tavoitteiden esittäminen määrällisesti: tuotokset, tulokset ja vaikutukset... 17 2.5. Tähänastisen tehokkuuden ja vaikuttavuuden, toivottujen sosiaalis-taloudellisten vaikutusten sekä politiikan ja määrärahojen jaon arviointi... 19 2.6. Täytäntöönpano- ja seurantajärjestelyjen laatu... 22 2.7. Suoritusvaraus...23 2.8. Päätelmät ja suositukset... 24 LIITE I...28
ESIPUHE Tämä menettelytapoja koskeva asiakirja on tarkoitettu ohjelmakaudella 2000 2006 yhteisön rakennetukitoimista vastaaville kansallisille, alueellisille ja paikallisille viranomaisille sekä erityisesti arvioinnin järjestäjille. Tämän asiakirjan pitäisi olla hyödyllinen myös arvioinnin tekijöille. Asiakirja muodostaa oppaan, jossa kuvataan, kuinka väliarviointi on toteutettava ja mitä siihen on sisällyttävä. Asiakirja koskee kaikkia tavoitteita ja yhteisöaloitteita koskevia yhteisön tukikehyksiä (YTK), toimenpideohjelmia (TO) ja yhtenäisiä ohjelma-asiakirjoja (YOA) 1. Väliarviointi ei ole itsetarkoitus, vaan keino parantaa ohjelmatyön laatua ja asianmukaisuutta. Se antaa mahdollisuuden tunnistaa, mitä muutoksia ohjelmatyössä on tarpeen tehdä alkuperäisten tavoitteiden saavuttamisen varmistamiseksi. Väliarvioinnilla on tärkeä osuus välitarkistuksessa ja se liittyy suoritusvaraukseen 2. Väliarvioinnissa tarkastellaan suoritusvarausta koskevien indikaattorien perusteella saatuja tuloksia ja saatetaan ne ajan tasalle. Nämä muodostavat osan koko ohjelman indikaattoreista. Väliarvioinnin lähtökohtana ovat ennakkoarviointi sekä sovittu yhteisön tukikehys ja toimenpideohjelma tai yhtenäinen ohjelma-asiakirja ja ohjelma-asiakirjan täydennys. Siinä keskitytään pääasiassa toiminnalliseen tasoon eli toimenpideohjelmiin ja yhtenäisiin ohjelmaasiakirjoihin (niitä koskevat ohjelma-asiakirjan täydennykset mukaan luettuina). Yhteisön tukikehyksen tasolla tehtävään arviointiin sisältyy makrotaloudellisen analyysin ajan tasalle saattamisen ohella toimenpideohjelmien arviointia koskevien analyysien ja synteesien laatiminen. Yhteisön tukikehyksen tasolla tehtävän arvioinnin erityisvaatimukset esitetään yksityiskohtaisesti liitteessä I. Väliarvioinnissa käsitellään uudelleen ennakkoarvioinnissa tarkasteltuja ohjelmatyön keskeisiä tekijöitä niiden ajankohtaisuuden varmistamiseksi, väliaikaisten tulosten arvioimiseksi ja todennäköisten vaikutusten selvittämiseksi. Tuloksia tarkastellaan myös suoritusvarausta koskevien indikaattorien kannalta. Väliarvioinnin keskeiset kysymykset ovatkin seuraavat: 1. aiemmat arviointitulokset 2. vahvuuksien, heikkouksien ja mahdollisuuksien analysoinnin ajankohtaisuus 3. strategian ajankohtaisuus ja johdonmukaisuus 4. tavoitteiden ilmaiseminen määrällisesti: tuotokset, tulokset ja vaikutukset 5. tähänastinen tehokkuus ja vaikuttavuus, toivotut sosiaalis-taloudelliset vaikutukset sekä tähän perustuva politiikan ja määrärahojen jaon arviointi 6. täytäntöönpano- ja seurantajärjestelyjen laatu 7. suoritusvarausta koskeviin indikaattoreihin perustuvat tulokset. 1 Väliarvioinnin oikeusperustana on rakennerahastoja koskevista yleisistä säännöksistä 21 päivänä kesäkuuta 1999 annetun neuvoston asetuksen (EY) N:o 1260/1999 42 artikla. 2 Suoritusvaraus ei koske yhteisöaloitteita, mutta tämän valmisteluasiakirjan kaikki muut näkökohdat koskevat myös yhteisöaloitteita.
Kolme ensimmäistä seikkaa liittyvät ohjelmastrategian tarkoituksenmukaisuuden tarkasteluun. Tärkeintä on kuitenkin arvioida, kuinka hyvin tietty tukimuoto todellisuudessa toimii, jolloin perustana käytetään sen ajankohtaisuutta vastaisuudessakin sekä täytäntöönpanon tehokkuutta ja vaikuttavuutta (edellä olevan luettelon 4 6 kohdat). Vaikutuksia tarkastellaan vasta, kun ensimmäiset tulokset ovat tiedossa riippumatta siitä, voivatko nämä tulokset tai muut tässä yhteydessä ilmenevät muutokset muuttaa odotettua vaikutusta. Kauden 1994 1999 väliarviointien mukaan merkittävää edistystä on tapahtunut, sillä jäsenvaltiot olivat voineet ottaa oppia edellisellä kaudella (1989 1993) saaduista kokemuksista. Komissio on vakuuttunut siitä, että vuosina 2002 2003 tehtävissä väliarvioinneissa edistytään vielä tuntuvammin. Tästä syystä rakennerahastojen eri tukimuotoja pyritään parantamaan tarvittaessa, jotta voitaisiin varmistaa, että niiden vaikutus taloudelliseen ja sosiaaliseen koheesioon on mahdollisimman suuri. Oppaan rakenne Opas on jaettu kahteen osaan. Ensimmäisessä osassa käsitellään käytännön kysymyksiä siitä, kuinka väliarviointi voidaan toteuttaa siten, että varmistetaan sen laatu, hyödyllisyys ja hintalaatusuhde. Toisessa osassa keskitytään väliarvioinnin sisältöön edellä mainituilla seitsemällä alalla painottaen aiempia kokemuksia, käytännön näkökohtia ja keskeisiä seikkoja, joita on tarpeen tarkastella. Mikäli kansalliset tai alueelliset viranomaiset haluavat käsitellä väliarvioinneissaan vielä muita seikkoja, ne voidaan sisällyttää arviointiin. Opas on tarkoitettu apuvälineeksi väliarviointien teettäjien ja tekijöiden käyttöön. Sitä on käytettävä joustavasti, joskin kaikki keskeiset tekijät on otettava huomioon väliarviointia laadittaessa. JOHDANTO: VÄLIARVIOINNIN RAKENNEPOLIITTISET TAVOITTEET Väliarvioinnin päätavoitteena on arvioida eri tukimuotojen käytöstä saatuja alustavia tuloksia ja tehdä suosituksia muutoksista, joita tarvitaan sen varmistamiseksi, että tavoitteet saavutetaan. Tämä tavoite voidaan jakaa seuraaviin osatavoitteisiin: Arvioidaan, onko tukimuoto edelleen asianmukainen ratkaisu alueen tai alan ongelmien ratkaisemiseksi. Väliarvioinnissa tarkastellaan ennakkoarvioinnin analyysia ottaen huomioon olosuhteissa tapahtuneet muutokset, jotta voitaisiin arvioida valittujen toimintalinjojen ajankohtaisuutta ja tarjota toimivaltaisille viranomaisille näyttöä, kun nämä harkitsevat, onko ohjelmaan tarpeen tehdä välitarkistuksen perusteella muutoksia sen mukauttamiseksi ulkoisten olosuhteiden muutoksiin. Arvioidaan, ovatko strategiset linjat, toimintalinjat ja tavoitteet johdonmukaisia ja edelleen ajankohtaisia, kuinka näiden tavoitteiden saavuttamisessa on edistytty ja missä määrin ne voidaan tosiasiassa saavuttaa. Väliarvioinnissa on tarkasteltava tarpeiden, tavoitteiden, toimien ja toivottujen tulosten välistä johdonmukaisuutta ohjelman hyväksymisen jälkeen mahdollisesti muuttuneiden olosuhteiden perusteella. Täytäntöönpanosta saadun 2 3 vuoden pituisen kokemuksen perusteella strategian tarkoituksenmukaisuutta tarkastellaan suhteessa kehittämiseen
liittyviin ongelmiin ja siihen, missä määrin tukimuodon päämäärät ja tavoitteet todennäköisesti saavutetaan. Tässä vaiheessa pitäisi olla mahdollista esittää ensimmäinen arvio siitä, kuinka ohjelma vaikuttaa sosiaalisen ja taloudellisen koheesion saavuttamiseen ja siitä, onko ohjelma edelleen alueellisten, kansallisten ja yhteisötason toimintalinjojen mukainen. Arvioidaan tavoitteiden esittämistä määrällisesti ja erityisesti sitä, missä määrin ne ovat helpottaneet seurantaa ja arviointia. Väliarvioinnin perusteella on tehtävä päätelmiä ohjelmatyöhön sisältyvän määrällisen esittämisen toimivuudesta. Heijastavatko keskeiset indikaattorit todellakin osarahoitettavaa toimintaa? Ovatko asetetut tavoitteet edelleen tarkoituksenmukaisia? Onko seurantakomitealle toimitettu ajan tasalla olevia tietoja? Tarjosiko tavoitteiden esittäminen määrällisesti tarvittavat tiedot arviointia varten? Näihin kysymyksiin annettujen vastausten perusteella väliarvioinnin yhteydessä voidaan antaa suosituksia tavoitteiden määrällisenä esittämistä koskevista mahdollisista parannuksista tai tarkennuksista. Arvioidaan, missä määrin horisontaaliset toimintalinjat (erityisesti yhtäläiset mahdollisuudet ja ympäristö) on sisällytetty tukimuotoihin. Kaikkea rakennerahastotukea koskevat horisontaaliset toimintalinjat on selvitetty asetuksissa. Väliarviointi tarjoaa mahdollisuuden tarkastella, kuinka tehokkaasti nämä toimintalinjat on sisällytetty eri tukimuotoihin. "Valtavirtaistamisen" periaatteen noudattamisen tehokkuus on arvioitava alustavasti ja tämän perusteella on annettava tarvittaessa suosituksia toimintalinjojen sisällyttämisestä tehokkaammin kaikkiin tukimuotoihin. Analysoidaan täytäntöönpano- ja seurantajärjestelyjen riittävyyttä. Seurantakomiteat ovat kokoontuneet useita kertoja jo ennen väliarvioinnin käynnistämistä. Arvioinnissa onkin tarkasteltava näiden komiteoiden toiminnan ja täytäntöönpanojärjestelyjen tehokkuutta. Erityisen tärkeää on analysoida seurantajärjestelmien laatua kaikkien tarvittavien tietojen järjestämisen, asianmukaisuuden ja laadun kannalta. Myös hankkeiden valintaperusteiden ja -menettelyjen sopivuutta on tarkasteltava. Esitetään tulokset suoritusvarausta koskevien indikaattorien kannalta ja tehdään suosituksia suoritusvarauksen jakamisesta. Väliarvioinnilla on tärkeä osuus päätettäessä suoritusvarauksen jakamisesta. Väliarvioinnin avulla saadaan tuoreimmat tiedot tehokkuudesta, hallinnosta ja rahoituksen toteutumisesta. Lisäksi väliarvioinnissa olisi tarkasteltava tehokkuusindikaattorien kattavuutta. ENSIMMÄINEN OSA: VÄLIARVIOINNIN VAIHEET Jos väliarviointi toteutetaan oikein, on todennäköistä, että sen sisällöstä tulee laadukas ja että se vastaa käyttäjien (kansalliset, alueelliset ja alakohtaiset viranomaiset, komissio, muut organisaatiot ja suuri yleisö) tarpeita. Tästä syystä tässä asiakirjassa kiinnitetään runsaasti
huomiota siihen, kuinka arviointi on toteutettava, kenen on osallistuttava sen toteuttamiseen ja millainen on toteutusaikataulu. Asetuksessa 3 todetaan, että väliarvioinnin suorittamisesta vastaa hallintoviranomainen yhteistyössä komission ja kyseisen jäsenvaltion kanssa. Se tehdään jokaisesta yhteisön tukikehyksestä ja tukitoimesta. Sen tekee riippumaton arvioitsija, ja se saatetaan yhteisön tukikehyksen tai tukitoimen seurantakomitean käsiteltäväksi ja toimitetaan sen jälkeen komissiolle 31. maaliskuuta 2004 loppuun saatettavan tukimuodon tarkastelua varten yleensä kolmen vuoden kuluttua siitä, kun yhteisön tukikehys tai tukitoimi on hyväksytty, viimeistään 31. joulukuuta 2003. Väliarvioinnin jälkeen kustakin yhteisön tukikehyksestä ja tukitoimesta tehdään ajantasaistettu väliarviointi, joka on saatava päätökseen myöhempien tukitoimien valmistelemiseksi viimeistään 31. joulukuuta 2005. 1.1. Arvioinnin aikataulu Asetukseen sisältyvien määräaikojen perusteella arvioinnin olisi edettävä seuraavassa taulukossa esitetyn aikataulun mukaisesti. Aikataulu on tarkoitettu ohjeelliseksi, joten sitä voidaan mukauttaa kansallisiin tai alueellisiin olosuhteisiin sopivaksi. Väliarviointi Ohjeellinen aikataulu Ajanjakso Kesäkuu 2001 kesäkuu 2002 Heinäkuu 2002 joulukuu 2002 Tammikuu 2003 kesäkuu 2003 Heinäkuu 2003 joulukuu 2003 Arvioinnin vaiheet Arvioinnin suunnittelu Ohjausryhmän perustaminen Tehtävänmäärityksestä sopiminen Tarjouspyynnöt käyttäen ilmoituksia tai muulla tavoin Sopimusten tekeminen Arviointi käynnissä Arviointi käynnissä Ensimmäisen luonnoksen toimittaminen ohjausryhmälle ja tapaaminen arvioitsijoiden kanssa Ohjausryhmä saa valmiiksi lopullisen luonnoksen Lopullisen arviointikertomuksen toimittaminen seurantakomitealle Seurantakomitea kokoontuu käsittelemään väliarviointia Arviointikertomuksen toimittaminen komissiolle Arvioinnin suunnitteluun ennen sen käynnistämistä ja arvioinnin tarkasteluun sen toteuttamisen jälkeen on syytä käyttää riittävästi aikaa. Lisäksi on tärkeää, että aikataulu antaa 3 Rakennerahastoja koskevista yleisistä säännöksistä 21 päivänä kesäkuuta 1999 annetun neuvoston asetuksen (EY) N:o 1260/1999 42 artikla.
ohjausryhmälle mahdollisuuden tarkastella ensimmäistä luonnosta ja pyytää tarvittaessa arvioitsijoita lisäselvityksiä. 1.2. Arvioinnin suunnittelu Edellä esitetty aikataulu osoittaa, että väliarvioinnin suunnittelu on aloitettava vuoden 2001 loppupuolella tai viimeistään vuoden 2002 alkupuolella. Vaikka väliarviointi on pakollinen, kunkin tukimuodon erityisluonne vaatii, että muun muassa talousarvioon liittyviin kysymyksiin, käsittelyn yksityiskohtaisuuteen, soveltuviin menettelyihin, tietojen saatavuuteen ja eri arviointien yhdistämiseen kiinnitetään asianmukaista huomiota. Päätökset on tehtävä ennen arvioinnin käynnistämistä. Suunnittelun aloittaminen hyvissä ajoin on välttämätöntä erityisesti silloin, kun kyseessä ovat suuret tavoite 1 -alueet, jotka kuuluvat mittaviin yhteisön tukikehyksiin, joihin saattaa sisältyä alueellisia ja kansallisia toimenpideohjelmia. Arvioinnin rakenteesta on päätettävä mahdollisimman pikaisesti, jotta arviointien määrä ja niiden yleinen sisältö voitaisiin ottaa huomioon jo ennakolta. Tällä tavoin varmistetaan, että arvioinnit täydentävät toisiaan eikä niissä ei ole turhaa päällekkäisyyttä. Päällekkäisyys on jossakin määrin välttämätöntä, sillä alueellisiin ja kansallisiin ohjelmiin sisältyy usein samanlaisia toimia. Näin ollen arvioinnissa on myös tarkasteltava eri ohjelmiin sisältyvien samanlaisten toimenpiteiden suhteellista tehokkuutta ja varmistettava, että monissa eri ohjelmissa ei pyritä saavuttamaan samanlaisia tavoitteita. Tässä tapauksessa voisi olla järkevää laatia yhteinen tehtävänmääritys tai ainakin yhteinen linja, jota voidaan laajentaa tarvittaessa. Kun kyseessä ovat laajat yhteisön tukikehykset, on myös tarpeen vahvistaa, miten yksityiskohtaisia tietoja tarvitaan yhteisön tukikehyksen ja toimenpideohjelman tasolla. Yhteisön tukikehyksen arvioinnit sisältävät toimenpideohjelman arviointeja koskevan analyysin ja synteesin suhteessa yhteisön tukikehyksen toimintalinjoihin ja tavoitteisiin. Niissä pyritään myös saattamaan ajan tasalle ennakkoarviointia varten tehty makrotaloudellinen analyysi (ks. liite I yhteisön tukikehysten arvioinnista). Toimenpideohjelman arviointien on oltava yhteisön tukikehysten arvioitsijoiden käytettävissä jo ennen yhteisön tukikehysten arvioinnille asetetun määräajan päättymistä, jotta saadut tulokset voidaan ottaa huomioon arviointien analyysejä ja synteesejä laadittaessa. Arvioinnin rakenne muodostuukin johdonmukaisen hierarkkiseksi, mikä puolestaan parantaa koko arvioinnin johdonmukaisuutta. Tavoitteita 2 ja 3 koskevien yhtenäisten ohjelma-asiakirjojen, KOR:a tavoitteen 1 ulkopuolella koskevien yhteisön tukikehysten ja yhteisöaloitteiden arvioinnit tehdään yleensä vain yhdellä tasolla. Päällekkäisyyttä saattaa esiintyä ESR:sta tavoitteiden 2 ja 3 mukaisesti tuettujen toimenpiteiden välillä ja EMOTR:sta tuettujen toimenpiteiden ja EAKR:sta tavoitteen 2 mukaisesti tuettujen vastaavien toimenpiteiden välillä, kun EMOTR:a ei ole yhdistetty tavoitteeseen 2. Toimivaltaisten viranomaisten on suunniteltava, miten eri arvioinnit täydentäisivät toisiaan mahdollisimman hyvin. Ohjelma-asiakirjan täydennysten tarkastelu muodostaa osan toimenpideohjelmien tai yhtenäisten ohjelma-asiakirjojen arvioinneista, sillä ne tarjoavat paljon yksityiskohtaisia tietoja eri tukimuotojen sisältämien toimenpiteiden sisällöstä. Seuraavissa taulukoissa annetaan suuntaa antavia esimerkkejä väliarvioinnin järjestämisestä sen mukaan, onko yhteisön tukikehyksen arviointi tarpeen vai ei. Yhteisön tukikehystä koskevan ensimmäisen esimerkin mukaan arvioitsijat nimetään vuoden 2002 kesäkuun ja syyskuun välisenä aikana. Toimenpideohjelman tasolla tehtävien arviointien luonnokset ovat
valmiita vuoden 2003 huhtikuun ja kesäkuun välisenä aikana, ja ne on toimitettava yhteisön tukikehyksen arvioitsijoille, jotta nämä voisivat esittää yhteenvetonsa arvioinneista. Suuri osa yhteisön tukikehysten ja toimenpideohjelmien arviointityöstä eteneekin rinnakkain. Yhtenäisten ohjelma-asiakirjojen arvioinnin suunnittelussa on otettava huomioon mahdollisten päällekkäisyyksien minimointi ja johdonmukaisuuden varmistaminen laadun sekä alueellisen ja alakohtaisen lähestymistavan osalta.
Tavoitetta 1 koskevan laajan yhteisön tukikehyksen väliarvioinnin aikataulu/suunnittelu Jäsenvaltio/alue Suuntaa antava esimerkki 2002 2003 T K H E S L M J T H M H T K H E S L M J Yhteisön tukikehys Suunnittelu/tarjouskilpailu Sopimuksen tekeminen Arviointi käynnissä Ensimmäinen luonnos saatavilla Ohjausryhmän työ valmis Seurantakomitean käsittely Toimitetaan komissiolle Toimenpideohjelma 1 Suunnittelu/tarjouskilpailu Sopimuksen tekeminen Arviointi käynnissä Ensimmäinen luonnos saatavilla * Ohjausryhmän työ valmis Seurantakomitean käsittely Toimitetaan komissiolle Toimenpideohjelma 2 Suunnittelu/tarjouskilpailu Sopimuksen tekeminen Arviointi käynnissä Ensimmäinen luonnos saatavilla * Ohjausryhmän työ valmis Seurantakomitean käsittely Toimitetaan komissiolle * Toimenpideohjelmien väliarvioinnit on toimitettava tässä vaiheessa yhteisön tukikehyksen arvioitsijoille. Kaikki myöhemmät väliarviointiluonnokset sekä ohjausryhmien ja seurantakomiteoiden näkemykset on myös toimitettava yhteisön tukikehyksen arvioitsijoille. Yhtenäisten ohjelma-asiakirjojen väliarvioinnin aikataulu/suunnittelu jäsenvaltioissa/alueilla Suuntaa antava esimerkki 2002 2003 T K H E S L M J T H M H T K H E S L M J Yleinen suunnittelu Suunnittelu Yhtenäinen ohjelmaasiakirja 1 Suunnittelu/tarjouskilpailu Sopimuksen tekeminen Arviointi käynnissä Ensimmäinen luonnos saatavilla Ohjausryhmän työ valmis Seurantakomitean käsittely Toimitetaan komissiolle Yhtenäinen ohjelmaasiakirja 2 Suunnittelu/tarjouskilpailu Sopimuksen tekeminen Arviointi käynnissä Ensimmäinen luonnos saatavilla Ohjausryhmän työ valmis Seurantakomitean käsittely Toimitetaan komissiolle
Tilapäiset suunnitteluryhmät Komissio suosittelee, että yhteisön tukikehyksen seurantakomiteaa edustava tilapäinen työryhmä suunnittelisi tavoitetta 1 ja tavoitteen 1 mukaista siirtymäkauden tukea saavia maita (Kreikka, Irlanti, Portugali, Espanja, Etelä-Italia ja Itä-Saksa) koskevien laajojen yhteisön tukikehysten väliarvioinnin kokonaisuudessaan. Muissa maissa (esimerkiksi Ranskassa, Espanjassa ja Yhdistyneessä kuningaskunnassa) on jo olemassa vakiintuneet rakenteet arvioinnin koordinoimiseksi eri alueilla. Komissio suosittelee, että tällaiset rakenteet muodostavat koko väliarvioinnin perustan. Niihin jäsenvaltioihin, joissa ei ole olemassa vastaavia rakenteita, olisi komission suositusten mukaan perustettava tilapäinen työryhmä, joka koostuu jäsenvaltion, hallintoviranomaisten, kunkin seurantakomitean ja komission edustajista. Tilapäisen työryhmän olisi päätettävä seuraavista seikoista: tehtävien arviointien lukumäärä ja eri tasot jäsenvaltiossa tai alueella tehtävien arviointien tehtävänmääritys tai yhteinen linja arviointien ohjeellinen talousarvio arviointien laatuperusteet. Asetuksessa (42 artikla) todetaan, että väliarvioinnin tekemisestä vastaa hallintoviranomainen yhteistyössä komission ja kyseisen jäsenvaltion kanssa. Siinä todetaan myös, että komissio tarkastelee arvioinnin asianmukaisuutta ja laatua komission ja jäsenvaltioiden yhdessä etukäteen määrittelemin perustein. Komission osallistuminen tilapäisen suunnittelutyöryhmän työhön varmistaa sen, että kumppanuus toteutuu asianmukaisella tasolla. Minkä tahansa rakenteen hyväksymisen jälkeen on kuultava komissiota väliarvioinnin tehtävänmäärityksestä, menettelyistä ja kertomusluonnoksesta. Komissio puolestaan kuulee hallintoviranomaista arvioinnin asianmukaisuuden ja laadun arviointiperusteista. 1.3. Arvioinnin hallinto Kaikkein väliarviointien (yhteisön tukikehyksen tai toimenpideohjelman/yhtenäisen ohjelmaasiakirjan tasolla) perustana on arvioinnin suunnittelu jäsenvaltioiden tasolla. Tukimuodon seurantakomiteaa edustavan ohjausryhmän jäsenen tulisi ohjata kutakin väliarviointia. Ohjausryhmän tehtävä on ennen kaikkea tekninen. Se laatii arviointia koskevan tehtävänmäärityksen, valitsee arvioitsijat, ohjaa arviointia, antaa palautetta ensimmäisestä luonnoksesta ja tarkastelee, vastaako lopullinen arviointi laatuperusteita. Lisäksi olisi syytä harkita yhden tai useamman riippumattoman asiantuntijan osallistumista ohjausryhmässä tehtävään työhän. Arvioitavien ohjelmien toteuttamisesta suoraan vastuussa olevat organisaatiot eivät saisi kuitenkaan olla edustettuina ohjausryhmässä. Väliarvioinnin tehtävänmäärityksen tulisi saada seurantakomitean yksimielinen hyväksyntä. Asetuksen vaatimusten mukaisesti seurantakomitean on myös tarkasteltava arviointia ennen sen toimittamista komissiolle. 1.4. Arvioinnin riippumattomuus Yleisasetuksessa säädetään, että väliarvioinnin tekee riippumaton arvioitsija. Tämä tarkoittaa sitä, että arvioitsijan on oltava riippumaton ohjelman hallinnosta tai täytäntöönpanosta vastaavista tahoista. Arvioitsija on valittava tarjouskilpailumenettelyllä. Millä tavoin
tarjouskilpailu järjestetään (avoimena vai suljettuna tarjouskilpailuna) määräytyy sen sijaan tukimuodon koon ja vaadittavan arvioinnin laajuuden perusteella. 1.5. Arvioinnin järjestäminen kustannustehokkaalla tavalla Suunniteltaessa arviointia hallintoviranomaisten on yhdessä komission kanssa selvitettävä, kuinka arviointi voidaan järjestää siten, että vältetään työn päällekkäisyys ohjelmatyön eri tasoilla. Eri arviointien rajojen ja aikataulun suunnittelu auttaa varmistamaan arvioinnin kustannustehokkuuden. Arviointia järjestettäessä on pyrittävä varmistamaan, että 2 3 vuotta kestäneen täytäntöönpanon aikana kerättyjä kaikkia seurantatietoja käytetään hyväksi ja että arvioitsijat eivät tee tältä osin turhaa työtä. Koska seurantajärjestelmän tarkastelulla on arvioinnissa keskeinen osa, arvioitsijoiden on käytettävä näitä tietoja arvioinnin aikana. 1.6. Suhteellisuusperiaatteen noudattaminen Suhteellisuusperiaatteen mukaisesti arviointi on toteutettava oikeassa suhteessa tukitoimen laajuuteen nähden. Tavoitteen 1 mukainen laaja yhteisön tukikehys edellyttää makrotaloudellista mallinnusta, joka ei kuitenkaan sovellu suurimpaan osaan tavoite 2- ja 3 - ohjelmia tai pienempiä tavoite 1 -ohjelmia. Kun kyseessä ovat tavoitteen 1 mukaiset laajat yhteisön tukikehykset, jotka koostuvat useista toimenpideohjelmista ja niiden ohjelma-asiakirjojen täydennyksistä, yhteisön tukikehyksen ja toimenpideohjelmien väliarvioinnit on tehtävä erikseen, vaikka yhteisön tukikehyksen arvioinnissa käytetäänkin hyväksi toimenpideohjelmien arviointien tuloksia (ks. liite I). Yhtenäisen ohjelma-asiakirjan tai toimenpideohjelman muodossa toteuttavien pienempien ohjelmien osalta riittää yksi arviointi. 1.7. Rahoitus Väliarvioinnista aiheutuvat kustannukset katetaan tukimuodon teknisen avun määrärahoista. Toimivaltaisten viranomaisten on otettava huomioon, että väliarviointi saattaa tulla kalliiksi. Kustannukset eivät ole aina suhteessa tukimuodon arvioituihin menoihin. Tästä syystä olisi pyrittävä välttämään kaikkia suhteettomia menoja. Lisätietoja tästä asiasta löytyy MEANSsarjan ensimmäisestä osasta 4 ja asiakirjasta SEM 2000 Communication on Evaluation 5. Kaudella 1994 1999 väliarvioinnin keskimääräiset kustannukset olivat alle 0,1 % ohjelmien vuosittaisista kokonaiskustannuksista. Laadukkaiden arviointien tuottamiseksi kustannusten olisi yleensä oltava tätä suuremmat, lukuun ottamatta erittäin laajoja ohjelmia. Väliarvioinnin ohjeellisista määrärahoista on sovittava suunnitteluvaiheessa. 1.8. Arvioinnin rakenne Euroopan komission neljännessä arviointia koskevassa konferenssissa 6 monet puhujat olivat sitä mieltä, että rakennerahastoarviointeja ei yleensä oteta huomioon julkisessa tai poliittisessa keskustelussa. Tämä saattaa johtua teknisen kielen liiallisesta käytöstä, arviointien pituudesta 4 European Commission (1999). Evaluating Socio-Economic Programmes. Volumes 1-6. Luxembourg: Office for Official Publications of the European Communities. 5 European Commission (1996). SEM 2000 Communication on Evaluation, 8 May 1996, Concrete Steps Towards Best Practice across the Commission, SEC 96/659. 6 Evaluation for Quality, Edinburgh, 18. 19. syyskuuta 2000.
ja selkeiden päätelmien ja toimintasuositusten puutteesta. Kannustaakseen keskustelua komissio ehdottaa, että väliarviointeihin sisällytettäisiin lyhyet yhteenvedot päätelmistä ja suosituksista. Näiden yhteenvetojen olisi oltava erillisiä yleistajuisia asiakirjoja, joissa keskitytään ohjelman tehokkuutta, vaikuttavuutta ja ajankohtaisuutta koskeviin päätelmiin ja suosituksiin tarvittavista muutoksista. Yhteenvetojen ansiosta keskustelu päätelmien asianmukaisuudesta ja suositusten toteuttamiskeinoista helpottuisi. Keskustelun kannustamiseksi ja laadun parantamiseksi väliarvioinnin olisi oltava tiivis ja pitkiä kuvauksia olisi vältettävä. Painotukseltaan sen olisi oltava pikemminkin analyyttinen kuin kuvaileva. Koska vuosina 1996 1998 tehdyt väliarvioinnit osoittivat merkittävää kehitystä rakennerahastojen aiempaan arviointikäytäntöön verrattuna (MEANS, 1. osa, 1999), suurinta osaa kertomuksista [voitaisiin kritisoida] analyyttisyyden puutteesta ja siitä, että niissä esitettiin päätelmiä, jotka [olivat] liian kuvailevia ollakseen todella käyttökelpoisia päätöksenteon kannalta". Luonnollisesti jotkut kertomukset poikkesivat tästä yleisarvioista, mutta on kuitenkin välttämätöntä painottaa, että vuosina 2002 2003 tehtävissä väliarvioinneissa olisi keskityttävä mieluummin analysointiin kuin kuvailuun. Arvioitsijoiden olisi pyrittävä laatimaan selkeitä asiakirjoja, joissa vältetään tarpeettoman teknistä kieltä. Komissio ei halua millään muotoa esittää väliarviointien sisältöä koskevia vaatimuksia, mutta siitä huolimatta arviointien olisi niiden moninaisuuden vuoksi noudatettava pääpiirteittäin seuraavanlaista rakennetta: Ehdotus väliarvioinnin rakenteeksi 1. Yhteenveto päätelmistä ja suosituksista (enintään viisi sivua englanniksi, ranskaksi tai saksaksi) 2. Menettelytavat: arvioitsijoiden lähestymistavan esittely, suoritetun alkuperäisen tutkimuksen kuvaus ja kaikkien tietojen lähteet. Menettelytapojen kuvaukseen olisi sisällyttävä arvioitsijan selonteko arviointikertomuksen vahvuuksista ja heikkouksista 3. Luvut I XX 4. Suoritusvaraus 5. Päätelmät 6. Suositukset Kertomuksen keskeisessä osassa (osat 3 6 edellä olevan rakenne-ehdotuksen mukaisesti) esitetään arvioinnin tulokset jaoteltuna arvioitavaan tukimuotoon soveltuvalla tavalla. Päätelmät sisältävässä luvussa olisi keskityttävä tämän asiakirjan 2.8 kohdassa lueteltuihin seikkoihin ja muihin ohjelman erityisluonteen vuoksi esille tuleviin kysymyksiin. Kaikkien päätelmien tulisi selkeästi perustua arvioinnissa tehtyihin havaintoihin. Viimeisessä luvussa olisi esitettävä toimintasuositukset, jotka vastaavat ohjelmastrategian tai täytäntöönpanon heikkouksista tehtyjä päätelmiä. 1.9. Laatu Eräs ohjausryhmän tärkeimmistä tehtävistä on väliarvioinnin laadun varmistaminen. Tämä on tärkeää siksi, että arvioinnin laatu on yksi indikaattoreista, jotka on otettava huomioon päätettäessä suoritusvarauksen jakamisesta. Ohjausryhmän on tehtävä seurantakomitealle
selkoa siitä, vastaako arviointi tilapäisen suunnitteluryhmän ennalta määrittelemiä ja hyväksymiä laatuperusteita. Jos kansallisia laatuperusteita ei ole käytettävissä, arvioinnin alussa on mahdollista turvautua MEANS-laatuperusteisiin (MEANS, 1. osa, s. 179), jotka esitetään seuraavassa taulukossa. MEANS-laatuperusteet Tarpeiden täyttäminen: Kohdistuuko arviointi riittävästi komission jäsenten esittämiin tietopyyntöihin ja vastaako se tehtävänmäärittelyä? Asianmukainen soveltamisala: Onko ohjelman perustaa, tuotoksia, tuloksia, vaikutuksia, vuorovaikutusta muiden politiikkojen kanssa ja odottamattomia vaikutuksia tarkasteltu riittävän huolellisesti? Perusteltu suunnittelu: Onko arvioinnin suunnittelu asianmukaisesti tulosten saavuttamisen kannalta? Tietojen luotettavuus: Ovatko kerätyt tai valitut ensi- ja toissijaiset tiedot asianmukaisia? Ovatko ne riittävän luotettavia oletettuun käyttöön nähden? Perusteellinen analyysi: Vastaavatko analysoidut määrälliset ja laadulliset tiedot vakiintuneita sääntöjä? Ovatko ne täydellisiä ja antavatko ne oikeat vastaukset arviointikysymyksiin? Luotettavat tulokset: Ovatko tulokset johdonmukaisia ja hyväksyttäviä tietojen analysoinnin ja huolellisesti muotoiltuihin hypoteeseihin perustuvien tulkintojen perusteella? Puolueettomat päätelmät: Ovatko päätelmät oikeudenmukaisia ja riippumattomia henkilökohtaisista tai yksipuolisista näkemyksistä? Ovatko ne riittävän yksityiskohtaisia niiden toteuttamiseksi käytännössä? Selvyys: Kuvaako kertomus arvioidun ohjelman taustaa, tavoitetta, organisointia ja rakennetta siten, että saadut tiedot ovat helposti ymmärrettävissä? 1.10. Kumppanien ja muiden osapuolten kuuleminen Väliarvioinnin aikana on järjestettävä kuuleminen kahdella tasolla. Ensinnäkin monien osapuolten kuulemisen on oltava olennainen osa arvioitsijoiden hyväksymästä menettelytavasta. Ohjelman eri osapuolilla on arvokkaita näkemyksiä, joita arvioitsijoiden olisi hyödynnettävä arvioitaessa ohjelmien suoritustasoa. Myös seurantakomitean jäsenten olisi saatava osallistua tähän kuulemiseen. Toiseksi seurantakomitean työskentelyyn osallistuvat kumppanit tarkastelevat valmista arviointikertomusta. Seurantakomitean näkemykset toimitetaan komissiolle varsinaisen väliarvioinnin mukana. 1.11. Julkisuus Väliarviointia koskeva yhteenveto on julkistettava, kun arviointi on toimitettu komissiolle. Yhteenvedot on mahdollisuuksien mukaan koottava rakennerahastojen tai tukimuotoa
hallinnoivien ministeriöiden taikka alueviranomaisten www-sivustoille. Komissio pitää hyvänä käytäntönä arviointikertomuksen julkistamista kokonaisuudessaan. 1.12. Arviointitulosten ja suoritusvarauksen tarkastelu Tukimuodon toimintaa koskevien päätelmien ja suositusten lisäksi väliarviointi tuottaa tuloksia suoritusvarausta koskevista indikaattoreista. Sen vuoksi väliarviointi on tärkein välitarkistukseen vaikuttava tekijä. Se vaikuttaa myös päätöksiin suoritusvarauksen jakamisesta. Välitarkistus Välitarkistuksessa voidaan käsitellä monia väliarvioinnissa esille tulleita seikkoja. Välitarkistuksessa jäsenvaltio ja komissio tarkastelevat yksityiskohtaisesti väliarvioinnin päätelmiä ja suosituksia. Yleisasetuksen 42 artiklan mukaisesti komissio tarkastelee tässä yhteydessä arvioinnin asianmukaisuutta ja laatua komission ja jäsenvaltioiden yhdessä etukäteen määrittelemin perustein. Tämä tarkastelu on erityisen tärkeä sekä välitarkistuksen että suoritusvarauksen jakamisen kannalta. Väliarviointi toimitetaan tukimuodon seurantakomitealle, ja komissio pitää hyvänä käytäntönä sitä, että seurantakomitean kuullaan, jotta sen näkemykset voitaisiin ottaa huomioon keskusteluissa. Jäsenvaltio ja komissio sopivat tukimuotoihin väliarvioinnin perusteella tehtävistä asianmukaisista muutoksista. Yhteisöaloiteohjelmien osalta yleisasetuksessa (21 artikla) säädetään, että niitä tarkastellaan uudelleen väliarvioinnin yhteydessä ja että niitä muutetaan tarvittaessa. Suoritusvaraus Suoritusvarausta koskevat indikaattorit kuuluvat lukuisista indikaattoreita muodostuvaan indikaattorisarjaan, jota käytetään koko tukimuodon edistymisen seurannassa, mikä selittää väliarvioinnin ja suoritusvarauksen jakamisen keskinäisen riippuvuuden. Väliarviointi on yksi suoritusvarausta koskevaan päätöksentekoon vaikuttavista tekijöistä, mutta huomioon on otettava myös muita seikkoja. Kuten edellä mainittiin, komissio tarkastelee väliarvioinnin asianmukaisuutta ja laatua. Myös seurantakomitean mielipide arvioinnista on otettava huomioon. Vuosien 2001 ja 2002 vuotuiset täytäntöönpanokertomukset, joissa kuvataan edistystä suoritusvaraukselle asetettujen tavoitteiden saavuttamisessa, ja kaikki saatavilla olevat varainhoidon valvontaan tai tilintarkastuksiin liittyvät kertomukset on myös otettava huomioon keskusteluissa. Komissio jakaa suoritusvarauksen jäsenvaltioiden ehdotusten perusteella. Komissio ehdottaa, että arvioinnin suunnittelua varten perustettu ryhmä kokoontuisi uudelleen käsittelemään suoritusvarauksen jakamista. Ryhmän tulisi tarkastella kaikkien olennaisten tukimuotojen indikaattorien tuloksia ja esittää mielipiteensä niiden tehokkuudesta. Arvioinnin laatua mittaavaa indikaattoria lukuun ottamatta, kaikki muut indikaattorit ovat määrällisiä. Ohjausryhmien on arvioitava kunkin ohjaamansa arvioinnin laatu. Jäsenvaltion tasolla toimivalla ryhmällä on kuitenkin oltava oikeus toiseen mielipiteeseen minkä tahansa arvioinnin laadusta. Myös komissio antaa päätelmänsä arvioinnin laadusta. Komissio suosittelee, että myös väliarvioinnin tuloksiin ja suoritusvarauksen jakoon liittyvät tiedot julkistettaisiin.
TOINEN OSA: VÄLIARVIOINNIN KESKEISET TEKIJÄT Tämän asiakirjan ensimmäisessä osassa kuvattiin väliarvioinnin järjestämiseen liittyviä vaiheita. Toisessa osassa puolestaan käsitellään arvioinnin sisältöä. Koska eri tukimuodot ovat laajuudeltaan ja sisällöltään erilaisia ja niiden täytäntöönpanon kesto vaihtelee 7, on syytä korostaa, että annettuja ohjeita on mukautettava tarvittaessa. Kaikissa kohdissa esitellään käytännön kysymyksiä ja aiempia kokemuksia, joten väliarvioinnissa voidaan ottaa oppia rakennerahastoarvioinneissa saaduista aiemmista kokemuksista. Kunkin kokonaisuuden lopussa esitetään keskeisiä kysymyksiä, joista tehdään yhteenveto asiakirjan lopussa. Komissio haluaakin korostaa, että väliarvioinnissa on tehtävä päätelmiä kaikista näistä keskeisistä kysymyksistä. Arvioinnin suunnittelijat ja sen toteuttajat voivatkin käyttää keskeisten kysymysten luetteloa tarkistuslistana. Asiakirjan tässä osassa esitellään kahdeksan keskeistä kysymystä, jotka on syytä ottaa huomioon väliarvioinnissa. Kolme ensimmäistä liittyy ohjelmatyöhön liittyvien seikkojen ajan tasalle saattamiseen. Jos ohjelmaympäristössä on tapahtunut vain vähän muutoksia ja ohjelma-asiakirja oli hyvin suunniteltu, tämä osa arviointia voi olla suppea. Päinvastaisessa tapauksessa on tärkeää, että väliarviointi tarjoaa pohjan ohjelmien uudelleenjärjestelylle. 2.1. Aiempien arviointitulosten analysointi Arviointia on pidettävä toistuvana prosessina, jossa aiemmat kokemukset vaikuttavat nykyhetkeen ja tulevaisuuteen. Aiemmat arviointitulokset muodostavat arvokkaan tietolähteen tulevien haasteiden ja niihin mahdollisesti soveltuvien ratkaisujen osalta. Rakennerahastojen toimintaa suunniteltaessa päätettiin, että ohjelmatyöhön kuuluu kolme eri arviointivaihetta: ennakko-, väli- ja jälkiarviointi. Arvioinnin kaikissa vaiheissa käsitellään tulevia haasteita sekä niihin ehdotettuja tai jo toteutettuja ratkaisuja. Järjestelmän rakenne on päällekkäinen siten, että edellisen ohjelmakauden jälkiarviointi toteutetaan uuden ohjelmakauden ennakkoarvioinnin jälkeen. Aiempi kokemus ja käytännön kysymykset Useimmissa tapauksissa väliarvioinneissa voidaan viitata toisiin arviointeihin. Ohjelmakauden 1994 1999 jälkiarviointien tulisi olla käytettävissä ennen vuoden 2003 puoltaväliä. Näin ollen niistä saadaan lisätietoja, joita voidaan käyttää hyväksi analysoitaessa ennakkoarviointia, jonka laatimisen aikaan edellisellä ohjelmakaudella tuettujen ohjelmien suoritustasoa koskevat kaikki tiedot eivät vielä olleet saatavilla. Vuoden 1999 jälkeen valmistuneita temaattisia arviointeja on myös tarkasteltava uudelleen olennaisten tulosten arvioimiseksi. Tällaisia arviointeja on voitu tehdä osana rakennerahastojen toimintaa tai kansallisten taikka alueellisten viranomaisten aloitteesta muita tarkoituksia varten. Keskeiset kysymykset Kaikkia edellä mainittuja lähteitä on tutkittava, jotta saataisiin ajan tasalle saatettu arvio seuraavista seikoista: Olemassa olevan strategian ajankohtaisuus tai muutosten tarve 7 Jotkin tavoitteen 2 mukaiset yhtenäiset ohjelma-asiakirjat ja yhteisöaloitteet hyväksytään vuoden 2001 aikana, minkä vuoksi arvioitavan toiminnan kesto lyhenee. Tiedot tuloksista saattavat olla niukat. Rakennerahastoasetuksessa todetaan kuitenkin selkeästi, että väliarvioinnit on saatava valmiiksi ja toimitettava komissiolle vuoden 2003 loppuun mennessä.
Politiikan toteuttamisen nykyisten välineiden tehokkuus Kriittiset tekijät, jotka vaikuttavat täytäntöönpanoon ja tehokkuuteen Mahdolliset uudet näkemykset politiikan arvioitavuudesta ja seurannasta. 2.2. Valtion, alueen tai alan vahvuuksien, heikkouksien ja mahdollisuuksien ennakkoarvioinnin ajankohtaisuuden analysointi Yksi suunnitteluvaiheen keskeisistä kysymyksistä on valtion, alueen tai alan vahvuuksien, heikkouksien, mahdollisuuksien ja uhkien analysointi, sillä se muodostaa perustan ohjelmastrategialle. Tämä analyysi samoin kuin erilaisten taloudellisten tarpeiden tärkeysjärjestys sekä tunnistettujen mahdollisuuksien ja haasteiden asianmukaisuus tarkistetaan ennakkoarvioinnissa. Väliarvioinnissa olisi tarkasteltava, onko tämä analyysi edelleen ajankohtainen. Toisinaan on tarpeen, että elinkeinoelämässä äskettäin tapahtunut kehitys ja esille tulleet uudet tiedot sisällytetään analyysiin. Väliarvioinnissa olisi tarkasteltava, missä määrin sosiaalis-taloudelliset tarpeet ja kehitysongelmat muuttuvat ja miksi näin tapahtuu. Tavoitteena on varmistaa, että ohjelman tai tukimuodon toimintalinjat tarjoavat mahdollisimman tarkoituksenmukaisen ratkaisun. Erityisen tärkeää on pitää mielessä, että uusia tukitoimia voidaan käynnistää milloin tahansa tukimuodon täytäntöönpanon aikana ja että uudet tukitoimet voivat johtaa vahvistettujen toimintalinjojen päällekkäisyyteen tai olla ristiriidassa niiden kanssa. Väliarvioinnissa olisi otettava huomioon kaikki tämäntyyppinen kehitys. Aiempi kokemus ja käytännön kysymykset Väliarvioinnin tässä osassa olisi tarkasteltava ohjelma-asiakirjaan sisältyvää SWOT-analyysia yhdessä ennakkoarvioinnin asiaa koskevan osuuden kanssa. Lisäksi olisi tarkasteltava, onko kyseinen analyysi edelleen ajankohtainen, ja saatettava se tarvittaessa ajan tasalle. Arvioinnin tämän osan olisi oltava suppea, mikäli olosuhteet tai saatavilla olevat tiedot eivät ole muuttuneet merkittävästi siten, että voivat vaikuttaa olennaisesti alkuperäiseen analyysiin. Keskeiset kysymykset Tämän vaiheen lopussa käytettävissä pitäisi olla samat päätelmät kuin ennakkoarvioinnin vastaavassa vaiheessa eli: Tärkeimpien käsiteltävien erojen tärkeysjärjestyksen ajankohtaisuuden arviointi ja suositukset tarvittavista muutoksista Tavoitteiden ajankohtaisuuden arviointi suhteessa tunnistettuihin tarpeisiin Taloudellista ja sosiaalista koheesiota, ympäristöä sekä naisten ja miesten yhtäläisiä mahdollisuuksia edistävien uusien tekijöiden tunnistaminen. 2.3. Strategian ajankohtaisuuden ja johdonmukaisuuden arviointi Kun tärkeimpiä tarpeita ja sosiaalis-taloudellisia ongelmia on käsitelty, väliarvioinnissa olisi arvioitava, onko osarahoitettujen toimenpiteiden ja toimien yhdistelmän välinen tasapaino edelleen ajankohtainen. Kuten ennakkoarvioinnissakin tässä yhteydessä olisi tarkistettava, kuinka kunkin toiminta-ala tai -linja edistää yleisten tavoitteiden saavuttamista. Myös toiminta-alojen tai -linjojen ajankohtaisuus ja johdonmukaisuus on arvioitava.
Tämän vaiheen päättyessä väliarvioinnissa on saatu selvitettyä ohjelman johdonmukaisuus. Tämä tarkoittaa, että jos ohjelman alkuperäinen muotoilu oli epäselvä tai heikosti perusteltu (esimerkiksi jos ennakkoarviointia ei ole tehty asianmukaisesti tai jos sen päätelmiä ei ole otettu huomioon), ohjelman rakennetta on mahdollista muuttaa johdonmukaisempaan suuntaan. Tämä saattaa myös olla tarpeen, jos tarpeet tai ratkaisua vaativat ongelmat ovat muuttuneet ohjelman täytäntöönpanon aikana. Tällöin väliarvioinnissa olisi tarkasteltava ohjelman johdonmukaisuutta tämän uuden tilanteen perusteella (ks. MEANS, 1. osa). Aiempi kokemus ja käytännön kysymykset Ohjelmakauden 1994 1999 jälkiarvioinneista saadaan jonkin verran uutta tietoa ohjelmatyön ajankohtaisuuden ja johdonmukaisuuden analysointia varten. Joissakin tapauksissa ennakkoarvioinneissa on päädytty erilaisiin päätelmiin kuin suunnitelmia tai ohjelmia valmistelevat kansalliset tai alueelliset viranomaiset. Väliarviointi tarjoaakin mahdollisuuden tarkastella uudelleen näitä ristiriitaisuuksia ohjelman täytäntöönpanosta saadun kokemuksen perusteella. Keskeiset kysymykset Strategian ajankohtaisuuden ja yleisen johdonmukaisuuden arviointi on tärkeä tekijä tarkasteltaessa eri toimenpiteiden yhdistelmän asianmukaisuutta. Näiden molempien seikkojen arvioinnin tavoitteena tässä vaiheessa on osoittaa, ovatko toimintalinjat ja menoja koskevat päätökset olleet asianmukaisia. Väliarvioinnin tulee antaa suunnittelijoille ja päättäjille selkeät perustelut siitä, että kunkin toimintalinjan ja strategian osuuden ja painoarvon säilyttäminen on aiheellista. Väliarvioinnissa on arvioitava ohjelmatyön johdonmukaisuutta ohjelma-asiakirjan täydennyksen tavoitteiden, yhteisön tukikehyksen tai yhtenäisen ohjelma-asiakirjan tavoitteiden samoin kuin taloudellisen ja sosiaalisen koheesion yleisten tavoitteiden tasolla sekä yhdenmukaisuutta kansallisten ja yhteisön politiikkojen ja toimintalinjojen kanssa. Väliarvioinnissa on esitettävä arvio strategisten, erityisten ja toiminnallisten tavoitteiden johdonmukaisuudesta. 2.4. Tavoitteiden esittäminen määrällisesti: tuotokset, tulokset ja vaikutukset Tavoitteiden esittäminen määrällisesti eri tasoilla (yhtenäiset ohjelma-asiakirjat, yhteisön tukikehykset, toimenpideohjelmat ja ohjelma-asiakirjan täydennykset) muodostaa perustan eri tukimuotojen suunnittelulle ja täytäntöönpanolle. Suunnitteluvaiheessa toteutettavassa ennakkoarvioinnissa käsitellään tavoitteiden esittämistä määrällisesti yleisellä ja erityisellä tasolla sekä arvioidaan määrällisesti esittämisen tarkoituksenmukaisuutta tukimuodon sisällön kannalta. Toimenpiteiden esittämistä määrällisesti ohjelma-asiakirjan täydennyksessä ei ole yleensä tarkasteltu vielä tässä vaiheessa, sillä useimmiten suunnittelu ei ole vielä edennyt näin pitkälle ennakkoarvioinnin valmistuessa. Sen sijaan väliarvioinnissa on syytä tarkastella ohjelma-asiakirjan täydennyksiin sisältyvien toiminnallisten tavoitteiden esittämistä määrällisesti, sillä erityisten ja yleisten tavoitteiden saavuttaminen riippuu suuresti siitä, missä määrin toiminnalliset tavoitteet ovat toteutuneet. Väliarvioinnissa olisi arvioitava tavoitteiden määrällisesti esittämisen toimivuutta. Näin ollen olisi analysoitava, kuinka johdonmukaisesti tavoitteiden esittäminen määrällisesti nivoutuu yhteen ohjelma-asiakirjan täydennyksestä (toiminnalliset tavoitteet) toimenpideohjelmaan tai yhtenäiseen ohjelma-asiakirjaan (erityiset tavoitteet) ja lopulta aina taloudellisen ja sosiaalisen koheesion yleisiin tavoitteisiin asti. Arvioon on sisällyttävä myös sellaisten
tavoitteiden esittäminen määrällisesti, joilla pyritään mittaamaan naisten ja miesten yhtäläisiä mahdollisuuksia ja ympäristöä koskevien toimien vaikutusta. Väliarvioinnissa on myös arvioitava tiedonkeruujärjestelmiä, jotta voidaan varmistaa, että seurantaa ja arviointia varten on toimitettu tarkoituksenmukaisia tietoja. Aiempi kokemus ja käytännön kysymykset Yksi suurimmista aikaisempien rakennerahastotoimien suunnittelun yhteydessä kohdatuista ongelmista oli tavoitteiden esittäminen määrällisesti. Tähän seikkaan onkin kiinnitetty erityistä huomiota nykyisen ohjelmakauden suunnittelussa. Arvioinnista edellisinä ohjelmakausina saadut kokemukset ovat osoittaneet, kuinka tärkeää arvioinnissa on seurantatietojen laatu. Jotkin aikaisemmista arvioinneista olivat huonoja seurantatietojen riittämättömyyden vuoksi. Tätä nykyä tästä ei pitäisi aiheutua ongelmia, sillä seurantajärjestelmät ovat parantuneet viime vuosina. Väliarviointi tarjoaa mahdollisuuden tarkastella ohjelman edistymistä ja tehdä ehdotuksia parannuksiksi. Huonosti määriteltyjä indikaattoreita ja spekulatiivisia tavoitteita olisi korostettava. Indikaattorien olisi heijasteltava mahdollisimman hyvin suhteellisen selkeää syy-yhteyttä. Lisäksi olisi tunnistettava indikaattorit, joihin ulkoiset tekijät vaikuttavat voimakkaasti, ja ehdotettava niille vaihtoehtoja. Yhtäläisiin mahdollisuuksiin ja ympäristöön liittyvien horisontaalisten kysymysten osalta voidaan todeta, että ennakkoarvioinneissa ei useimmiten esitetty täydellisiä huomioita tavoitteiden esittämisestä määrällisesti, sillä ohjelma-asiakirjojen täydennyksissä oli tarkoitus esittää lisätoimia. Niinpä naisten ja miesten yhtäläisiin mahdollisuuksiin ja ympäristöön liittyvien tavoitteiden esittämistä määrällisesti olisi arvioitava nyt laadittavassa väliarvioinnissa. Vuoden 2001 täytäntöönpanokertomusta voidaan käyttää apuna väliarviointia laadittaessa. Mikäli vuoden 2002 kertomusta varten tarvittavat tiedot on saatu kerätyksi ennen väliarvioinnin valmistumista, myös ne olisi toimitettava arvioitsijoille. Mainituista kertomuksista saadaan tärkeitä tietoja väliarvioinnin tätä vaihetta varten. Myös seuraavista komission laatimista asiakirjoista saattaa olla apua erityisesti tarkasteltaessa vaihtoehtoisia indikaattoreita sellaisessa tapauksessa, että tavoitteiden esittäminen määrällisesti osoittautuu puutteelliseksi. A framework on indicators related to the monitoring and evaluation of the programmes. Menettelyohjeita (Aluepolitiikan pääosasto, 1999). The evaluation of socio-economic programmes; indicators for the monitoring and the evaluation of programmes (MEANS, Vol. 2). Asiakirjassa käsitellään indikaattorien määrittelyyn liittyviä menettelyjä ja esitetään luettelo rakennerahastojen tärkeimpien toiminta-alojen indikaattoreista. Guidelines for Systems of Monitoring and Evaluation of ESF Assistance in the Period 2000-2006 (Työllisyyden ja sosiaaliasioiden pääosasto, 1999). Yleiset arviointikysymykset sekä perusteet ja indikaattorit, Euroopan maatalouden ohjaus- ja tukirahastosta tuettavien maaseudun kehittämisohjelmien kaudella 2000 2006 toteutettavienmaaseudun kehittämisohjelmien arviointi (Maatalouden pääosasto, 1999). Keskeiset kysymykset Väliarvioinnissa on
tarkasteltava tavoitteiden ja keskeisten erojen määrällisenä esittämistä varten valittujen indikaattoreiden asianmukaisuutta tarkistettava yleisiä, erityisiä ja toiminnallisia tavoitteita kuvaavien indikaattorien asianmukaisuus arvioitava naisten ja miesten yhtäläisten mahdollisuuksien, ympäristön kestävän kehityksen ja muiden horisontaalisten toimintalinjojen seurantaa varten valittujen indikaattorien asianmukaisuus arvioitava tiedonkeruujärjestelyjen luotettavuutta ja oikea-aikaisuutta arvioitava indikaattorien käyttökelpoisuutta sen selvittämiseksi, antavatko ne tarkan ja oikea-aikaisen kuvan tukimuodon täytäntöönpanosta, mikä puolestaan vaikuttaa seurannan ja arvioinnin tehokkuuteen. 2.5. Tähänastisen tehokkuuden ja vaikuttavuuden, toivottujen sosiaalistaloudellisten vaikutusten sekä politiikan ja määrärahojen jaon arviointi Strategian ajankohtaisuuden arvioinnin jälkeen väliarvioinnissa olisi tarkasteltava tehokkuutta ja vaikuttavuutta tuotosten, saavutettujen tulosten ja aiheutuneiden menojen perusteella. Tämän toimenpidetasolla tehtävän analyysin nojalla olisi pystyttävä arvioimaan, millä todennäköisyydellä oletetut vaikutukset saavutetaan. Toimenpiteen (toiminnalliset tavoitteet) tehokkuuden ja vaikuttavuuden analysoinnin on perustuttava erityisten ja yleisten tavoitteiden saavuttamisessa tapahtuneen edistymisen analyysiin. Tehokkuus: toiminnalliset ja erityiset tavoitteet Väliarvioinnissa olisi tarkasteltava saavutetun tehokkuuden astetta seurannan aikana koottujen indikaattorien perusteella. Väliarvioinnissa olisi tarkasteltava toiminnallisia ja erityisiä tavoitteita seuraavasti: Toiminnallisten tavoitteiden saavuttamisessa tapahtuneen edistyksen analyysi perustuu toimenpidetasolla aikaan saatuihin tuotoksiin verrattuna ohjelma-asiakirjan täydennyksessä asetettuihin tavoitteisiin. Erityisten tavoitteiden saavuttamisessa tapahtuneen edistyksen analyysi perustuu tuloksiin, jotka liittyvät toimenpideohjelman tai yhtenäisen ohjelma-asiakirjan toimintalinjoihin. Toiminnallisten ja erityisten tavoitteiden saavuttamisessa tapahtuneen edistyksen analyysin perusteella väliarvioinnissa olisi kyettävä tekemään päätelmiä tukimuodon tehokkuudesta. Vaikuttavuus: panokset verrattuna tuotoksiin ja tuloksiin Väliarvioinnissa kiinnitetään myös huomiota tukimuodon vaikuttavuuteen tuotosten ja saatujen tulosten kannalta verrattuna panoksiin (pääasiassa määrärahoihin). Määrärahat koostuvat rakennerahastojen rahoitusosuudesta, kansallisista varoista ja koheesiorahaston varoista Kreikassa, Irlannissa, Portugalissa ja Espanjassa. Ensimmäinen vaihe vaikuttavuuden arvioinnissa on yksikkökustannusten osoittaminen. Tietoja yksikkökustannuksista voidaan verrata alueellisiin, kansallisiin tai EU:n viitearvoihin, jos tällaista tietoa on saatavilla. Vaikuttavuuden arvioinnissa kiinnitetään lisäksi huomiota hukka-, siirtymä- ja korvausvaikutuksiin. Jos tarvittavat tiedot ovat saatavilla, on hyvän käytännön mukaista selvittää yksikkökustannukset ja tarkastella hukka-, siirtymä- ja
korvausvaikutuksia. Yksikkökustannuksia on tarkasteltava vähintään toimenpiteistä ja suurhankkeista kootun otannan perusteella. Vaikuttavuutta arvioitaessa on myös tarkasteltava kaikkien tärkeimpien hankkeiden edistymistä. Vaikutus: yleiset tavoitteet Laajojen yhteisön tukikehysten osalta väliarvioinnissa on saatettava ajan tasalle ennakkoarvioinnin yhteydessä tehty makrotaloudellinen vaikutusanalyysi (ks. liite I). Tällainen analyysitaso ei ole mahdollinen pienten tavoite 1- ja 2 -alueiden tapauksessa. Toimenpideohjelmien ja yhtenäisten ohjelma-asiakirjojen vaikutusanalyysissa on puolestaan keskityttävä yleisten tavoitteiden todennäköisen saavuttamisen analysointiin, joka perustuu toiminnallisten ja erityisten tavoitteiden osalta tähän mennessä saavutettuihin tuloksiin. Vaikutusten väliarvioinnissa kiinnitetään lisäksi huomiota toivottujen vaikutusten arviointiin joidenkin tärkeimpien toimintalinjojen osalta. Tällaiset toimintalinjat liittyvät erityisesti Euroopan unionin omiin politiikkoihin, kuten ympäristöön samoin kuin naisten ja miesten yhtäläisiin mahdollisuuksiin. Muita mahdollisia aiheita ovat pk-yritykset, kilpailukyky ja innovaatio, tietoyhteiskunta, paikallinen kehittäminen ja työllisyys eurooppalainen työllisyysstrategia mukaan luettuna, sekä maaseudun kehittäminen. Aiemmat kokemukset ja käytännön kysymykset Tehokkuutta arvioitaessa kunkin arvioinnin tehtävänmäärityksessä olisi selvitettävä tarvittava yksityiskohtaisuuden taso, jotta vältettäisiin arvioinnin eri tasojen liiallinen päällekkäisyys. Yhteisön tukikehyksen tasolla tehtävissä arvioinneissa ei käsitellä toimenpidetason toiminnallisia tavoitteita, sillä niitä on käsiteltävä toimenpideohjelman tasolla tehtävissä erillisissä arvioinneissa. Yhtenäisen ohjelma-asiakirjan arvioinneissa on sen sijaan käsiteltävä kaikkia tuloksia kaikkien tavoitteiden tasolla. Vaikuttavuutta arvioitaessa ohjelman yksikkökustannusten arvioinnin olisi perustuttava tuotosten ja tulosten (jotka on mahdollisesti saatu toimenpiteistä tai hankkeista kootun otannan perusteella) vertailuun käytettyjen määrärahojen kanssa. Vaikuttavuuden tarkastelu toimenpidetasolla muodostuu erittäin vaativaksi tehtäväksi, jos ohjelmiin ja toimenpiteisiin sisältyy monia eri toimia. Useimmissa tapauksissa tavoite 2 -ohjelmien vaikuttavuutta voidaan mitata suhteessa työllisyystuloksiin (kustannukset luotua tai säilytettyä työpaikkaa kohti). Tavoite 1 -ohjelmia arvioitaessa on tarkasteltava vähintään suurten hankkeiden vaikuttavuutta. Yksikkökustannusten esikuva-analyysi samoin kuin hukka-, siirtymä- ja korvausvaikutusten tarkastelu riippuu tietojen saatavuudesta jäsenvaltiossa tai alueella. Makrotaloudellinen vaikutusanalyysi on saatettava ajan tasalle arvioitaessa laajoja yhteisön tukikehyksiä. Yhtenäisten ohjelma-asiakirjojen ja pienten yhteisön tukikehysten vaikutusanalyysissa käytetään sen sijaan tehokkuudesta saatuja tuloksia tarkasteltaessa millä todennäköisyydellä yleiset tavoitteet saavutetaan. ESR:sta tuettujen toimenpiteiden tehokkuutta ja vaikutuksia arvioitaessa on otettava huomioon neljä indikaattoria, joita kuvataan työllisyysasioiden pääosaston laatimissa ohjeissa ESR:sta tuettujen toimenpiteiden seurannasta ja arvioinnista. Nämä indikaattorit ovat vaikutukset yksityishenkilöihin, rakenteelliset vaikutukset tai vaikutukset järjestelmien toimintaan, vaikutukset työpaikkojen luomiseen ja tavoitteessa 1 vaikutukset henkilöstöresursseihin taloudellisen ja sosiaalisen kehityksen yhteydessä. Myös EMOTR:n