EHDOTUSTEN ARVIOINTIMENETTELYT -OPAS

Transkriptio

1 EHDOTUSTEN ARVIOINTIMENETTELYT -OPAS Johdanto Viidensien puiteohjelmien valmistelussa ja toteutuksessa sovellettu uusi lähestymistapa edellyttää tutkimusehdotusten aiempien arviointikäytänteiden kehittämistä. Kehittämisellä on kolme tavoitetta: - tieteellisten ja teknologisten arviointiperusteiden ja sosioekonomisten kysymysten entistä laajempi yhdistäminen, jossa otetaan huomioon resurssit ja hallinnointikapasiteetti - ehdotuspyyntöprosessin nopeuttaminen sekä potentiaalisille hakijoille tarkoitetun avun ja tiedotuksen tehostaminen - yleisten menettelytapojen yhdenmukaistaminen, jolla pyritään helpottamaan erityisohjelmien tai avaintoimintojen välistä koordinointia ja vuorovaikutusta. Tutkimusta ja teknologista kehittämistä (TTK) sekä esittelyä koskeviin Euroopan yhteisöjen ohjelmiin jätettyjen ehdotusten arvioinnissa sovelletaan jatkossakin tiettyjä vakiintuneita periaatteita: i. Laadukkuus. Rahoitettaviksi valittujen hankkeiden on oltava tieteellisesti, teknisesti ja hallinnollisesti korkeatasoisia, edistettävä kyseessä olevan TTK-ohjelman tavoitteiden saavuttamista sekä tuettava yleisemmin yhteisön politiikkoja. ii. Avoimuus. Jotta järjestelmä olisi selkeä rahoitushakemuksia laativien tutkijoiden kannalta, sekä rahoituspäätöksiä koskevat periaatteet että päätöksentekoprosessin käytännön toteutus on kuvattava selvästi, ja niitä koskevien tietojen on oltava kaikkien niiden saatavilla, joiden etua asia koskee. Lisäksi hakijoille on annettava riittävästi palautetta heidän ehdotustensa arvioinnin tuloksista. iii. Tasavertainen kohtelu. Yhteisön TTK-tukea myönnettäessä yhtenä perusperiaatteena on, että kaikki ehdotukset on käsiteltävä tasavertaisesti riippumatta siitä, mistä ne ovat lähtöisin tai kuka ne on jättänyt. iv. Puolueettomuus. Kaikki tukikelpoiset ehdotukset käsitellään puolueettomasti yksinomaan ehdotuksen lähtökohdista käsin; käsittely perustuu riippumattomien asiantuntijoiden suorittamaan vertaisarviointiin. v. Tehokkuus ja nopeus. Menettelyt on suunniteltu siten, että ne kyetään toteuttamaan mahdollisimman nopeasti tinkimättä kuitenkaan arvioinnin laadusta ja TTK-ohjelman hallinnointia säätelevän lainsäädännön noudattamisesta. 1

2 Tämän oppaan tarkoituksena on määrittää yhdessä ja samassa asiakirjassa ne pääperiaatteet ja suuntaviivat, joita sovelletaan arvioitaessa ehdotuksia Euroopan yhteisön rahoittamiksi hankkeiksi. Oppaassa selostetaan perusmenettelyt, joita noudatetaan kaikissa Euroopan yhteisön ja Euroopan atomienergiayhteisön viidensiin puiteohjelmiin kuuluvissa ohjelmissa. Lisäksi kerrotaan erityismenettelyistä, joita sovelletaan tietyissä erityistapauksissa tai -tilanteissa. Viidensien puiteohjelmien erityisohjelmissa sovellettavien perusarviointimenettelyjen yhdenmukaistamisella joka on yksi tämän oppaan laatimisen lähtökohdista pyritään siihen, että tutkimusyhteenliittymät (konsortiot) ja tutkijat ovat kaikilta osin perillä sovellettavista säännöistä ja että niiden on näin helpompi laatia ehdotuksia. Lisäksi tavoitteena on mahdollisuuksien mukaan varmistaa, että ehdotukset, jotka ulottuvat useamman kuin yhden ohjelman alueelle, eivät jää hallinnollisista syistä käsittelemättä, ja että hankkeita voidaan tarvittaessa helposti siirtää ohjelmasta toiseen. Oppaassa on kuitenkin otettu huomioon, että yksittäisillä ohjelmilla ja/tai toimintalinjoilla voi olla joissakin tilanteissa erityisiä tarpeita. Näin ollen on mahdollistettu tietty jousto yhdenmukaistetun kehyksen sisällä, jotta ohjelmissa voidaan tarpeen vaatiessa mukauttaa menettelyjä tiettyjä erityistarpeita vastaaviksi. Erityisesti tutkijankoulutustoimenpiteet ja pk-yrityksiä koskevat erityistoimenpiteet ovat luonteeltaan sellaisia, että näihin toimenpiteisiin - jotka rahoitetaan monialaisista tai aihepiirikohtaisista ohjelmista - sovelletaan erityisiä sääntöjä. Kaikista poikkeuksista yleisiin sääntöihin mainitaan tässä oppaassa. Tähän oppaaseen sisältyy kutakin erityisohjelmaa koskeva lyhyt liite, jossa määritetään, miten kyseisessä erityisohjelmassa on tarkoitus soveltaa oppaan ohjeita. Erityisesti selostetaan erityisohjelmissa tehtyjä valintoja (niiltä osin kuin valintoja on tehtävissä) sekä kunkin ohjelman painopisteisiin liittyviä yksityiskohtia kuvaamalla käytettävää arvostelu- ja painotusjärjestelmää. Lisäksi selostetaan mahdollisia yleisten arviointiperusteiden ohjelmakohtaisia tulkintoja tai ainoastaan tietyssä ohjelmassa sovellettavia arviointiperusteita. Vaikka ohjelmakohtaisissa liitteissä mukautetaan ja täsmennetään yleisiä ohjeita, niissä annetut ohjeet eivät voi olla tämän oppaan määräysten vastaisia. Jos liitteen teksti ei ole tältä osin yksiselitteinen, sovelletaan oppaan varsinaista tekstiä. Käsitteellä "ehdotus" tarkoitetaan koko tässä oppaassa yleisesti hakemusta, joka tehdään rahoituksen saamiseksi yhteisesti rahoitettavalle TTK-hankkeelle joko Euroopan unionin tai Euratomin erityisohjelmasta. Ellei toisin mainita, tässä oppaassa esitettyjä ehdotusten arviointisääntöjä sovelletaan myös kaikkiin muihin ehdotuspyyntöjen perusteella tehtäviin rahoitushakemuksiin. Tällaisia ovat esimerkiksi hakemukset, jotka koskevat koordinoivaa toimintaa, apurahoja ja koulutustoimia sekä muita toimenpiteitä, kuten pk-yrityksiä koskevia erityistoimenpiteitä ja tiettyjä liitännäistoimenpiteitä. Menettelytavoista, joita sovelletaan silloin, kun käsitellään julkisia hankintoja koskevien tavanomaisten menettelyjen mukaisesti ehdotettuja toimenpiteitä tai tilapäistukia koskevia pyyntöjä, on määrätty näitä toimenpiteitä koskevissa komission yleisissä säännöissä. Yksittäisiä toimenpiteitä koskevat mahdolliset erityismääräykset mainitaan joko oppaan varsinaisessa tekstissä tai niitä käsitellään liitteessä. 2

3 Sisällysluettelo Yhteenveto ehdotusten arvioinnin ja hankkeen valinnan vaiheista...4 Ehdotusten ennakkotarkastukset...5 Ennakkorekisteröinti...5 Ehdotusten vastaanotto...6 Tukikelpoisuuden hallinnollinen tarkastus...8 Asiantuntija-arvioijat...10 Arviointiperusteet...12 Ehdotusten arvostelu...16 Riippumattomat tarkkailijat...17 Lopullinen arviointi, ehdotusten asettaminen paremmuusjärjestykseen sekä hylkäyspäätös...18 Sopimusten valmistelu ja viimeistely...20 Raportointi...21 Liite A...22 Ehdotusten ennakkotarkastuksen palautelomake...22 Liite B...23 Erityisesti pk-yrityksiä koskevat toimenpiteet...23 Liite C...24 Asiantuntija-arvioijien yksityiskohtaiset ohjeet ja menettelysäännöt...24 Liite D...26 Liite E...27 Komission henkilöstön tehtävä arvioinneissa...27 Liite F...29 Arviointimenettelyn riippumattomien tarkkailijoiden yksityiskohtaiset ohjeet...29 Liite G...30 Arviointiraportin tiivistelmän malli

4 Yhteenveto ehdotusten arvioinnin ja hankkeen valinnan vaiheista Ehdotuspyyntö Ehdotusten ennakkotarkastus (mahdollinen joissakin toimissa) Ehdotusten ennakkorekisteröinti (mahdollinen joissakin toimissa) Ehdotusten jättäminen Ehdotusten rekisteröinti Tukikelpoisuuden hallinnollinen tarkastus Ulkopuolisten asiantuntijoiden suorittama tukikelpoisten ehdotusten arviointi Asiantuntijapaneelien tiivistelmäraportit arvioinnista ja hyväksyttäviä ehdotuksia koskevat suositukset komissiolle Komission yksiköiden laatimat luettelot, joissa rahoitettaviksi sopivat ehdotukset on järjestetty tärkeysjärjestykseen, sekä ei-tukikelpoisten, ehdotuspyynnön alaan sijoittumattomien tai laadultaan riittämättömien ehdotusten hylkäämistä koskevan päätöksen valmistelu Lisätarkistukset ja/tai neuvottelut rahoituksen saajiksi sopivien osallistujien kanssa Ilmoitus hakijoille komission hylkäyspäätöksestä Komission hylkäyspäätös niiden ehdotusten osalta, joita koskevat neuvottelut eivät johda tulokseen tai joille ei saatavilla rahoitusta Komission tekemä valintapäätös (jota edeltää tarvittaessa ohjelmakomitean kuuleminen) Sopimusten allekirjoittaminen Huom. Ehdotusten jättäminen voidaan joissakin tapauksissa toteuttaa kahdessa vaiheessa. Tästä on tarkempia tietoja sivulla 15. 4

5 Ehdotusten ennakkotarkastukset Ehdotusten ennakkotarkastukset ovat epävirallinen neuvontapalvelun muoto, jonka komission yksiköt joissakin tapauksissa tarjoavat tiedeyhteisölle. Niiden tarkoituksena on antaa mahdollisille hakijoille tietoa siitä, täyttävätkö näiden ehdotukset muodolliset kelpoisuuskriteerit ja kuuluvatko ne ehdotuspyynnön alaan. Jos tietyssä ohjelmassa käytetään ennakkotarkastuksia, ne toteutetaan siten, että ehdotuksen koordinoija lähettää komission yksiköille lyhyen kuvauksen ehdotuksesta, jonka hän aikoo jättää. Lyhyen kuvauksen on sisällettävä tiedot myös ehdotetusta hankekonsortiosta, jotta voitaisiin selvittää yhteistyökumppaneiden hakukelpoisuus. Komission yksiköt lähettävät ehdotuksen koordinoijalle vastaukseksi faksilla tai sähköpostitse vakiolomakkeen, joka on laadittu tarkistuslistan muotoon. Lomake lähetetään yleensä viiden työpäivän kuluessa ehdotuksen kuvauksen saamisesta tai, jos hakijoita on nimenomaisesti kehotettu tarkastuttamaan ehdotuksensa ennakolta, ehdotuspyynnössä määritetystä kuvausten lähettämisen määräajasta. Komission yksiköt eivät arvioi tässä vaiheessa ehdotuksen tieteellisen sisällön tasoa, eivätkä annetut neuvot sido sen paremmin komissiota kuin hakijoitakaan. Myöhemmin jätettäviä varsinaisia ehdotuksia ei verrata ennakkotarkastusta varten lähetettyyn ehdotuksen kuvaukseen, eikä tämän sisältöä käytetä arvioitaessa varsinaisia ehdotuksia. Ennakkotarkastusta varten lähetettyä kuvausta ei myöskään anneta asiantuntija-arvioijien käyttöön. TTKohjelmissa käytettävä palautelomake on tämän oppaan liitteenä A. Ehdotuksen ennakkotarkastus ei ole pakollinen, eikä komission yksiköiden antama palaute sido millään tavalla komissiota eikä velvoita hakijaa jättämään tai olemaan jättämättä varsinaista hakemusta. Ennakkotarkastusta varten lähetetyn ehdotuksen kuvauksen on oltava perillä viimeistään kuukautta ennen kyseisen ehdotuspyynnön määräaikaa (ehdotuspyynnöt, joilla on tietty määräaika) tai arvioinnin ajankohtaa (jatkuvasti avoinna olevat ehdotuspyynnöt, joille on vahvistettu tietyt arviointiajankohdat). Komission yksiköt vastaavat ainoastaan yhteen ennakkotarkastusta varten lähetettyyn ehdotuksen kuvaukseen kutakin ehdotusta kohti. Muuta yhteydenpitoa ehdotuksen koordinoijan ja komission yksiköiden välillä tai "paranneltujen" ennakkotarkastusversioiden lähettämistä ei sallita. Ennakkorekisteröinti Arvioinnin valmistelua sekä sopivien ulkopuolisten asiantuntijoiden kutsumista varten ohjelmissa voidaan pyytää hakijoita, jotka aikovat jättää ehdotuksen, antamaan ehdotuksensa ennakolta komission yksiköiden rekisteröitäväksi. Ennakkorekisteröintiä varten hakijoiden on lähetettävä viimeistään kolme viikkoa ennen ehdotuspyynnön mukaista määräaikaa faksilla, kirjeitse tai sähköpostitse ehdotuksessa mukana olevien osallistujien nimet ja osoitteet sekä ehdotuksen nimi ja lyhyt tiivistelmä ehdotuksen sisällöstä (mukaan luettuna tieto siitä, millä kielellä ehdotus aiotaan jättää). Tämän perusteella he saavat yleensä muutaman työpäivän kuluessa, mutta aikaisintaan neljä viikkoa ennen ehdotuspyynnön määräaikaa, komission yksiköiltä ehdotusnumeron, jota käytetään komissiolle jätettävässä varsinaisessa ehdotuksessa. Ehdotuksen ennakkorekisteröinti ei velvoita hakijoita jättämään varsinaista tai täsmälleen ennakkorekisteröintipyynnössä kuvatun kaltaista ehdotusta. 5

6 Ehdotusten vastaanotto Ehdotusten tekijöitä kehotetaan käyttämään ehdotusten laadinnassa tietokoneohjelmaa (hanke-ehdotuksen laadintatyökalu ProTool), jonka saa komissiosta Internetin kautta, sähköpostitse tai CD-ROM-levyllä. Ohjelma helpottaa tarvittavien hallinnollisten ja teknisten tietojen antamista. Ehdotukset voidaan toimittaa kahdella tavalla: - Ehdotus laaditaan ProToolin avulla ja lähetetään sähköisessä muodossa. Tällöin käytetään sinetöintimekanismia, johon sisältyy myös salaamistoiminto, ja siirretään sinetöity tiedosto palvelimelle tai lähetetään se sähköpostitse. Tätä vaihtoehtoa käytettäessä koordinoijan on pyydettävä komission varmennepalvelun tarjoajalta varmenne, jota tarvitaan ehdotustiedoston digitaaliseen allekirjoitukseen. Kun ehdotus on valmis, se "sinetöidään" ja sitä varten luodaan pieni validointitiedosto ("sormenjälki"). Validointitiedosto, joka on ehdotustiedoston ainutkertainen tunniste, on lähetettävä (sähköisesti tai faksilla) ennen ehdotuspyynnössä asetettua määräaikaa. Ehdotustiedoston on oltava perillä muuttamattomana sähköisessä muodossa 48 tunnin kuluessa määräajasta. - Ehdotus joko laaditaan ProToolin avulla, ja koordinoija tulostaa sen paperille, tai se laaditaan tietopaketin yhteydessä jaettavia paperilomakkeita apuna käyttäen. Paperilla jätettävien ehdotusten on oltava perillä komissiossa ehdotuspyynnössä ilmoitetussa osoitteessa viimeistään ehdotuspyynnössä mainittuna määräaikana 1. Komission henkilöstö (tai jokin toimeksisaaja, jonka komissio on palkannut suorittamaan arvioinnin valmisteluun liittyviä hallinnollisia tehtäviä) saa avata ehdotukset sisältävät paketit niiden saapuessa, jotta ehdotuksia koskevat hallinnolliset tiedot voidaan syöttää komission tietokantaan ja vastaanottoilmoitukset lähettää hakijoille. Sähköisessä muodossa toimitettujen ehdotusten tiedostot avataan ja niiden sisältö viedään tietokantoihin. Ehdotusten sisältöä ei ryhdytä arvioimaan tai tarkastelemaan ennen ehdotuspyynnön mukaisen määräajan umpeutumista, ja kaikki yhteydet hakijoihin on kielletty. Kun määräajasta on kulunut kymmenen työpäivää, laaditaan kaikki saadut ehdotukset kattava rekisteri. Sähköisessä muodossa jätetyt ehdotukset arkistoidaan sähköisesti siten, että ne on koko ajan suojattu. Tiedostot arkistoidaan sekä sinetöidyssä muodossa sellaisina kuin ne on saatu että avattuina siten, että niiden salaus on purettu. Jos ehdotus on jätetty asianmukaisesti sekä sähköisessä muodossa että paperilla, päteväksi katsotaan ainoastaan sähköisessä muodossa toimitettu versio, josta myös otetaan lisäkopiot arviointia varten. 1 Silloin kun on kysymyksessä jatkuvasti avoinna oleva ehdotuspyyntö, jossa arvioinneille ei ole määritetty kiinteitä ajankohtia, jätetyt ehdotukset kootaan eriksi ja erät arvioidaan tietyin väliajoin. Arviointien välinen aika riippuu tällöin saatujen ehdotusten lukumäärästä, mutta ei saa ylittää kolmea kuukautta. 6

7 Paperilla toimitettuja ehdotuksia ja niistä otettuja paperikopioita säilytetään jatkuvasti suojatuissa olosuhteissa. Kun papereita ei enää tarvita, kaikki paperikopiot tuhotaan lukuun ottamatta arkistoitavia ja/tai tarkastusten pohjana käytettäviä kappaleita. Jollei asianomaiseen ehdotuspyyntöön liittyvissä ohjelmakohtaisissa määräyksissä toisin sanota, ehdotusta ja kaikkia sen kopioita säilytetään koko ajan komission valvomissa tiloissa (esim. paikassa, jossa arviointi suoritetaan). Hakijoiden kanssa voidaan käydä jätettyä ehdotusta koskevaa kirjeenvaihtoa vasta sen jälkeen kun arviointi on saatu suoritetuksi 2. Ehdotuksen koordinoijalle lähetetään vastaanottoilmoitus viimeistään kolmen viikon kuluttua ehdotuksen saamisesta. Niiden ehdotusten osalta, joita ei jätetä sähköisessä muodossa, ehdotuksia koskevat tiedot (nimi, hankkeen yhteistyökumppanit, pyydetty rahoitus, ehdotuksen tiivistelmä jne.) syötetään komission tietokantaan käyttäen mahdollisuuksien mukaan apuna optista merkintunnistusta. Tällöin noudatetaan EU:n vakiosääntöjä, jotka koskevat tällaisissa tietokannoissa olevien tietojen luottamuksellisuutta. Järjestettäessä pk-yrityksiä koskeviin erityistoimenpiteisiin liittyviä jatkuvasti avoinna olevia ehdotuspyyntöjä, joiden yhteydessä on määritetty arviointien ajankohdat, noudatetaan ehdotusten vastaanoton osalta tiettyjä erityisjärjestelyjä. Nämä on selostettu liitteessä B. 2 Samoin kuin julkisia hankintoja koskevien menettelyjen yhteydessä, komission yksiköt voivat kuitenkin pyytää hakijoilta puhtaasti teknisiä lisätietoja. 7

8 Tukikelpoisuuden hallinnollinen tarkastus Komission henkilöstö tarkistaa, että ehdotukset täyttävät ehdotuspyynnössä mainitut kelpoisuusvaatimukset. Näitä vaatimuksia sovelletaan tiukasti, ja ehdotuksia, jotka eivät vastaa kelpoisuusvaatimuksia, ei arvioida. Kustakin ehdotuksesta täytetään ehdotuslomakkeessa annettujen tietojen perusteella kelpoisuutta koskeva tarkistuslista. Jos vielä arviointivaiheessa tai sen jälkeen ilmenee, että tietty ehdotus ei täytä yhtä tai useampia kelpoisuusvaatimuksia, ehdotus todetaan kelpoisuusvaatimuksia vastaamattomaksi eikä sen käsittelyä jatketa. Seuraavassa on lueteltu vaatimukset, joiden täyttyminen tarkistetaan kaikkien ehdotusten osalta. Arvioitaviksi hyväksytään ainoastaan ehdotukset, jotka täyttävät kaikki mainituista vaatimuksista 3 : ehdotuksen sähköinen validointitiedosto tai sinetöity sähköisessä muodossa oleva ehdotus on lähetetty ennen lähettämiselle asetetun määräajan päättymistä ehdotus on saatu vastaanottamiselle asetettuun määräaikaan mennessä sähköisessä muodossa jätetyt ehdotukset: validointitiedoston mukana lähetetty ainutkertainen tunnistekoodi on yhdenmukainen ehdotustiedoston vastaavan koodin kanssa ehdotuksessa on koordinoivan oikeussubjektin allekirjoitus (tai asianmukainen "sähköinen allekirjoitus") ehdotuksessa on hankkeen rahoitukseen osallistuvien yhteistyökumppanien (eli potentiaalisten toimeksisaajien, avustavien toimeksisaajien ja liitännäisten osallistujien) allekirjoitukset tai ehdotuksen koordinoijan allekirjoituksella vahvistettu vakuutus siitä, että hänellä on valtuudet lähettää ehdotus ja että yhteistyökumppanit hyväksyvät ehdotuksen hankkeessa on vähintään ehdotuspyynnössä mainittu vähimmäismäärä hakukelpoisia ja riippumattomia yhteistyökumppaneita ehdotus on kattava, toisin sanoen se sisältää kaikki tarvittavat hallintoa koskevat lomakkeet sekä ehdotuksen kuvauksen (huomattakoon, että ehdotuksen kuvauksessa esitettyjen tietojen kattavuuden arvioivat asiantuntija-arvioijat; tukikelpoisuuden hallinnollisessa tarkistuksessa selvitetään ainoastaan, sisältääkö ehdotus kaikki tarvittavat osat); täytettyjen lomakkeiden valokopiot hyväksytään. Hakijat vastaavat siitä, että ehdotukset lähetetään ehdotuspyynnössä annettuun osoitteeseen ja tarpeeksi ajoissa siten, että ne ehtivät perille määräaikaan mennessä. Komissio ei vastaa väärillä osoitteilla varustetuista paketeista eikä eri paketteihin 3 Näiden vaatimusten ohella voidaan soveltaa erityisohjelmasta tehdyssä päätöksessä ja/tai työohjelmassa määrättyjä lisäkelpoisuusvaatimuksia. 8

9 jaetuista ehdotuksista, joissa ei ole riittäviä tunnistetietoja eri osien yhdistämistä varten. Päätöksen ehdotuksen jättämisestä arvioimatta sillä perusteella, ettei se täytä kelpoisuusvaatimuksia, tekee komissio. Komission päätöksestä ilmoitetaan kyseisten ehdotusten koordinoijille välittömästi päätöksen tekemisen jälkeen. Tukikelpoisuuden tarkistamista koskevia erityisjärjestelyjä, joita sovelletaan pkyrityksiä koskevien erityistoimenpiteiden ja Marie Curie -apurahojen yhteydessä järjestettävissä jatkuvasti avoinna olevissa ehdotuspyynnöissä, selostetaan liitteissä B ja N. 9

10 Asiantuntija-arvioijat Kaikki ehdotukset, jotka täyttävät kelpoisuusvaatimukset, arvioidaan niiden laadukkuuden määrittämiseksi (ks. jäljempänä olevat arviointiperusteet). Ehdotusten arvioinnissa käytetään eri ohjelmissa komission apuna riippumattomia ulkopuolisia asiantuntijoita. Jokaisen komissiolle jätetyn tukikelpoisen ehdotuksen arvioi yleensä vähintään kolme 4 riippumatonta asiantuntijaa 5. Arvioinnissa käytettävät riippumattomat asiantuntijat etsitään julkaisemalla Euroopan yhteisöjen virallisessa lehdessä hakemuksia koskeva pyyntö, joka on voimassa puiteohjelmien keston ajan. Pyynnössä määritetään perusteet, joilla asiantuntijat valitaan. Yleisesti ottaen edellytetään, että asiantuntijoilla on asianmukainen pätevyys aloilla, joilla viidensien puiteohjelmien toimia toteutetaan. Lisäksi heillä on oltava runsaasti julkisella tai yksityisellä sektorilla saatua ammatillista kokemusta yhdellä tai useammalla seuraavista aloista tai toiminnoista: asianomaisen tieteen tai teknologian alan tutkimus; TTK-hankkeiden hallinto, johtaminen tai arviointi; TTK-hankkeiden tulosten hyödyntäminen; teknologiansiirto ja innovointi; kansainvälinen yhteistyö tieteen ja teknologian alalla; inhimillisen pääoman kehittäminen. Komissio kiinnittää myös huomiota hakijoiden kykyyn ottaa huomioon tutkimuksen asettamat haasteet ja/tai sen sosioekonomiset vaikutukset erityisesti yhteisön politiikkojen näkökulmasta sekä siihen, miten hakijat kykenevät arvioimaan ehdotusten merkittävyyden näiden politiikkojen kannalta. Asiantuntija-arvioijilla on niin ikään oltava riittävä kielitaito. Asiantuntija-arvioijiksi hakevat täyttävät lomakkeen, joka käsittää ansioluettelon sekä asianmukaiset avainsanat. Valinta suoritetaan lomakkeen tietojen perusteella. Komission henkilöstö laatii edellä mainittujen valintaperusteiden mukaisesti luettelon, josta voidaan valita jäsenet asiantuntijapaneeleihin. Asiantuntijoita koskevaa tietokantaa ylläpidetään keskitetysti ja samalla huolehditaan siitä, että paneelien kokoonpano vaihtuu riittävässä määrin. Kukin asiantuntija voi yleensä olla kuuden vuoden aikana paneelin jäsenenä enintään kolme vuotta (tai kolmen ehdotuspyynnön ajan sen mukaan, kumpi vaihtoehto kestää kauemmin) ohjelmaa kohti. Ohjelmien johtajat huolehtivat siitä, että kussakin ohjelmassa käytetyistä asiantuntijoista vähintään kolmannes vaihtuu vuosittain tai kunkin ehdotuspyynnön yhteydessä, jos ehdotuspyyntöjen välillä on yli enemmän kuin yksi vuosi. Komission henkilöstö valitsee pätevien asiantuntijoiden tietokannasta sopivat asiantuntijat arvioimaan ehdotuspyyntöjen perusteella saatavat ehdotukset (ja laatii tarvittaessa myös varallaololuettelon). Tässä yhteydessä varmistetaan, että kukin valittu asiantuntijapaneeli on asiantuntemukseltaan sekä maantieteelliseltä taustaltaan 4 Tästä ovat poikkeuksena esimerkiksi Marie Curie -apuhakemukset, joilla on niiden erityisen luonteen vuoksi (suuri määrä suhteellisen pieniä hankkeita) vähintään kaksi arvioijaa. 5 Julkisia hankintoja koskevien tavanomaisten menettelyjen mukaisesti jätettyihin toimenpideehdotuksiin ja tilapäisiä tukia koskeviin hakemuksiin sovelletaan tällaisiin toimenpiteisiin liittyviä komission yleisiä arviointisääntöjä. Tukia koskevista erityisistä arviointiperusteista on säädetty osallistumissäännöistä tehdyn päätöksen 10 artiklan 2 kohdassa. Liitännäistoimenpiteiden osalta voidaan puolestaan päättää arvioinnin suorittamisesta ilman ulkopuolisten asiantuntijoiden apua erityisesti, jos kyse on pienestä toimenpiteestä. 10

11 ja kielitaidoltaan riittävän laaja ja tasapainoinen. Mahdollisuuksien mukaan pyritään myös siihen, että paneelissa ovat riittävän tasapainoisesti edustettuina molemmat sukupuolet 6. Paneelien jäseniksi ei kutsuta sellaisia asiantuntijoita, jotka syystä tai toisesta voisivat suhtautua johonkin ehdotukseen puolueellisesti. Päätöksen siitä, ketkä asiantuntijat osallistuvat tiettyyn arviointiin, tekee asiasta vastaava johtaja (tai johtajat). Samoin johtaja päättää arvioinnin aikana mahdollisesti tarvittavista korvaavista tai lisäasiantuntijoista. Arviointiin osallistuvien asiantuntijoiden on allekirjoitettava komission kanssa sopimus, jossa he sitoutuvat pitämään arvioinnin yhteydessä saamansa tiedot salassa sekä tarkastelemaan ehdotuksia puolueettomasti. Sopimuksen liitteinä olevat asiantuntijoiden yksityiskohtaiset ohjeet ja menettelysäännöt on esitetty liitteessä C. Asiantuntijoiden allekirjoittama puolueettomuusvakuutus on puolestaan liitteessä D. Useimpien ohjelmien ja ehdotuspyyntöjen yhteydessä asiantuntijat kutsutaan suorittamaan arviointi maantieteellisistä sijainniltaan keskeiseen paikkaan. Ehdotuksia voidaan kuitenkin myös lähettää asiantuntijoille näiden työskentelypaikkaan alustavaa arviointia varten joko sähköisessä muodossa tai paperilla, jos käytettävissä oleva aika sen sallii ja jos ehdotukseen ei liity sellaisia kaupallisesti arkaluontoisia tekijöitä, jotka estävät lähettämisen. Jos ehdotuspyynnön yhteydessä sovelletaan jälkimmäistä vaihtoehtoa, tästä ilmoitetaan selvästi kaikissa kyseistä ehdotuspyyntöä täydentävissä julkisissa asiakirjoissa. Jälkimmäisessä tapauksessa alustavan arvioinnin tulokset lähetetään komissiolle postitse tai sähköisessä muodossa ja niistä keskustellaan tarvittaessa edelleen paneeleissa, jotta komissiolle voitaisiin antaa lopullinen suositus. Joissakin tapauksissa komissio voi kutsua kaikki asiantuntijat keskustelemaan komissiolle esitettävästä suosituksesta. 6 Euroopan yhteisöjen politiikan tavoitteena on miesten ja naisten yhdenvertaisuus. Tähän liittyen pyritään erityisesti kannustamaan naisia, jotta nämä joko itse jättäisivät ehdotuksia tai osallistuisivat niiden jättämiseen. Komissio on tiedonannossaan Naiset ja tiede asettanut omaksi tavoitteekseen, että arviointipaneelien jäsenistä 40 prosenttia olisi mahdollisuuksien mukaan oltava naisia. 11

12 Arviointiperusteet Tietyt arviointiperusteet ovat yhteisiä kaikille viidensien puiteohjelmien ohjelmille. Näistä perusteista on säädetty puiteohjelmista tehtyjen neuvoston päätösten 7 liitteessä I ja yritysten, tutkimuskeskusten ja korkeakoulujen osallistumista sekä tutkimustulosten levittämistä koskevista säännöistä ("osallistumissäännöt") tehdyissä neuvoston päätöksissä 8 kohdassa, joka koskee epäsuorien toimien valintaperusteita. Riippumattomat arvioijat tarkastelevat kutakin tukikelpoista ehdotusta näitä perusteita soveltaen. Perusteista on säädetty tarkemmin erityisohjelmista tehdyissä päätöksissä, ja päätöksissä voidaan myös määrittää lisää arviointiperusteita, jotka pätevät ainoastaan kyseisissä ohjelmissa. Arvioinnissa käytettävien perusteiden erityiset tulkinnat sekä perusteisiin mahdollisesti sovellettavat painotukset ja kynnysarvot määritetään tämän asiakirjan ohjelmakohtaisissa liitteissä ja ne mainitaan ehdotuspyynnöissä sekä niiden oheisasiakirjoissa. Arvioidessaan ehdotuksia yksityiskohtaisesti osallistumissäännöissä määritettyjen arviointiperusteiden perusteella asiantuntijat antavat yleensä arvosanoja (pistemääriä) sekä arvosteluja koskevia kommentteja. Lisäksi asiantuntijoita pyydetään tarkastelemaan joidenkin arviointiperusteiden täyttymistä siten, että he vastaavat tiettyihin kysymyksiin, jotka ovat tärkeitä ehdotuspyynnössä mainittujen yksityiskohtaisten vaatimusten kannalta. Nämä kysymykset, joihin vastataan arvioinnin kannalta sopivassa vaiheessa, ovat seuraavat: Koskeeko ehdotus niitä työohjelman osia, mukaan luettuina politiikkaan liittyvät kysymykset, jotka ovat kyseisen ehdotuspyynnön kohteina? Jos ehdotus vastaa ehdotuspyyntöä vain osittain, onko se riittävän ansiokas, jotta se voidaan ottaa huomioon kokonaisuudessaan tai osittain? Onko asiaankuuluvat eettiset kysymykset otettu riittävästi huomioon ehdotusta laadittaessa; onko ehdotettu tutkimus sopusoinnussa (mahdollisten tutkimuksen kannalta olennaisten) eettisten perusperiaatteiden kanssa? Onko ehdotettu tutkimus sopusoinnussa (mahdollisten tutkimuksen kannalta olennaisten) yhteisön politiikkojen kanssa; onko yhteisön politiikkoihin (mm. ympäristöpolitiikkaan) liittyvät asianmukaiset suojatoimet ja vaikutusten arvioinnit otettu tarvittavilta osin huomioon? Onko ehdotus esitystapaa koskevien vaatimusten mukainen (erityisesti nimettömyyttä koskevien vaatimusten osalta)? 7 Tutkijankoulutusta koskevien toimien osalta (Marie Curie -apurahat, tutkijavoimavaroja lisäävät tutkijankoulutusverkot, tutkimusinfrastruktuurien käyttömahdollisuuksien parantaminen sekä korkean tason tieteelliset tapaamiset) sovelletaan erityisiä arviointiperusteita, joissa otetaan huomioon näiden toimien koulutukseen liittyvät näkökohdat; näitä perusteita selostetaan liitteessä N. Erityisohjelmasta Innovaation edistäminen ja pk-yritysten osallistumisen kannustaminen tehdyn neuvoston päätöksen liitteessä III-2 puolestaan todetaan, että pilottitoimien toteuttamisjärjestelyissä voidaan poiketa menettelyistä, joita yleensä sovelletaan epäsuorissa TTK-toimissa, jos tällöin huolehditaan siitä, että arviointi- ja valintamenettelyissä noudatetaan tasapuolisuuden ja avoimuuden periaatteita. "Yhteisön tutkimuksen kansainvälisen aseman vahvistaminen" -ohjelman koulutusta ja huippuosaamista koskevien strategisten toimien erityiset arviointiperusteet on kuvattu liitteessä L. 8 EYVL L 26, , s. 46 ja

13 Jos asiantuntijoiden vastaukset edellä oleviin kysymyksiin ovat kielteisiä, heidän on perusteltava arvionsa kommentein. Komissiolla on oikeus olla asiantuntijoiden lausuntojen perusteella jatkamatta sellaisen ehdotuksen käsittelyä, joka ei täytä yhtä tai useampia edellä esitetyistä vaatimuksista. Selvissä tapauksissa (esim. jos ehdotus koskee tutkimustehtävää, joka ei sisälly tiettyyn ehdotuspyyntöön) voidaan jo yleistä tukikelpoisuutta määritettäessä todeta, että ehdotus ei kuulu ehdotuspyynnön alaan tai että se ei vastaa toteutettavan politiikan mukaisia selkeästi määritettyjä vaatimuksia. Ehdotukset, jotka vastaavat ehdotuspyyntöä vain osittain ja/tai jotka koskevat useamman kuin yhden ohjelman alaan kuuluvia osa-alueita, käsitellään tapauskohtaisesti. Ehdotus voidaan tällöin arvioida kokonaisuudessaan tai siitä voidaan arvioida vain ehdotuspyyntöä vastaavat osat. Se voidaan myös siirtää toiseen ohjelmaan (jos ohjelmassa on avoinna sopiva ehdotuspyyntö) tai se voidaan hylätä kokonaan, jos ehdotuspyyntöä vastaava osa on niin pieni, ettei se muusta ehdotuksesta erillään ole panostamisen arvoinen. Komissio tutkii ulkopuolisten asiantuntijoiden avustuksella kaikki tukikelpoiset ehdotukset, jotka ovat ehdotuspyynnön vaatimusten mukaisia, ja selvittää niiden laadukkuuden ja relevanssin. Jollei tämän oppaan ohjelmakohtaisessa liitteessä toisin ilmoiteta, asiantuntijat tarkastelevat ehdotuksia ja antavat niille arvosanoja jäljempänä olevia arviointiperusteita soveltaen (perusteet ovat puiteohjelmia ja osallistumissääntöjä koskevista päätöksistä, ja ne on jaettu viiteen ryhmään). Lisäksi he antavat kullekin perusteryhmälle yleisarvosanan (edellyttäen, että ehdotus ylittää kaikki kynnysarvot ks. tarkemmin jäljempänä). Asiantuntijoiden on kommentoitava kutakin antamaansa arvosanaa siten, että kommentit mahdollistavat palautteen antamisen hakijoille. Kommenttien on vastattava annettuja arvosanoja. Perusteryhmät, joita sovelletaan kaikissa ohjelmissa, ovat seuraavat: Tieteellinen ja teknologinen laadukkuus sekä innovatiivisuus Ehdotetun tutkimuksen laadukkuus ja sen mahdollisuudet edistää osaltaan keskeisten tieteellisten ja teknologisten kysymysten ratkaisemista ja ohjelman ja/tai avaintoiminnon tavoitteiden saavuttamista. Omaperäisyys, innovatiivisuuden aste ja eteneminen tutkimuksen nykytilaa pidemmälle; myös hankkeeseen liittyvän riskin taso otetaan huomioon. Valitun lähestymistavan, metodologian ja työsuunnitelman soveltuvuus tieteellisten ja teknologisten tavoitteiden saavuttamiseen. Yhteisön tasolla saatava lisäarvo ja EU:n politiikkoja edistävä vaikutus Ongelman eurooppalainen ulottuvuus. Missä määrin hanke voi edistää Euroopan tason ongelmien ratkaisemista ja millä todennäköisyydellä vaikutukset, jotka ovat odotettavissa Euroopan tasolla tehtävästä työstä, ovat suuremmat kuin kansallisten hankkeiden vaikutusten summa. Eurooppalaisuuden tutkimuskonsortiolle tuoma lisäarvo - tarve saada kokoon kriittinen massa inhimillisiä voimavaroja ja rahoitusta sekä mahdollisuudet 13

14 yhdistää eri organisaatioissa eri puolilla Eurooppaa olevaa toistaan täydentävää asiantuntemusta ja toisiaan täydentäviä resursseja. Hankkeen mahdollisuudet edesauttaa yhden tai useamman EU:n politiikan toteuttamista tai kehittämistä (mukaan luettuina ns. horisontaaliset eli monialaiset politiikat, kuten pk-yrityksiä koskeva politiikka) taikka standardointiin ja sääntelyyn liittyvien ongelmien ratkaisemista. Yhteisön sosiaalisten tavoitteiden edistäminen Hankkeen vaikutus elämänlaadun sekä terveyden ja turvallisuuden (mukaan luettuina työolot) parantamiseen. Hankkeen vaikutus työllisyysnäkymien paranemiseen sekä osaamisen hyödyntämiseen ja kehittämiseen Euroopassa. Hankkeen vaikutus ympäristön säilyttämiseen ja/tai parantamiseen sekä luonnonvarojen mahdollisimman vähäiseen käyttöön ja niiden suojeluun. Talouskehitykseen liittyvät sekä tieteelliset ja teknologiset näkymät Mahdollinen vaikutus kasvuun, erityisesti sovellusten hyödyllisyys ja määrä ja hyödyntämissuunnitelmien laatu tarkasteltuna myös siltä kannalta, miten kumppanien uskotaan kykenevän hyödyntämään ehdotetusta hankkeesta saatavia TTK-tuloksia, ja/tai hankkeen laajempien taloudellisten vaikutusten kannalta. Ehdotetun hankkeen strategiset vaikutukset ja sen edellytykset edistää kilpailukykyä ja sovellusmarkkinoiden kehittämistä kumppaneita ja TTK-tulosten käyttäjiä varten. Vaikutus Euroopan teknologiseen kehitykseen ja erityisesti odotettavissa olevien tulosten levittämisstrategiat, kohderyhmien valinta jne. Voimavarat, kumppanuudet ja hallinto Ehdotetun hallintotavan ja hankkeen lähestymistavan laatu, erityisesti ehdotettujen tehtävien sopivuuden, selkeyden, johdonmukaisuuden, tehokkuuden ja kattavuuden kannalta; aikataulujärjestelyt (välitavoitteineen) ja hallintorakenne; lisäksi hankkeen etenemisen seurantavälineet, mukaan luettuna määriteltyjen vaikutus- ja suoriutumisindikaattorien laatu, sekä sujuvan tiedonkulun varmistaminen hankekonsortion sisällä. Kumppanuuden laatu ja tarvittaessa käyttäjien ja/tai muiden alan toimijoiden osallistuminen; erityisesti kumppanien tieteellinen ja tekninen pätevyys ja asiantuntemus, kumppanien roolit ja tehtävät konsortion sisällä sekä keskinäinen täydentävyys. Voimavarojen asianmukaisuus henkilötyömäärä kutakin kumppania ja tehtävää kohti; tehtäviin osoitetun henkilöstön, kestohyödykkeiden, 14

15 kulutushyödykkeiden, matkojen ja mahdollisten muiden käytettävien resurssien laatu ja/tai taso ja/tai laji; lisäksi ne voimavarat, jotka eivät näy budjetissa (esim. tilat tutkimuksen suorittamista varten ja keskeisen henkilöstön asiantuntemus). Tämän perusteen osalta voidaan antaa arvosanan sijasta kommentteja. Jos ehdotuksessa on mukana osallistujia kolmansista maista, jotka eivät ole assosioituneet puiteohjelmiin, asiantuntijat selvittävät edellä selostettujen arviointiperusteiden lisäksi, onko kyseisten osallistujien osallistuminen yhteisön edun mukaista ja tuoko se tuntuvaa lisäarvoa toteutettaessa koko erityisohjelmaa tai sen osaa ohjelman tavoitteiden mukaisesti. Jos tällaiset osallistujat pyytävät yhteisön rahoitusta, asiantuntijat selvittävät, onko rahoitus välttämätöntä kyseisen toimen tavoitteiden saavuttamiseksi. Asiantuntijat soveltavat ehdotuksia tarkastellessaan ainoastaan tässä oppaassa määritettyjä arviointiperusteita sekä ohjelmasta tehtyyn päätökseen mahdollisesti sisältyviä erityisiä ohjelmakohtaisia perusteita. Näiden perusteiden ohjelmakohtaista soveltamista voidaan selostaa tarkemmin ohjelmakohtaisessa liitteessä ja työohjelmassa. Asiantuntijat eivät saa soveltaa arviointiperusteita, jotka poikkeavat tässä oppaassa tai ohjelmakohtaisessa liitteessä määritetyistä perusteista. Ehdotuspyyntö voidaan tarvittaessa (esimerkiksi silloin, kun on odotettavissa, että rahoitustuen kysyntä ylittää huomattavasti tarjolla olevan määrän tai kun käynnistetään uuteen monimutkaiseen tutkimusaihepiiriin liittyvä työ) toteuttaa kaksivaiheisesti siten, että ehdotusten jättämiskertoja on kaksi. Ensimmäisellä jättämiskerralla toimitetaan tällöin yksinkertaistettu versio ehdotuksesta, ja suoritettavassa arvioinnissa keskitytään tarkastelemaan ehdotetun tutkimuksen laadukkuutta ja innovatiivisuutta. Ensimmäisen arviointivaiheen jälkeen komissio tekee hylkäyspäätöksen niiden ehdotusrunkojen osalta, jotka eivät yllä vaadittavalle laatutasolle. Niitä hankekoordinoijia, joiden ehdotus läpäisee tämän ensimmäisen vaiheen, pyydetään puolestaan jättämään tietyn ajan kuluessa täydellinen ehdotus toista arviointivaihetta varten. Näin saatavia ehdotuksia arvioitaessa suoritetaan prosessi kokonaisuudessaan soveltaen olennaisilta osin tässä oppaassa selostettuja arviointisääntöjä. Se, mitä perusteita kussakin arvioinnin vaiheessa sovelletaan ja miten perusteita painotetaan, määritetään tarkasti ohjelmakohtaisessa liitteessä ja asiasta mainitaan myös kyseisessä ehdotuspyynnössä ja sitä täydentävissä asiakirjoissa. Arvioinnit järjestetään komission henkilöstön johdolla. Komission henkilöstön asema ja tehtävät määritetään liitteessä E. 15

16 Ehdotusten arvostelu 9 Asiantuntijat tarkastelevat heille annettuja ehdotuksia kukin erikseen ja täyttävät jokaisen osalta arviointilomakkeen, johon he kirjaavat antamansa kommentit ja pistemäärät. Pisteet annetaan ohjelmakohtaisessa arviointiliitteessä olevien taulukoiden mukaisesti. Ohjelman ja/tai tietyn ehdotuspyynnön luonteen mukaan voidaan päättää perusteryhmien painottamisesta eri tavalla kyseisessä ohjelmassa. Eri perusteryhmien osalta sovellettavat painotukset on määritetty ohjelmakohtaisessa arviointiliitteessä ja niistä mainitaan ehdotuspyynnössä sekä sitä täydentävissä asiakirjoissa. Hakijoita pyydetään laatimaan ehdotuksensa siten, että niiden tieteellisistä/teknisistä osista ei käy millään tavalla ilmi, keitä hakijat ovat. Tarkoituksena on, että ehdotus voidaan arvioida ensimmäisen arviointiperusteryhmän (tieteellinen ja teknologinen laadukkuus sekä innovatiivisuus) osalta nimettömänä. Asiantuntijat arvostelevat yleensä ehdotuksen nimettömän osan erikseen ja täyttävät sekä allekirjoittavat sitä koskevan arviointilomakkeen ennen kuin heille annetaan ehdotuksen muut osat, joista hakijoiden nimi käy selville. Jos hankkeiden luonne edellyttää, että hakijoita koskevat tiedot ovat käytettävissä arviointiprosessin kaikissa vaiheissa, voidaan perustelluista syistä tehdä päätös hakijoiden henkilöllisyyden paljastamisesta asiantuntijoille alusta alkaen. Tällaisessa tapauksessa asiasta mainitaan ohjelmakohtaisessa arviointiliitteessä. Asiantuntijat antavat yleensä kunkin arviointiperusteen osalta arvosanan (pistemäärän) asteikolla 0-5. Tämän kuusiportaisen asteikon pistemäärät tarkoittavat seuraavaa: 0 - ehdotus ei käsittele tarkasteltavana olevaa aihetta tai sitä ei voida arvioida tämän perusteen osalta puuttuvien tai epätäydellisten tietojen vuoksi 1 - heikko 2 - tyydyttävä 3 - hyvä 4 - erittäin hyvä 5 - erinomainen Lisäksi asiantuntijat antavat yksittäisten arviointiperusteiden arvosanojen perusteella kullekin arviointiperusteiden ryhmälle arvosanan 0-5. Ainoastaan nämä perusteryhmiä koskevat arvosanat otetaan (painotettuina) huomioon määritettäessä ehdotuksen lopullista kokonaispistemäärää Tutkijankoulutusta koskevissa toimissa (Marie Curie -apurahat, tutkijavoimavaroja lisäävät tutkijankoulutusverkot, tutkimusinfrastruktuurien käyttömahdollisuuksien parantaminen sekä korkean tason tieteelliset tapaamiset) sovellettavia ehdotusten arvostelumenettelyjä selostetaan liitteessä N. 10 Selostetulla menettelyllä pyritään siihen, että arvioijat voivat tarkastella yksittäisiä arviointiperusteita ja antamalla kustakin arvosanan määrittää vertailukohdan, jonka pohjalta laatuindikaattoreita voidaan myöhemmin seurata koko hankkeiden elinkaaren ajan. Ottamalla ehdotusten lopullisessa arvostelussa huomioon ainoastaan perusteryhmien arvosanat pyritään siihen, että arvioijat tarkastelevat kokonaisuutta ja arvostelevat ehdotuksen kokonaisvaltaisesti viiden keskeisen perusteluokan kannalta eivätkä pelkästään laske "mekaanisesti" yhteen yksittäisten perusteiden osalta antamiaan pisteitä. Suppean (0-5) ja pieneen pääkriteerien joukkoon sovellettavan arvosteluasteikon valinnalla on pyritty 16

17 Kun kaikki ehdotuksia arvioivat asiantuntijat ovat saaneet oman arviointinsa valmiiksi tietyn vaiheen osalta, heidät kootaan yhteen paneeliksi käsittelemään annettuja arvosanoja. Mukana on myös komission virkamies, jolla on ryhmässä välittäjän tehtävä. Asiantuntijat pyrkivät kokouksessa pääsemään yksimielisyyteen kunkin perusteryhmän osalta annetuista lopullisista pistemääristä sekä ehdotuksen kokonaispistemäärästä. He perustelevat pistemäärät kommentein, joita voidaan käyttää palautteen antamiseen ehdotuksen koordinoijalle. Lisäksi he sopivat arviointiraportin tiivistelmästä, jonka he allekirjoittavat. Jos kokouksessa käy ilmi, etteivät kaikki asiantuntijat pääse yksimielisyyteen jostakin ehdotukseen liittyvästä seikasta, arvioinnista vastaavat komission yksiköt voivat vielä pyytää ylimääräisiä asiantuntijoita tarkastelemaan ehdotusta. Laadittavassa arviointiraportin tiivistelmässä esitetään tällöin asiantuntijoiden enemmistön kanta, mutta siihen kirjataan myös jonkin asiantuntijan tai joidenkin asiantuntijoiden mahdollisesti esittävät eriävät mielipiteet. Lopullisen päätöksen asiantuntijoiden suositusten tai näkemysten huomioon ottamisesta tekee komissio. Arviointi voidaan myös jakaa useaan eri vaiheeseen ja eri näkökohtien arvioinnissa voidaan käyttää eri asiantuntijoita. Lisäksi joillekin tai kaikille arviointiperusteryhmille määritetään yleensä kynnysarvot, joita sovelletaan siten, että ehdotusta, jonka pistemäärä jää jonkin perusteryhmän osalta kynnysarvojen alapuolelle, ei ehdoteta valittavaksi. Jos arviointi suoritetaan useassa peräkkäisessä vaiheessa, kynnysarvojen alapuolelle jäävät ehdotukset eivät etene seuraavaan vaiheeseen. Sen sijaan tällaiset ehdotukset luokitellaan välittömästi hylätyiksi. Riippumattomat tarkkailijat Ohjelmien vuotuisten seurantatoimenpiteiden yhteydessä kutsutaan kutakin erityisohjelmaa varten vähintään kerran vuodessa riippumattomia asiantuntijoita seuraamaan arviointia. Näiden tehtävänä on tarkistaa, että arvioinnissa noudatetaan tässä oppaassa ja sitä täydentävissä erityisohjelmia koskevissa tiedoissa määritettyjä menettelyjä, sekä laatia ohjelman johdolle raportti mahdollisista keinoista, joilla prosessia voitaisiin parantaa. Niissä tapauksissa, joissa ehdotukset jätetään kahdessa vaiheessa, tarkkailijat raportoivat menettelyjen soveltamisesta kummankin arviointivaiheen aikana. Tarkkailijat valitaan niiden joukosta, jotka ovat vastanneet asiantuntija-arvioijia ja asiantuntijatarkkailijoita sekä TTK-ohjelmien erityisneuvonantajia koskeviin hakemuspyyntöihin. Riippumattomien tarkkailijoiden toimintaa koskevat yksityiskohtaiset ohjeet annetaan liitteessä F. siihen, että kokonaispistemäärä heijastaa luotettavasti todellisia laatueroja eikä johdu mahdollisista tilastollisista virheistä tai arvioijien toiminnan epäyhdenmukaisuudesta. "Yhteisön tutkimuksen kansainvälisen aseman vahvistaminen" -ohjelman koulutusta ja huippuosaamista koskevien strategisten toimien ehdotusten arvostelumenettelyt on kuvattu liitteessä L. 17

18 Lopullinen arviointi, ehdotusten asettaminen paremmuusjärjestykseen sekä hylkäyspäätös Kun asiantuntijat ovat saaneet yksittäiset ehdotukset käsitellyiksi ja paneelit ovat laatineet arviointia koskevat arviointiraporttien tiivistelmät, asiantuntijat ryhtyvät tarkastelemaan ja vertailemaan niiden ehdotusten raportteja, jotka ovat ylittäneet eri kynnykset (jos sellaisia on määritetty). Tarkoituksena on tarkistaa, että eri paneelit ovat antaneet arvosanat yhdenmukaisin perustein, ja korjata tarvittaessa poikkeavuudet. Lisäksi tarkastellaan uudelleen niitä ehdotuksia, jotka ovat saaneet alustavassa arvioinnissa saman pistemäärän ja pyritään mikäli mahdollista ja tarpeellista asettamaan ne paremmuusjärjestykseen. Komissio voi tarvittaessa lisämielipiteitä saadakseen antaa ehdotuksen vielä ylimääräisten asiantuntijoiden arvioitavaksi, ja kokonaispistemäärä ja/tai arviointiraporttiin sisältyvät kommentit voivat tämän lisäarvioinnin tuloksena muuttua. Tällaisessa tapauksessa lopullisen arvioinnin suorittaneen paneelin esittelijä laatii arviointiraportista uuden version, jonka paneelin jäsenet ja/tai puheenjohtaja allekirjoittavat. Ehdotuspyynnön luonteesta sekä jätettyjen ehdotusten määrästä riippuen saattaa olla mahdollista organisoida työ siten, että kaikki tietyn alan asiantuntijat käyvät läpi kaikki kyseistä alaa koskevat ehdotukset ja suorittavat lopullisen arvioinnin jo tarkastellessaan yksittäisiä ehdotuksia. Toisaalta voi olla tarpeen muodostaa myös "laajennettu" paneeli tätä tehtävää varten. Se, minkälaista järjestelyä noudattaen asiantuntijat antavat lopulliset suosituksensa, määräytyy kunkin ehdotuspyynnön yhteydessä vallitsevan tilanteen mukaan. Lopullisen arvioinnin suorittaville asiantuntijapaneeleille saatetaan lisäksi antaa tehtäväksi tarkastella vielä uudelleen niitä ehdotuksia, joiden katsotaan olevan sopivia rahoitettaviksi, sekä esittää tarvittaessa mahdollisia suosituksia siitä, miten ehdotuksia voitaisiin ryhmitellä uudelleen tai yhdistää laajemmiksi hankkeiksi tai hankeryhmiksi. Ehdotusten koordinoijille tiedotetaan heidän ehdotustensa arvioinnin tuloksesta, kun ulkopuoliset asiantuntijat ovat saaneet arvionsa valmiiksi. Tutkimusasioista vastaavat komission yksiköt laativat asiantuntijoiden suositusten perusteella lopullisen luettelon (lopulliset luettelot), joka sisältää (jotka sisältävät) tärkeysjärjestyksessä kaikki ne arvioidut ehdotukset, jotka ylittävät asetetut kynnykset. Ehdotusten järjestys luettelossa määräytyy yleensä annettujen pistemäärien ja saman pistemäärän saaneiden ehdotusten kohdalla mahdollisten tärkeysjärjestystä koskevien suositusten perusteella. Komission yksiköt ottavat lopullista luetteloa laatiessaan huomioon myös ohjelman painopisteet ja tarkastelevat tältä kannalta esimerkiksi sitä, miten ehdotukset kattavat ohjelman tavoitteet, miten ne vastaavat yhteisön politiikan tavoitteita ja miten niissä on otettu huomioon mahdolliset eettiset näkökohdat. Näiden tekijöiden perusteella voidaan päättää asiantuntijoiden suosittaman ehdotusten järjestyksen muuttamisesta. Tällaisessa tapauksessa asianomaiset komission yksiköt esittävät lopullista luetteloa laatiessaan kattavat kirjalliset perustelut, joissa selvitetään, miksi asiantuntijoiden suosituksia ei ole noudatettu. 18

19 Komission yksiköt laativat lisäksi luettelon hylättävistä ehdotuksista. Tähän luetteloon kuuluvat kaikki ehdotukset, jotka eivät täytä kelpoisuusvaatimuksia (paitsi ne, jotka on aiemmin hylätty ensimmäisten kelpoisuustarkistusten jälkeen ks. s. 8 ja 9), jotka eivät kuulu ehdotuspyynnön alaan tai joiden pistemäärät ovat jääneet jonkin yksittäisen arviointiperusteen tai kokonaispistemäärän osalta kynnysarvojen alapuolelle. Samoin luettelo käsittää ehdotukset, joita ei voida budjettisyistä rahoittaa, koska ne jäävät ehdotusten paremmuusjärjestyksessä tietyn tason alapuolelle. Hylättävien ehdotusten luetteloa laadittaessa otetaan huomioon käytettävissä oleva budjetti (joka on määritetty ehdotuspyynnössä) sekä tarvittaessa tietty ehdotuspyynnön budjetista laskettu prosenttiosuus, joka vastaa peruttavia ehdotuksia ja/tai sopimuksen viimeistelyn yhteydessä mahdollisesti aikaan saatavia säästöjä. Lopullista valintaa varten hyväksyttyjen ehdotusten joukkoon ei sisällytetä ehdotuksia, jotka eivät arvioitaessa ole ylittäneet kaikkia kynnysarvoja. Kun muita komission yksiköitä on asianmukaisesti kuultu ehdotusten lopullisesta paremmuusjärjestyksestä sekä hylättyjen ehdotusten luettelosta, komissio tekee ehdotusten hylkäämistä koskevan päätöksen. Komission päätöksestä ilmoitetaan välittömästi kirjallisesti hylättyjen ehdotusten koordinoijille. Koordinoijille lähetettävässä kirjeessä esitetään myös perusteet hylkäämiselle. Niiden ehdotusten osalta, jotka on hylätty sen vuoksi, että ne eivät ole ylittäneet jotakin arviointikynnystä, arviointiraportin tiivistelmä saattaa kattaa ainoastaan arviointiperusteryhmät, jotka on arvioitu ennen kynnysarvon alittamista. Arviointiraportin tiivistelmän malli on liitteessä G. 19

20 Sopimusten valmistelu ja viimeistely Heti komission yksiköiden laadittua tärkeysjärjestyksen mukaisen luettelon hyväksytyistä ehdotuksista, kaikkien tärkeimmiksi arvioitujen ehdotusten (eli ehdotusten, joita ei ole hylätty ja joita varten on käytettävissä rahoitusta) koordinoijiin otetaan yhteyttä kirjeitse. Koordinoijat saavat ehdotustaan koskevan arviointiraportin tiivistelmän, ja heitä voidaan tarvittaessa pyytää toimittamaan lisää hallinnollisia tietoja hankesopimuksen valmistelua varten. Pyydettyjen lisätietojen toimittamiselle asetetaan määräaika. Jos tietoja ei toimiteta määräaikaan mennessä, komissio voi lopettaa sopimuksen valmistelua koskevat keskustelut ja hylätä kyseisen ehdotuksen. Lisätietoihin kuuluvat tiedot, jotka tarvitaan hankkeen yhteistyökumppanien taloudellisten toimintaedellytysten sekä kaikkien hankkeen toteuttamiseksi tarvittavien voimavarojen saatavuuden selvittämiseksi. Koordinoijille, joiden ehdotukset ovat varasijalla siltä varalta, että kaikkein tärkeimpien ehdotusten luettelossa olevia ehdotuksia koskevat neuvottelut eivät johda tulokseen tai että ehdotuksia perutaan taikka sopimusneuvotteluissa saadaan aikaan säästöjä, lähetetään niin ikään arviointiraportin tiivistelmä. Samalla heille ilmoitetaan, että heille saatetaan tarjota mahdollisuutta neuvotella hankesopimuksesta, jos käyttöön saadaan lisärahoitusta. Sopimuksen valmistelu- ja viimeistelyvaiheessa tarkasteltavia kysymyksiä ovat muun muassa hankkeelle esitettyjen kustannusten ja anottujen varojen välinen suhde sekä hankkeen yhteydessä suoritettavan teknisen työn täsmällinen sisältö. Erityisesti kiinnitetään huomiota varojen käytön kustannustehokkuuteen tarvittavan henkilöstön määrään ja tasoon, kesto- ja kulutushyödykkeiden käytön, muiden resurssien käytön ja matkakustannusten taloudellisuuteen sekä henkilöstö- ja muiden resurssien tehokkaaseen yhdistämiseen siten, että suunnitellut tuotokset saadaan aikaan mahdollisimman pienillä panoksilla. Keskustellessaan näistä kysymyksistä hakijoiden kanssa komission työntekijät ottavat huomioon asiantuntijoiden kommentit. Lisäksi tässä vaiheessa toteutetaan mahdolliset järjestelyt, joilla hankkeita koordinoidaan keskenään, kootaan hankeryhmiksi ja/tai yhdistetään toisiinsa (hakijoiden suostumuksella). Kun sopimuksen yksityiskohdat on saatu viimeistellyiksi hakijoiden kanssa ja kaikki tarvittavat rahoitukseen liittyvät ja oikeudelliset seikat tarkistetuiksi, komission yksiköt laativat valintapäätösluonnoksen. Tämän jälkeen komissio tekee valintapäätöksen noudattaen tavanomaisia sisäisiä menettelyjään sekä erityisohjelmaa koskevassa päätöksessä vahvistettua menettelyä. Kun valintapäätös on tehty, sopimukset lähetetään allekirjoitettaviksi. Jos jonkin hakijan kanssa ei päästä (komission määrittämässä) kohtuullisessa ajassa yksimielisyyteen muutoksista, jotka on tehty hakijan ehdotukseen arvioinnin tuloksen ja siihen perustuvien suositusten perusteella, sopimuksen valmistelua koskevat neuvottelut lopetetaan ja komissio hylkää ehdotuksen. Kun tietyn ehdotuspyynnön budjetti on käytetty kokonaisuudessaan, komissio tekee edellä selostetulla tavalla päätöksen, jolla se hylkää mahdolliset varalla olleet ehdotukset, joita ei ole voitu rahoittaa. Hylkäyspäätöksestä ilmoitetaan koordinoijille. 20