19/11/01 Liite L OHJELMAN "YHTEISÖN TUTKIMUKSEN KANSAINVÄLISEN ASEMAN VAHVISTAMINEN" ARVIOINTIMENETTELYT A.1. Liittymistä edeltävässä vaiheessa olevat valtiot: ja A.2 Uudet itsenäiset valtiot sekä KIE-maat, jotka eivät ole liittymistä edeltävässä vaiheessa: 1. Arviointiprosessi. Arvioinnissa noudatetaan Ehdotusten arviointimenettelyt -oppaassa kuvattuja vakiomenettelyjä. 1.1. Ennakkorekisteröinti. Ei tarjolla. 1.2 Ehdotusten ennakkotarkastus. Ei tarjolla. 1.3 Etä- tai postiarviointi. Kaikki arvioinnit suoritetaan yleensä komission valvomissa tiloissa. 1.4 Arviointiperusteet. Erityisohjelman yhteydessä sovelletaan yleisiä arviointiperusteita; perusteiden tulkinnassa otetaan huomioon ohjelmaan kuuluvien maiden laajempi maantieteellinen kattavuus, moniarvoisen tieteellisen ja teknologisen järjestelmän kehittämisen tukeminen ja jo olemassa olevaan osaamiseen perustuvan tieteellisen kapasiteetin säilyttäminen ja kehittäminen edelleen siten, että sen avulla voidaan edistää tärkeiden taloudellisten ja yhteiskunnallisten ongelmien ratkaisemista. 1.5. Arviointimenettely. Arvioinnissa noudatetaan Ehdotusten arviointimenettelyt -oppaassa kuvattuja vakiomenettelyjä. Koulutukseen ja huippuosaamiseen liittyviä strategisia toimia koskevien ehdotusten arvioinnissa ei sovelleta nimettömyysperiaatetta. Konferenssien osallistumistuen osalta käytetään kynnysperusteita seuraavasti: Jos alustava arvosana ei ole jonkin kynnysperusteen osalta riittävä, arvioija lopettaa ehdotuksen arvioinnin ja ilmoittaa tästä arviointipaneelille. Jos paneelin yksimielisesti antama arvosana on kynnysarvoa alhaisempi, se merkitään arviointiraportin tiivistelmään eikä muita perusteita enää arvioida. 1.6 Liitännäistoimenpiteiden arviointia koskeva erityismenettely avaintoiminnossa A1 koulutukseen ja huippuosaamiseen liittyvien strategisten toimien osalta. Tämän toiminnon erityispiirre on se, että se käsittää kaksi vaihetta, koulutusvaiheen ja uudelleensijoittautumisvaiheen, joihin sovelletaan omia arviointiperusteita. Lisäksi uudelleensijoittautumisvaiheessa sovelletaan erilaisia arviointiperusteita riippuen ehdotetun uudelleensijoittautumishankkeen luonteesta. Toimenpiteiden erityisluonne edellyttää yleisten arviointiperusteiden mukauttamista ottaen huomioon koulutusnäkökohdat ja ehdotetut uudelleensijoittautumismenettelyt jäljempänä kuvatulla tavalla: Hakijoiden on esitettävä johdonmukainen ja kattava ehdotus, joka koskee yhtä tai mahdollisesti useampaa kestoltaan merkittävää koulutus- ja uudelleensijoittautumisjaksoa, joiden kokonaiskesto on koulutusvaiheen osalta enintään 24 kuukautta ja uudelleensijoittautumisvaiheen osalta 12 kuukautta. Hakijoiden on toimitettava asetettuun määräaikaan mennessä kumpaakin vaihetta koskeva työsuunnitelma. Jos hankkeeseen sisältyy useita kestoltaan merkittäviä koulutus- ja uudelleensijoittautumisjaksoja, ehdotuksessa on selostettava yksityiskohtaisesti uudelleensijoittautumisvaiheen työsuunnitelma. Jos taas ehdotettu hanke koostuu yhdestä yhtäjaksoisesta koulutusvaiheesta ja yhdestä yhtäjaksoisesta uudelleensijoittautumisvaiheesta, uudelleensijoittautumisvaiheen työsuunnitelma voi olla suuntaa-antava. Tällaisessa tapauksessa uudelleensijoittautumistuki myönnetään ainoastaan, jos apurahan saanut stipendiaatti toimittaa hyväksyttäväksi viimeistään kuusi kuukautta ennen koulutusvaiheen päättymistä erityisen yksityiskohtaisen työsuunnitelman, joka osoittaa hänen uudelleensijoittautumisvalmiutensa. Tässä toimenpiteessä ei sovelleta ehdotusten ennakkotarkastusta eikä ennakkorekisteröintiä. Jokaisen ehdotuksen arvioi vähintään kolme riippumatonta asiantuntijaa, jotka on valittu tässä oppaassa kuvattuja tavanomaisia menettelyjä noudattaen. 50
1.6.1. Arviointiperusteet ja kynnysarvot Sovellettavat arviointiperusteet on kuvattu seuraavassa taulukossa. Koulutusta ja huippuosaamista koskevat strategiset toimet Pisteet I. Koulutusvaihe 1. Hanke 0-25 Tieteellinen ja teknologinen laadukkuus; omaperäisyys; innovatiivisuus; metodologinen lähestymistapa; toteutettavuus; hankkeen relevanssi ja mahdolliset tieteelliset vaikutukset. 2. Isäntälaitos 0-25 Isäntäryhmän tutkimustyön laadukkuus; asiantuntemus hankkeen alalla; hanketta tukeva tutkimusinfrastruktuuri 3. Hakija 0-50 Tutkimuskokemus/julkaisut; pätevyys tutkimustyön suorittamiseen II. Uudelleensijoittautumisvaihe II A. Uudelleensijoittautumisvaihe, johon kuuluu isäntälaitos 1. Hanke 0 50 Tieteellinen ja teknologinen laadukkuus; omaperäisyys; innovatiivisuus; metodologinen lähestymistapa; toteutettavuus; hankkeen relevanssi ja mahdolliset tieteelliset vaikutukset apurahan saaneelle stipendiaatille ja asianomaisen isäntämaan tieteellisen potentiaalin kehittymiselle. 2. Isäntälaitos (soveltuvissa tapauksissa) 0 50 Isäntäryhmän tutkimustyön laadukkuus; tieteellisen tai teknologisen toiminnan laatu ja määrä, ehdotettua työtä tukeva tutkimusinfrastruktuuri; II.B. Uudelleensijoittautumisvaihe ilman isäntälaitosta 1. Hanke/menettelyn tyyppi 0 100 Tieteellinen ja teknologinen lähestymistapa; omaperäisyys; yhteistoiminnan odotetut vaikutukset ja hyöty eri osapuolille; toteutettavuus; hankkeen relevanssi ja mahdolliset tieteelliset vaikutukset; budjetti- ja henkilöstötarpeet 1.6.2. Ehdotusten arvostelu Kukin asiantuntija arvioi ehdotukset asteikolla 0 100 edellä olevan taulukon mukaisesti. Koska hakijan/isäntälaitoksen koulutus- ja (soveltuvissa tapauksissa) uudelleensijoittautumisvaiheen asianmukainen arviointi edellyttää yksityiskohtaisia tietoja, on tärkeää, että osapuolten (hakijoiden, tutkimustyön ohjaajien) henkilötiedot ovat asiantuntijan tiedossa. Siksi ei ole käytännöllistä suorittaa arviointia nimettömästi. Kunkin ehdotuksen saama kokonaispistemäärä tulkitaan seuraavasti: 90 pistettä tai enemmän: poikkeuksellisen korkeatasoinen ehdotus 80-89 pistettä: erittäin korkeatasoinen ehdotus 70-79 pistettä: korkeatasoinen ehdotus 60-69 pistettä: keskitasoinen ehdotus Alle 60 pistettä: ehdotuksessa huomattavia puutteita. 1.6.3. Rahoituskynnys Vain sellaisia ehdotuksia voidaan rahoittaa, joiden kummankin vaiheen sekä koulutus- että uudelleensijoittautumisvaiheen pistemäärien keskiarvo on vähintään 70. 51
2. Arviointiperusteiden erityistulkinta Toimenpiteiden erityisluonne edellyttää yleisten arviointiperusteiden mukauttamista seuraavasti: Liitännäistoimenpiteet: Tuki konferensseihin osallistumista varten $ Liittymistä edeltävässä vaiheessa olevista valtioista tulevien tutkijoiden tukeminen, jotta nämä voisivat osallistua EU:ssa järjestettäviin seminaareihin, kollokvioihin ja työpajoihin ja jotta näissä maissa voitaisiin järjestää vastaavia tilaisuuksia. +DQNNHHW YRLYDWÃNRVNHD P\ V WLHGRWXVSlLYLl MRLGHQÃDLKHHQD RYDWÃ(8Q SXLWHRKMHOPDDQ NXXOXYDW RKMHOPDW $ Niistä KIE-maista, jotka eivät ole liittymistä edeltävässä vaiheessa, uusista itsenäisistä valtioista ja Mongoliasta tulevien tutkijoiden tukeminen, jotta nämä voisivat osallistua EU:ssa järjestettäviin seminaareihin, kollokvioihin ja työpajoihin ja jotta näissä maissa voitaisiin järjestää vastaavia tilaisuuksia. Tieteellinen ja teknologinen laadukkuus Aloitteen tieteellinen tai teknologinen laatu, tapahtuman ainutkertainen luonne, ohjelman uutuus ja liittymistä edeltävässä vaiheessa olevista valtioista tulevien osallistujien rooli (esitykset, valmistellut puheenvuorot, työpajojen puheenjohtajuus jne.) Aloitteen tieteellinen tai teknologinen laatu, tapahtuman ainutkertainen luonne, ohjelman uutuus ja uusista itsenäisistä valtioista sekä niistä KIEmaista, jotka eivät ole liittymistä edeltävässä vaiheessa, tulevien tutkijoiden rooli (esitykset, valmistellut puheenvuorot, työpajojen puheenjohtajuus jne.); tieteellinen relevanssi näille maille tärkeiden alojen kannalta: ympäristö, terveys, luonnonvarojen kestävä käyttö Voimavarat, kumppanuudet ja hallinto Koko aloitteen tarkoituksenmukaisuus, järjestäjien uskottavuus Aloitteen tekninen ja hallinnollinen organisaatio, suunniteltu rahoitus; rahoituksen monipuolisuus: komission osuuden olisi oltava enintään kolmasosa kokonaiskustannuksista. Koko aloitteen tarkoituksenmukaisuus, järjestäjien uskottavuus; aloitteen tekninen ja hallinnollinen organisaatio, suunniteltu rahoitus; rahoituksen monipuolisuus: komission osuuden olisi oltava enintään kolmasosa kokonaiskustannuksista. Yhteisön tasolla saatava lisäarvo/ EU:n politiikkojen edistäminen Myötävaikutus liittymistä edeltävään yhteisön strategiaan ja näille maille tarkoitettuihin EU:n tieteellisiin, taloudellisiin ja teknisiin yhteistyöohjelmiin Myötävaikutus näille maille tarkoitettuihin EU:n tieteellisiin, taloudellisiin ja teknisiin yhteistyöohjelmiin. Yhteisön sosiaalisten tavoitteiden edistäminen Talouskehityksen sekä tieteen ja teknologian näkymät 3. Arviointiperusteiden painotus (asteikolla 1 10) ja kynnysarvot (asteikolla 0 5) TOIMINTA- TYYPPI HANKETYYPPI Kynnysperuste VALINTAPERUSTEET Muut perusteet A.1 and A.2: Konferenssien osallistumistuki Liitännäistoimenpiteet Tieteellinen ja teknologinen laadukkuus Yhteisön tasolla saatava lisäarvo jne. Yhteisön sosiaalisten tavoitteiden edistäminen Talouskehityksen sekä tieteen ja teknologian näkymät Voimavarat, kumppanuudet ja hallinto Painotus Kynnys Painotus Painotus Painotus Painotus 5 3 2 0 0 3 52
A.3 Välimeren alueen kumppanuusmaat ja A.4 Kehitystä edistävä tutkimus 1. Arviointiprosessi Alan asiantuntijat arvioivat ensin (yhteisrahoitteisia toimia, koordinoivia toimia ja aihepiirikohtaisia verkkoja koskevat) ehdotukset tieteellisin ja teknisin perustein (ensimmäinen osavaihe). Korkean arvosanan saaneet ehdotukset, joilla on mahdollisuuksia tukeen, toimitetaan sen jälkeen Välimeren kumppanuusmaiden ja kehitysmaiden asiantuntijoista koostuviin alueellisiin arviointipaneeleihin, jotka tutkivat ehdotusten relevanssin ja hyödyllisyyden sekä tulosten mahdolliset vaikutukset kyseisillä alueilla (toinen osavaihe). Liitännäistoimenpiteiden arviointi tapahtuu komission henkilöstön johdolla asianmukaisia menettelyjä soveltaen. 2. Arviointiperusteiden erityistulkinta Toimintatyyppi Voimavarat, kumppanuudet ja hallinto Yhteisön tasolla saatava lisäarvo/ EU:n politiikkojen edistäminen Yhteisön sosiaalisten tavoitteiden edistäminen Tieteellinen ja teknologinen laadukkuus Talouskehityksen sekä tieteen ja teknologian näkymät 53
A.3 ja A.4: yhteisrahoitteiset toimet, koordinoivat toimet ja aihepiirikohtaiset verkot Sovelletaan arviointioppaassa kuvatulla tavalla (nimettömänä) Sovelletaan arviointioppaassa kuvatulla tavalla siten, että erityisesti otetaan huomioon Välimeren kumppanuusmaiden ja kehitysmaiden merkittävä ja tasapainoinen yhteistyökumppanuus. Tätä perustetta sovelletaan sekä ensimmäisessä osavaiheessa, jossa keskitytään tehtävien jakoon ja ryhmien tieteelliseen kykyyn suoriutua niistä, että toisessa osavaiheessa, jossa Välimeren kumppanuusmaiden ja kehitysmaiden asiantuntijat keskittyvät erityisesti paikallisten voimavarojen ja työvoiman laatuun sekä kumppanuuden ja työkuormituksen tasapainoisuuteen. Sovelletaan arviointioppaassa kuvatulla tavalla, paitsi että käsiteltävien ongelmien tulee olla sellaisia, että ne eivät ole luonteeltaan leimallisia EU:lle vaan niillä on merkitystä Välimeren alueen kumppanuusmaille/kehitysmaille työohjelmassa kuvatulla tavalla. Arviointiperustetta, joka koskee yhteisön tasolla saatavaa lisäarvoa, sovelletaan konsortion eurooppalaiseen osuuteen. Euro- Välimerikumppanuuspolitiikka ja EU:n kehityspolitiikka ovat tärkeitä. erityisen Koska kohteina ovat Välimeren alueen kumppanuusmaat ja kehitystä edistävä tutkimus, tätä perusteryhmää ei sovelleta. On kuitenkin huomattava, että kaikki arviointioppaassa mainitut yksittäiset perusteet liittyvät Euro- Välimeri-kumppanuuden tavoitteisiin ja ovat osatekijöitä kestävässä kehityksessä, joka on kehitystä edistävän tutkimuksen tärkein tavoite. Sovelletaan alueellisen arvioinnin aikana arviointioppaassa kuvatulla tavalla siten, että arviointiperusteena ovat myös ennustettava vaikutus kestävään kehitykseen ja soveltaminen maailmanlaajuisiin tai alueellisiin ongelmiin (kehitystä edistävä tutkimus) taikka Välimeren alueen sosioekonominen nykyaikaistaminen. 54
A.3 ja A. 4: Liitännäistoimenpiteet Painotuksen kohteena on ehdotetun toiminnan laatu ja sen edistävä vaikutus keskeisten tieteellisten ja teknologisten kysymysten ratkaisemiseen ohjelman tavoitteiden saavuttamiseksi sekä valitun lähestymistavan, metodologian ja työsuunnitelman soveltuvuus tieteellisten ja teknologisten tavoitteiden saavuttamisen kannalta. (hakijoiden henkilöllisyys selvillä) Sovelletaan arviointioppaassa kuvatulla tavalla. Kuten edellä Myötävaikutus näille maille tarkoitettuihin yhteisön tieteellisiin, taloudellisiin ja teknisiin yhteistyöohjelmiin. Ehdotetun hankkeen strateginen vaikutus ja sen mahdollisuudet tukea ohjelman tavoitteita. 3. Arviointiperusteiden painotus (asteikolla 1 10) ja kynnysarvot (asteikolla 0 5) ARVIOINTIPERUSTEET HANKE- TYYPPI OSAVAIHE Tieteellinen ja Yhteisön tasolla Voimavarat, teknologinen saatava lisäarvo kumppanuudet laadukkuus jne. ja hallinto Painotus Kynnys Painotus Kynnys Painotus Kynnys Painotus Talouskehityksen sekä tieteen ja teknologian näkymät A.3 ja A.4 Yhteisrahoitteinen 1. osavaihe 3 4 1 Ei 1,5 Ei - - toi- sovel- sovel- minta, koordinoiva let let toiletletminta ja 2. osavaihe - - - - 1,5 4 3 4 aihepiirikohtaiset verkot Kynnys A.3 ja A.4 Liitännäistoimenpiteet - 2 Ei sovelleta 2 Ei sovelleta 2 Ei sovelleta 4 Ei sovelleta 55
A.5 NOPEASTI KEHITTYVÄN TALOUDEN MAAT JA TEOLLISUUSMAAT 1. Arviointiperusteet Tieteellinen ja teknologinen laadukkuus Ehdotuksen laatu ja sen mahdollisuudet edistää ehdotuspyynnön tavoitteiden saavuttamista Valitun lähestymistavan, metodologian ja työsuunnitelman soveltuvuus ehdotuspyynnön tavoitteiden saavuttamisen kannalta. Yhteisön tasolla saatava lisäarvo ja EU:n politiikkoja edistävä vaikutus Kansainvälisen yhteistyön ulottuvuus Konsortion eurooppalainen lisäarvo Mahdollisuudet edesauttaa EU:n ulkopolitiikan toteutusta tai sen kehittämistä. Yhteisön sosiaalisten tavoitteiden edistäminen Ei sovelleta Talouskehityksen sekä tieteen ja teknologian näkymät Ei sovelleta Hallinto ja voimavarat Hallinnon ja hankkeen ehdotetun lähestymistavan laatu Yhteistyökumppanuuden laatu Voimavarojen asianmukaisuus 2. Arviointiperusteiden painotus (asteikolla 1-10) ja kynnysarvot LIITÄNNÄISTOIMENPITEET ARVIOINTIPERUSTEET Perusteiden painotus Perusarvosanat Enimmäisarvosanat Kynnys Tieteellinen ja teknologinen laadukkuus 5 5 25 18 Yhteisön tasolla saatava lisäarvo ja EU:n politiikkoja edistävä vaikutus Yhteisön sosiaalisten tavoitteiden edistäminen Talouskehityksen sekä tieteen ja teknologian näkymät 2 5 10 Ei ole - 0 0 Ei ole - 0 0 Ei ole Hallinto ja voimavarat 3 5 15 10 YHTEENSÄ 10 50 28 3. Kynnysarvot 56
Jotta ehdotetun hankkeen rahoitusta voidaan harkita, sen on saatava vähintään 18 pistettä perusteen "Tieteellinen ja teknologinen laadukkuus ja innovatiivisuus" osalta ja vähintään 10 pistettä perusteen "Hallinto ja voimavarat" osalta. B. TUTKIJOIDEN KOULUTUS B.1. KEHITYSMAIDEN NUORILLE TUTKIJOILLE TARKOITETUT APURAHAT Mihin tahansa erityisohjelmaan liittyvää yhteistä tutkimushanketta 22 tai koordinoivaa toimintaa koskevaa ehdotusta laativa konsortio voi hakea samalla kansainvälisen yhteistyön koulutusapurahaa. Myönnetyt apurahat rahoitetaan erityisohjelman "Yhteisön tutkimuksen kansainvälisen aseman vahvistaminen" budjetista. Tällaisia apurahoja koskevassa arvioinnissa noudatetaan kaikissa EY:n viidennen puiteohjelman erityisohjelmissa seuraavia menettelyjä. 1. Asiantuntija-arvioijat Apurahahakemus on jätettävä samanaikaisesti hanke-ehdotuksen (koordinoiva toiminta tai yhteinen tutkimushanke) kanssa kaikissa ohjelmissa. Apurahahakemukset arvioidaan samanaikaisesti hankeehdotuksen kanssa samojen asiantuntijoiden toimesta. 2. Kelpoisuusehdot Jotta apurahahakemus olisi tukikelpoinen, sen on täytettävä seuraavat vaatimukset: Ehdokkaan - on oltava tukikelpoisen alueen kansalainen ja hänen on oltava sijoittautunut tukikelpoiselle alueelle - on oltava (hakuajankohtana) enintään 40-vuotias - on hallittava isäntälaitoksen työkieli. Isäntälaitoksen: - on sijaittava EU:n jäsenvaltiossa tai viidenteen puiteohjelmaan assosioituneessa maassa - on oltava yhteistä tutkimushanketta tai koordinoivaa toimintaa ehdottavan konsortion jäsen. 3. Arviointiperusteet Tukikelpoiset apurahahakemukset arvioidaan seuraavin perustein: Perusteet Pisteet 1. Hakemuksen tieteellisten ja/tai koulutustavoitteiden laadukkuus 0-50 2. Apurahan mahdollinen merkitys hakijalle ja/tai tämän omalle laitokselle 0-20 3. Apurahan relevanssi hankkeelle kokonaisuudessaan 0-15 4. Hakijan kokemus ja ammatillinen koulutus 0-15 4. Ehdotusten arvostelu Pistemäärä voi olla 0 100 edellä esitetyn mukaisesti. Jotta apuraha voidaan myöntää, hakemuksen on saatava vähintään 60 pistettä, joista vähintään 30 pistettä tieteellisten ja koulutustavoitteiden laadukkuudesta. Kunkin muun perusteen osalta on saatava vähintään 5 pistettä. Arvioidut hakemukset asetetaan ohjelmittain paremmuusjärjestykseen niiden pistemäärän perusteella. Huomautus: Apuraha myönnetään vain, jos hanke valitaan rahoitettavaksi kokonaisuudessaan ja apurahahakemus saa tarvittavat pisteet. 22 TTK-, demonstraatio- ja yhdistetyt hankkeet (ks. Hakijoiden oppaan kohta 1.3.2a). 57
B. 2 Yhteisön tutkijoiden apurahat Japanin-apurahajärjestelmän monialaisen luonteen ja yleisten vaatimusten vuoksi useita tässä oppaassa annettuja ohjeita ei sovelleta kyseisiin apurahoihin. Tärkeimmät erot on kuvattu alla kohdissa "Asiantuntija-arvioijat", "Arviointiperusteet" ja "Ehdotusten arvostelu". 1. Asiantuntija-arvioijat Jokaisen Japanin-apurahaehdotuksen arvioi kaksi riippumatonta asiantuntijaa, jotka on valittu aiemmin kuvattujen menettelyjen perusteella. Japanin-apurahojen arviointipaneelin tieteellisen monimuotoisuuden takia puheenjohtajan paneelin nimittää komissio. Puheenjohtajan tehtävänä on koordinoida paneelin työtä puuttumatta yksittäisten ehdotusten arviointiin. 2. Arviointiperusteet Japanin-apurahoihin sovellettavat arviointiperusteet ja niiden suhteellinen painoarvo on kuvattu seuraavassa: Japanin-apurahat 1. Hanke-ehdotus Tieteellinen ja teknologinen laadukkuus; metodologinen lähestymistapa; hankkeen tieteellinen relevanssi Euroopalle 2. Japanilainen isäntälaitos Isäntäryhmän tutkimustyön laadukkuus; hanketta tukeva tutkimusinfrastruktuuri; japanilaisen isäntälaitoksen ja Euroopan välisten tutkimusyhteyksien laadukkuus 3. Hakija Tutkimuskokemus/tieteelliset ansiot/julkaisut; hakijan soveltuvuus; vaikutukset ja hyöty stipendiaatille; Pisteet 0-30 0-30 0-40 3. Ehdotusten arvostelu Japanin-apurahojen hakemuslomakkeiden yksityiskohtaisen ja erityisen luonteen takia ehdotusten rakenne on yleensä suhteellisen samankaltainen. Tämän ansiosta kukin asiantuntija voi arvioida ehdotukset yhdenmukaisella tavalla asteikolla 0 100. Kunkin ehdotuksen saama kokonaispistemäärä tulkitaan seuraavasti: 90 pistettä tai enemmän: poikkeuksellisen korkeatasoinen ehdotus 80-89 pistettä: erittäin korkeatasoinen ehdotus 70-79 pistettä: korkeatasoinen ehdotus 60-69 pistettä: keskitasoinen ehdotus Alle 60 pistettä: ehdotuksessa huomattavia puutteita. Kun kaikki asiantuntijat ovat saaneet henkilökohtaiset arvionsa valmiiksi, arvosanat tarkistetaan, jotta niiden välille ei jäisi merkittävää epäyhdenmukaisuutta. Jos epäyhdenmukaisuutta esiintyy, asiantuntijat voivat keskustella arvosanoista keskenään ja muuttaa niitä, jos he pääsevät tästä selkeään yhteisymmärrykseen. Jos näkemyserot jatkuvat, ehdotuksen arvioijaksi voidaan pyytää ylimääräinen asiantuntija. Apurahoihin sovellettava yksityiskohtainen pisteytysjärjestelmä antaa tulokseksi paremmuusjärjestyksessä olevan luettelon rahoitettavista ehdotuksista. Niissä harvoissa tapauksissa, joissa kahdella tai useammalla ehdotuksella on sama arvosana, ehdotuksista keskustellaan erikseen jäljempänä kuvatussa paneelin yhteisistunnossa. Kun henkilökohtaiset arvioinnit ovat valmiit, paneeli kokoontuu yhteisistuntoon keskustelemaan ja sopimaan hakukelpoisuuteen, erityisiin arviointiperusteisiin, arvosanojen epäyhdenmukaisuuksiin tai ehdotuksiin liittyvistä kysymyksistä, jotka asiantuntijoiden mielestä vaativat lisäkeskustelua. Jos jonkin ehdotuksen arvioinnissa on käytetty ylimääräistä asiantuntijaa, yksi asiantuntijoista voi peruuttaa arvosanansa. Jos näin ei tapahdu, sovitaan seuraavista toimintavaihtoehdoista puheenjohtajan johdolla: paneeli voi sopia pistemäärän keskiarvon käyttämisestä; paneeli voi sopia muista selvästi poikkeavan 58
arvosanan peruuttamisesta; paneeli voi poikkeustapauksessa sopia toisen ylimääräisen asiantuntijan nimeämisestä. 59