Ensimmäisten hakemusten kertomaa; arvioijan kokemuksia H2020-hauista Horisontti 2020 -infopäivä Veikko Rouhiainen, tutkimusprofessori VTT
Esityksen sisältö 1. Arviointiprosessi 2. Arviointikriteerit 1. Erinomaisuus / Excellence 2. Vaikuttavuus / Impact 3. Toteutus / Quality and efficiency of the implementation 3. Yleisiä kokemuksia arvioinnista 4. Arviointikriteerien täyttyminen Koordinaattori 5. Yhteenveto Omat kokemukset FP6-7 Hankkeiden valmisteluja eri rooleissa FP7: VTT:n Security hankekoordinointi FP7 evaluoinnit: Security, Marie Curie H2020 evaluoinnit: Secure Societies, SME, Marie Sklodowska-Curie 2
1. Arviointiprosessi 3
Arviointiprosessi Evaluators Receipt of Individual Consensus Panel Finalisation proporals evaluation group review Muotoseikkojen tarkistus 3-5 arvioijaa Yksityiset arviointiraportit Konsensuspäätös Konsensusraportti Paneelin raportti Evaluoinnin yhteenvetoraportti Lopullinen arviointitulos Paneelin tulos 4
Arvioijat minkälaisia asiantuntijoita Arvioijat ovat riippumattomia asiantuntijoita eri maista Erilaisella taustalla: tutkimus, yliopisto, loppukäyttäjä, yritys Eri asiantuntemuksella: tekniikka, talous, yhteiskuntatiede Arvioijien erilainen tausta ja asiantuntemus takaa arvioinnin kattavuuden ja eri näkökulmien huomioimisen Yleensä ehdotuksen arvioi kolmesta viiteen arvioijaa Konsensus-arvio on ryhmäpäätös, jossa mukana ovat kaikkien arvioijien havainnot ja näkemykset Konsortiota kootessa on hyvä pitää mielessä, että arviointiryhmässä on edustettuna koko Eurooppa. 5
2. Arviointikriteerit 6
Ehdotusten arviointi - kolme kriteeriä 7
Kriteerien arviointiasteikko Interpretation of the scores 0 = The proposal fails to address the criterion or cannot be assessed due to missing or incomplete information. 1 = Poor. The criterion is inadequately addressed, or there are serious inherent weaknesses. 2 = Fair. The proposal broadly addresses the criterion, but there are significant weaknesses. 3 = Good. The proposal addresses the criterion well, but a number of shortcomings are present. 4 = Very Good. The proposal addresses the criterion very well, but a small number of shortcomings are present. 5 = Excellent. The proposal successfully addresses all relevant aspects of the criterion. Any shortcomings are minor. Lähde:H2020 - Self-evaluation form for RIA & IA /EU/ 8
Alakriteerit: 1. Excellence (RIA & IA) Clarity and pertinence of the objectives Credibility of the proposed approach Soundness of the concept, including trans-disciplinary considerations, where relevant Extent that proposed work is ambitious, has innovation potential, and is beyond the state of the art (e.g. ground-breaking objectives, novel concepts and approaches). Alakriteerit vaihtelevat rahoitusinstrumentin mukaan, esim. SME, Marie Sklodowska-Curie Lähde:H2020 - Self-evaluation form for RIA & IA /EU/ 9
Alakriteerit: 2. Impact (RIA & IA) The expected impacts listed in the work programme under the relevant topic; Enhancing innovation capacity and integration of new knowledge; Strengthening the competitiveness and growth of companies by developing innovations meeting the needs of European and global markets, and where relevant, by delivering such innovations to the markets; Any other environmental and socially important impacts; Effectiveness of the proposed measures to exploit and disseminate the project results (including management of IPR), to communicate the project, and to manage research data where relevant. Lähde:H2020 - Self-evaluation form for RIA & IA /EU/ 10
Alakriteerit: 3. Quality and efficiency of the implementation (RIA & IA) Coherence and effectiveness of the work plan, including appropriateness of the allocation of tasks and resources; Complementarity of the participants within the consortium (when relevant); Appropriateness of the management structures and procedures, including risk and innovation management. Lähde:H2020 - Self-evaluation form for RIA & IA /EU/ 11
EU / REA antaa vain joitakin ohjeita arviointiin Applicants are expected to cover the topic in its entirety unless otherwise specified in the topic description! REA = Research Executive Agency 12
Mitä uutta H2020:ssa Haut ovat enemmän tehtävälähtöisiä (challenge), enemmän innovatiivisuutta Vaikuttavuudella (Impact) on suurempi paino kuin ennen Hankkeisiin toivotaan mukaan eri tieteenaloja, sektoreita ja toimijoita yhteisen ongelman ratkaisuun Tutkimuslaitoksia, yliopistoja, yrityksiä, PKT-sektori, yhteiskunnan toimijoita, loppukäyttäjiä, jne Sivurajoitukset ovat ehdottomia: arvioijan on raportoitava ylittymisestä. Ylimääräiset sivut eivät ole mukana arvioinnissa Enää ei ole neuvotteluvaihetta! Ehdotukset arvioidaan sellaisena kuin ne ovat, ei suosituksia Puutteet laskevat aina pisteitä 13
3. Yleisiä kokemuksia arvioinnista 14
Ensimmäisiä yleisiä havaintoja ehdotuksista Proposalin selkeys ensiarvoisen tärkeää Arvioijan käytettävissä oleva aika on hyvin rajallinen Kaikki minkä arvioija ehtii lukea vaikuttaa arviointiin Guide for Applicants -ohjeen vaatimukset Miten hyvin proposal vastaa ohjelman taustoja? Miten hyvin ehdotus kohdistuu työohjelmaan ja topiciin? Miten loppukäyttäjän tarpeet on huomioitu? Onko mukana Euroopan tason hyödyntäjiä ja loppukäyttäjiä? Miten hanke parantaa EU:n kilpailukykyä ja hyvinvointia? Hyvä tiivistelmä antaa hyvän lähtökohdan arviointiin! 15
Tiivistelmä (Abstract, Summary) Hakemuksen tärkein osa! Mikä on projektin tarkoitus, päämäärä, strateginen tavoite? Mikä on hankkeen konkreettinen tavoite? Mitä EU:lla on hankkeen päättyessä? Mitattavia tavoitteita? Mikä ongelma taustalla / mitä aiotaan ratkaista? Miten ongelma ratkaistaan, metodologia jne.? Miksi tärkeää? Mikä hyöty Euroopalle / alalle / partnereille? Jo tiivistelmästä pitää selvitä, miksi yhteisiä rahojamme kannattaa sijoittaa juuri tähän projektiin! 16
4. Arviointikriteerien täyttyminen 17
Arviointikriteerit / 1. Erinomaisuus (Excellence) Miten selkeä, kirkas, jäntevä, tiivis ja ymmärrettävä tutkimusidea on? Tutkimusmenetelmät? Punainen lanka läpi ehdotuksen? Onko tutkimuksella selkeä visio ja konkreettinen tavoite? Mitä uutta EU:lla on projektin päättyessä? European dimension? Mitä uutta ja innovatiivista projekti tuottaa? Vastaako ehdotus eurooppalaista tarvetta, vai onko se vain kiinnostava tutkimuskohde? Kattava ja selkeä state of the art? EU:n taustadokumentit? Linkit käynnissä oleviin ja päättyneisiin tutkimuksiin? Tutkimusideaa kannattaa testata; NCP, EU:n virkailijat, EU:n virastot, johtavat eurooppalaiset loppukäyttäjät 18
Arviointikriteerit / 2. Vaikuttavuus (Impact) Topicin toivottu vaikuttavuus (expected impacts)? Communication, dissemination, exploitation? Onko tutkimuksen tulosten hyödyntäminen suunniteltu? Tuloksiin liittyvät liiketoimintamallit? Arvoketjut? Ovatko kaikki partnerit mukana? Exploitation by partner! Hyödynnetäänkö tutkimuksen verkostoja ja organisaatioita tukemaan tulosten levittämistä loppukäyttäjille, viranomaisille, kansalaisille jne.? Onko hyödyntämisstrategia vakuuttava? Vastuut ja resurssit? Onko vaikuttavuuden tukena laskelmia ja numeroita? Tukevatko projektin tavoitteet riittävästi vaikuttavuutta? Impact-osion kirjoittamisella tilannetta ei enää pysty pelastamaan! 19
Arviointikriteerit / 3. Toteutus (Quality and efficiency of the implementation) Onko työsuunnitelma selkeä ja tieteellisesti vakuuttava? Työpaketit, milestonet, deliverablet? Tukevatko työpaketit tavoitteita? Toteutusorganisaatio ja keskeiset toimintaprosessit? Päätöksenteko, konfliktien ratkaiseminen, riskienhallinta? Onko konsortion kokoonpano tarkoituksenmukainen? Loppukäyttäjät, yksityiset ja julkiset, yliopistot, tutkimuslaitokset, yritykset, PKT? Onko kaikkien kokemus esitetty? Onko kaikilla todellinen rooli? Onko nukkuvia partnereita? Onko osallistumisissa päällekkäisyyttä? Kuitenkin pk-yritysten ja oikeiden loppukäyttäjien osallistumista kannustetaan ja siinä sallitaan poikkeuksia! 20
5. Yhteenveto 21
Miten varmistaa arvioijan positiivinen mieliala Vastaus kaikkiin arviointikriteereihin pitää löytyä ehdotuksesta Helposti ja nopeasti. Jos ei muuten niin etsi-toiminnolla Työohjelman termien käyttö tekstissä helpottaa arvioijaa Tee lukeminen helpoksi arvioijalle Käytä yksinkertaista ja selkeää kieltä Lyhyitä, ytimekkäitä ja täsmällisiä lauseita Taulukot ja kaaviot selventävät ja tuovat oleellisen esiin Oma sisäinen esi-evaluointi poistaa puutteita Arvioijat ovat ihmisiä, eivät hekään tunne kaikkia taustoja Kannattaa kertoa, mikä hakemuksen kannalta on tärkeää Ei: Tämä ehdotus täyttää EU:n xx-strategian vaatimukset Vaan: EU:n xx-strategian vaatima yy toteutetaan tällä tavalla 22
Ja vielä kertauksena Hyvä ei riitä, ehdotuksen on oltava erinomainen Tutkimusidean on oltava loistava / esitettävä loistavana Tiukka fokus ja oleellisin esiin vakuuttavasti Keskity tärkeimpään, tekstissä ei kannata yrittää esittää kaikkea Aloita ajoissa, kun haku aukeaa, parhaat partnerit ovat usein jo sitoutuneet Itse proposal on kirjoitettava nöyrän vakuuttavasti 23
TEKNOLOGIASTA TULOSTA