Jukka Vanhala TTY/ELT jukka.vanhala@tut.fi
Osallistuin ICT-1 Cyber-Physical Systems - hakemusten arviointiin kesäkuussa 2014. Arvioin 8 hakemusta. Kaikkiaan hakemuksia oli 140. Noista noin 50 ylitti kynnykset. 10 parasta sai rahoituksen = 1/14 = 7,1% Alla oleva kuvaa senkertaista arviointikierrosta eikä välttämättä ole yleispätevä. Suosittelen arvioijaksi ryhtymistä, on opettavaista.
Arvioijat valitaan halukkaiksi ilmoittautuneiden listoilta Asiantuntijoita on kahdenlaisia, oikeita asiantuntijoita ja yleismiehiä. Jokaiselle hakemukselle on pyritty osoittamaan ainakin yksi juuri sen alan asiantuntija, joka tuntee alan toimijat ja tilan. Kannattaa siis olla tarkka siinä mitä hakemukseen kirjoittaa, oma asiantuntemus täytyy pystyä näyttämään. Yleistasolla arvioijat katsovat projektia kokonaisuutena ja tarkistavat, että kaikki olennainen (ja joskus epäolennainen) on huomioitu hakemuksessa. Tuurista riippuu millainen arvioijakokoonpano on eli ei kannata luottaa siihen, että jossakin kohdassa hakemuksessa voi oikoa kiireessä.
Aluksi on video-kokous, jossa asiantuntijoita opastetaan kirjoittamaan yhteismitallisia arvioita Hakemukset luetaan etänä ja yhden hakemuksen lukemiseen on varattu aikaa 0,5 työpäivää Käytännössä arviointi vie kokonaisen työpäivän Kalenteriaikaa n. 1 kk Arvioijina on jokaisella hakemuksella kolme asiantuntijaa. Asiantuntijat ovat pääsääntöisesti teollisuudesta, mutta mukana on myös yliopistoihmisiä. Myös teollisuudesta tulevilla näyttää olevan tutkijatausta.
Arvioinnissa kustakin hakemuksesta täytetään sähköiseen arviointijärjestelmään lyhyet sanalliset arviot ja kolme numeerista arvosanaa. Arvosanojen antaminen objektiivisesti vaikeaa, käytännössä suhteellinen arviointi Tässä vaiheessa arvioijat etsivät puutteita Jos puutteita (joko sisältöön liittyviä tai rakenteeseen liittyviä) ei löydy, saa täydet pisteet. Vaikka projekti olisi kuinka vallankumouksellisen nerokas sitä ei hyväksytä, jos esim. IPRmanagement on jäänyt kuvaamatta. Hakemukset arvioidaan as is. Ei potentiaalin perusteella. Ei avoimia kysymyksiä, oletuksia.
Etäarvioinnin jälkeen arvioijat kokoontuvat Brysseliin consensus kokouksiin, joissa jokainen hakemus käsitellään erikseen. Kuhunkin kokoukseen osallistuu kaikki kolme hakemuksen arvioinutta asiantuntijaa, raportoija (sihteeri), joka on myös ulkopuolinen asiantuntija sekä kokousta vetävä komission virkamies. Näistä raportoijan ja erityisesti virkamiehen tulisi olla neutraaleja ja olla ottamatta kantaa, mutta se näyttää olevan vaikeaa. Consensus kokouksessa koetetaan löytää yhteinen näkemys siitä, mitä lopulliseen arviointiin kirjoitetaan ja mitkä ovat lopulliset arvosanat. Yllättävän helppoa. Käytännössä kohtalo määräytyy tässä vaiheessa, puolilla pisteillä suuri merkitys. Joissain tapauksissa, jos asiantuntijat ovat joustamattomia, kolme asiantuntijaa äänestää. Kokous kestää tyypillisesti 1,5 3 tuntia. Kaikkien hakemusten läpikäynti 3-4 pitkää päivää.
Kun kaikki hakemukset on käsitelty consensuskokouksissa, järjestetään cross-reading Asiantuntijat saavat lukea minkä hyvänsä hakemuksen ja todentaa, että arviointi on mennyt oikein. Jos poikkeamia löytyy, niistä voi esittää kysymyksen, joka käsitellään paneelissa. Cross-readingiin on varattu muutamia tunteja. Tällä kertaa kaksi kysymystä, jotka eivät vaikuttaneet lopputuloksiin.
Seuraavaksi järjestetään paneeli, johon osallistuvat kaikki asiantuntijat, joilla ei ole liikaa jääviyksiä. Yksittäisen hankkeen kohdalla jäävit poistuvat huoneesta. Kokouksen vetää komission ylempi virkamies rautaisella otteella eli jos haluaa jotenkin vaikuttaa lopputulokseen, pitää olla valppaana. Hankkeet on tässä vaiheessa järjestetty alustavaan paremmuusjärjestykseen. Käsittely etenee niin, että kaikki alle kynnysarvojen jääneet hakemukset hylätään suoraan ilman erityistä keskustelua. Sen jälkeen katsotaan jokaista projektia parhaimmasta alkaen ja keskustellaan siitä, onko se evaluoitu oikein. Tässä yhteydessä arviointi voi vielä muuttua, mutta käytännössä enintään puoli pistettä.
Hakemuksia hyväksytään parhaista lähtien niin monta, kuin mihin tähän topiciin varatulla budjetilla pystytään rahoittamaan. Tällä kertaa rahaa oli käytettävissä 37M. Keskimääräinen projekti on kooltaan noin 4M (sekoitus eri kokoisia projekteja 2M-8M), jolloin hyväksytyksi tulee noin 9 hakemusta. Hakemuksia on aina moninkertaisesti verrattuna siihen kuinka moni saa rahoituksen.
Kustakin kolmesta arviointikohdasta voi saada max 5 pistettä, jolloin täydet pisteet on 15. Jonkin kohdan jääminen 2,5 pisteeseen tai kokonaissumman jääminen alle 10 aiheuttaa suoraan hylkäämisen. Tällä kertaa 15 pistettä sai aluksi 2 hakemusta ja paneelikeskustelussa nousi kolmas hakemus tähän ryhmään. 14,5 pistettä sai viisi hakemusta ja 14 pistettä kahdeksan hakemusta. 15 ja 14,5 pistettä riitti siis suoraan hyväksyntään, 8 hakemusta 14 pisteen hakemukset muodostavat harmaan alueen, jolta 2-3 voi vielä saada rahoituksen ja niiden valinta on paneelin varsinainen tehtävä. Keskinäinen järjestys määrätään tiettyjen kriteereiden pohjalta, jotka on kerrottu work program dokumentissa.
Katsotaan tärkeysjärjestyksessä: 1. Projektiportfolion sisältö eli jos hakemuksessa käsitellään asiaa, jota ei ole käsitelty jo jossain korkeamman kokonaisarvioinnin saaneessa hakemuksessa, hakemus menee jonon kärkeen. Tarkistuksen tekee neljän asiantuntijan ryhmä. Tällä on todellista merkitystä eli tällä kertaa 14 pistettä saaneista ja lopulta hyväksytyistä hakemuksista kaikki olivat tällaisia. 2. Arvosanat järjestyksessä. Tällä on myös todellista merkitystä. Excellence-arvosana (eli tästä täytyy saada 5) Impact-arvosana (mielellään 5 tästäkin) Implementation (tässä on varaa menettää puuttuva piste tai puolikas) 3. SME-budjetin suuruus 4. Gender-balanssi eli käytännössä mitä enemmän naisia mainittu, sen parempi Kaikki kynnysarvot ylittäneet hakemukset laitetaan järjestykseen eli tällä kertaa jouduttiin käyttämään vielä SME-budjetti kohtaa, jotta saatiin paremmuusjärjestys selville.
Hakemukset arvioidaan yhdessä vaiheessa sellaisenaan, ei neuvoteluja. Projekteja on pieniä (2M-4M) ja isoja (5M- 8M). Toivottu koko on mainittu WP:ssä Ylibudjetointi aiheuttaa kynnyksen alituksen Implementation-kohdassa. Projektit ovat sisällöllisesti samanlaisia eli vanhaa eroa STREP ja IP-hankkeiden välillä ei ole.
Scope Excellence Impact Implementation
Kunkin haun sisältö on kuvattu Work Program dokumentissa Siinä on kuvattu scope, eli aihealue, jota projektin tulee käsitellä. Se on varsin laaja käsite ja ainoastaan selvät tapaukset, jotka eivät osu aihealueelle hylätään (eli excellence saa 2,5 pistettä) Reunalla olo saattaa kuitenkin vaikuttaa arvosanaan epäsuorasti, jos arvioija ei tykkää hakemuksesta Osa kriteereistä on uusia ja arvioijille ja komissiollekin epäselviä. Selvät tapaukset arvioidaan kriittisesti mutta ennakoitavasti, mutta muiden kohdalla on epävarmuutta. Tällä kertaa sellainen oli Innovation management.
Hakemuksen mallipohjaa ja sen ohjeita pitää noudattaa kirjaimellisesti. Jos hakemus rakenteeltaan poikkeaa mallipohjasta, arvioija ei löydä siitä haluamiaan asioita, vaikka ne olisivatkin kuvattuna hakemuksessa. Lukuun on liian vähän aikaa, jotta epätavallinen rakenne avautuisi.
Consensus-kokouksissa arvioijien pitää kommentoida noin yhdellä lauseella jokaista kohtaa eli hakemuksesta on hyvä löytyä valmis lause tai selkeä kohta josta lauseen voi kehittää. Yleisesti, jos hakemus on hyvin tehty, eri kohdista kirjoitetaan arvioon positiivinen standardilausahdus. Tai mahdollisesti vain todetaan, että kaikki kohdat ovat hyvin tehty, jolloin arvosana on 5. Asiantuntijoiden alkuperäisiin arvioihin ei enää palata tämän jälkeen Jos joku kohta on vähän puutteellinen, siitä kirjoitetaan esim. The overall approach is credible, however the description of... is not sufficiently substantiated ja riippuen siitä arvioidaanko tuo merkittäväksi puutteeksi, siitä voi menettää puoli pistettä. Vakava puute ilmaistaan esim. Description of the state-of-the-art is not adequate, jolloin menettää kokonaisen pisteen (ja samalla rahoituksen)
Vääräksi koetusta arvioinnista voi periaatteessa valittaa Mutta koska hakemukseen ei voi tutustua tyhjentävästi, eksakteja lauseita vältetään arvioissa Ei esim. The application does not mention xxx. Arviointiin kirjoitetaan In the application, xxx was not substantiated adequately. Vähentää arvioinnista valituksia Alla on kolmen eri arviointikohdan selitys ja ohje arvioijille.
Note: The following aspects will be taken into account, to the extent that the proposed work corresponds to the topic description in the work programme. If a proposal is partly out of scope, this must be reflected in the scoring, and explained in the comments. Clarity and pertinence of the objectives Credibility of the proposed approach Soundness of the concept, including trans-disciplinary considerations, where relevant Extent that proposed work is ambitious, has innovation potential, and is beyond the state of the art (e.g. ground-breaking objectives, novel concepts and approaches)
Work program määrittelee topicin. Topicin alla on useita alakohtia ja hakemuksessa on kerrottava mihin niistä tähdätään. Tämän perustelun ei tarvitse olla laaja. Tyypillisesti referoidaan WP:n tekstiä ja perustellaan kuinka projekti kohdentuu siihen.
Tavoitteiden määrittelyn tulee olla selkeä. Tyypillinen ongelma hakemuksessa on, että objectives on esitetty liian epämääräisesti ja että niitä on liikaa. Pitää myös varoa, ettei epäsuorasti tule asettaneeksi myöhemmässä tekstissä lisää tavoitteita (esim. kertomalla uusia hyvältä kuullostavia ominaisuuksia kehitettävästä järjestelmästä). Tavoitteiden tulisi olla mitattavia eli niiden toteutuminen on voitava todentaa (esim. milestonesien kohdalla). Tavoitteiden tulee olla relevantteja (=pertinence) topiciin nähden. Tavoitteiden saavuttaminen pitää olla mahdollista. Jos asettaa liian kunnianhimoisia tavoitteita, voi saada huonon arvion credibility-kohdassa. Tässä kohdassa tarkastellaan tavoitteita ja käytettäviä (tutkimus)menetelmiä sisällön kannalta.
Soundness tarkoittaa sitä, että arvioijat uskovat kokonaiskonseptin olevan järkevän ja perustellun. Täytyy siis tehdä kotiläksyt ja tietää mitä kirjoittaa. Projektin sisällön ja lähestymistavan kuvaus voi olla tyyliltään lähellä tieteellistä julkaisua. Lähdeviitteet tulee olla, hyvissä hakemuksissa on muutamia kymmeniä. Transdisciplinary tarkoittaa sitä, että arvioijien mielestä voi olla tarpeen sisällyttää projektiin jonkun ydinalueen ulkopuolisen alan osaamista esim. teknisellä alalla sosiaalitieteitä tai lääketiedettä. Ei välttämättä tarkoita, että pitäisi olla partnerina, mutta pitää osoittaa, että asia on hallinnassa.
Haasteellisuus tason tulee olla riittävän korkea, mutta ei niin korkea että epäonnistuu credibility-kohdassa. Projekti voi sisältää tieteellisiä riskejä (jotka on otettu huomioon). Beyond the state-of-the-art on tärkeä, koska evaluoijat tuntevat alan. Hyvässä hakemuksessa on selkeästi kuvattu alan SOTA ja ne osa-alueet, joilla mennään siitä eteenpäin (siis nuo ground-breaking objectives, novel concepts and approaches).
Innovation potential on epämääräisempi käsite ja se tulee käsitellä selkeästi hakemuksessa, jotta arvioija ymmärtää asian (arvioija eksyy helposti ajattelemaan impactia) Tässä tarkoitetaan sitä osaa innovaatioketjusta, joka tuottaa uutta tietoa innovaatioiden pohjaksi. Tämän uuden tiedon tulee olla mielekästä, arvokasta ja relevanttia, jotta sen pohjalle voi rakentaa liiketoimintaa eli impactia eli sillä pitää olla innovaatiopotentiaalia
Note: The following aspects will be taken into account, to the extent to which the outputs of the project should contribute at the European and/or International level: The expected impacts listed in the work programme under the relevant topic Enhancing innovation capacity and integration of new knowledge Strengthening the competitiveness and growth of companies by developing innovations meeting the needs of European and global markets, and where relevant, by delivering such innovations to the markets Any other environmental and socially important impacts Effectiveness of the proposed measures to exploit and disseminate the project results (including management of IPR), to communicate the project, and to manage research data where relevant
Impaktia arvioidaan siltä kannalta, että oletetaan projektin saavuttavan Excellence-kohdassa olevat tavoitteet Implementation-kohdassa kuvatuilla resursseilla. Edellä sanotaan, että projektilla tulisi olla Euroopan tai kansainvälisen tason vaikutusta. Yleensä suunnitelmissa ei tätä kuvata, vaan impakti on kuvattu yleisellä tasolla SOTA:n paranemisena ja projektiin osallistuneiden partnereiden toiminnan kehittymisenä. Tästä ei näytetä rangaistavan. Mutta hyvää hakemusta varten tulisi miettiä miten tuloksia voi levittää laajemmin käyttöön.
WP:ssä mainitaan mitä topiciin liittyviä vaikutuksia odotetaan saavutettavan. 2014 ICT-1 haussa näitä oli neljä, joista ensimmäinen oli mitattavissa oleva ja kolme muuta epämääräisempää. Hakemuksen ei tarvitse tavoitella kaikkia vaan yksikin hyvin perusteltuna riittää.
Kohtaan enhancing innovation capacity ei juuri puututtu, koska kukaan ei tiedä mitä se tarkoittaa. Integration of new knowledge kuitattiin sillä, että projektissa syntyy uutta tietoa ja sitä käytetään. Strengthening etc. kohta jäi myös vähälle huomiolle. Innovaatioiden synty ja tarve pitää kuvata ja sitoa exploitation -suunitelmaan. Markkinoiden tuntemus on hyvä osoittaa. Moni projekti kaatuu siihen, että väitetään kehitettävän jotain uutta, mutta se on jo markkinoilla jossain päin maailmaa ja arvioija sattuu tietämään asian. Samoin on syytä kuvata markkinoille meno, koska pelkkä hyvän tuotteen kehittäminen ei riitä. HUOM. Tilanne arvioijien valistuneisuudessa on saattanut parantua.
Dissemination plan ja exploitation plan ovat tärkeitä, koska ne on helppo arvioida. Dissemination plan on suhteellisen standardi eikä vaadi ponnistelua. Kannattaa varata resursseja (rahaa) open julkaisemiseen, koska se on vaatimuksena H2020 projekteissa.
Exploitation plan jakautuu kahteen osaan, yleinen yhteinen suunnitelma ja kunkin osapuolen oma sisäinen suunnitelma. Jälkimmäisestä tulisi näkyä sitoutuminen hankkeeseen. Se ei aivan riitä, että osia tuloksista koetetaan integroida osaksi omia tuotteita tai omaa tuotekehitystä. Yhteisen hyödyntämissuunnitelman pitää olla uskottava ja sen tulee osoittaa selkeä polku kuinka tulokset tulevat käyttöön. Hyödyntämisen kannalta olisi hyvä jos hankkeessa olisi mukana major player. Kaikenlainen open kehitys on myötätuulessa.
IPR-hallinta tulee kuvata. Kannattaa kirjoittaa oma alilukunsa. Tässä arvioijien näkemykset eroavat jonkin verran, jotkut hyväksyvät, että asia on mainittu ja luvataan sopia Consortium Agreementissa. Yleinen tiedotussuunnitelma pitää olla. Jos projekti tuottaa tietokantoja (research data) yleiseen käyttöön, niiden hallinasta tulee kertoa.
Note: The following aspects will be taken into account: Coherence and effectiveness of the work plan, including appropriateness of the allocation of tasks and resources Complementarity of the participants within the consortium (when relevant) Appropriateness of the management structures and procedures, including risk and innovation management
Toteutussuunnitelma on standardi. Yleensä se on niin monimutkainen, että arvioijalla ei ole aikaa lukea huolella kaikkia työpakettien kuvauksia (laatikoita) läpi. Monimutkaisuutta (liikaa WP:itä tai liikaa Taskeja) tulee välttää. WP:iden tulee olla selkeästi eri asiaa, ei päällekkäisyyttä. Sisältöön puututaan tässä harvoin, jos projektin rakenne vastaa hyviä käytäntöjä. Mitään ylimääräistä sivujuonnetta ei kuitenkaan saa löytyä, vaan kaiken työn tulee edistää tavoitteita.
Jotkut arvioijat kuitenkin laskevat resursseja. Sopiva tarkkuustaso on sellainen, josta selviää noin 1 htkk:n tasolla mitä tehdään ja kuka tekee. Se ei riitä jos htkk:t on allokoitu n. 5htkk tarkkuudella. Resurssit on syytä perustella. Merkittävä (n. 30%) ylibudjetointi aiheuttaa projektin hylkäämisen. Pieni (5%- 10%) on vaikea arvioida, mutta jos arvioija niin ajattelee, saa alemman arvosanan. Grafiikka/taulukot (Gant, Pert, yms.) kannattaa tehdä niin, että niistä oikeasti näkee projektin kulun. Esim. WP (paitsi project management) ei saa jatkua yli koko projektin. WP keskinäiset riippuvuudet on näytettävä. Milestonesit merkitään ja ovat tarkastuspisteitä. Use-caset ovat tärkeitä eli kehitettävä teknologia tulee validoida realistisessa käyttöympäristössä (ainakin tässä topicissa).
Konsortion rakenteeseen puututaan yllättävän vähän. Joskus kaivataan jonkin alan merkittävää toimijaa, mikä saattaa tulla esille myös edellisessä impact-kohdassa. SME-yrityksiä tulisi olla mukana, usein use-case toteuttajina. Käytännössä tällä ei ollut merkitystä projektien arvioinnissa. Research-industry tasapainoa arvioitiin kevyesti. Konsortion olisi hyvä kattaa (tai ainakin konsortion kuvauksessa tulee niin väittää) kaikki tarvittava osaaminen.
Projektin rakenne ja hallinta ovat standardeja, pienellä projektilla vähän kevyempi kuin isolla. Kuvauksessa on hyvä nimetä tärkeimmät johtajat. Riskit tulee kuvata riittävällä tarkkuudella, muuten tästä menee puoli pistettä. Innovation management on uusi juttu, josta kukaan ei tuntunut tietävän tai juuri välittävän. (Siis suunnitelma innovaatioiden tuottamisen ja hallinnoimisen rakenteista ja prosesseista). Lyhyt kuvaus riittää, kunhan se on olemassa. Innovation manager on hyvä nimetä.
Hakemuksen ei tarvitse olla myyntihenkinen. Kaikki ylisanat ja hehkutus vain tekevät hakemuksesta vaikeammin luettavan ja sekavamman. Arviointi on varsin kaavamaista ja sitä sitoo selvät säännöt. Kannattaa keskittyä täyttämään yllä mainitut kriteerit ja jättää muu pois. Ei tarvetta maantieteelliselle tasapuolisuudelle Käsittely on avointa ja tasapuolista enkä huomannut (juuri) minkäänlaista kotiinpäinvetoa. Hakemukset käsitellään erillisinä. Eli jos jollakin (esim. tällä kertaa eräällä isolla yrityksellä) on useita hakemuksia, ne voivat hyvin tulla kaikki hyväksytyksi, koska ovat ammattitaidolla laadittuja. Kannattanee liittyä tällaiseen konsortioon.
Jukka Vanhala TTY/ELT jukka.vanhala@tut.fi