Yleisiä parannusehdotuksia hakemusten laatuun paneelipalautteiden perusteella

Transkriptio

1 1 (6) Kulttuurin ja yhteiskunnan tutkimuksen yksikkö Syyskuun 2014 haun paneelien palaute Kulttuurin ja yhteiskunnan tutkimuksen toimikunta ja yksikkö (KY) kehittävät jatkuvasti toimintaansa ja arviointikäytänteitään. Arviointipaneelien toimikunnalle laatima yleispalaute antaa siihen tärkeää tietoa. Paneelipalautteita käytetään niin hakuneuvonnassa kuin KY-toimikunnan ja -yksikön toiminnan parantamisessa. Palautteiden toivotaan tukevan myös tutkijoita hakemusten laatimisessa. Suomen Akatemia on koonnut vuoden 2014 syyskuun haun arviointipaneeleilta palautetta hakemusten tieteellisestä laadusta kansainvälisessä vertailussa. Lisäksi pyydettiin kommentteja avoimesta julkaisemisesta ja tutkimusaineiston avoimesta saatavuudesta (open access). Tämä kooste on laadittu kulttuurin ja yhteiskunnan tutkimuksen yksikön järjestämän 27 tieteenalapaneelin palautteista. Jokaiseen paneeliin osallistui 3-9 asiantuntijajäsentä sekä yksikön henkilökuntaa. Paneelit arvioivat syyskuun 2014 haun tutkijatohtori-, akatemiatutkija- ja akatemiahankehakemuksia. Pääosa arviointipaneeleista koottiin tieteenalakohtaisesti, mutta lisäksi järjestettiin joitakin monitieteisiä yhteispaneeleja Akatemian muiden toimikuntayksiköiden kanssa. Joidenkin tieteenalojen hakemusmäärät olivat niin suuria, että niiden arviointia varten järjestettiin kaksi tai kolme paneelia. Joissain tapauksissa hakemuksille pyydettiin yksittäislausuntoja ulkopuolisilta asiantuntijoilta, koska hakemukset eivät soveltuneet minkään yksittäisen tieteenalapaneelin arvioitavaksi. Akatemian arviointikäytännöt ja paneelityön organisointi Paneelien asiantuntijat pitivät Suomen Akatemian arviointikäytäntöjä kansainvälisesti vertaillen erittäin onnistuneina. Erityisesti paneelikokoukset, joissa asiantuntijat saavat tilaisuuden keskustella kasvokkain, nähtiin mielekkäinä laadukkaan ja oikeudenmukaisen arvioinnin takaamiseksi. Yleisiä parannusehdotuksia hakemusten laatuun paneelipalautteiden perusteella Paneelit pitivät hakemuksia kansainvälisesti laadukkaina. Laatu kuitenkin vaihteli ja useimmat paneelit käyttivät arviointiasteikon koko skaalaa. Paneelit pitivät erityisesti tutkijatohtorien hakemusten tasoa useilla aloilla kansainvälisesti vertaillen erinomaisena. Akatemiatutkijahakemusten kenties useimmiten toistuvina heikkouksina mainittiin tutkimusasetelmien ja kirjallisuuden vanhentuneisuus ja se, että haettavana olevan tutkimuksen lisäarvoa ei ollut pohdittu/esitelty riittävästi. Paneelien erityinen viesti hakijoille oli, että hakemuksen valmistelussa on tärkeää muistaa, että arviointi perustuu ainoastaan käsillä olevaan hakemusaineistoon. Paneelien useimmiten toistama palaute oli, että tutkimusaiheet olivat tärkeitä ja kiinnostavia, mutta kovin moni hakemuksista oli laadittu liian yleisellä tasolla. Arvioitsijat päättelivät, että tutkijat eivät hae tai saa yliopistoissa apua ja tukea hakemusten valmisteluun siinä määrin kuin muissa maissa. Hakijoita kannustettiin hakemaan vertaistukea hakemuksen valmisteluun. Paneelit muistuttivat, että hakemuksen tulee sisältää kaikki hankkeen kannalta keskeinen tieto riittävän yksityiskohtaisesti ja perustellusti, mutta tiiviisti ja selkeästi, esitettynä. Tutkijoiden tulisi perustella ja reflektoida hakemusten avainkäsitteitä, etenkin silloin kun ne eivät ole yksiselitteisiä. Arvioitsijat myös totesivat, että he eivät ulkomaisen taustansa vuoksi entuudestaan tunne suomalaisia konteksteja. Relevantit yhteydet ja taustoitukset on tärkeää esitellä suunnitelmassa.

2 2 (6) Jotkin paneelit toivoivat myös julkaisujen nimien kääntämistä englanniksi. Hakemusten englannin kielen puutteellisuuksista annettiin joitakin kommentteja. Jotkin paneelit kaipasivat aiheen valintaan innovatiivisuutta. Aiheen perusteluun kaivattiin yhtäältä enemmän kuvauksia tutkimuksen tilasta ko. aiheesta ja toisaalta enemmän analyyttisyyttä kuin kuvailevuutta. Tutkimuksen tavoitteenasetteluun paneelit peräsivät tarkoitusten ja tavoitteiden selvää erottamista toisistaan, epäolennaisuuksien karsimista, lisäarvon perustelua suhteessa aiempaan tutkimukseen, teorian muodostusta tavoitteisiin sekä teorian ja tulosten sitomista paremmin suunnitelmiin. Suunnitelmassa on tärkeää tehdä selkeä ero vanhan ja uuden tutkimuksen välillä erityisesti sellaisissa hakemuksissa, joissa tutkija jatkaa saman aihealueen tutkimusta. Tutkimuskysymysten tulee olla selkeitä ja ne tulisi pitää mielessä koko tutkimuksen teon ajan. Konsortiohakemusten osahankkeet tulisi johdonmukaisesti liittää koordinoivan hankkeen tutkimuskysymyksiin. Menetelmät kirvoittivat paneeleilta runsaasti kommentteja, kuten aiempinakin vuosina. Menetelmät on esiteltävä suunnitelmassa yksityiskohtaisesti ja perusteltuina. Hakemusten tulisi kaikkiaan olla tarkempia menetelmiä kuvattaessa: sekä datan keruun (esimerkiksi otosten muodostamisen) että datan analyysien osalta. Liitynnät teoreettiseen viitekehykseen tulisi tehdä näkyviksi. Monitieteisissä hankkeissa tieteiden väliset lähestymistavat tulee tuntea riittävän hyvin tai muodostaa tieteidenvälisiä tiimejä. Paneelit muistuttivat, että monitieteisissä suunnitelmissa hankkeen muiden tieteenalojen peruskäsitteet tulee tuntea. Kuten aiempien vuosien palautteissaan, paneelit toivoivat liikkuvuussuunnitelmilta tarkempia perusteluja: mikä on suunnitellun liikkuvuuden ja kansainvälisen yhteistyön lisäarvo tutkimushankkeen toteuttamiselle ja tutkijan uran kehittymiselle? Tämä informaatio voi sisältyä suunnitelmaan tai esimerkiksi vierailukutsuun. Paneelit korostivat, että liikkuvuus ei ole itseisarvo. Paneelit kiinnittivät huomiota siihen, että hakemuksissa mainittujen kansainvälisten yhteistyökumppanien rooli jäi usein epäselväksi. Mikä on suunnitelmassa mainittujen yhteistyökumppaneiden merkitys tutkimussuunnitelman toteuttamisessa? Paneelit antoivat julkaisemisesta kahtalaista palautetta. Yhtäältä tutkijoiden pitäisi julkaista enemmän korkeatasoisissa julkaisusarjoissa. Toisaalta kiinnitettiin huomiota siihen, että joissain hakemuksissa suunniteltujen julkaisujen suuri määrä oli epärealistinen suhteessa hankkeen aikatauluun, toisissa hakemuksissa sen sijaan vaatimaton. Jotkin paneelit suosittelivat, että tutkijat keskittyisivät vain suhteellisen harvoihin high impact -julkaisuihin. Paneelit kaipasivat perusteluja yhteisjulkaisuille. Jotkut paneelit toivoivat hakemuksiin täydennystä siitä, miten akateemiselle ja eiakateemiselle yleisölle välitetään tietoja tuloksista muillakin tavoin kuin julkaisemalla. Paneelit toivoivat, että avoimeen julkaisemiseen ja tutkimusaineiston avoimeen saatavuuteen (open access) kiinnitettäisiin hakemuksissa enemmän huomiota. Usein siitä ei ollut mainintoja ollenkaan. Joissain hakemuksissa oli ristiriitaa avoimen saatavuuden ja datan luottamuksellisuuden välillä. Paneelit toivovat, että hakijat kertoisivat, mitä standardia he noudattavat (Green vai Gold) ja kuvaisivat tarkemmin, missä aineistoja aiotaan säilyttää. Joissakin paneelipalautteissa kritisoitiin päälle liimattuja post-doceja ja tohtoriopiskelijoita. Heidän roolinsa hankkeessa ei saisi olla vain datankeruussa, vaan yhteistyön tulisi vahvemmin edistää nuorten yhteistyökumppanien asiantuntemuksen kehittymistä. ARVIOINTIPANEELIN PALAUTTEET

3 3 (6) Filosofia: Paneeli yllättyi siitä, kuinka korkeatasoinen hakemusten yleinen taso oli kansainvälisessä vertailussa, varsinkin kun Akatemiassa ei suoriteta arvioitavien hakemusten esikarsintaa. Paneeli kiitti sitä, että hakemuksissa oli esitetty keskeiset asiat tiiviisti. Sen mukaan eräissä tapauksissa akatemiahankkeen ja yksittäisen tutkijan jättämät hakemukset vaikuttivat liittyvän läheisesti toisiinsa ilman, että yhteyksistä tai yhteistoiminnasta oli hakemuksissa mainintaa. Paneeli totesi, että hakemuksissa mainittujen kansainvälisten kumppanien todellisista rooleista ei aina ollut selvyyttä ja ehdotti kansainvälisten kumppanien jakamista kahteen ryhmään: tutkimussuunnitelman välitöntä edistämistä tukevat kumppanit ja muutoin arvokkaat yhteydet. Historia - paneeli 1: Paneeli piti hakemusten laatua tyydyttävänä. Panelistit kaipasivat tarkempaa tietoa siitä, miten tutkimus sidotaan laajempaan kontekstiin. He toivoivat myös selkeää kuvausta siihen, miten tutkimusaihe liittyy kansainväliseen tutkimukseen. Kolmanneksi paneeli toivoi liikkuvuussuunnitelmien kehittämistä. Paneeli piti hälyttävänä sitä, että joissain tapauksissa tutkijat eivät osanneet joitain niistä kielistä, joita he suunnitelman toteutuksessa tarvitsevat. Historia - paneeli 2: Paneelin mukaan parhaat hakemukset olivat kansainvälisestikin huomattavan laadukkaita. Osassa hakemuksista suunnitelmien toteutuksen kuvaus oli jäänyt keskeneräiseksi. Paneeli toivoi myös, että hakijat osaisivat hakemuksissaan erottaa tutkimuksen tarkoituksen ja tutkimuksen tavoitteet ja perustella ne kompaktisti. Historia paneeli 3, arkeologia: Paneeli piti hakemuksia kansainvälisesti erittäin vertailukelpoisina. Akatemiahankehakemuksista kolmannes oli erinomaisia ja akatemiatutkijahakemuksista puolet. Tutkijatohtorien hakemusten laadussa oli enemmän hajontaa. Paneeli kiitteli tutkimusintressien laajaa kirjoa, erinomaisia kansainvälisiä verkostoja, hyvää infrastruktuuria ja materiaaleihin ja laboratorioihin pääsyä. Paneelin mukaan hakemuksista ilmenevä vahva monitieteinen yhteistyö ja uusien tieteellisten menetelmien käyttö edistävät uusien kiinnostavien tutkimuskysymysten syntyä ja kansainvälistä yhteistyötä. Kansainvälisten vertaisarvioitujen julkaisujen lisäksi paneeli kannatti julkaisemista monografioissa, joissa voidaan käsitellä laajasti eri näkökulmia. Ihmismaantiede: Paneeli kiitteli hakemusten laatua, jota sen mukaan ilmentävät hakemusten käsitteelliset innovaatiot, metodologinen perusteellisuus ja omaperäinen datan keruu. Paneeli listasi parannusta vaativiksi asioiksi seuraavat seikat: - Tavoitteet ovat liian vaatimattomia käytettävissä olevaan aikaan. - Liian vähän aikaa empiiriseen tutkimukseen suhteessa kirjallisuuteen perehtymiseen. - Liian vähän painavia tutkimuskysymyksiä, liikaa tarkistuslistoja ; eli selkeiden ydinkysymysten puute. - Vaikeudet operationalisoida teoreettisia viitekehyksiä. - Liian paljon vakuuttelua ja liian vähän perusteluja projektien innovatiivisuudesta. - Tapaustutkimusten puutteelliset perustelut. - Riittämätön metodologinen koherenssi. - Tohtoriopiskelijoiden ja post-docien päälleliimaaminen yksittäisen tutkijan projekteissa: pelkkä avustaminen datan keruussa ei riitä; heillä tulisi olla selkeä rooli ja suunnitelma, josta näkyy, miten tämä tutkimus edistää heidän tutkijanuraansa. - Monitieteisyyden lisäarvon identifiointi. - Ei-akateemisten yhteistyökumppanien hyödyntämättömyys. - Vähemmän samaa lisää ja enemmän omaperäisiä innovatiivisia projekteja, joissa uusia haasteellisia suuntia. Kansantaloustiede: Paneelin mukaan hakemusten laatu vaihteli. Paneeli piti metodologian kuvausta yleisesti puutteellisena.

4 4 (6) Kasvatustiede - paneeli 1: Paneeli kiitteli muutamia erittäin hyödyllisiä tieteidenvälisiä hakemuksia. Se kuitenkin kaipasi lisää kunnianhimoisempaa tavoitteenasettelua. Paneeli myös harmitteli, että vain harva oli ottanut huomioon edellisvuotisen palautteen. Joissain hakemuksissa menetelmien kuvaaminen oli paneelin mielestä liian lyhytsanaista. Paneeli kaipasi tieteidenvälisyyden integrointia sekä peruskäsitteiden ja monimenetelmällisyyden integrointia. Paneeli toivoi, että hakijat saisivat tutkimusympäristöiltä tukea hakemusten oikeakielisyyteen. Kasvatustiede - paneeli 2: Paneeli totesi, että hakemusten taso vaihteli, mutta keskimäärin hakemuksia pidettiin laadukkaina. Paneeli toivoi enemmän toistotutkimuksia. Kielitiede - paneeli 1: Paneelin mukaan hakemusten laatu vaihteli erinomaisesta heikkoon. Parhaat projektiehdotukset sisälsivät selkeän toteutussuunnitelman. Kielitiede - paneeli 2: Paneeli piti hakemuksia laadukkaina ja teemallisesti omaperäisinä. Jotkin soveltavan kielitieteen tutkimusympäristöt ovat paneelin mukaan todella korkealaatuisia. Paneelin palautteessa listattiin hakemusten heikkouksiksi puutteelliset aikataulut, menetelmien ja materiaalien valinnan riittämättömät perustelut sekä tutkijoiden ajan kohdentamisen suurpiirteisyyden. Kirjallisuuden tutkimus: Paneeli oli vaikuttunut parhaiden hakemusten tasosta. Hakemusten englannin kieltä pidettiin hyvänä, ja vain muutaman hakemuksen kielessä oli huomauttamista. Kognitiiviset neurotieteet: Paneeli piti hakemuksia kansainvälisesti vertailtuna laadukkaina ja Suomea merkittävä tekijänä laajoissa populaatiotutkimuksissa. Paneeli kuitenkin huomautti, että pitkittäistutkimuksilla on vaaransa ja oli ilahtunut pienempien korkealaatuisten hakemusten kasvavasta määrästä. Kulttuurien tutkimus: Paneeli piti hakemuksia kansainvälisesti vertailukelpoisina. Palautteessa kiiteltiin erityisesti parhaita tutkijatohtorihakemuksia. Paneeli kritisoi osaa akatemiatutkijoiden hakemuksista kunnianhimon puutteesta ja oli sitä mieltä, että suunnitelmissa esitetyt tavoitteet täyttyisivät lyhyemmässäkin ajassa. Erityisesti akatemiatutkijahakemuksissa, mutta myös muissa hakemuksissa, paneeli kaipasi tarkempaa analyysiä siitä, mikä haettavassa tutkimuksessa on uutta ja mitä tutkimusta on jo asiasta tehty. Palautteessa esitettiin varauksia monipaikkaisen tutkimuksen ( multi-sited research ) käyttämiseen tapauksissa, joissa tutkimuskysymyksiin vastaaminen edellyttäisi ehkä syvempää paneutumista yhdessä kohteessa. Suunnitelmissa olisi syytä erotella kenttätyöjaksot muusta liikkuvuudesta ja esittää liikkuvuudelle tutkimukselliset perustelut. Paneeli kaipasi yhteisjulkaisujen lisäarvon perustelua. Liiketaloustiede: Paneeli oli vaikuttunut hakemusten tasosta. Palautteessa kiiteltiin kirjallisuuskatsauksien laajuutta, mutta kritisoitiin sitä, että hakijat eivät olleet luomassa uutta, ennemmin täyttämässä aiemman tutkimuksen aukkoja. Palautteen mukaan suurimmassa osassa hakemuksia menetelmät oli esitelty riittävän täsmällisesti, mutta muutamissa hakemuksissa menetelmäkuvauksissa oli merkittäviä puutteita. Paneeli piti vaikuttavuusstrategioita selkeinä ja rationaalisina. Liikkuvuussuunnitelmia ei kaikissa suunnitelmissa ollut integroitu tutkimusasetelmaan, saati perusteltu. Musiikin tutkimus: Paneelin mukaan musiikin tutkimus on Suomessa hyvää kansainvälistä tasoa, elävää ja energistä. Paneeli kiittelivät yhteyksiä Britanniaan, mutta toivoi maantieteellisesti monipuolisempaa liikkuvuutta ja yhteistyötä. Oikeustiede: Paneeli piti hakemuksia erittäin kiinnostavina ja aiheita niin juridisesti kuin yhteiskunnallisesti relevantteina. Suunnitelmia kiitettiin yleisesti innovatiivisiksi, tutkimusaiheita ja asetelmia omaperäisiksi, ja paneeli sai käsityksen, että alan tutkimus on Suomessa elinvoimaista. Moni suunnitelma oli kuitenkin jäänyt vielä idea-tasolle ja vaatii paneelin mukaan jatkotyöstämistä: lisää yksityiskohtaisuutta niin tutkimusasetelman kuin tutkimuksen toteutuksen kuvaukseen, juridisen ja muun tutkimuksessa käytettävän aineiston sekä työnjaon esittelyä, suunnitelmaa aineiston analysoinnista ja tulosten esittämisestä. Paneeli myös muistutti, että menetelmien valinta tulee perustella. Arvioitsijat kannustivat tutkijoita tuomaan lisää kunnianhimoa

5 5 (6) julkaisusuunnitelmiinsa. Paneeli toivoi, että tutkijat saisivat suorituspaikaltaan tukea suunnitelman työstämiseen ja hakemuksen kieleen. Psykologia: Paneeli piti hakemusten laatua vahvana ja kansainvälisten standardien mukaisena. Moni hakemus sisälsi aiemmin kerätyn pitkittäistutkimuksen datan analyysiä. Paneeli ehdotti, että hakijat lisäävät suunnitelmiinsa selvityksen, joka ilmaisee, että heillä on oikeus käyttää aineistoa tutkimussuunnitelmassa kuvattuun tarkoitukseen. Sosiaalitieteet rekisteri- ja survey-tutkimus: Paneeli piti tutkimusaiheita merkittävinä sosiaalitieteiden kannalta ja hakemuksia kansainvälisesti vertaillen laadukkaita. Suurin osa hakemuksista osoitti tietoisuutta kansainvälisestä tutkimuksesta ja tarkoitusta edistää tutkimusta. Erityisesti nuorten tutkijoiden hakemukset olivat kunnianhimoisia ja innovatiivisia. Paneeli toivoi tutkimusympäristöjen tukevan ja integroivan nuoria tutkijoita enemmän. Paneeli myös muistutti, että kieliasu pitäisi tarkastaa tämä tosin oli ongelma vain joissain hakemuksissa. Paneeli kiinnitti huomiota siihen, että suomalaisten yliopistojen välillä on todella vähän liikkuvuutta ja että kansainväliset liikkuvuussuunnitelmat eivät tunnu olevan olennaisia tutkimuskysymykseen vastaamisen tai tutkijan uran edistämisen kannalta (kun rekisterit ovat Suomessa). Sosiaalitieteet sosiaalityö ja sosiaalipolitiikka: Paneeli oli vaikuttunut tutkijatohtorien hakemuksista. Ne perustuivat ajankohtaiseen kirjallisuuteen, niissä oli hyvin perustellut vahvat tutkimussuunnitelmat ja selkeä yhteys teorian ja tutkimusasetelman välillä. Akatemiahankkeista suurimmassa osassa oli kiinnostava tutkimusajatus, mutta niiden tutkimussuunnitelmaosuudessa oli parantamisen varaa. Jotkin ajatukset ja viitattu kirjallisuus olivat vanhentuneita. Kansainväliset vertailututkimukset olivat ajan tasalla ja innovatiivisia. Paneelin mukaan joissakin hakemuksissa julkaisusuunnitelmat olivat epärealistisia; paneeli suositteli keskittymistä muutamaan huippujulkaisuun. Sosiologia: Paneelin mukaan hakemusten laatu vaihteli, mutta parhaat hakemukset olivat kansainvälistä tasoa. Paneelin mukaan yhteinen heikkous oli, että tutkimuskysymysten ja kenttätyön liittymistä toisiinsa ei ollut ajateltu riittävästi tai oli kuvattu heikosti. Paneeli sai vaikutelman, että hakijoita ei tueta hallinnollisesti ja mentoroida Suomessa yhtä paljon kuin muualla. Sukupuolen tutkimus: Paneeli kiitteli erityisesti post doc suunnitelmia ja sitä, miten niissä osattiin innovatiivisesti yhdistää sosiaalisia, kulttuurisia ja taloudellisia toimintatapoja sukupuolen tutkimuksen teoreettisiin lähtökohtiin. Paneeli piti sitä merkittävänä ja ennakoi sen varmistavan tutkimuksen sosiaalisen vaikuttavuuden. Paneelin mukaan se myös ilmentää osaltaan tutkijakoulutuksen erinomaista laatua. Paneeli kritisoi joitakin akatemiahankkeita siitä, että niissä ei ollut integroitu alaprojekteja riittävästi kokonaisuuden tutkimuskysymyksiin. Taiteiden tutkimus: Paneelin mukaan laadussa oli merkittävää hajontaa: yli puolet hakemuksista oli kansainvälisesti laadukkaita ja kilpailukykyisiä, mutta toisaalta osa hakemuksista sai varsin alhaisia arvosanoja. Paneeli piti yleisesti hakemusten tasoa samana kuin aiempina vuosina. Paneeli kannusti hakijoita kansainvälisyyteen, mutta totesi, että jotkin teemat ovat Suomi-spesifejä ja voivat yhtä lailla olla perusteltuja. Paneeli kehotti kiinnittämään näiden hankkeiden menetelmälliseen laatuun erityistä huomiota. Palautteessa tutkijoita kannustettiin julkaisemaan kansainvälisissä mutta myös kansallisissa julkaisuissa, jolloin saadaan kehitettyä suomenkielistä käsitteistöä. Teologia ja uskontotiede: Paneelin mukaan hakemukset olivat hyvää kansainvälistä tasoa. Osa hakemuksista oli sen sijaan erittäin hyviä. Paneeli piti tärkeänä, että tutkijatohtorihakijoita rohkaistaisiin kansainväliseen liikkuvuuteen myös Pohjoismaiden ulkopuolelle. Vierailuaikoja myös suositeltiin pidennettäviksi suunnitelluista. Useat tutkijatohtorihakijat suuntautuvat alan suomalaisiin huippuyksiköihin, mutta paneeli kannusti liikkuvuuden suuntaamista Suomea ja Pohjoismaita ulommas sekä pidempiin liikkuvuuden jaksoihin. Paneeli toivoi tutkijatohtorihakijoiden kiinnittävän huomiota muiden tieteenalojen peruskäsitteiden ja teorioiden ymmärryksen syventämiseen tieteidenvälisissä hankkeissa.

6 6 (6) Tuotantotaloustiede (yhteispaneeli luonnontieteiden ja tekniikan yksikön kanssa): Paneeli piti hakemuksia yleisesti hyvinä, mutta useimpien hakemusten julkaisemissuunnitelmia liian vaatimattomina: hakijoita kannustettiin julkaisemaan tärkeimmissä lehdissä. Paneeli peräsi myös vähintään kuuden kuukauden ulkomaanvierailuja. Valtiotieteet: Paneeli muistutti, että arvioitsijoilla on käytettävissään arviointityössään ainoastaan tutkijan laatima hakemus. Siksi sen tulee sisältää riittävästi ja riittävän eriteltyä tietoa suunnitellusta tutkimuksesta. Osaan hakemuksista paneeli toivoi lisää tietoa menetelmistä, aineiston valinnasta ja tutkimuksen toteuttamisesta. Paneeli myös muistutti, että Suomi-keskeisten hankkeiden relevanssi ja uutuusarvo tulee perustella yhtä lailla kuin kansainvälistenkin aiheiden. Jos hankkeessa jatketaan aiempaa tutkimustyötä, suunnitelmassa tulee osoittaa, että hanke on uusi ja itsenäinen ja että se tuottaa aidosti uutta ymmärrystä. Paneeli rohkaisi tutkijoita entistä selvemmin osoittamaan suunnitelmassaan tutkimuksensa omaperäisyys. Viestintätieteet: Paneelin mukaan hakemukset olivat hyvää kansainvälistä tasoa. Tutkimusaiheita kiitettiin kiinnostaviksi ja ajankohtaisiksi, osaa huomattavan omaperäisiksi ja luoviksi. Hakemusten suurimpana ja myös yleisenä heikkoutena pidettiin suunnitelmien suurpiirteisyyttä. Todella erinomaisia hakemuksia oli näin lopulta varsin vähän. Paneeli kiinnitti huomiota mm. seuraaviin seikkoihin: tutkimuskysymykset ja käsitteet olivat liian yleisiä; tutkimusta ei perusteltu suhteessa uusimpaan, relevanttiin, alan tutkimukseen. Paneeli suositteli tutkijoita tuomaan lisää täsmällisyyttä suunnitelmaansa ja sen teoreettiseen perusteluun. Vertailevaan tutkimukseen paneeli toivoi tarkempaa pohdintaa silloin, kun vertailu on kansainvälistä tai ryhmien välistä. Paneelin yleinen päätelmä oli, että kysymyksenasettelun suunnitteluun tulisi tuoda lisää analyyttista fokusta ja menetelmien sopivuuden harkintaa, ja tutkimusasetelman sekä menetelmien suunnittelussa tulisi vielä vahvemmin ottaa huomioon kansainväliset käytännöt ( standards ). Yhteiskuntatieteellinen ympäristöntutkimus (yhteispaneeli biotieteiden ja ympäristötieteen tutkimuksen yksikön kanssa): Paneeli oli vaikuttunut tämänkertaisten hakemusten laadusta. Kirjallisuuskatsauksiin toivottiin kuitenkin lisää analyyttisyyttä. Menetelmien esittelyihin perättiin yksityiskohtaisuutta.