1 (6) Kooste syyskuun haun 2017 paneelipalautteista. Kulttuurin ja yhteiskunnan tutkimuksen yksikkö

Transkriptio

1 1 (6) Kulttuurin ja yhteiskunnan tutkimuksen yksikkö Kooste syyskuun haun 2017 paneelipalautteista Hakemusten laadukas kansainvälinen arviointi ja asiantuntijalausuntoihin perustuva päätöksenteko ovat Suomen Akatemian toiminnan ydin. Kulttuurin ja yhteiskunnan tutkimuksen toimikunta ja yksikkö (KY) kehittävät jatkuvasti toimintaansa ja arviointikäytänteitään. Arviointipaneelien toimikunnalle laatimat yleispalautteet antavat tähän tärkeää tietoa. Paneelipalautteita käytetään niin hakuneuvonnassa kuin KY-toimikunnan ja -yksikön toiminnan parantamisessa. Palautteiden toivotaan tukevan myös tutkijoita hakemusten laatimisessa. Suomen Akatemia on koonnut vuoden 2017 syyskuun haun arviointipaneeleilta palautetta hakemusten tieteellisestä laadusta, arviointiprosessin sujuvuudesta ja paneelin yhteisestä asiantuntijuudesta heille osoitettujen hakemusten arvioinnissa. Tämä kooste on laadittu kulttuurin ja yhteiskunnan tutkimuksen yksikön järjestämän 24 arviointipaneelin palautteista. Paneeleihin osallistui 3 11 asiantuntijajäsentä sekä yksikön henkilökuntaa. Paneelien arvioitavana oli syyskuun 2017 haun tutkijatohtori-, akatemiatutkija- ja akatemiahankehakemukset. Pääosa arviointipaneeleista koottiin tutkimusalapohjaisesti, ja niiden kokoamisessa otettiin huomioon kunkin alan sisäinen monitieteisyys. Lisäksi järjestettiin yhteispaneeleja Akatemian muiden toimikuntayksiköiden kanssa. Joidenkin alojen hakemusmäärät olivat niin suuria, että niiden arviointia varten järjestettiin useampia paneeleja. Akatemian arviointikäytännöt sekä paneelien organisointi Osana Akatemian toiminnan kehittämistyötä kokeiltiin syyshaussa 2017 mallia, jossa hakemusten arvosanojen antamisen lisäksi paneelit asettivat parhaiden arvosanojen (arvosanat 5 ja 6) saajat myös paremmuusjärjestykseen. Syyshaun 2017 hakemusten lisäksi paremmuusjärjestykseen asettamista on kokeiltu muun muassa akatemiaohjelmissa, lippulaivaohjelmassa ja profiloitumisrahoituksen paneelityöskentelyssä. Syyshaussa 2017 kaikissa KY:n paneeleissa asetettiin akatemiahankkeet paremmuusjärjestykseen. Syyskuun 2017 hakuun liittyvässä arvioinnissa kulttuurin ja yhteiskunnan tutkimuksen yksikön käyttämiä asiantuntijoita oli yhteensä 164. Heistä 48 prosenttia oli naisia ja 52 prosenttia miehiä. Panelistien yleisimmät kotimaat olivat Iso-Britannia, Ruotsi, Saksa, Norja ja Alankomaat mainitussa järjestyksessä. Paneelien asiantuntijat pitivät Suomen Akatemian arviointikäytäntöjä kansainvälisesti vertaillen erittäin onnistuneina. Erityisesti paneelikokoukset, joiden aikana asiantuntijat saivat tilaisuuden keskustella kasvokkain, nähtiin mielekkäänä laadukkaan ja oikeudenmukaisen arvioinnin takaamiseksi. Panelistin rooli koettiin selkeäksi prosessin eri vaiheissa sekä ohjeistus riittäväksi. Palautteen mukaan esteellisyydet käsiteltiin tarkasti. Kansainväliset arvioitsijat pitivät monitieteisyyttä tavoiteltavana tieteen uudistumisen kannalta, ja sen myös nähtiin lisäävän arviointityön mielekkyyttä. Toisaalta monitieteisyyden katsottiin paikoitellen antavan haastetta arvioinnille sekä paneelityöskentelylle. Suomen Akatemian arviointikäytännöistä löytyy lisätietoa verkkosivulta:

2 2 (6) Hakemusten tieteellinen laatu ja parannusehdotuksia Hakemusten tieteellinen laatu arvioitiin paneelipalautteissa yleisesti ottaen korkeaksi ja sen katsottiin edustavan kansainvälistä tasoa. Parhaimmillaan hakemuksia kuvailtiin innovatiivisiksi ja uraauurtaviksi. Monitieteiset tutkimusasetelmat saivat paneeleilta kiitosta. Merkittävimmät tieteellistä laatua heikentävät seikat liittyivät menetelmän ja metodologian riittämättömään kuvailuun tutkimussuunnitelmissa. Yhtäältä menetelmällisiä lähtökohtia ei oltu esitetty riittävällä tarkkuudella; toisaalta menetelmää ei oltu pystytty motivoimaan vakuuttavasti suhteessa tutkimuskysymyksiin, teoriaan ja aineistoon. Paneelit toivoivatkin runsaasti lisää konkretiaa ja tarkkuutta selvityksiin siitä, millä tavalla tutkimukset itse asiassa aiottiin toteuttaa. Joidenkin paneelien mukaan myös teoreettinen ja käsitteellinen viitekehys oli aivan liian löyhä tai sitä ei oltu esitelty riittävällä tavalla. Tämä oli palautteen mukaan yleisempää joidenkin erittäin innovatiivisten tai yhteiskunnallisesti tärkeiden tutkimusaiheiden kohdalla. Toisaalta muutaman palautteen mukaan tutkimusaiheet olivat konservatiivisempia ja vähemmän innovatiivisia kuin mitä paneeli olisi toivonut. Moni paneeli ei ollut aivan tyytyväinen siihen tasoon, jolla tutkimuksen vaikuttavuutta oli pohdittu tutkimussuunnitelmassa. Tähän kuuluu tutkimuksen vaikutusten ja vuorovaikutuksen pohdinta sekä suhteessa akateemiseen yhteisöön että yhteiskuntaan laajemmin. Hakemuksia eivät paneeleissa arvioi ainoastaan kapean erityisalan asiantuntijat, vaan niin tutkimusasetelman ja -menetelmän kuin tulosten merkityksen tulee olla ymmärrettäviä laajemmalle asiantuntijayleisölle. Useat paneelit harmittelivat hakemusten keskeneräisyyttä erityisesti akateemisesti nuorten tutkijoiden kohdalla. Paneelit suosittelivatkin taustaorganisaatioita tarjoamaan enemmän tukea hakijoille hakemusten laatimisessa esim. mentorointikäytännön muodossa. Tämä liittyi siihen painokkaaseen viestiin, jonka paneelit halusivat hakijoille välittää: yhteistyön lisääminen tutkijoiden välillä tuottaa parempia tutkimuksia. Taustatuesta ja yhteistyöstä saattaisi olla hakijoille apua myös tutkimuseettisten seikkojen tunnistamisessa. Eettiset kysymykset vaatisivat suunnitelmissa syvällisempää pohdintaa. Tähän liittyvät puutteet nostettiin esille useassa paneelipalautteessa. Tieteenalakohtaiset paneelipalautteet Filosofia: Paneelin arvion mukaan hakemusten taso oli yleisesti ottaen hyvä myös kansainvälisellä tasolla. Erityisesti akatemiahanke- ja akatemiatutkijahakemukset olivat korkeatasoisia; tutkijatohtorihakemukset puolestaan olivat keskimäärin hieman heikompia. Paneeli katsoi asiantuntemuksensa kattavan filosofian eri osa-alueet ja soveltuvan hyvin ko. hakemusten arviointiin. Historia 1: Paneelin mukaan hakemusjoukko vastasi kansainvälistä tasoa. Paneeli oli vaikuttunut kansainvälisestä näkökulmasta tutkimusasetelmissa. Menetelmien kuvauksissa oli kuitenkin tarkennettavaa monissa hakemuksissa. Paneelin arvion mukaan sen kollektiivinen asiantuntemus sopi hakemusjoukon arviointiin hyvin, joskin joidenkin monitieteisten hakemusten kohdalla paneeli olisi hyötynyt ulkopuolisesta arviosta.

3 3 (6) Historia 2: Paneelin mukaan hakemukset olivat tieteellisesti korkeatasoisia myös kansainvälisellä mittapuulla. Erityisen tasokkaita olivat paneelin mukaan arkeologian alan hakemukset. Paneelin mukaan laatua heikensivät etenkin epäselvyydet tutkimuskysymyksissä tai hypoteeseissa siinä, mitä tutkimuksessa itse asiassa tarkalleen ottaen aiottiin tehdä. Joissakin hakemuksissa oli liian kuvaileva tyyli tai niissä oli liikaa toistoa. Hakemuksissa tulisi myös selittää tarkemmin, millä tavalla nykyinen tutkimushanke suhteutuu hakijan aikaisempiin tutkimuksiin. Hakijoiden tulisi kyetä perustelemaan tutkimusaiheen tärkeys ja kiinnostavuus laajemmalle asiantuntijayleisölle, ei ainoastaan oman alansa erityisasiantuntijoille. Paneeli oli vaikuttunut siitä, kuinka hyvät yhteistyöverkostot akateemisesti nuorilla hakijoilla oli Skandinaviassa ja Euroopassa. Raportissa todettiin Suomen olevan kansainvälisesti houkutteleva maa historiantutkimuksen alalla. Paneelin mukaan sen kollektiivinen asiantuntemus soveltui hyvin hakemusjoukon arviointiin. Human Factors and Technology Design (yhteispaneeli luonnontieteiden ja tekniikan tutkimuksen yksikön kanssa): Hakemusten tieteellisessä laadussa oli runsaasti vaihtelua. Jotkut hakemukset vaikuttivat keskeneräiseltä, ja paneeli toivoikin, että erityisesti tutkijatohtorihakijat saisivat enemmän tukea hakemusten kirjoittamiseen. Joidenkin tutkimusten teknisen toteutuksen kompleksisuus oli aliarvioitu, ja menetelmään liittyvät kuvaukset olisivat kaivanneet lisää tarkkuutta. Akatemiahankkeiden hallintaan ja johtamiseen liittyvissä kuvailuissa oli epäselvyyksiä. Liikkuvuussuunnitelmat olivat niin ikään epätarkkoja. Eettisiä kysymyksiä oli käsitelty jokseenkin ylimalkaisesti. Joidenkin hakemusten osalta paneelille oli jäänyt epäselväksi, mitä sillä haluttiin saavuttaa pienen akateemisen yhteisön ulkopuolella, ts. tutkimuksen laajempi vaikuttavuus ei tullut esille suunnitelmasta. Yleisesti ottaen paneeli katsoi asiantuntemuksensa soveltuvan hyvin kyseisen hakemusjoukon arviointiin. Ihmis- ja talousmaantiede: Paneelin arvion mukaan hakemusten tieteellinen laatu oli yleisesti ottaen korkea ja vastasi kansainvälistä tasoa. Joukossa oli joitakin erittäin vahvoja, jopa uraauurtavia hakemuksia. Toisaalta joukossa oli myös muutama niin heikko hakemus, ettei se olisi panelistin kotimaassa päässyt lainkaan arviointiin. Paneelin arvion mukaan sen kollektiivinen asiantuntemus soveltui hyvin hakemusjoukon arviointiin. Kansantaloustiede: Paneelin mukaan hakemusten tieteellinen laatu oli korkea. Parhaimmat hakemukset olisivat pärjänneet myös kansainvälisessä kilpailussa. Jotkut hakemukset olivat tasoltaan heikompia, ja osa niistä vaikutti hieman keskeneräisiltä. Paneeli toivoikin, että hakijoiden organisaatioilla olisi mahdollisuus tarkastaa hakemukset ennen niiden jättämistä. Jossakin hakemuksissa oli epätarkkuutta tutkimuskysymysten muotoilussa ja hypoteesien asettamisessa. Joukossa oli hakemuksia, joissa oli puutteita teoreettisen viitekehyksen tai menetelmän kuvauksessa, esim. kuinka aineisto oli tarkoitus kerätä. Vaikka paneeli sinänsä arvosti hakijoiden kansainvälistä yhteistyötä, paneelille ei aina käynyt selväksi, minkälaista suunniteltu yhteistyö olisi, ja mitä tutkija sillä halusi saavuttaa. Paneelin arvion mukaan sen kollektiivinen asiantuntemus soveltui hyvin hakemusjoukon arviointiin. Kasvatustiede 1: Suurin osa hakemuksista oli paneelin mukaan erittäin korkeatasoisia. Paneeli oli vaikuttunut hakijoiden kansainvälisestä orientaatiosta sekä korkealaatuisesta julkaisutoiminnasta. Tutkimusaiheet olivat kiinnostavia ja monitieteisiä. Paneeli kiitteli hakijoita kunnianhimoisuudesta. Hakemusjoukossa oli runsaasti variaatioita aiheissa, lähestymistavoissa ja menetelmissä; teknologinen käänne oli selvästi havaittavissa. Paneeli toivoisi lisää tutkimusta varhaiskasvatukseen, eritysopetukseen ja erilaisiin toimintatapoihin, käytänteisiin ja linjauksiin liittyen. Paneeli oli tyytyväinen kokoonpanoonsa, joka kattoi hakemusten alat erittäin hyvin.

4 4 (6) Kasvatustiede 2: Hakemusjoukko vastasi paneelin mukaan kansainvälistä tasoa: joukossa oli sekä huipputasoisia että heikompia hakemuksia. Merkittävin hakemusten laatua heikentänyt tekijä oli riittämättömät menetelmäkuvaukset. Palautteen mukaan akatemiatutkijahakemukset olivat tasoltaan keskimäärin heikompia kuin akatemiahanke- ja tutkijatohtorihakemukset. Yleisesti ottaen paneeli havaitsi seuraavia kehittämiskohteita hakemuksissa: a) tutkimuskysymykset tulisi kytkeä vankemmin teoreettiseen ja käsitteelliseen viitekehykseen; b) käsitteellisen viitekehyksen kriittistä reflektiota voisi olla enemmän; c) menetelmän kuvauksen tulisi olla tarkempaa sekä motivointia juuri tietyn menetelmän ja metodologian käyttöön enemmän; d) lisää yksityiskohtaisuutta ja paneutumista eettisten kysymysten pohdintaan. Paneeli oli erittäin vaikuttunut nuorten tutkijoiden laajoista, kansainvälisistä yhteistyöverkostoista. Paneeli katsoi asiantuntemuksensa riittävän hyvin hakemusjoukon arviointiin. Kielitiede: Paneelin arvion perusteella suuri osa hakemuksista oli korkeatasoisia; joukossa oli vain muutama heikompitasoinen hakemus. Paneeli koki kollektiivisen asiantuntemuksensa vastaavan hakemusjoukkoa erittäin hyvin. Kirjallisuus: Hakemusten tieteellinen taso oli yleisesti ottaen erittäin korkea. Paneeli oli erityisen vaikuttunut tasokkaista akatemiahankehakemuksista. Sen sijaan tutkijatohtorihakemukset olivat heikompia kuin mitä paneeli olisi odottanut. Paneeli koki asiantuntemuksensa soveltuvan hakemusjoukon arviointiin hyvin. Kognitiiviset neurotieteet: Paneelin mukaan hakemusten tieteellinen laatu vastasi kansainvälistä tasoa, joskin hakemusten laadussa oli vaihtelua. Paneeli halusi kannustaa hakijoita edistämään avoimen tieteen periaatteita esim. julkaisu- ja tiedon säilömisen käytännöissä. Paneelin kollektiivinen metodologinen asiantuntemus kattoi varsin hyvin arvioidut hakemukset. Kulttuurientutkimus: Paneelin mukaan hakemusten taso oli keskimäärin hyvä, ja jokaisessa rahoitusmuodossa oli kansainvälistä huipputasoa vastaavia hakemuksia. Muuttoliike, tiedon tuottaminen, kaupungit, alkuperäiskansat sekä yhteiskehitteiset metodologiat (collaborative methodologies) olivat yleisiä teemoja. Hakemusten heikkoudet liittyivät etenkin toteutettavuuteen ja metodologiaan. Paneelin mukaan menetelmäkuvausten tulisi olla huomattavasti tarkempia ja niiden tulisi tarjota enemmän konkretiaa arvioitsijoille. Joissakin konsortiomuotoisissa hankehakemuksissa oli epäsuhtaa osahankkeiden ja kokonaisuuden välillä. Paneeli huomautti, että akatemiahankkeen johtajan rooli ei voi olla nimellinen, vaan johtajan rooli tulisi kuvata selkeästi tutkimussuunnitelmassa. Paneeli piti kollektiivista asiantuntemustaan riittävänä hakemusjoukon arviointiin, joskin muutamat erittäin monitieteiset hakemukset todettiin haastaviksi arvioida. Liiketaloustiede: Paneelin mukaan hakemusten tieteellinen laatu vastasi kansainvälistä tasoa tai oli jopa sitä korkeampi. Taso toisaalta myös vaihteli paljon, eikä joukossa ollut montaa aivan huipputason hakemusta. Tutkijatohtorihakemusten taso oli hieman heikompi kuin mitä paneeli olisi odottanut, ja toivoikin, että hakijat saisivat enemmän tukea akateemisesti vanhemmilta kollegoilta hakemusten laatimisessa. Liikkuvuussuunnitelmat olivat hyvin laadittuja. Paneeli koki asiantuntemuksensa vastaavan hakemusjoukon tutkimusaiheita ja -aloja erittäin hyvin. Media- ja viestintätieteet: Yleisesti ottaen paneeli katsoi hakemusjoukon vastaavan kansainvälistä tasoa. Metodologian kuvailuissa oli kuitenkin ongelmia kautta linjan, mikä vaikutti suoraan arvioihin tutkimusten toteutettavuudesta. Paneeli huomautti, että menetelmiä koskevissa kuvauksissa tulisi olla huomattavasti enemmän tarkkuutta ja konkretiaa. Myös eettisten näkökohtien pohdinta oli paneelin mukaan hieman kaavamaista ja kaipaisi jatkossa tarkempaa huomioimista ja erittelyä. Paneeli oli tyytyväinen kokoonpanoonsa ja katsoi kollektiivisen asiantuntemuksensa soveltuvan hakemusjoukon arviointiin hyvin.

5 5 (6) Oikeustiede: Paneeli piti hakemusten tasoa kansainvälisellä mittapuulla erittäin korkeana. Erityisen tasokkaita olivat akatemiahankehakemukset. Paneeli halusi kuitenkin muistuttaa hakijoita siitä, että hakemusten tulisi olla ymmärrettäviä laajemmallekin asiantuntijayleisölle, eikä ainoastaan tietyn erityisalan asiantuntijoille. Psykologia: Hakemusten tieteellinen laatu vastasi paneelin mukaan kansainvälistä tasoa. Tutkimusaiheissa kasvatus- ja sosiaalitieteellisten näkökulmien todettiin olleen vahvasti edustettuina esimerkiksi muistiin ja havaintoihin liittyvään kokeelliseen tutkimukseen nähden, mutta tätä selittänee osin erillinen kognitiivisten neurotieteiden paneeli. Tutkijatohtorihakemusten tasoa paneeli piti hieman heikompana muihin hakumuotoihin nähden, ja se toivoi jatkossa nuorille tutkijoille enemmän tukea hakemusten laatimiseen. Paneeli totesi laadukkaiden aineistojen (esim. pitkittäisaineistot) olemassaolon Suomen erityiseksi vahvuudeksi, mutta katsoi, että hakijat voisivat tavoitella laajempaa innovatiivisuutta niiden hyödyntämisessä. Tutkimuksen vaikuttavuuteen (tieteelliseen ja yhteiskunnalliseen) voitaisiin kiinnittää yleisesti ottaen enemmän huomiota. Liikkuvuuden ja yhteistyökumppanien osalta hakemuksissa oli vaihtelua, ja näiden kuvaamiseen ja perusteluihin tulisikin kiinnittää lisää huomiota. Eettisten näkökohtien, datanhallinnan ja avoimen tieteen periaatteen toteuttaminen oli yleisesti ottaen asianmukaista. Paneeli arvioi kollektiivisen asiantuntemuksensa kattaneen hakemusjoukon hyvin, mutta suuriin data-aineistoihin ja pitkittäistutkimuksiin liittyvä erityisosaaminen nähtiin vahvistamisen arvoisena. Sosiaalitieteet 1: Paneelin mukaan hakemusjoukkoon mahtui joitakin erittäin hyviä hakemuksia, mutta suurelta osin taso ei ollut kovin korkea. Moni hakija olisi hyötynyt tuesta hakemuksen laatimisessa. Tutkimusaiheiden teoreettiset perustat olivat joidenkin hakemusten kohdalla liian löyhiä. Paneeli kiitteli Suomen laadukkaita data-aineistoja, mutta aprikoi monen tutkimusasetelman olevan aineistokeskeinen innovatiivisuuden kustannuksella. Joissain hakemuksissa julkaisusuunnitelma oli epärealistisen kunnianhimoinen, ja paneeli kannustikin hakijoita keskittymään julkaisujen laatuun. Joidenkin hakijoiden kohdalla kansainvälinen julkaisutoiminta oli turhankin vaatimatonta. Paneeli oli tyytyväinen kollektiiviseen asiantuntemukseensa suhteessa hakemusjoukkoon. Sosiaalitieteet 2: Paneelin mukaan joukossa oli erittäin tasokkaita ja huolellisesti laadittuja hakemuksia, jotka olivat kansainvälisesti vertailukelpoisia. Paneelia ilahdutti hakemusten monitieteisyys ja tutkimusaiheiden kirjo sekä laaja-alaisuus. Yleinen kehittämiskohde hakemuksissa tuntui olevan eettisten näkökohtien pohdinta erityisesti arkaluontoista tietoa sisältäviä aineistoja käyttävien tutkimusten kohdalla. Paneeli katsoi asiantuntemuksensa soveltuvan hyvin hakemusten arviointiin. Sosiaalitieteet 3: Hakemusten tieteellinen taso oli paneelin mukaan erittäin korkea kansainvälisellä mittapuulla. Hakemukset olivat viimeisteltyjä ja huolellisesti laadittuja. Paneelin asiantuntemus kattoi hyvin hakemusten alat. Sukupuolentutkimus: Paneelin parhaimmat hakemukset vastasivat kansainvälistä tasoa. Yleisesti ottaen paneeli olisi toivonut enemmän tarkkuutta metodologian ja menetelmien kuvailuissa. Paneelin mukaan hakemusjoukko koostui pääosin sosiaali- ja yhteiskuntatieteellisistä hakemuksista. Paneelin kollektiivinen asiantuntemus soveltui sen oman arvion mukaan hakemusjoukon arviointiin hyvin.

6 6 (6) Taiteiden tutkimus: Paneeli katsoi erityisesti tutkijatohtorihakemusten tason olleen korkea. Myös akatemiahankehakemusten kirjo oli vaikuttava ja aiheet kunnianhimoisia, joskin niiden laadussa oli vaihtelua. Monissa tapauksissa tavoitteita ei ollut aseteltu riittävän selkeästi. Paneelille syntyi vaikutelma, etteivät tutkijat ole saaneet riittävästi tukea hakemusten laatimisessa, ja paneeli halusikin kannustaa tutkijoita enemmän yhteistyöhön hakemusten laatimisessa. Paneelissa käsitellyt hakemukset olivat useilta taiteiden tutkimuksen osa-alueilta. Käsiteltyjen hakemusten laaja kirjo sekä alakohtaiset erot eräissä laatuarvioinnin osissa vaativat entistä enemmän huomiota arviointityöskentelyssä. Teologia ja uskontotieteet: Paneeli havaitsi hakemusjoukossa kolmenlaisia hakemuksia: hakemuksia, jotka saivat korkeat arvosanat kaikissa osa-alueissa; hakemuksia, joissa tiimi oli huipputasoa ja kaikki oli periaatteessa kunnossa, mutta tutkimusaihe ei ollut kovin innovatiivinen (näitä oli erityisesti akatemiahanke-kategoriassa); hakemuksia, jotka olivat kiinnostavia, mutta vaatisivat jatkokehittelyä. Monet tutkimusasetelmat olivat luonteeltaan empiirisiä, ja paneeli toivoikin monipuolisuutta menetelmävalinnoissa. Menetelmään liittyvissä kuvauksissa oli kuitenkin runsaasti kehitettävää. Paneeli totesi huippuyksikköjen suotuisan vaikutuksen alalla, mutta toivoi hakijoiden tekevän yhä enemmän yhteistyötä toisten tutkijoiden kanssa. Paneeli koki kollektiivisen asiantuntemuksensa riittäväksi hakemusjoukon arviointiin. Valtiotieteet: Hakemusten tieteellisessä tasossa oli paneelin mukaan jonkin verran vaihtelua. Monessa hakemuksessa tutkimusasetelma oli huolellisesti suunniteltu ja hakemus hyvin laadittu. Joukossa oli sekä täsmällisemmin tiettyyn erikoisalaan kuuluvia aiheita että kokeilevampia, monitieteisiä tutkimusaiheita. Tutkimusaiheet olivat yleisesti ottaen ajankohtaisia. Toisten tutkimusaiheiden vaikuttavuus koski enemmän kansallista tasoa; toisten oli globaalimpaa. Paneeli oli hakemusten perusteella tyytyväinen tutkimusalan sisäiseen kirjoon Suomessa. Etenkin tutkijatohtorihakemuksissa menetelmään ja toteutettavuuteen liittyvissä kuvauksissa oli kuitenkin runsaasti parannettavaa. Paneeli toivookin, että menetelmien kirjoittamisen ohjeistusta tulisi lisätä, ja etenkin nuoret tutkijat voisivat hyötyä avusta hakemusten kirjoittamisessa. Paneeli toivoi muutenkin yhteistyön lisäämistä tutkimusaiheiden ja tutkimusasetelmien suunnittelussa. Paneeli oli vaikuttunut hakijoiden runsaasta liikkuvuudesta ja kansainvälisyyden tasosta, mutta toivoi joiltain osin lisää motivointia suunniteltuun liikkuvuuteen. Joidenkin hakemusten katsottiin olevan aivan liian kunnianhimoisia esim. julkaisutoiminnan suhteen. Paneeli koki kollektiivisen asiantuntemuksensa kattavan hakemusjoukon erittäin hyvin. Yhteiskuntatieteellinen ympäristöntutkimus (yhteispaneeli biotieteiden ja ympäristön tutkimuksen yksikön kanssa): Yleisesti ottaen hakemusten tieteellinen laatu vaihteli erittäin hyvästä erinomaiseen. Joukossa oli erittäin innovatiivisia ja jopa uraauurtavia tutkimusasetelmia ja -aiheita, mutta osassa niistä metodologian kuvaukset eivät olleet riittävän vakuuttavia. Ongelmia oli myös tutkimusaiheiden sitomisessa teoreettiseen kehykseen. Erityisesti tutkijatohtorihakemukset tekivät paneeliin vaikutuksen: aiheet olivat innovatiivisia ja julkaisutoiminta kunnianhimoista. Korkeasta keskimääräisestä tasostaan huolimatta monissa hakemuksissa oli kuitenkin jonkin verran keskeneräisyyttä, ja paneeli toivoikin hakijoiden tarkastuttavan hakemuksen jollakulla ennen sen jättämistä. Akatemiatutkija- ja akatemiahankehakemusten taso oli epätasaisempi, mutta molemmat ryhmät sisälsivät joitakin erinomaisia hakemuksia. Palautteen mukaan eettisten näkökohtien pohdinta etenkin monissa luonnontieteellisesti suuntautuneissa hakemuksessa oli riittämätöntä, ja siihen tulisi keskittyä jatkossa enemmän. Paneelin asiantuntemus sisälsi mm. maantieteen, sosiologian, kansantaloustieteen, ekologian, valtiotieteiden, antropologian ja kehitystutkimuksen alojen asiantuntijoita. Vaikka joidenkin hakemusten aiheet eivät suoraan osuneet panelistin erityisasiantuntemusalueelle, asiantuntijoiden kollektiivinen asiantuntemus riitti sen oman arvion mukaan hakemusten arviontiin hyvin.