1 (6) Kulttuurin ja yhteiskunnan tutkimuksen yksikkö Kooste syyskuun haun 2018 arviointipaneelien antamasta palautteesta

Transkriptio

1 1 (6) Kulttuurin ja yhteiskunnan tutkimuksen yksikkö Kooste syyskuun haun 2018 arviointipaneelien antamasta palautteesta Hakemusten laadukas kansainvälinen arviointi ja vertaisarvioitsijoiden asiantuntijalausuntoihin perustuva päätöksenteko ovat Suomen Akatemian toiminnan ydin. Kulttuurin ja yhteiskunnan tutkimuksen toimikunta ja vastuualue (KY) kehittävät jatkuvasti toimintaansa ja arviointikäytänteitään. Hakemukset arvioivien paneelien laatimat yleispalautteet antavat tähän tärkeää tietoa. Paneelipalautteita käytetään niin hakuneuvonnassa kuin KY-toimikunnan ja -vastuualueen toiminnan parantamisessa. Palautteiden toivotaan tukevan myös tutkijoita hakemusten laatimisessa. Suomen Akatemia on koonnut vuoden 2018 syyskuun haun arviointipaneeleilta palautetta hakemusten tieteellisestä laadusta, arviointiprosessin sujuvuudesta ja paneelin yhteisestä asiantuntijuudesta heille osoitettujen hakemusten arvioinnissa. Tämä kooste on laadittu kulttuurin ja yhteiskunnan tutkimuksen vastuualueen järjestämän 17 arviointipaneelin palautteista. Paneeleihin osallistui 6 13 asiantuntijajäsentä sekä vastuualueen henkilökuntaa. Paneelien arvioitavana oli syyskuun 2018 haun tutkijatohtori-, akatemiatutkija- ja akatemiahankehakemukset. Syyskuun haun 2018 yhteydessä toteutettiin Suomen Akatemian saaman tutkimusrahoituslisäyksen myötä uusi suunnattu akatemiahankehaku nuorelle tutkijasukupolvelle. Kulttuurin ja yhteiskunnan tutkimuksen vastuualueen paneelirakennetta uudistetaan tiedekentän muutoksen myötä, jotta kaikille saapuville hakemuksille voidaan järjestää laadukas arviointi. Tällä kierroksella uudistusten tavoitteena oli ottaa aiempaa paremmin huomioon moni-/poikkitieteiset hakemukset sekä parantaa hakemusten vertailtavuutta muodostamalla aiempaa tasakokoisempia paneeleja. Paneelit koottiin tälläkin kierroksella pääosin tutkimusalapohjaisesti muodostaen kuitenkin suurempia paneelikokonaisuuksia joitakin tutkimusaloja yhdistämällä. Kierroksella kokeiltiin myös yhtä täysin uutta ilmiöpohjaista paneelia, jonka teemaksi valikoitui muuttoliike. Paneeleista kaksi järjestettiin yhteispaneeleina muiden vastuualueiden kanssa. Akatemian arviointikäytännöt sekä paneelien organisointi Syyskuun 2018 hakuun liittyvässä arvioinnissa kulttuurin ja yhteiskunnan tutkimuksen yksikön käyttämiä asiantuntijoita oli yhteensä 169. Heistä 41 prosenttia oli naisia ja 59 prosenttia miehiä. Panelistit tulivat yleisimmin Isosta-Britanniasta, Ruotsista, Alankomaista, Saksasta ja Norjasta edellä mainitussa järjestyksessä. Syyskuun 2018 haussa ranking-käytäntöä laajennettiin, ja paneelit asettivat kaikkien hakumuotojen parhaiden arvosanojen (arvosanat 5 ja 6) saajat paremmuusjärjestykseen. Paneelit pitivät rankingprosessia onnistuneena ja tehokkaana osana hakemusarviointia. Paneelien roolia pidettiin tärkeänä, sillä paneelin jäsenillä on paras ja laajin yhteinen näkemys hakemuksista ja vertaisarvioitsijoina myös paras asiantuntemus tämän prosessin toteuttamiseen. Paneelit kehittäisivät ranking-prosessia edelleen tarkentamalla niitä osa-alueita ja kriteereitä, joihin tulee erityisesti kiinnittää huomiota sekä lisäämällä korkeimmat arvosanat saaneiden hakemusten käsittelyyn käytettyä aikaa.

2 2 (6) Akatemiahankkeet nuorelle tutkijasukupolvelle -hakumuotoon toivottiin paneeleissa tarkempia arviointikriteerejä. Paneelit ehdottivat muun muassa hakukelpoisuuden kriteerejä tarkennettavaksi niin, että nuorille tarkoitettua rahoitusta voisi hakea enintään 10 vuoden kuluttua tohtorintutkinnon valmistumisesta. Syyskuun 2018 haussa hakijoita kannustettiin uuden, rakenteistetun tutkimussuunnitelman käyttöön. Paneelit pitivät rakenteistetun tutkimussuunnitelman käyttöä yleisesti hyvänä ja kokivat sen hyödyttävän sekä hakijaa että arvioitsijoiden työtä. Osa paneeleista koki, että rakenteistettua tutkimussuunnitelmaa tulisi vielä muokata yksinkertaisemmaksi ja lyhyemmäksi, jotta se palvelisi hakijoita entistä paremmin. Useissa paneeleissa toivottiin myös vastuullisen tieteen arvioinnin yksinkertaistamista. Paneelit pitivät Suomen Akatemian arviointikäytäntöjä onnistuneina ja kansainvälisesti verraten korkeatasoisina. Paneelien järjestelyjä ja arviointityöskentelyn tukea kiitettiin erinomaisiksi. Hakemusten laadukkaan arvioinnin kannalta paneelikokoukset luovat tärkeän paikan asiantuntijoiden vuorovaikutukselle, joka ei muutoin olisi mahdollista. Suomen Akatemian arviointikäytännöistä löytyy lisätietoa verkkosivulta: Hakemusten tieteellinen laatu ja parannusehdotuksia Hakemusten tieteellinen laatu arvioitiin paneelipalautteissa yleisesti ottaen korkeaksi ja sen katsottiin edustavan hyvin kansainvälistä tasoa. Parhaissa hakemuksissa korostui vahva kyky ottaa kantaa tieteen uudistumiseen sekä uraauurtava tutkimusote. Nuorelle tutkijasukupolvelle suunnatun akatemiahankehaun hakemukset menestyivät yleisesti hyvin, joskin paneelit esittivät kyseiselle hakijajoukolle myös kehitysehdotuksia. Keskeisimpinä hakemusten tieteellistä laatua heikentävinä seikkoina paneelipalautteista nousivat esiin metodologian heikko määrittely ja liian löyhä liittyminen tutkimusaiheeseen sekä teoreettiset epäselvyydet ja teoreettisen pohjan irrallisuus. Ongelmat edellä mainituilla osa-alueissa nähtiin monissa palautteissa vaikeuttavan tutkimusprojektin toteutettavuuden ja vaikuttavuuden arviointia. Paneelit toivoivat hakijoilta myös enemmän riskinottoa ja vahvempia tavoitteita teoreettiseen käsittelyyn. Paneelit kokivat toisaalta parhaiden hakemusten olleen erittäin korkeatasoisia sekä innovatiivisuuden, riskinoton ja vaikuttavuuden arvioinnin suhteen, toisaalta taas heikompiin hakemuksiin esitettiin palautteissa parannuksia samaisille osa-alueille. Palautteista nousi esiin myös analyysimenetelmien yleisesti hyvä laatu, mutta toisaalta myös paneelien toive toteutettavuuden tarkempaan määrittelyyn esimerkiksi sen osalta, miten tutkimusdataa analysoidaan ja käytetään tehokkaasti. Hakemuksissa esitettyjä yhteistyökumppaneita pidettiin sopivina, mutta heidän roolinsa tutkimusprojekteissa kaipasi paikoin tarkempaa määrittelyä. Myös yhteistyökumppaneiden sitoutuneisuus jäi osassa hakemuksista epäselväksi. Paneelit toivoivat hakijoilta jatkossa lyhyempiä hakemuksia ja liitteitä sekä asioiden esittämistä tiiviimmin ja selkeämmin. Heikommissa hakemuksissa paneelit havaitsivat ongelmia myös etenkin

3 3 (6) tekstin jäsentelyssä sekä yksityiskohtien hiomattomuudessa. Myös tutkimusaiheiden sijoittamisessa ajankohtaisen tutkimuskirjallisuuden kontekstiin oli paikoin parannettavaa. Osassa paneelipalautteista kommentointiin jo käynnissä olevien hankkeiden rahoitukseen keskittyvien hakemusten poikkeuksellisen suurta määrää määrä ja nostettiin esiin heikompien hakemusten keskittyminen aiheiltaan lähinnä vakiinnutetun tutkimuksen jatkamiseen. Toisaalta paneeleista tunnustettiin vahvasti replikaatiotutkimuksen arvo tietyillä aloilla. Useassa paneelissa nostettiin esiin tarve hakijoiden organisaatioiden tarjoamaan vahvempaan tukeen hakemusten laadun parantamiseksi. Paneelit kokivat osan hakemuksista olleen liian keskeneräisiä Akatemian hakuihin, vaikka hakemusten tason kommentointiin yleisesti parantuneen. Paneelit korostivat erityisesti nuorille tutkijoille annattavan tuen tärkeyttä ja ehdottivat konkreettisiksi keinoiksi esimerkiksi menestyneiden tutkijoiden antamaa hakuneuvontaa sekä haun käynnissä ollessa järjestettyjä työpajoja, joissa kokemattomammat hakijat voisivat saada tukea yli yliopisto- ja organisaatiorajojen. Paneelikohtaiset palautteet Aatehistoria Hakemusten taso oli erittäin korkea ja kansainvälisesti vertailukelpoinen. Paneeli halusi muistuttaa muutamia, erityisesti nuoria tutkijoita myös englanninkielisen julkaisemisen tärkeydestä, vaikka kotimaisilla kielillä julkaisemisen tärkeys tunnistettiinkin. Paneelin asiantuntemus kattoi hyvin laajakirjoisten hakemusten aihealueet ja tieteenalat. Akatemiahankkeet nuorelle sukupolvelle - hakumuodon kaikki hakijat olivat miehiä ja kaikista hakijoista 72% oli miehiä. Paneeli toivoi Akatemian kiinnittävän huomiota sukupuolten tasa-arvoon sekä miettivän, voitaisiinko jotkut hakemuksen osat arvioida Akatemian toimesta (tasa-arvo, liikkuvuus, kestävä kehitys). Filosofia, teologia ja uskontotiede Akatemiahankehakemukset olivat erittäin hyviä ja ylittivät paneelin mukaan yleiseurooppalaisen tason. Akatemiatutkijahakemukset olivat yleiseltä tasoltaan heikompia eivätkä muutamia poikkeuksia lukuun ottamatta pärjänneet erityisen hyvin kansainvälisesti vertailtaessa. Tutkijatohtorihakemukset olivat laadultaan tasaisia ja kansainvälisesti vertailukelpoisia. Paneeli oli yleisesti tyytyväinen hakemusten kansainvälisiin verkostoihin, mutta koki, että tieteen uudistumista tai innovatiivisuutta ei tuotu useissa hakemuksissa tarpeeksi esiin. Kaikki hakemukset sopivat hyvin paneelin arvioitavaksi. Historia ja arkeologia Parhaat hakemukset olivat kansainvälisesti kilpailukykyisiä, ja mahdollisia rahoitettavia hakemuksia oli paljon. Osa hakemuksista oli laadultaan paneelin mukaan heikkoja, ja paneeli toivoikin hakemusten käsittelyyn enemmän esikarsintaa. Paneeli kommentoi toteutuksen olleen hakemuksissa yleisesti heikon piirre. Kaikki hakemukset olivat sopivia paneeliin ja paneelin asiantuntemus arviointiin oli hyvä. Paneeli kiinnitti huomiota myös siihen, että erilaiset perhetilanteet tulee huomioida tutkimusprojektin liikkuvuutta arvioitaessa. Human Factors and Technology Design (yhteispaneeli luonnontieteiden ja tekniikan tutkimuksen vastuualueen kanssa) Hakemukset vertautuivat hyvin kansainväliseen tasoon. Hakemusten taso jakautui tavanomaisesti; laadultaan erinomaisia hakemuksia löytyi muutama, erittäin hyviä useampi ja heikompia myös muutamia. Monissa heikoimmista hakemuksista haettiin rahoitusta jo vakiinnutetun tutkimuksen jatkamiseen, ja uudistuminen jäi vähemmälle huomiolle. Paneeli piti parhaaseen viidennekseen

4 4 (6) sijoittuneiden hakemusten julkaisuluetteloita erityisen ansiokkaina. Tutkijatohtorihakemuksia pidettiin muiden hakumuotojen hakemuksia heikompina. Paneelin laajan profiilin vuoksi hakemukset olivat monipuolisia ja -tieteisiä mikä koettiin vahvuudeksi. Kasvatustiede Arvioidut hakemukset olivat aiheiltaan monipuolisia ja ajankohtaisia sekä laadultaan kansainvälisesti vertailukelpoisia. Paneeli olisi toivonut hakijoiden yhdistäneen enemmän kvanti- ja kvalitatiivisia metodeja, mutta piti hakemusjoukkoa kuitenkin yleisesti eri suuntauksia hyvin edustavana. Data-analyysi ja metodologia -osuudet jäivät heikoimmiksi osa-alueiksi hakemuksissa ja myös hakemusten suhteuttaminen ajankohtaisen tutkimuskirjallisuuden kontekstiin olisi voinut olla tarkempaa. Paneeli piti asiantuntemustaan hyvänä ja kaikkia hakemuksia paneelin arvioitavaksi sopivina. Kielitiede Hakemusten taso oli yleisesti hyvä, ja erityisesti akatemiahankehakemuksista suuri osa arvioitiin korkeimmilla arvosanoilla. Kaikki hakemukset olivat sopivia paneelin arvioitaviksi. Hakemusten jakoa arvioitsijoiden kesken pidettiin erityisen onnistuneena ja työskentelyä sujuvoittavana tekijänä. Liiketaloustiede Paneeli oli yleisesti vaikuttunut hakemusten laadusta ja tutkimusprojektien innovatiivisuudesta. Sekä kvalitatiivisen että kvantitatiivisen tutkimuksen osa-alueilla paneeli kuitenkin kaipasi tutkimussuunnitelmien toteutukseen ja metodologian määrittelyyn parannuksia. Erityisesti jotkut pienemmistä yliopistoista tulleet hakemukset eivät yltäneet parhaalle tasolle, koska tutkijoiden hakutaidot eivät olleet riittävät. Paneelin asiantuntemus kattoi hyvin arvioitavana olleet hakemukset. Muuttoliike Hakemusten joukossa oli monia kansainvälisesti verraten korkeatasoisia, kunnianhimoisia ja rohkeita aiheita. Kaikki hakemukset olivat paneeliin sopivia, ja monitieteistä paneelia pidettiin hakemuksille tieteenalakohtaista paneelia edullisempana. Paneelin työskentelytapa oli hyvin keskusteleva, mikä tuki monipuolisen hakemusjoukon käsittelyä. Oikeus- ja kansantaloustiede Paneelissa arvioiduista hakemuksista kiitettävä osa ylsi ylimpiin arvosanoihin ja erityisesti nuoren tutkijasukupolven hakemusten taso oli korkea. Matalampia arvosanoja saaneissa hakemuksissa oli paneelin mukaan ongelmia selkeydessä; esimerkiksi metodologian liittymisessä tutkimusaiheeseen, tekstin jäsentelyssä, yksityiskohtien hiomattomuudessa ja tutkimuksella saavutettavien tulosten esittelyssä. Paneeli kiinnitti huomiota myös tekstin tiivistämisen tarpeeseen ja substanssin sekä laadun parempaan esiin tuomiseen, ongelmiin keskeiseen taustakirjallisuuteen viittaamisessa sekä toivoi enemmän riskinottoa. Kaikki hakemukset olivat sopivia paneelin arvioitavaksi, mutta oikeusja kansantaloustieteen välisen tieteenalarajan ylittäminen koettiin hankalaksi arvioinnissa, ja ylitykset olivat hakemuksissa vähemmistössä Psykologia 1 Hakemusten tieteellinen laatu oli yleisesti hyvin korkea sekä kansainvälisesti vertailukelpoinen. Useat hakemukset olivat erinomaisia, ja paneeli oli vaikuttunut niiden osoittamasta korkeasta oppineisuudesta ja potentiaalista uraauurtavan tutkimuksen tuottamiseen. Heikommissa hakemuksissa hypoteesien puute, metodologiset ja toteutettavuuden heikkoudet sekä paikoin hakijoiden asiantuntemus aiheuttivat haasteita. Nuorten tutkijoiden hankehakemukset olivat tutkimusaiheiltaan usein joko liian rajattuja tai laajoja. Tilastolliset metodit olivat korkeatasoisia, mutta paneelin oli haastavaa arvioida otannan riittävyyttä puutteellisten voima-analyysien vuoksi, minkä lisäksi osa kokeellisemmista metodeista kaipasi tarkennusta. Panelistien asiantuntemus oli arvioitujen hakemusten kanssa tasapainossa. Paneeli koki, että osalle hakijoista yhteiskunnallisen

5 5 (6) vaikuttavuuden yhdistäminen hakemukseen oli epäselvää tai sitä oli yritetty sisällyttää tutkimukseen jopa liikaa. Psykologia 2 Hakemusten tieteellinen taso oli yleisesti korkea ja kansainvälisesti vertailukelpoinen. Paneeli totesi mahdollisesti rahoitettavia hakemuksia olleen enemmän, kuin mitä voidaan rahoittaa. Kaikki hakemukset olivat paneeliin sopivia. Osa hakemuksista kaipasi vielä viimeistelyä ja myös metodologista ja tilastollista käsittelyä tulisi tarkentaa. Erityisesti silloin, kun hakemuksen tutkimusala ei ollut hakijan pääala oli tieteellinen näyttö paikoin vanhentunutta tai liian suppeaa. Hakemusten otannan riittävyyttä oli paneelin mukaan haastavaa arvioida, koska voima-analyysit olivat laajalti puutteellisia. Uuden ja vanhan datan linkittyminen tutkimukseen kaipasi myös monissa tapauksissa tarkennuksia. Sosiaalitieteet 1 Paneeli oli tyytyväinen hakemusten tieteelliseen laatuun, joskin tutkijatohtorihakemukset olivat odotettua heikompia. Paneeli kannusti tutkijatohtorihakijoita määrittelemään tutkimuskysymyksensä selkeämmin ja perustelemaan miten hanke edistää tutkimuksen akateemista ja yhteiskunnallista vaikuttavuutta. Sosiaaliteteet 2 Arvioidut hakemukset vertautuivat hyvin kansainväliseen ympäristöön, joskin jatkorahoitukseen keskittyvien hakemusten suuri määrä oli paneelin mielestä verraten poikkeuksellinen. Kansainvälisesti verrattuna hakemukset myös keskittyivät paljon käsitteellisten lähtökohtien määrittelyyn teoreettisen kehittämisen ja vaikuttavuuden luonnin sijasta. Myös toteutettavuuteen paneeli olisi toivonut lisää tarkennuksia erityisesti datan analysoinnin osalta. Paneeli piti asiantuntemustaan hakemusten arvioinnin suhteen hyvänä ja pyydettyjä tukilausuntoja hyödyllisinä. Sukupuolentutkimus Hakemukset olivat yleisesti korkeatasoisia ja kansainvälisesti vertailukelpoisia. Erityisesti tutkijatohtoreiden hakemuksia kiiteltiin tällä hakukierroksella hyvin ansiokkaiksi. Paneeli totesi kaikkien hakemusten olleen sopivia tämän paneelin arvioitavaksi. Taiteiden tutkimus Parhaat hakemukset olivat erittäin korkeatasoisia ja kansainvälisesti vertailukelpoisia. Paneelin mukaan tutkijatohtorihakemukset olivat tällä hakukierroksella heikompia kuin aiemmin. Paneeli piti kokoonpanoaan hyvin rekrytoituna ja asiantuntemustaan hakemusten kannalta kattavana. Paneeli koki paikoin vaikeaksi arvioida hakijan tietämyksen tasoa tutkimuseettisiin kysymyksiin liittyen ja ehdotti, että hakijan sitoutuminen hänen oman organisaationsa tutkimuseettisiin periaatteisiin olisi selvemmin nähtävillä. Valtiotieteet ja ihmismaantiede Suurin osa hakemuksista oli tieteelliseltä laadultaan hyvää kansainvälistä tasoa. Erityisen uraauurtavia ja kansainvälisesti korkeatasoisia tutkimusprojekteja oli kuitenkin vain muutama, ja teoreettiset tavoitteet olisivat yleisesti ottaen voineet olla korkeampia. Nuorelle tutkijasukupolvelle suunnatun hankehaun hakemukset erottuivat kansainvälisesti hyvin kilpailukykyisinä, kun taas tutkijatohtoreiden hakemuksien taso oli heikompi, ja muun muassa julkaisuluetteloiden laajuuteen ja julkaisustrategiaan toivottiin parannuksia. Panelistien monipuolinen asiantuntemus oli eduksi hakemusarvioinnissa. Panelistit pitivät luettavien hakemusten määriä melko suurena kansainvälisesti verraten.

6 6 (6) Yhteiskuntatieteellinen ympäristöntutkimus (yhteispaneeli biotieteiden, terveyden ja ympäristön tutkimuksen vastuualueen kanssa) Hakemusten tieteellinen laatu oli yleisesti hyvän ja erinomaisen välillä, ja hakemukset olivat kansainvälisesti vertailukelpoisia. Erityisesti akatemiatutkijoiden ja tutkijatohtoreiden hakemusten taso oli paneelin mielestä yleisesti korkea. Paneeli piti hakemusten tasoa parempana edelliseen hakukierrokseen verrattuna, joskin muutamia hakemuksia pidettiin liian heikkoina Akatemian hakuun. Monet hakemukset olivat innovatiivisia ja tieteen rajoja rikkovia, mutta joissain tapauksissa heikompi metodologinen osuus vaikutti hakemusten vakuuttavuuteen. Paneeli koki myös, että yhteiskunnallisten ja soveltavien aiheiden teoreettinen pohja oli usein epäselvä ja liian irrallinen, mikä vaikutti hakemusten toteutettavuuteen sekä vaikuttavuuden arviointiin.