Suomalainen tutkimus kansainvälisessä vertailussa Heikki Mannila 27.11.2018 1
Miksi kansainvälinen vertailu on tärkeää? Tiede on kansainvälistä Tiede perustuu arvioinnille Suomalainen tiede on jatkuvasti kansainvälisessä vertailussa 2
Miksi kansainvälinen vertailu on tärkeää? Laadun ja vaikuttavuuden kannalta on olennaista tietää mitä muualla on tehty Sekä sisällön että organisoinnin kannalta Sekä yksittäisen tutkimuksen että laajempien kokonaisuuksien kannalta Kansalliset tarkastelut ovat nekin hyödyllisiä Kansainvälinen vertailu antaa arvokasta ainesta Kehittämisnäkökulma 3
Tausta Suomen Akatemian laatima Tieteen tila -raportti muutetaan määrävuosin toteutuvaksi rullaavaksi tutkimuksen arvioinniksi.. Nykyinen Tieteen tila selvitys: Henkilöstö, rahoitus kansallinen tarkastelu Julkaisut, bibliometria kansallinen ja kansainvälinen tarkastelu Erityisteemat 4
Kysymys Tieteen tila 2018 selvitys ilmestyy 10.12.2018 Jatkuvampi toimintatapa Tutkimusorganisaatiot ja koko järjestelmä Minkälaiset aineistot ja analyysit palvelisivat mahdollisimman hyvin korkeakouluja ja ministeriö(i)tä? Mitä ja millä aikatauluilla? Kysymyksiä, ei niinkään vastauksia; keskustelun tarve Minkälaisia keinoja on hieman laajempien kokonaisuuksien kansainväliseen (ja muuhunkin) tarkasteluun? 5
Mitä kansainvälisellä vertailulla tavoitellaan? Mitä haluamme tietää? Monia asioita, esimerkiksi Minkälainen suomalaisen tutkimuksen laatu ja vaikuttavuus on? Mikä on tutkimuksen ja sen resurssien jakauma eri alojen välillä? Miten organisaatioiden suunnitelmat näyttäytyvät kansainvälisesti? Miten toimintatavat vertautuvat muiden maiden toimintatapoihin? Esimerkiksi: henkilöstön ja opiskelijoiden rekrytointi, henkilöstörakenne, rahoitusjärjestelyt eri tasoilla (tutkimusorganisaation ja kansallinen taso), yhteistyö, tutkimusinfrastruktuurit,... Taaksepäin ja eteenpäin katsominen Mihin tulokset antavat aihetta; kehittämisnäkökulma 6
Erilaisia tietolähteitä Julkaisutiedot Viittaustiedot Rahoittajien päätökset Rahoittajille kertyvät lausunnot Korkeakoulujen ja muiden tutkimuksen arvioinnit Muut vertaisarvioinnit Palkinnot ym. Henkilöstötiedot Rahoitustiedot Verrokkiorganisaatiot (erityisesti toimintatapojen näkökulmasta) 7
Tarkastelutasoja Koko korkeakoulu- ja tutkimusjärjestelmä Yksittäiset tutkimusorganisaatiot Tieteenala tai ilmiöpohjainen ala koko maassa Tiedekunta Laitos tai vastaava Tutkimusryhmä Yleisiä kysymyksiä Mikä on tilanne? Minkälaisia muutoksia on tapahtunut? Mihin ollaan menossa? 8
Mitä haluamme ymmärtää kv. vertailuissa? Tieteellinen laatu Monitahoinen käsite Tietty komponentti laadusta ymmärretään melko hyvin Julkaisumäärät, suhteelliset viittausindeksit, top 10 -indeksit jne. Tieteenalapohjaisesti voidaan vertailla hyvin (maiden vertailu) Monitieteisesti, ilmiöpohjaisesti, tutkimuksen ja osaamisen keskittymien kannalta: julkaisutietokannat eivät sovellu tähän hyvin 9
Mitä haluamme ymmärtää kv. vertailuissa? Tieteellinen laatu Tieteellisen laadun kanssa jonkinlaisessa korrelaatiossa olevaa dataa saadaan muistakin lähteistä joissa voi olla kansainvälistä vertailtavuutta Kilpailullisten rahoittajien (ERC, muu puiteohjelma) päätökset Palkinnot ja vastaavat Alakohtaiset rankingit (monia hyvin erilaisia, usein julkaisu-, palkinto- ja rahoituspainotteisia) Esim. ERC: - Hankkeita per miljoona asukasta tms. - Hakemusten hyväksymisprosentti 10
ERC-hakujen hyväksymisprosentteja 2014-2018 2014 2015 2016 2017 2018 StG CoG AdG StG CoG AdG StG CoG AdG StG CoG AdG StG Hakemuksia 3273 2528 2287 2920 2051 1953 2935 2305 2404 3085 2538 2167 3126 joista Suomesta 107 83 54 99 59 42 108 78 74 85 91 52 101 Rahoitettu 375 372 190 350 302 277 390 314 231 406 329 269 403 joista Suomesta 8 3 2 5 6 7 7 7 7 7 12 4 10 Hyväks.prosentti 12% 15% 8% 12% 15% 14% 14% 14% 10% 13% 13% 13% 13% suomal. hakem. 8% 4% 4% 5% 10% 17% 7% 9% 10% 8% 13% 8% 10% 11
Mitä haluamme ymmärtää kv. vertailuissa? Tieteellinen laatu Vertaisarviointi laadun arvioinnin menetelmänä Myös laajemmissa kokonaisuuksissa Korkeakoulujen tutkimuksen arvioinnit Tieteenala-arvioinnit Kansalliset tarkastelut Rahoittajille kertyvät lausunnot - Sisältävät vertailua kansainväliseen tasoon 12
Mitä haluamme ymmärtää kv. vertailuissa? Vaikuttavuus Monipuolinen vaikuttavuus (tieteen eri roolit) Kansallinen ja kansainvälinen vertailu ei ole helppoa Erilaisia surrogaattimittoja käytössä (patentit, yritysyhteistyöjulkaisut jne.) Vaikuttavuuden koko kirjo ei tule katetuksi Yliopistojen erilaiset toimintatapaprofiilit Vaikuttavuus ihmisten kautta: missä esim. tohtorit ovat töissä? Vaikuttavuutta tarkastellaan nykyisin paljon korkeakoulujen tutkimuksen arvioinneissa: kv. vertailuaineistoa kertyy, mutta laajempi kansallinen käyttö on vaikeata REF ja vaikuttavuusnarratiivit: vertaisarvioinnin merkitys 13
Mitä haluamme ymmärtää kv. vertailuissa? Tutkimuksen jakautuminen eri aloille Resurssien ja tutkimuksen jakautuminen eri aloille Resurssien suhteen kansallisesti tiedetään melko paljon 14
Esimerkki: IV-uraportaan henkilötyövuodet 2017 TTY LTY Tieteenalaryhmä AY SH H OY ÅA VY JY HY ISY TY TAY LY TAI Kaikki Matematiikka, tilastot. 3 1 10 7 2 2 7 12 3 8 3 57 Fys., geot., avar.t. 10 3 18 15 3 18 37 21 12 1 138 Kemia, tekn. kemia 3 7 10 6 14 11 15 5 4 76 ICT ja sähkötekniikka 41 11 57 32 7 7 20 12 6 13 11 219 Materiaalit. ja -tekn. 7 31 6 2 0 47 Tekniikan muut alat 27 31 31 15 2 1 1 1 110 Taloustieteet 8 17 54 30 17 7 24 17 19 12 29 18 3 256 Ekol., ymp.t., kasvib. 5 2 10 37 17 13 0 84 Maatalous- ja metsät. 46 14 60 Biolääket., biotieteet 4 11 8 3 70 26 38 12 174 Kliiniset lääketieteet 37 48 39 49 26 198 Terveystieteet 7 1 25 12 18 9 18 90 Käyttäytymistieteet 1 3 11 11 32 37 21 27 14 4 162 Yhteiskuntat. Muut 4 7 16 10 22 75 41 54 61 28 318 Kielitieteet 8 6 4 18 33 12 17 10 109 Taiteet ja kirjall. tutk. 30 1 2 11 11 4 4 4 10 56 132 Humanist. tiet. muut 0 5 9 1 11 50 11 23 10 1 122 Muut luonnontieteet 2 2 1 5 Kaikki tieteenalat yht. 100 69 253 30 193 93 49 205 518 251 303 188 48 56 2 354 15
Mitä haluamme ymmärtää kv. vertailuissa? Tutkimuksen jakautuminen eri aloille Entä sitten? Minkälaisia muutoksia tässä on tapahtunut viime vuosina? Tähän löytyy vastaus Tosin tilastointikäytäntöjen muutokset vaikeuttavat tulkintaa Miten vertautuu esimerkiksi Ruotsin vastaavaan tilanteeseen? Henkilöstörakenteesta on vaikea saada tietoa yliopisto- tai järjestelmätasolla - Montako professoria jollakin alalla on maassa X? - Ketkä kuuluvat professoreihin? Miten ala X määritellään? Pohjoismaisena yhteistyönä yritetään saada aikaan jonkinlainen kehikko Julkaisumäärien tarkastelu 16
Verrokkimaiden julkaisuprofiilit 17
Mitä haluamme ymmärtää kv. vertailuissa? Henkilöstörakenne Vaihtelee tietysti aloittain Kuinka paljon professoreita, lehtoreita, post doc tutkijoita, väitöskirjaopiskelijoita? Pysyvää henkilöstöä ja määräaikaista? Minkälainen on ryhmärakenne? Montako jatko-opiskelijaa per professori? Entä post doc tutkijaa? Hyvin merkityksellisiä asioita Vähänlaisesti tietoja saatavilla Verrokkiyliopistot? Pohjoismainen yhteistyö? 18
Mitä haluamme ymmärtää kv. vertailuissa? Rahoitus, rahoitusjärjestelmä Kansallisesti ymmärretään hyvin Kansainvälinen vertailu vaikeata 19
Mitä haluamme ymmärtää kv. vertailuissa? Muut toimintatavat Esimerkiksi - Rekrytointimenettelyt - Yhteistyön muodot ja tukeminen - Tutkimusinfrastruktuurit - Strategiset kumppanuudet - Yleinen toimintatapa pitkäjänteisyys, nopeatempoisuus vai molemmat - 20
Entä sitten? Selkeitä kehityskohteita - Monitieteisen / ilmiöpohjaisen tutkimuksen arviointi: bibliometriset pulmat - Tutkimuksen ja osaamisen keskittymien tunnistaminen ja arviointi - Suunnitelmien arviointi - Jne. Runsaasti kysymyksiä ja mahdollisuuksia Rullaava tutkimuksen arviointi: laatu, vaikuttavuus Valmistelu yhteistyössä 21
Kiitos! 22