Bibliometriikan hyödyntäminen Suomen Akatemiassa

Transkriptio

1 Bibliometriikan hyödyntäminen Suomen Akatemiassa Anu Nuutinen Johtava tiedeasiantuntija Johdon tuki -yksikkö 1

2 Miksi, mihin ja miten Akatemia käyttää bibliometrisiä indikaattoreita? Akatemian strategia Akatemia julkaisutiedon kerääjänä Bibliometriset indikaattorit Akatemian arviointitoiminnan apuna Järjestelmätason arviointitoiminta, tieteen- ja tutkimusala arvioinnit, erityisesti tieteen tila -katsaukset Tieteen tila 2014 Analyysityökalun kehityshanke 2013 Kansainvälinen vertailu organisaatiotasolla: Pohjoismaista yhteistyötä suunnitteilla Tulevaisuuden mahdollisia hyödyntämismahdollisuuksia 2

3 Suomen Akatemian strategia Tutkimuksen vaikuttavuuden ja laadun vahvistamiseksi Akatemia Edistää korkeatasoista ja eettisesti kestävää tutkimusta rahoittamansa tutkimuksen tulosten ja asiantuntemuksen hyödyntämistä julkisessa päätöksenteossa ja elinkeinoelämässä tutkimuksen osuutta innovaatioihin tähtäävässä kehitystyössä Tukee suomalaisten tutkijoiden kansainvälisiä yhteistyömahdollisuuksia tieteen uudistumista, monitieteisyyttä, uusia lähestymistapoja ja läpimurtoja Vahvistaa tutkimusympäristöjen kansainvälistymistä ja houkuttelevuutta Seuraa ja arvioi suomalaisen tutkimuksen kansainvälistä kehittymistä Toimii yhteistyössä eri tahojen kanssa suomalaisen tieteen uudistamiseksi 3

4 Akatemia julkaisutiedon kerääjänä Hakemusten arviointi (kansainvälinen vertaisarviointi) Hakijan/tutkimusryhmän pätevyys Julkaisuluettelo hakemusta varten Ohjeistettu laadittavaksi OKM:n julkaisutyyppiluokittelun mukaisesti. Hakijaa pyydetään korostamaan julkaisuluettelonsa 10 tutkimussuunnitelman kannalta merkittävintä julkaisua. Julkaisutiedot tutkimushankkeiden loppuraportoinnissa Raportoidaan julkaisut, joissa mainitaan, että työ on tehty Akatemian hankkeelle myöntämällä rahoituksella Viitetiedot Vuosi Julkaisumaa Julkaisutyyppi (okm:n luokituksen mukaisesti) Open Access (kyllä / ei) Internet-osoite 4

5 Tieteenalojen ja tutkimusalojen arviointi (kansainvälinen vertaisarviointi) Bibliometriset indikaattorit arvioinnin apuna: Site visitit ja tutkijoiden haastattelut keskeisessä asemassa Tausta-aineistona kansainväliselle asiantuntijapaneelille Myös runsaasti muuta tausta-aineistoa Julkaisuaineiston keruu erillisellä kyselyllä: Tutkimuksen tuloksellisuus: julkaisumäärät julkaisutyypeittäin Kansallinen ja kansainvälinen yhteistyö: yhteisjulkaisut Kansainvälisiin viitetietokantoihin perustuneita analyysejä hyödynnetty vähemmän (soveltuvuus, kustannukset) Thomson Reuters -aineistoon perustunut bibliometrinen analyysi suomalais-ruotsalaisessa kliinisen tutkimuksen arvioinnissa 2009 Uusimmat arvioinnit valmistuneet seuraavilta aloilta: fysiikka, ekologia ja evoluutiobiologia, liikuntatieteet (2012), viestintätieteet (julkaistaan 2013) 5

6 Tieteen tilan arviointi Bibliometriset menetelmät ovat vakiinnuttaneet asemansa tutkimuksen tieteellisen vaikuttavuuden arvioinnissa Akatemia on käyttänyt näitä menetelmiä 2000-luvun alusta lähtien Suomen tieteen tilan ja tason arvioinnissa Suomen tutkimuksen tuloksellisuus, näkyvyys ja tieteellinen vaikuttavuus bibliometrisin indikaattorein tarkasteltuna (vrt. tutkimuksen laatu) Maatason kansainvälinen vertailu (OECD-maat, relevantit vertailumaat) Tieteenaloittainen tarkastelu Suomessa (35 tieteenalaa) Tulevaisuudessa myös tutkimusorganisaatiotaso (yliopistot ja valtion tutkimuslaitokset Suomessa) 6

7 Tieteenaloittainen materiaali sisältää myös bibliometriset analyysit. 7

8 Tieteen tila 2014 Tavoitteena on raportointi, joka antaa mahdollisuuden tieteen tilan pitkäjänteiseen seurantaan Tieteen tila -raportointia kehitetään muotoon, jossa se palvelee aikaisempaa paremmin opetus- ja kulttuuriministeriötä, yliopistoja, tutkimuslaitoksia ja Suomen Akatemiaa sekä muita tiedepoliittisia toimijoita Suomen yliopistojen ja tutkimuslaitosten tutkimustoiminnan edellytysten ja tulosten tarkastelu organisaatioittain ja tieteenaloittain Esim. tutkimusrahoitus, tutkimushenkilöstö, julkaisutoiminta Syventävä erityisteema / -teemat 8

9 OKM:n, CSC:n ja Akatemian bibliometriikkayhteistyö Toteutetaan analyysityökalu (analyysikuutio) OKM:n ja SA:n käyttöön, jonka avulla käyttäjä voi laskea julkaisumäärä- ja viittausindikaattoreita valitsemalleen julkaisujoukolle 9 Organisaatioittain, tieteenaloittain, maittain Viittausindikaattorit normalisoitu tieteenalan, julkaisutyypin ja julkaisuvuoden mukaan Kehityshanke 2013 aikana; kehittämistarpeita myös tämän jälkeen Esim. uusia indikaattoreita, laskentaperusteet kehittyvät jne. Akatemian tietotarpeet: mihin Akatemia tarvitsee bibliometrisiä indikaattoreita Miten bibliometriikkaa on hyödynnetty esim. toteutetuissa tutkimusjärjestelmätason arvioinneissa aikaisemmin? Monipuolisempi hyödyntäminen tulevaisuudessa mahdollista Dokumentointi tärkeää: Käyttötavat, indikaattorisuunnittelu, indikaattoreiden laskenta Valintojen perustelut näkyville Käyttäjäkoulutus

10 10

11 Yliopistojen pohjoismainen vertailu organisaatioittain ja tieteenaloittain: Analyysien päivitys uusimmalla datalla Aineisto siivotaan jokaisessa Pohjoismaassa: kaikki tietylle organisaatiolle kuuluvat julkaisut todellakin kirjautuvat tämän organisaation tilastoihin. JYVÄSKYLÄ Lyvaskyla, Jyvskyl, Jyvaskyl, Jyvaskala, Jyvaeskylae, Jynaskyla, Jyaskyla, Jvaskyla, Juvascyla, Javaskyla, Hyvaskayla, Jyuvaskula, Jyavaskyla,. Tieteenalanormalisoidut viittausindikaattorit Yliopistot ja yliopistolliset sairaalat (ei sisällä yliopistoja, joiden ositettujen julkaisujen määrä on liian pieni viittausindikaattoreiden luotettavaan laskemiseen) Tulkinnassa otettava kuitenkin huomioon esim. maiden erilaiset tieteenalaprofiilit (esim. yhteiskuntatieteiden ja humanististen tieteiden tai tiettyjen tekniikan alojen osuus koko maan tutkimustoiminnassa) 11

12 Suomalaisten yliopistojen ja yliopistosairaaloiden suhteelliset viittausindeksit tieteenaloittain vuosina (maailman keskimääräinen taso tieteenalalla = 1). Suhteellinen viittausindeksi > 1 = kyseisen organisaation julkaisut tarkastellulla tieteenalalla keräävät enemmän viittauksia kuin muiden organisaatioiden julkaisut samalla alalla maailmassa keskimäärin. Esim. JY matematiikan ja fysiikan alojen julkaisuihin viitataan 43 % enemmän (svi = 1,43) kuin muihin näiden alojen julkaisuihin maailmassa keskimäärin. Indeksi esitetty vain, jos organisaatiolla on alalla vähintään 50 ositettua julkaisua. 12

13 Yhteenvetoa: miksi, mihin ja miten bibliometriikkaa? Miksi? Suomalaisen tutkimuksen kansainvälisen kehityksen seuraaminen Akatemian strategiaperustainen tehtävä Tutkimuksen tieteellisen vaikuttavuuden syvällisempi ymmärtäminen (mistä vaikuttavuus koostuu) Mihin? Erityisesti tutkimusjärjestelmätason arviointien apuna, erilaisten haasteiden tunnistamisessa Monipuolisempi bibliometriikan hyödyntäminen arvioinneissa mahdollista, kun aineistokysymykset saadaan ratkaistua Bibliometriset analyysit mahdollisesti taustamateriaalina strategisessa toiminnan suunnittelussa 13

14 Miten: Rajoitukset täytyy tuntea Kansainvälisiin viitetietokantoihin ja myös bibliometrisiin analyysimenetelmiin liittyy paljon rajoituksia Julkaisu- ja viittauskäytännöt vaihtelevat tieteenaloittain, lisäksi on laitos- ja tutkimusryhmäkohtaisia eroja Aineistojen laadunvarmistus avainasemassa Mittausmenetelmien kehittäminen tärkeää, laskentatapojen standardointi osana laadunvarmistusta Alan tutkimuksen kehityksen seuraaminen Benchmarking: Miten esim. muut tutkimuksen rahoittajat ja eri yliopistot hyödyntävät bibliometrisiä indikaattoreita tutkimuksen arvioinnissa? Bibliometriikan käyttö yliopistorankingeissä Kansainvälisiä viittaustietokantoja kehitetään (esim. kirjojen indeksoinnin eteneminen) 14

15