Julkaisuanalyysit Suomen Akatemian arvioinneissa. Maija Miettinen, Suomen Akatemia

Transkriptio

1 Julkaisuanalyysit Suomen Akatemian arvioinneissa Maija Miettinen, Suomen Akatemia

2 Bibliometriikan ja julkaisuanalyysien hyödyntäminen Suomen Akatemiassa Missä käytetään Kansainväliset arvioitsijat/panelistit arvioivat rahoitushakijoiden julkaisutoimintaa. Tutkimus ja huippuyksikköohjelmien loppuarvioinnissa Tieteenala arvioinneissa Suomen tieteen tila ja taso katsauksissa osa tutkimuksen kokonaisarviointia Miten käytetään Bibliometrisiä analyysejä ei käytetä nykyään, vaan arviointi perustuu vertaisarviointiin. Bibliometrisiä analyysejä ei käytetä. Tausta aineisto arvioitsijoille Itsenäiset laajahkot analyysit Kansainvälinen vertailu tieteenaloittain

3 Tieteen tila ja taso katsaukset Suomen Akatemia laatii kerran kolmessa vuodessa Suomen tieteen tilaa ja tasoa arvioivan katsauksen. Tehtävä perustuu valtioneuvoston päätöksiin koulutuksen ja tutkimuksen kehittämisestä sekä OPM:n ja SA:n välisiin tulossopimuksiin. Tehtävänä on myös arviointimenetelmien kehittäminen Arvioita ja katsauksia on julkaistu vuosina 1997, 2000, 2003, 2006 ja 2009.

4 Julkaisuanalyysit arvioinnin välineenä Julkaisujen määrä on yksi tuloksellisuuden mittari Julkaisuihin kohdistettujen viittausten määrää ja viittauskerrointa eli viittausten kertymää julkaisua kohden (viittaukset/julkaisu) käytetään tutkimuksen tieteellisen vaikuttavuuden ja laadun mittarina Yhteisjulkaisemisen avulla selvitetään kansainvälistä yhteistyötä ja erilaisia yhteistyöverkostoja (organisaatiot, tutkimusryhmät jne.) Kansainvälinen vertailu: eri maiden julkaisumäärät suhteutetaan asukaslukuun ja bruttokansantuotteeseen; maan viittauskerrointa jollain alalla verrataan maailman/oecd maiden viittauskertoimeen= suhteellinen viittauskerroin

5 Suomen tieteen tila ja taso raportit 1997

6 Suomen tieteen tila ja taso 1997 Arvio koostuu yhteenvetoraportista ja toimikuntien teettämistä laajoista arviointiraporteista: Kulttuurin ja yhteiskunnan, luonnontieteiden ja tekniikan, terveyden sekä ympäristön ja luonnonvarojen tutkimus. Samaan aikaan ja rinnalla erilliset työryhmät laativat mm. raportit (naisten) tutkijanurasta ja huippuyksikköstrategian Pohja Suomen Akatemian strategia asiakirjalle

7 Julkaisuanalyysit tieteen tila ja taso katsauksessa 1997 Julkaisujen määrät tieteenaloittain ja korkeakouluittain (KOTA tietokanta) Julkaiseminen kansainvälisissä lehdissä (ISI ja teknisten alojen tietokannat) ja maiden välinen vertailu: suhteutettu BKT:hen ja asukaslukuun (OECD) Tieteellinen näkyvyys ja laatu: Viittaukset ja suhteellinen viittauskerroin eräillä tieteenaloilla (ISI). Julkaisuprofiilit: esim. suomalaisten ja vertailumaiden julkaisut kemian eri osa alueiden lehdissä.

8 Esimerkki: Suomen Akatemian julkaisuja 14/97, s. 20

10 Suomen Akatemian julkaisuja 10/97, s. 221

11 Suomen tieteen tila ja taso 2000

12 Suomen tieteen tila ja taso 2000 Katsauksen yleisessä osassa tarkasteltiin tiedepolitiikan kehitystä, tutkimusrahoitusta, yliopistoja ja tutkimustoiminnan tuloksellisuutta ja vaikuttavuutta. Neljässä muussa osassa SA:n tieteelliset toimikunnat käsittelivät toimialallensa tärkeitä aiheita. Tavoitteena oli selvittää suomalaisen tutkimuksen viime vuosien laadullista ja määrällistä kehitystä ja verrata sitä OECD maiden ja koko maailman tutkimukseen vuosina Akatemian tehtäväksi oli annettu myös tieteenala arviointien järjestäminen ja arviointimittarien kehittäminen. Akatemialle hankittiin National Science Indicators tietokanta, NSI (standard ja deluxe)/isi. Se mahdollisti tieteenaloittain eri maiden aikasarjat ja kansainvälisen

13 Julkaisuanalyysit tieteen tila ja taso katsauksessa 2000 Kansainvälinen vertailu: Suomen tuloksia ja tietoja verrattiin OECD maiden ja koko maailman tietoihin. (Main Science and Technology Indicators, MSTI, /OECD). Ongelmaksi osoittautuivat eri tietolähteiden tieteenalaluokitukset (SA, NSI, OECD, Tilastokeskus) Julkaisujen määrä National Science Indicators tietokannasta (NSIOD/ISI) ja KOTA tietokannasta. Julkaiseminen kansainvälisissä lehdissä ja sen kasvun ja muutoksen systemaattinen tarkastelu tieteenaloittain ja maittain Tieteellinen näkyvyys ja laatu: Viittauskertoimet tieteenaloittain ja suhteelliset viittauskertoimet tieteenaloittain ja maittain. (NSIOD)

14 Esimerkki on julkaisusta: Suomen Akatemian julkaisuja 6/00, s. 68

18 Suomen tieteen tila ja taso 2003 Katsaus koostuu 1) yleisiä ja 2) erillisteemoja käsittelevistä osista (sukupuoli) tutkimusjärjestelmässä, yhteiskuntaa koskevan tutkimuksen vaikuttavuus, huippuyksikköjen rooli ja tutkimuksen vaikuttavuus) sekä 3) neljän toimikunnan kirjoittamista raporteista. Raportissa käsitellään monipuolisesti tutkimushenkilöstöä, tutkijan ammattia ja tutkijoiden työllistymistä. Yleisessä osassa analysoidaan päätieteenalojen julkaisutoimintaa ja toimikuntaosioissa yksityiskohtaisemmin tieteenaloja (NSOID standard/deluxe) vuosina Kansainvälinen vertailu saman tyyppinen kuin edellisessä raportissa.

19 Julkaisuanalyysit tieteen tila ja taso katsauksessa 2003 Julkaisujen määrät humanistisissa ja yhteiskuntatieteissä (KOTA) Julkaiseminen kansainvälisissä lehdissä (NSIOD/ISI ja OECD) kuten 2000, vuosina Tieteellinen näkyvyys ja laatu: viittausanalyysit (NSI) kuten 2000, vuosilta Kansainvälinen vertailu: Suomen tuloksia ja tietoja on suhteutettu ja verrattu OECD maiden/maailman tietoihin. Yhteisjulkaisuanalyysi bio ja lääketieteen aloilta. Analysoitiin 83 valitussa tieteellisessä aikakauslehdessä olleet artikkelit, joissa oli suomalaisia tekijöitä: yhteisjulkaisut Euroopan, USA:n ja muun maailman kanssa (aineisto: WoS /isi)

22 Esimerkki: Suomen Akatemian julkaisuja 9/03, s.190

23 Esimerkki: Suomen Akatemian julkaisuja 9/03, s.107

24 Esimerkkinä osa taulukkoa: Suomen Akatemian julkaisuja 9/03, s.108

25 Suomen tieteen tila ja taso

26 Suomen tieteen tila ja taso 2006 SA ja Tekes käynnistivät vuonna 2005 ennakointihankkeen FINSIGHT 2015: Tieteen, teknologian ja yhteiskunnan näkymät. Bibliometrinen analyysi tehtiin itsenäiseksi raportiksi, jossa Suomen tieteellisen julkaisemisen kehitystä verrattiin muiden OECD ja EU maiden kehitykseen vuosina NCR tietokanta /ISI hankittiin Akatemiaan v Se mahdollisti sektori ja organisaatiotason analyysit ja yhteistyöanalyysit. NCR tietokannassa on tiedot artikkeleista, joissa tekijänä on yksi tai useampi suomalaisessa organisaatiossa työskentelevä tutkija.

27 Finnish science in international comparison: a bibliometric analysis, 2006 Julkaisujen määrät paitsi maittain ja tieteenaloittain myös sektoreittain ja organisaatioittain (NSI/NCR): yritykset, yliopistot, tutkimuslaitokset Tieteellinen näkyvyys ja laatu: keskeisenä indikaattorina on suhteellinen viittauskerroin: viittausmääriä julkaisua kohden verrataan vastaavaan maailman suhdelukuun. Julkaiseminen kansainvälisissä lehdissä: yhteisartikkelit eri maiden kanssa päätieteenaloittain. Merkittävimmät yhteistyökumpanimaat löydettävissä(ncr) Uutena ovat eri maiden julkaisuprofiilit: eri tieteenalojen julkaisujen osuudet maan julkaisuista

28 Esimerkki: Publications of the Academy of Finland 15/06, s. 24

32 Esimerkkinä osa taulukkoa: Publications of the Academy of Finland 15/06, s. 36

34 Suomen tieteen tila ja taso 2009 Raportti jakaantuu kolmeen osaan: Suomen tutkimusjärjestelmän kehitys ja nykytila, Suomen tieteellisen tutkimuksen tila ja Kehittämissuunnat NORIA net Nordic Bibliometrics /rahoittajana NordForsk. Pohjoismainen yhteistyö aloitettiin 2007 Verkosto synnytti erillisprojekteja, joissa Akatemia hyödynsi Vetenskapsrådetin käsittelemiä aineistoja (ThomsonReuters/ISI ) jaanalyysimenetelmien erikoisosaamista. Vetenskapsrådetin aineisto: julkaisujen ja viittausten osittaminen maiden ja tutkimusalojen mukaan; normalisointi, jossa tutkimusalojen ja julkaisutyyppien erilaiset viittauskäytännöt huomioidaan; viittausten kertymän viive on huomioitu

35 Julkaisuanalyysit Suomen tieteen tila ja taso 2009 katsauksessa Julkaisujen määrä (Thomson Reuters/Vetenskapsrådet) : muutoksia tarkastellaan pääasiassa tutkimusaloittain Tieteellinen näkyvyys ja laatu: Suhteellinen viittauskerroin. Uutena mittarina eniten viittauksia saaneet julkaisut: mikä osuus Suomen julkaisuista kuuluu maailman eniten viittauksia saaneidenjoukkoontutkimusalalla. Kansainvälinen julkaisuyhteistyö: yhteisjulkaisujen osuus kaikista julkaisuista pohjoismaittain Tietokannan käsittelyn ja uudenlaisten analyysien tarkoituksena on ollut saada luotettavampaa ja tarkempaa kuvaa ja tietoa julkaisutoiminnasta.

36 Esimerkki: Suomen akatemian julkaisuja 9/09, s 42

40 Julkaisuanalyysien tekemisen haasteita On arvioitava, mitä bibliometrisin menetelmien avulla voidaan selvittää. Käytettävien tietokantojen (ISI, KOTA, SCOPUS) sisältö ja kattavuus on tunnettava. Esim. ISI:n tietokannat kattavat perinteisesti parhaiten luonnon ja lääketieteen aikakauslehtiartikkelit. Eri tieteenalojen julkaisu ja viittauskäytäntöjen (esim. viittausten viive) sekä julkaisukanavien tuntemus on tärkeää tulkittaessa tuloksia. Tieteenalojen määrittely: tieteenalojen rajat ovat osin epäselviä ja päällekkäisiä Monitieteisyys tulossa yhä tärkeämmäksi. Kuitenkin sen tunnistaminen on hankalaa.

41 jatko haasteita Tietokanta ja ATK osaaminen virheiden vähentämiseksi ja tarkkuuden lisäämiseksi (esim. nimien yhdenmukaistaminen, julkaisujen osittaminen, itseviittausten poistaminen) Tilastomentelmien tuntemus (aineiston normalisointi, kuvaukset muutoksista, vertailut jne.) Suomalaisen terminologia yhtenäistäminen Tietokanta aineistot ovat kalliita Aineistojen käsittely ja siivoaminen on aikaa vievää ja siksi kallista