Julkaisufoorumi tutkimustoiminnan laadun kannustajana Rehtori Matti Manninen Yliopistojen rahoitusmalli uudistuu oletteko valmiit? OKM:n, TSV:n ja UNIFI:n seminaari Helsinki 17.2.2014
Tausta Julkaisut yliopistojen rahoitusperusteena vuodesta 2007, mutta ratkaisevaa määrä, ei laatu. Suomen yliopistojen rehtorien neuvoston työryhmän suunnitelma laadunarvioinnin kehittämiseksi 2010: Viittauksiin perustuva laadunarviointi on vakiintunut luonnon- ja lääketieteissä, mutta se kattaa huonosti humanististen alojen, yhteiskuntatieteiden ja osin teknisten tieteiden tutkimusta. Norjassa (2005) ja Tanskassa (2009) toteutettu julkaisufoorumien tasoluokitus kattaa kansainvälisen ja kansallisen julkaisutoiminnan, sekä lehtiartikkelien lisäksi konferenssijulkaisut ja tieteelliset kirjat. Tieteellisten seurain valtuuskunta käynnisti OKM:n rahoituksella Julkaisufoorumi-hankeen 2010.
Tavoitteet Julkaisufoorumi on tiedeyhteisön toteuttama tieteellisen julkaisutoiminnan laadunarviointia tukeva järjestelmä, jonka keskeisiä tavoitteita ovat: 1. Kannustaa tutkijoita julkaisemaan parhaat kirjoituksensa alansa johtavissa lehdissä, sarjoissa ja kirjakustantajilla 2. Yhdistettynä julkaisutietoihin tuottaa tietoa tutkimusorganisaatioiden ja -alojen julkaisutoiminnasta 3. Tuottaa julkaisutoiminnan laatua ilmaiseva indikaattori OKM:n käyttämään yliopistojen perusrahoitusmalliin 2015 alkaen
Ohjausryhmä 2012-2014 TSV:n hallituksen nimittämä ohjausryhmä vastaa paneelien asettamisesta sekä arviointityön ohjeistuksesta ja valvonnasta: Puheenjohtaja: Kansleri Ilkka Niiniluoto (TSV) Jäsenet: Professori Risto Heiskala (TaY) Sovellussuunnittelija Jyrki Ilva (KK) Yksikön johtaja Susan Linko (SA) Rehtori Matti Manninen (UNIFI) Professori Kaisa Miettinen (JY) Professori Tiina Onikki-Rantajääskö (HY) Opetusneuvos Olli Poropudas (OKM) Kehityspäällikkö Tuija Raaska (CSC) Professori Heimo Saarikko (HY) Professori Hannu Sariola (HY) Professori Timo Tokola (ISY) Ylikirjastonh. Kimmo Tuominen (SYN) Sihteeristö: Toiminnanjohtaja, professori Aura Korppi-Tommola (TSV) Toiminnanjohtaja Liisa Savunen (UNIFI) Suunnittelija Janne Pölönen (TSV) Suunnittelija Anna-Sofia Ruth (TSV)
Paneelit 2014-2016 Julkaisufoorumien arvioinnista vastaavat 23 tieteenaloittaisen arviointipaneelin asiantuntijajäsenet. Yli 200 jäsentä yliopistoilta, tutkimuslaitoksilta, tieteellisiltä seuroilta ja tiedeakatemioilta saatujen ehdotusten perusteella (553 ehdotusta). Paneeleissa puolet uusia jäseniä, yliopistot ovat laajasti edustettuina. 30 % 25 % 20 % 15 % 10 % 5 % Tieteelliset julkaisut 2011 Henkilötyövuodet 2011 Julkaisufoorumi panelistit 0 % HY Aalto TY OY ISY JY TaY TTY ÅA LTY LY VY TaidY SH
Kattavuus ja päivitys Ensimmäinen Julkaisufoorumi-luokitus valmistui 2011. Vuosittain voidaan lisätä uusia kanavia perustasolle 1: luokitusta on täydennetty 2012 ja 2013. Tasoluokitus kattaa jo lähes 27 000 kotimaista ja ulkomaista julkaisukanavaa: Yhteensä Tasoluokka 3 2 1 - Lehti/sarja 22069 1137 3025 16270 1637 Konferenssi 2688 0 42 1059 1587 Kirjakustantaja 1992 0 130 1142 720 Kaikki tasoluokitukset arvioidaan uudelleen 3 vuoden välein: ensimmäinen päivitysarviointi tapahtuu 2014.
Julkaisufoorumi-luokat Taso 1 = Tieteelliset lehdet/sarjat ja kirjakustantajat Ulkomaisia ja kotimaisia julkaisukanavia: erikoistuneet tieteellisten tutkimustulosten julkaisuun, tieteenalan asiantuntijoista koostuva toimituskunta, tieteelliset julkaisut käyvät läpi vertaisarvioinnin. EI väitöskirjasarjoja tai yliopistojen/laitosten omia sarjoja. Taso 2 = Johtavat lehdet/sarjat ja kirjakustantajat Pääsääntöisesti kansainvälisiä foorumeita, joissa tutkijat eri maista julkaisevat parhainta tutkimustaan. Suomen- ja ruotsinkielisiä johtavia julkaisukanavia, jotka kattavat tieteenalansa suomalaisen yhteiskunnan, kulttuurin ja historian erityispiirteitä käsittelevää tutkimusta mahdollisimman laajasti. Taso 3 = Korkein taso (lehtien ja sarjojen kärkijoukko)
Yliopistojen 2011-12 julkaisut paneelialoittain Yliopistojen OKM:n tiedonkeruussa vuosina 2011 ja 2012 raportoimien tieteellisten julkaisujen lukumäärä vaihtelee paneelialoittain ja Jufoluokittain (julkaisutyypit A1-4 ja C1: yhteensä 47 495 julkaisua). 3 500 2 500 1 500 500-500 -1 500 Taso - Taso 1 Tasot 2 ja 3
Yliopistojen 2011-12 julkaisut paneelialoittain Jufo-luokkiin 2 ja 3 sijoittuvien sekä Jufo-luokkien 1-3 ulkopuolelle jäävien (taso -) tieteellisten julkaisujen osuus vaihtelee paneelialoittain (OKM:n tiedonkeruu 2011 ja 2012: julkaisutyypit A1-4 ja C1). 100 % 75 % 50 % 25 % 0 % -25 % -50 % Taso - Taso 1 Tasot 2 ja 3
Tieteenalojen välinen tasapuolisuus Julkaisufoorumi-luokitus kannustaa laatuun ja pyrkii huomioimaan eri tieteenalojen julkaisukäytäntöjen erot Luokituksen tulee olla kaikilla aloilla erottelukykyinen ja kohdella eri aloja riittävän tapapuolisesti Luokitusta on kiristettävä erityisesti luonnon- ja lääketieteissä, joiden julkaisuista suurin osa sijoittuu Jufo-luokkiin 2 ja 3: vuodesta 2014 alkaen otetaan tasojen kiintiöiden määrittelyssä huomioon lehden ja sarjan julkaisuvolyymi Vuosittain julkaistavien artikkelien yhteenlaskettu lukumäärää Erityisesti tekniikan ja taloustieteen paneeleissa on kiinnitettävä huomiota konferenssien luokitteluun, koska näillä aloilla huomattavan suuri osa julkaisuista jää Jufo-luokkien 1-3 ulkopuolelle.
Vertailu Tanskan luokitukseen Julkaisuvolyymipohjainen tason 2 kiintiön määrittäminen kiristää luokitusta kaikilla tieteenaloilla, erityisesti luonnon- ja lääketieteissä. Vaikutus eri paneelialoilla tasolle 2 luokiteltavien nimekkeiden osuuteen voidaan arvioida Tanskan volyymiperusteisen luokituksen perusteella JUFO Tanska 25% 20% 15% 10% 5% 0%
Suurten julkaisumäärien laadun indikaattori Tasokkaimpien julkaisujen oletetaan valikoituvan korkeamman luokituksen saaneisiin julkaisukanaviin laajan kilpailun ja vaativan vertaisarvioinnin seurauksena. Tasoluokitus ennustaa suurten julkaisumäärien, kuten yliopistojen koko tieteellisen julkaisutuotannon, keskimääräistä laatua ja vaikuttavuutta. Ratkaisevaa on kuinka laajasti yliopistojen uusin julkaisutoiminta kokonaisuudessaan suuntautuu Jufoluokituksen saaneille julkaisufoorumeille Viittausindeksit perustuvat vanhempiin julkaisuihin ja ovat vahvasti riippuvaisia harvojen eniten viittauksia keränneiden julkaisujen menestyksestä
Julkaisufoorumi-tasot vs. viittausindeksi Suomalaisten 2004-2008 Web of Science -julkaisujen (31343 julkaisua) viittausanalyysi osoittaa, että Jufo-luokan 2 ja 3 lehdissä ilmestyneiden julkaisujen joukolla on Korkeampi viittausindeksi (*maailman keskitaso = 1) Suurempi huippujulkaisujen osuus (Top10-indeksi) Pienempi ilman viittauksia jäävien julkaisujen osuus Jufo-luokka Julkaisuja Viittausindeksi (*) Top10- Indeksi (*) Ilman viittauksia Luokat 2 ja 3 18 352 1,31 1,43 13,4 % Luokka 1 12 992 0,67 0,46 28,3 % Auranen, Leino, Poropudas, Pölönen: Julkaisufoorumi-luokitus ja viittausindeksit tieteellisten julkaisujen laadun mittareina