Julkaisufoorumin tausta, tavoitteet ja päivitysarviointi Kansleri Ilkka Niiniluoto Julkaisufoorumi-seminaari Helsinki 2.2.2015
TAVOITTEET Julkaisufoorumi on tiedeyhteisön toteuttama tieteellisen julkaisutoiminnan laadunarviointia tukeva järjestelmä, jonka keskeisiä tavoitteita ovat: 1. Kannustaa tutkijoita suuntaamaan julkaisutoimintaa korkeatasoisille kansainvälisille ja kansallisille foorumeille. 2. Yhdistettynä OKM-julkaisuaineistoonluokitus tuottaa tietoa tutkimusorganisaatioiden ja -alojen julkaisutoiminnasta. 3. Julkaisutoiminnan laatua ilmaiseva indikaattori OKM:n käyttämässä yliopistojen perusrahoitusmallissa 2015 alkaen.
TAUSTA Julkaisut yliopistojen rahoitusperusteena vuodesta 2007, mutta arviointi perustui määrään, ei laatuun. Suomen yliopistojen rehtorien neuvoston työryhmän suunnitelma laadunarvioinnin kehittämiseksi 2010: Viittauksiin perustuva laadunarviointi on vakiintunut luonnon-ja lääketieteissä, mutta tietokannat kattavat huonosti humanististen alojen, yhteiskuntatieteiden ja osin teknisten tieteiden tutkimusta. Norjassa (2005) ja Tanskassa (2009) toteutettu julkaisufoorumien tasoluokitus kattaa kansainvälisen ja kansallisen julkaisutoiminnan, sekä lehtiartikkelien lisäksi konferenssijulkaisut ja tieteelliset kirjat. Julkaisufoorumi perustettiin 2010 Tieteellisten seurain valtuuskuntaan OKM:n rahoituksella.
OHJAUSRYHMÄ 2012-2015 TSV:nhallituksen nimittämä ohjausryhmä vastaa paneelien asettamisesta sekä arviointityön ohjeistuksesta ja valvonnasta: Puheenjohtaja: Kansleri Ilkka Niiniluoto (TSV) Jäsenet: Professori Risto Heiskala (TaY) Sovellussuunnittelija Jyrki Ilva (KK) Yksikön johtaja Susan Linko (SA) Rehtori Matti Manninen (UNIFI) Professori Kaisa Miettinen (JY) Professori Tiina Onikki-Rantajääskö (HY) Opetusneuvos Olli Poropudas (OKM) Kehityspäällikkö Tuija Raaska (CSC) Professori Heimo Saarikko (HY) Professori Hannu Sariola (HY) Professori Timo Tokola (ISY) Ylikirjastonh. Kimmo Tuominen (SYN) Sihteeristö: Toiminnanjohtaja Lea Ryynänen- Karjalainen (TSV) Toiminnanjohtaja Leena Treuthardt (UNIFI) Suunnittelija Anna-Sofia Ruth (TSV) Suunnittelija Janne Pölönen (TSV)
PANEELIT 2014-2017 Julkaisufoorumien arvioinnista vastaavat 23 tieteenaloittaista asiantuntijapaneelia. Syksyllä 2013 Julkaisufoorumi sai yliopistoilta, valtion tutkimuslaitoksilta, tieteellisiltä seuroilta ja tiedeakatemioilta 553 ehdotusta paneelien jäseniksi. Paneeleihin nimitettiin yli 200 henkilöä, joista puolet paneelien jäseninä kaudella 2010-2013 toimineita ja puolet uusia jäseniä. Paneelien arviointityön tueksi tuotetaan bibliometrisiä indikaattoreita: vaikuttavuuskertoimia (JIF, SJR, SNIP) sekä Norjan ja Tanskan paneelien vastaavat tasoluokitukset.
JULKAISUFOORUMIN TASOLUOKAT Tasoluokkiin 2 ja 3on hyväksytty rajoitettu joukko asiantuntijapaneelien korkeatasoisimmiksi ja vaikuttavimmiksi arvostamia tieteellisiä foorumeita. Pääasiassa kansainvälisiä julkaisukanavia, mutta ihmistieteissä myös suomen-ja ruotsinkielisiä foorumeita. Tasoluokkaan 1 kuuluu valtaosa tieteellisten tutkimustulosten julkaisemiseen erikoistuneista ulkomaisista ja kotimaisista foorumeista, joilla on tieteenalan asiantuntijoista koostuva toimituskunta ja tieteelliset julkaisut käyvät läpi säännöllisen vertaisarvioinnin. Tasoluokkaan 0 luetteloidaan paneelien arvioimia ulkomaisia ja kotimaisia foorumeita, jotka eivät täytä tason 1 kriteereitä, sekä paikallisia tieteellisiä foorumeita (esim. yliopistojen omat sarjat).
PÄIVITTYVÄ JÄRJESTELMÄ Ensimmäinen Julkaisufoorumi-luokitus julkaistiin 2012. Tähän mennessä arvioitu jo lähes 30 000 kotimaista ja ulkomaista julkaisukanavaa. Tasoluokkaan 1 voidaan vuosittain täydennysarvioinneissa lisätä uusia tai tasoluokkaan 0 sijoitettuja foorumeita. Tasoluokkien 2 ja 3 osalta foorumit arvioidaan uudelleen 4 vuoden välein: ensimmäinen päivitysarviointi toteutettiin 2014. Uusi päivitetty luokitus julkaistiin vuoden 2015 alusta, ja sitä käytetään ensimmäisen kerran julkaisuihin, joiden julkaisuvuosi on 2015.
JULKAISUFOORUMIN KEHITTÄMINEN Luokituksen kehittämisessä on hyödynnetty yliopistojen OKM:lleraportoimaa julkaisuaineistoa, joka käsittää yli 70000 vuosina 2011 2013 julkaistua vertaisarvioitua artikkelia ja erillisteosta. Vuoden 2012 luokituksessa tason 2 ja 3 saaneet kanavat kattavat peräti 39 % vertaisarvioiduista julkaisuista. Tason 2 ja 3 julkaisujen osuus on luonnon-ja lääketieteissä huomattavasti muita tieteenaloja suurempi. Vuoden 2014 päivitysarvioinnissa tavoite on ollut nostaa luokituksen vaatimustasoa tasoluokkien 2 ja 3 osalta, sekä vähentää tieteenalojen välisiä eroja.
VAATIMUSTASON VERTAILU POHJOISMAIHIN Vuoden 2012 luokituksessa jokainen paneeli sai luokitella 20 % lehti- ja sarjanimekkeistään tasolle 2 (ja näistä 25 % tasolle 3). Suomessa tasolle 2 on luokiteltu yli 4000 julkaisusarjaa, Tanskassa n. 3000 ja Norjassa n. 2000. Julkaisusarjat Norja Tanska Jufo 2012 Taso 1 22811 21457 18698 Taso 2 2080 2984 4154 Tason 2 osuus 9 % 14 % 22 % Vastaavasti Suomessa tasolle 2 on luokiteltu 126 kirjakustantajaa, Tanskassa 98 ja Norjassa 89. Kaikkiaan vaatimustaso luokan 2 julkaisujen osalta on asetettu muissa Pohjoismaissa huomattavasti korkeammalle.
100 % 75 % 50 % 25 % 0 % -25% -50% TIETEENALOJEN VÄLISET EROT Luonnon-ja lääketieteissä julkaisutoiminta keskittyy voimakkaasti suuriin kansainvälisiin lehtiin, joten 20 % lehti-ja sarjanimekkeistä voi kattaa yli 50 % eräillä tieteenaloilla tuotetuista suomalaisten yliopistojen julkaisuista. Eroja myös tasoluokkaan 0 sijoittuvien julkaisujen osuudessa Taso 0 Taso 1 Tasot 2 ja 3
MUUTOKSET ARVIOINTIKRITEEREIHIN Vuoden 2015 luokituksessa taso 2 kiintiöitiin Norjan ja Tanskan mallin mukaisesti lehtien ja sarjojen julkaisuvolyymiin. Julkaisuvolyymi = vuosittain ilmestyvien kaikkien suomalaisten ja ulkomaisten artikkelien lukumäärää (3 vuoden keskiarvo). Tasoluokan 2 lehtien ja sarjojen yhteenlaskettu julkaisuvolyymi sai olla enintään 20 % paneelin luetteloon kuuluvien julkaisusarjojen yhteenlasketusta artikkelimäärästä (tason 3 lehdet ja sarjat saivat kattaa 25 % tason 2 julkaisuvolyymistä). 1000 artikkelia julkaiseva lehti vei tason 2 kiintiöstä kymmenen kertaa suuremman osan kuin 100 artikkelia julkaiseva lehti. Kirjakustantajista noin 10 % voitiin luokitella tasolle 2 (aiemmasta poiketen 10 % tason 2 kustantajista voitiin luokitella tasolle 3).
LEHTIEN JA SARJOJEN JAKO PANEELIEN KESKEN Lehdistä ja sarjoista n. 30 % esiintyi usean paneelin luettelossa. Tanskan ja Norjan mallin mukaisesti julkaisusarjat jaettiin paneelien kesken Yleistieteellisillä oma ryhmä, jossa 25 lehteä(nature, Science, PNAS, PlosOne) Lehtien/sarjojen lukumäärä 2500 2000 1500 1000 500 0 2012-luokitus 2015-luokitus
TASOLUOKAN 2 OSUUS JULKAISUVOLYYMISTÄ Tason 2 osuus julkaisuvolyymistä Paneeleille annettiin 1 % joustovara tasoluokan 2 julkaisuvolyymikiintiöön Lisäksi tasoluokkaan 2 tai 3 luokiteltu lehti, jonka julkaisuvolyymi on suurempi kuin 2500, kulutti tason 2 kiintiötä vain 2500 julkaisun verran. Kaikki paneelit toteuttivat luokittelun tason 2 kiintiön puitteissa (21 %) 60 % 40 % 20 % 0 % 2012-luokitus 2015-luokitus
TASOLUOKAN 2 OSUUS NIMEKKEISTÄ Tason 2 osuus nimekkeistä Vain kahdessa paneelissa (2 ja 9) tasolle 2 voitiin lisätä lehtiä tai sarjoja Muissa paneeleissa julkaisusarjojen määrää korkeammissa tasoluokissa jouduttiin vähentämään, joten varaa tasoluokan nostoihin oli niukasti. Muutos oli suurin luonnon-ja lääketieteen paneeleissa 30 % 25 % 20 % 15 % 10 % 5 % 0 % 2012-luokitus 2015-luokitus
TULOKSENA KORKEAMPI TAVOITETASO Vuoden 2015 luokituksessa tason 2 tai 3 luokituksen on saanut 2 876 julkaisusarjaa (13 %) ja 105 kirjakustantajaa (9 %), eli lähinnä Tanskan luokitusta vastaava määrä. Tasoluokkiin 2 ja 3 sijoittuvien julkaisujen osuus kaikista yliopistojen vuosina 2011-13 tuottamista vertaisarvioiduista julkaisuista on 28 %, eli 11 % vähemmän kuin käytettäessä vuoden 2012 luokitusta. TASO 2 TASO 3 KAIKKI 2012 2015 2012 2015 Julkaisufoorumit Lehdet ja sarjat 21603 19 % 13 % 5 % 3 % Kirjakustantajat 1235 10 % 9 % 0 % 1 % Yliopistojen julkaisutuotanto Vertaisarvioidut julkaisut 72351 39 % 28 % 12 % 8 %
TASAPUOLISEMPI LUOKITUS Tason 2 ja 3 julkaisujen osuudessa on edelleen tieteenalojen välisiä eroja, mutta alustavasti voidaan arvioida että vaihteluväli muodostuu aiempaa pienemmäksi. Yliopistojen vuosina 2011-13 eri päätieteenaloilla tuottamista julkaisuista keskimäärin 30 % sijoittuu tasoluokkiin 2 ja 3, poikkeuksena kuitenkin tekniikka. Tason 2 ja 3 julkaisujen osuus 80 % 60 % 40 % 20 % 0 % 2012-luokitus 2015-luokitus
TASOLUOKKA 3 Tieteenalojen välisiä eroja on myös tason 3 julkaisujen osuudessa, mutta vuoden 2015 luokitus tuottaa selvästi entistä tasapuolisemman lopputuloksen. Ihmistieteissä vaikuttaa myös kirjakustantajien luokittelu tasoluokkaan 3. Kun luokitus on kiristynyt tason 2 osalta, onko taso 3 tarpeellinen? 2012-luokitus 2015-luokitus Tason 3 julkaisujen osuus 40 % 30 % 20 % 10 % 0 %
SUOMENKIELISET JULKAISUT Tasoluokkaan 2 on luokiteltu 22 ihmistieteiden alaan kuuluvaa kotimaista suomentai ruotsinkielistä julkaisusarjaa ja 3 kirjakustantajaa. Tasoluokkaan 2 sijoittuvien suomenkielisten vertaisarvioitujen artikkelien ja kirjojen osuus vastaa ihmistieteissä suomenkielisten julkaisujen osuutta kaikista vertaisarvioiduista julkaisuista. 60% 40% 20% 0% Suomenkielisten osuus kaikista julkaisuita Suomenkielisten osuus tason 2 ja 3 julkaisuista
SUURTEN JULKAISUMÄÄRIEN ARVIOINTIIN Suomalaisten 2004-2008 Web of Science -julkaisujen (31343 julkaisua) viittausanalyysi osoittaa, että tason 2 ja 3 lehdissä ilmestyneet julkaisut keräävät keskimäärin enemmän viittauksia kuin tason 1 julkaisut (maailman keskitaso = 1). Jufo-luokka 2012 Julkaisuja Viittausindeksi Top10- Indeksi Suurten julkaisumäärien laatua voidaan karkeasti arvioida tutkijoiden valitsemien ja saavuttamien julkaisukanavien perusteella. Rahoitusmallissa tarkastelun kohteena onkin kerrallaan yli 70 000 yliopistojen kolmen vuoden aikana tuottamaa vertaisarvioitua artikkelia ja kirjaa. On tärkeätä muistaa, että Julkaisufoorumi-luokitus on liian karkea väline yksittäisten tutkijoiden julkaisujen arviointiin tai ansioiden vertailuun. Ilman viittauksia Tasot 2 ja 3 18352 1,31 1,43 13,4 % Taso 1 12992 0,67 0,46 28,3 %
JULKAISUFOORUMIN KATTAVUUS SuomalaisetyliopistotovatraportoineetOKM:lle72 351 vuosina2011-2013 julkaistua vertaisarvioitua tieteellistä artikkelia ja kirjaa Web of Science kattaa vain 52 % (37526) julkaisuista, Julkaisufoorumien luokitteluun perustuva järjestelmä huomioi kaikki julkaisut Web of Science:ssa Ei Web of Science:ssa Julkaisujen lukumäärä 7000 6000 5000 4000 3000 2000 1000 0
LAATU JA TASAPUOLISUUS Päivitetty vuoden 2015 Julkaisufoorumi-luokitus tarjoaa entistä tasapuolisemmat lähtökohdat yliopistojen ja tieteenalojen julkaisutoiminnan arviointiin ja kehittämiseen. Julkaisufoorumin tavoite on edistää julkaisutoiminnan laatua kaikilla tieteenaloilla. Eri tieteenaloja ei voida lähtökohtaisesti arvottaa paremmuus- tai tärkeysjärjestykseen. Julkaisutoiminnan arvioinnin ja mittaamisen haaste on ottaa huomioon tieteenalojen julkaisukäytäntöjen- ja kulttuurien erot: Julkaisufoorumit: lehdet, konferenssit ja kirjasarjat/kustantajat julkaisukielet: englanti, kotimaiset kielet, muut kielet Julkaisutyypit: artikkelit ja monografiat Julkaisumäärä: yhteisjulkaisut ja yhden tekijän julkaisut
SEURAAVAKSI Ministeriön asettama työryhmä valmistaa vuoden 2015 kuluessa ehdotuksen vuoden 2017 alusta käytettävästä rahoitusmallista mm. julkaisut-rahoitustekijän osalta. Nykyisen ohjausryhmän toimikausi päättyy vuoden 2015 lopussa. Syksyllä tieteellisille seuroille ja tiedeakatemioille lähetetään pyyntö ehdottaa jäseniä Julkaisufoorumin ohjausryhmään kaudelle 2016 2019. Nykyiset asiantuntijapaneelit jatkavat toimintaansa vuoden 2017 loppuun, jolloin ohjausryhmä nimittää paneelit kaudelle 2018 2021. Seuraavaa 2018 tapahtuvaa päivitysarviointia varten Julkaisufoorumissa pyritään kehittämään paneelijakoa sekä lehtien ja sarjojen tieteenalojen määrittelyä niin, että julkaisuvolyymit voidaan kohdentaa eri tieteen- ja tutkimusaloille nykyistä täsmällisemmin.