Julkaisufoorumin tausta, tavoitteet ja päivitysarviointi

Transkriptio

1 Julkaisufoorumin tausta, tavoitteet ja päivitysarviointi Kansleri Ilkka Niiniluoto Julkaisufoorumi-seminaari Helsinki

2 TAVOITTEET Julkaisufoorumi on tiedeyhteisön toteuttama tieteellisen julkaisutoiminnan laadunarviointia tukeva järjestelmä, jonka keskeisiä tavoitteita ovat: 1. Kannustaa tutkijoita suuntaamaan julkaisutoimintaa korkeatasoisille kansainvälisille ja kansallisille foorumeille. 2. Yhdistettynä OKM-julkaisuaineistoonluokitus tuottaa tietoa tutkimusorganisaatioiden ja -alojen julkaisutoiminnasta. 3. Julkaisutoiminnan laatua ilmaiseva indikaattori OKM:n käyttämässä yliopistojen perusrahoitusmallissa 2015 alkaen.

3 TAUSTA Julkaisut yliopistojen rahoitusperusteena vuodesta 2007, mutta arviointi perustui määrään, ei laatuun. Suomen yliopistojen rehtorien neuvoston työryhmän suunnitelma laadunarvioinnin kehittämiseksi 2010: Viittauksiin perustuva laadunarviointi on vakiintunut luonnon-ja lääketieteissä, mutta tietokannat kattavat huonosti humanististen alojen, yhteiskuntatieteiden ja osin teknisten tieteiden tutkimusta. Norjassa (2005) ja Tanskassa (2009) toteutettu julkaisufoorumien tasoluokitus kattaa kansainvälisen ja kansallisen julkaisutoiminnan, sekä lehtiartikkelien lisäksi konferenssijulkaisut ja tieteelliset kirjat. Julkaisufoorumi perustettiin 2010 Tieteellisten seurain valtuuskuntaan OKM:n rahoituksella.

4 OHJAUSRYHMÄ TSV:nhallituksen nimittämä ohjausryhmä vastaa paneelien asettamisesta sekä arviointityön ohjeistuksesta ja valvonnasta: Puheenjohtaja: Kansleri Ilkka Niiniluoto (TSV) Jäsenet: Professori Risto Heiskala (TaY) Sovellussuunnittelija Jyrki Ilva (KK) Yksikön johtaja Susan Linko (SA) Rehtori Matti Manninen (UNIFI) Professori Kaisa Miettinen (JY) Professori Tiina Onikki-Rantajääskö (HY) Opetusneuvos Olli Poropudas (OKM) Kehityspäällikkö Tuija Raaska (CSC) Professori Heimo Saarikko (HY) Professori Hannu Sariola (HY) Professori Timo Tokola (ISY) Ylikirjastonh. Kimmo Tuominen (SYN) Sihteeristö: Toiminnanjohtaja Lea Ryynänen- Karjalainen (TSV) Toiminnanjohtaja Leena Treuthardt (UNIFI) Suunnittelija Anna-Sofia Ruth (TSV) Suunnittelija Janne Pölönen (TSV)

5 PANEELIT Julkaisufoorumien arvioinnista vastaavat 23 tieteenaloittaista asiantuntijapaneelia. Syksyllä 2013 Julkaisufoorumi sai yliopistoilta, valtion tutkimuslaitoksilta, tieteellisiltä seuroilta ja tiedeakatemioilta 553 ehdotusta paneelien jäseniksi. Paneeleihin nimitettiin yli 200 henkilöä, joista puolet paneelien jäseninä kaudella toimineita ja puolet uusia jäseniä. Paneelien arviointityön tueksi tuotetaan bibliometrisiä indikaattoreita: vaikuttavuuskertoimia (JIF, SJR, SNIP) sekä Norjan ja Tanskan paneelien vastaavat tasoluokitukset.

6 JULKAISUFOORUMIN TASOLUOKAT Tasoluokkiin 2 ja 3on hyväksytty rajoitettu joukko asiantuntijapaneelien korkeatasoisimmiksi ja vaikuttavimmiksi arvostamia tieteellisiä foorumeita. Pääasiassa kansainvälisiä julkaisukanavia, mutta ihmistieteissä myös suomen-ja ruotsinkielisiä foorumeita. Tasoluokkaan 1 kuuluu valtaosa tieteellisten tutkimustulosten julkaisemiseen erikoistuneista ulkomaisista ja kotimaisista foorumeista, joilla on tieteenalan asiantuntijoista koostuva toimituskunta ja tieteelliset julkaisut käyvät läpi säännöllisen vertaisarvioinnin. Tasoluokkaan 0 luetteloidaan paneelien arvioimia ulkomaisia ja kotimaisia foorumeita, jotka eivät täytä tason 1 kriteereitä, sekä paikallisia tieteellisiä foorumeita (esim. yliopistojen omat sarjat).

7 PÄIVITTYVÄ JÄRJESTELMÄ Ensimmäinen Julkaisufoorumi-luokitus julkaistiin Tähän mennessä arvioitu jo lähes kotimaista ja ulkomaista julkaisukanavaa. Tasoluokkaan 1 voidaan vuosittain täydennysarvioinneissa lisätä uusia tai tasoluokkaan 0 sijoitettuja foorumeita. Tasoluokkien 2 ja 3 osalta foorumit arvioidaan uudelleen 4 vuoden välein: ensimmäinen päivitysarviointi toteutettiin Uusi päivitetty luokitus julkaistiin vuoden 2015 alusta, ja sitä käytetään ensimmäisen kerran julkaisuihin, joiden julkaisuvuosi on 2015.

8 JULKAISUFOORUMIN KEHITTÄMINEN Luokituksen kehittämisessä on hyödynnetty yliopistojen OKM:lleraportoimaa julkaisuaineistoa, joka käsittää yli vuosina julkaistua vertaisarvioitua artikkelia ja erillisteosta. Vuoden 2012 luokituksessa tason 2 ja 3 saaneet kanavat kattavat peräti 39 % vertaisarvioiduista julkaisuista. Tason 2 ja 3 julkaisujen osuus on luonnon-ja lääketieteissä huomattavasti muita tieteenaloja suurempi. Vuoden 2014 päivitysarvioinnissa tavoite on ollut nostaa luokituksen vaatimustasoa tasoluokkien 2 ja 3 osalta, sekä vähentää tieteenalojen välisiä eroja.

9 VAATIMUSTASON VERTAILU POHJOISMAIHIN Vuoden 2012 luokituksessa jokainen paneeli sai luokitella 20 % lehti- ja sarjanimekkeistään tasolle 2 (ja näistä 25 % tasolle 3). Suomessa tasolle 2 on luokiteltu yli 4000 julkaisusarjaa, Tanskassa n ja Norjassa n Julkaisusarjat Norja Tanska Jufo 2012 Taso Taso Tason 2 osuus 9 % 14 % 22 % Vastaavasti Suomessa tasolle 2 on luokiteltu 126 kirjakustantajaa, Tanskassa 98 ja Norjassa 89. Kaikkiaan vaatimustaso luokan 2 julkaisujen osalta on asetettu muissa Pohjoismaissa huomattavasti korkeammalle.

10 100 % 75 % 50 % 25 % 0 % -25% -50% TIETEENALOJEN VÄLISET EROT Luonnon-ja lääketieteissä julkaisutoiminta keskittyy voimakkaasti suuriin kansainvälisiin lehtiin, joten 20 % lehti-ja sarjanimekkeistä voi kattaa yli 50 % eräillä tieteenaloilla tuotetuista suomalaisten yliopistojen julkaisuista. Eroja myös tasoluokkaan 0 sijoittuvien julkaisujen osuudessa Taso 0 Taso 1 Tasot 2 ja 3

11 MUUTOKSET ARVIOINTIKRITEEREIHIN Vuoden 2015 luokituksessa taso 2 kiintiöitiin Norjan ja Tanskan mallin mukaisesti lehtien ja sarjojen julkaisuvolyymiin. Julkaisuvolyymi = vuosittain ilmestyvien kaikkien suomalaisten ja ulkomaisten artikkelien lukumäärää (3 vuoden keskiarvo). Tasoluokan 2 lehtien ja sarjojen yhteenlaskettu julkaisuvolyymi sai olla enintään 20 % paneelin luetteloon kuuluvien julkaisusarjojen yhteenlasketusta artikkelimäärästä (tason 3 lehdet ja sarjat saivat kattaa 25 % tason 2 julkaisuvolyymistä) artikkelia julkaiseva lehti vei tason 2 kiintiöstä kymmenen kertaa suuremman osan kuin 100 artikkelia julkaiseva lehti. Kirjakustantajista noin 10 % voitiin luokitella tasolle 2 (aiemmasta poiketen 10 % tason 2 kustantajista voitiin luokitella tasolle 3).

12 LEHTIEN JA SARJOJEN JAKO PANEELIEN KESKEN Lehdistä ja sarjoista n. 30 % esiintyi usean paneelin luettelossa. Tanskan ja Norjan mallin mukaisesti julkaisusarjat jaettiin paneelien kesken Yleistieteellisillä oma ryhmä, jossa 25 lehteä(nature, Science, PNAS, PlosOne) Lehtien/sarjojen lukumäärä luokitus 2015-luokitus

13 TASOLUOKAN 2 OSUUS JULKAISUVOLYYMISTÄ Tason 2 osuus julkaisuvolyymistä Paneeleille annettiin 1 % joustovara tasoluokan 2 julkaisuvolyymikiintiöön Lisäksi tasoluokkaan 2 tai 3 luokiteltu lehti, jonka julkaisuvolyymi on suurempi kuin 2500, kulutti tason 2 kiintiötä vain 2500 julkaisun verran. Kaikki paneelit toteuttivat luokittelun tason 2 kiintiön puitteissa (21 %) 60 % 40 % 20 % 0 % 2012-luokitus 2015-luokitus

14 TASOLUOKAN 2 OSUUS NIMEKKEISTÄ Tason 2 osuus nimekkeistä Vain kahdessa paneelissa (2 ja 9) tasolle 2 voitiin lisätä lehtiä tai sarjoja Muissa paneeleissa julkaisusarjojen määrää korkeammissa tasoluokissa jouduttiin vähentämään, joten varaa tasoluokan nostoihin oli niukasti. Muutos oli suurin luonnon-ja lääketieteen paneeleissa 30 % 25 % 20 % 15 % 10 % 5 % 0 % 2012-luokitus 2015-luokitus

15 TULOKSENA KORKEAMPI TAVOITETASO Vuoden 2015 luokituksessa tason 2 tai 3 luokituksen on saanut julkaisusarjaa (13 %) ja 105 kirjakustantajaa (9 %), eli lähinnä Tanskan luokitusta vastaava määrä. Tasoluokkiin 2 ja 3 sijoittuvien julkaisujen osuus kaikista yliopistojen vuosina tuottamista vertaisarvioiduista julkaisuista on 28 %, eli 11 % vähemmän kuin käytettäessä vuoden 2012 luokitusta. TASO 2 TASO 3 KAIKKI Julkaisufoorumit Lehdet ja sarjat % 13 % 5 % 3 % Kirjakustantajat % 9 % 0 % 1 % Yliopistojen julkaisutuotanto Vertaisarvioidut julkaisut % 28 % 12 % 8 %

16 TASAPUOLISEMPI LUOKITUS Tason 2 ja 3 julkaisujen osuudessa on edelleen tieteenalojen välisiä eroja, mutta alustavasti voidaan arvioida että vaihteluväli muodostuu aiempaa pienemmäksi. Yliopistojen vuosina eri päätieteenaloilla tuottamista julkaisuista keskimäärin 30 % sijoittuu tasoluokkiin 2 ja 3, poikkeuksena kuitenkin tekniikka. Tason 2 ja 3 julkaisujen osuus 80 % 60 % 40 % 20 % 0 % 2012-luokitus 2015-luokitus

17 TASOLUOKKA 3 Tieteenalojen välisiä eroja on myös tason 3 julkaisujen osuudessa, mutta vuoden 2015 luokitus tuottaa selvästi entistä tasapuolisemman lopputuloksen. Ihmistieteissä vaikuttaa myös kirjakustantajien luokittelu tasoluokkaan 3. Kun luokitus on kiristynyt tason 2 osalta, onko taso 3 tarpeellinen? 2012-luokitus 2015-luokitus Tason 3 julkaisujen osuus 40 % 30 % 20 % 10 % 0 %

18 SUOMENKIELISET JULKAISUT Tasoluokkaan 2 on luokiteltu 22 ihmistieteiden alaan kuuluvaa kotimaista suomentai ruotsinkielistä julkaisusarjaa ja 3 kirjakustantajaa. Tasoluokkaan 2 sijoittuvien suomenkielisten vertaisarvioitujen artikkelien ja kirjojen osuus vastaa ihmistieteissä suomenkielisten julkaisujen osuutta kaikista vertaisarvioiduista julkaisuista. 60% 40% 20% 0% Suomenkielisten osuus kaikista julkaisuita Suomenkielisten osuus tason 2 ja 3 julkaisuista

19 SUURTEN JULKAISUMÄÄRIEN ARVIOINTIIN Suomalaisten Web of Science -julkaisujen (31343 julkaisua) viittausanalyysi osoittaa, että tason 2 ja 3 lehdissä ilmestyneet julkaisut keräävät keskimäärin enemmän viittauksia kuin tason 1 julkaisut (maailman keskitaso = 1). Jufo-luokka 2012 Julkaisuja Viittausindeksi Top10- Indeksi Suurten julkaisumäärien laatua voidaan karkeasti arvioida tutkijoiden valitsemien ja saavuttamien julkaisukanavien perusteella. Rahoitusmallissa tarkastelun kohteena onkin kerrallaan yli yliopistojen kolmen vuoden aikana tuottamaa vertaisarvioitua artikkelia ja kirjaa. On tärkeätä muistaa, että Julkaisufoorumi-luokitus on liian karkea väline yksittäisten tutkijoiden julkaisujen arviointiin tai ansioiden vertailuun. Ilman viittauksia Tasot 2 ja ,31 1,43 13,4 % Taso ,67 0,46 28,3 %

20 JULKAISUFOORUMIN KATTAVUUS SuomalaisetyliopistotovatraportoineetOKM:lle vuosina julkaistua vertaisarvioitua tieteellistä artikkelia ja kirjaa Web of Science kattaa vain 52 % (37526) julkaisuista, Julkaisufoorumien luokitteluun perustuva järjestelmä huomioi kaikki julkaisut Web of Science:ssa Ei Web of Science:ssa Julkaisujen lukumäärä

21 LAATU JA TASAPUOLISUUS Päivitetty vuoden 2015 Julkaisufoorumi-luokitus tarjoaa entistä tasapuolisemmat lähtökohdat yliopistojen ja tieteenalojen julkaisutoiminnan arviointiin ja kehittämiseen. Julkaisufoorumin tavoite on edistää julkaisutoiminnan laatua kaikilla tieteenaloilla. Eri tieteenaloja ei voida lähtökohtaisesti arvottaa paremmuus- tai tärkeysjärjestykseen. Julkaisutoiminnan arvioinnin ja mittaamisen haaste on ottaa huomioon tieteenalojen julkaisukäytäntöjen- ja kulttuurien erot: Julkaisufoorumit: lehdet, konferenssit ja kirjasarjat/kustantajat julkaisukielet: englanti, kotimaiset kielet, muut kielet Julkaisutyypit: artikkelit ja monografiat Julkaisumäärä: yhteisjulkaisut ja yhden tekijän julkaisut

22 SEURAAVAKSI Ministeriön asettama työryhmä valmistaa vuoden 2015 kuluessa ehdotuksen vuoden 2017 alusta käytettävästä rahoitusmallista mm. julkaisut-rahoitustekijän osalta. Nykyisen ohjausryhmän toimikausi päättyy vuoden 2015 lopussa. Syksyllä tieteellisille seuroille ja tiedeakatemioille lähetetään pyyntö ehdottaa jäseniä Julkaisufoorumin ohjausryhmään kaudelle Nykyiset asiantuntijapaneelit jatkavat toimintaansa vuoden 2017 loppuun, jolloin ohjausryhmä nimittää paneelit kaudelle Seuraavaa 2018 tapahtuvaa päivitysarviointia varten Julkaisufoorumissa pyritään kehittämään paneelijakoa sekä lehtien ja sarjojen tieteenalojen määrittelyä niin, että julkaisuvolyymit voidaan kohdentaa eri tieteen- ja tutkimusaloille nykyistä täsmällisemmin.