Julkaisufoorumin käyttö tutkimuksen arvioinnissa Suunnittelija Janne Pölönen (TSV) KOTA seminaari 1.9.2015 Åbo Akademi
Esityksen sisältö 1. Julkaisufoorumin esittely 2. Luokituksen käyttö rahoitusmallissa 3. Yksittäisen tutkijan arviointi 4. Tutkimusorganisaatioiden ja tieteenalojen julkaisutoiminta
Tavoitteet Julkaisufoorumi luokituksen tehtävä on tunnistaa vertaisarvioidut julkaisusarjat, konferenssit ja kirjakustantajat, sekä osoittaa tiedeyhteisössä laajimmin arvostetut ja vaikuttavat julkaisukanavat Keskeisiä tavoitteita ovat: Suunnata tieteellistä julkaisutoimintaa korkeatasoisille kansainvälisille ja kansallisille foorumeille (tasoluokat 1 3) Tuottaa tietoa tutkimusorganisaatioiden ja alojen julkaisutoiminnasta (OKM julkaisuaineisto) Toimia julkaisutoiminnan laatua ilmaisevana indikaattorina OKM:n yliopistojen perusrahoitusmallissa 2015 alkaen
Tausta Tieteelliset julkaisut yliopistojen rahoituskriteerinä vuodesta 2007, mutta ratkaisevaa määrä, ei laatu. Suomen yliopistojen rehtorien neuvoston työryhmän ehdotus laadunarvioinnin kehittämiseksi 2010: Viittauksiin perustuva laadunarviointi on vakiintunut luonnon ja lääketieteissä, mutta se kattaa huonosti humanististen alojen, yhteiskuntatieteiden ja osin teknisten tieteiden tutkimusta. Norjassa (2005) ja Tanskassa (2009) toteutettu julkaisukanavien tasoluokitus kattaa kansainvälisen ja kansallisen julkaisutoiminnan, sekä lehtiartikkelien lisäksi konferenssijulkaisut ja tieteelliset kirjat. Julkaisufoorumi perustettiin Tieteellisten seurain valtuuskuntaan (TSV) OKM:n rahoituksella.
Toiminta TSV:n hallituksen nimittämä ohjausryhmä vastaa paneelien asettamisesta sekä arviointityön kriteereistä, ohjeistuksesta ja valvonnasta. 23 tieteenaloittaista asiantuntijapaneelia vastaavat yksittäisten julkaisufoorumien arvioinnista. Yli 200 jäsentä yliopistoilta, tutkimuslaitoksilta ja tieteellisiltä seuroilta saatujen ehdotusten perusteella. Luokitus kattaa yli 30000 julkaisukanavaa. Vuosittain täydennysarvioinneissa voidaan lisätä uusia kanavia perustasolle 1 ja kaikki tasoluokat arvioidaan uudelleen 4 vuoden välein: seuraavan kerran 2018.
Julkaisufoorumin tasoluokat Tasoluokkaan 1 kuuluu valtaosa tieteellisten tutkimustulosten julkaisemiseen erikoistuneista ulkomaisista ja kotimaisista foorumeista, joilla on tieteenalan asiantuntijoista koostuva toimituskunta ja tieteelliset julkaisut käyvät läpi säännöllisen vertaisarvioinnin. Tasoluokkiin 2 ja 3 on hyväksytty rajoitettu joukko asiantuntijapaneelien korkeatasoisimmiksi ja vaikuttavimmiksi arvostamia tieteellisiä foorumeita. Pääasiassa kansainvälisiä julkaisukanavia, mutta ihmistieteissä myös suomen ja ruotsinkielisiä foorumeita. Tasoluokkaan 0 luetteloidaan paneelien arvioimia ulkomaisia ja kotimaisia foorumeita, jotka eivät täytä tason 1 kriteereitä, sekä paikallisia tieteellisiä foorumeita (esim. yliopistojen omat sarjat).
PÄIVITETTY LUOKITUS Vuonna 2012 julkaistua luokitusta on päivitetty, uusi luokitus julkaistiin 2015: tavoitteena nostaa vaatimustasoa ja vähentää tieteenalojen välisiä eroja. Yliopistojen vuosina 2011 14 eri päätieteenaloilla tuottamista julkaisuista keskimäärin 30 % sijoittuu tasoluokkiin 2 ja 3, poikkeuksena kuitenkin tekniikka. 2012 luokitus 2015 luokitus Tason 2 ja 3 julkaisujen osuus 60% 50% 40% 30% 20% 10% 0% 1 LUO 2 TEK 3 LÄÄ 4 MAA 5 YHT 6 HUM
Jufo luokat yliopistojen rahoitusmallissa Julkaisujen perusteella jaetaan 2015 alkaen 13 % perusrahoituksesta: julkaisuja painotetaan julkaisutyypin (monografiat x 4) ja vertaisarvioitujen tieteellisten julkaisujen osalta Jufo tasoluokan perusteella. Rahoitusmallityöryhmältä on valmistumassa esitys uusiksi painokertoimiksi 2017 alkaen 2015 2016 PAINOKERTOIMET Tasot 3 ja 2 Taso 1 Taso 0 Vertaisarvioitu artikkeli (A1 4) 3 1,5 1 Tieteellinen erillisteos (C1) 12 6 4 Muu artikkeli 0,1 0,1 0,1 Muu erillisteos 0,4 0,4 0,4
Suurten julkaisumäärien arviointiin Rahoitusmallissa tarkastelun kohteena on kerrallaan yli 70000 yliopistojen kolmen edellisen vuoden aikana tuottamaa vertaisarvioitua artikkelia ja kirjaa. Suomalaisten Web of Science julkaisujen analyysi osoittaa että tasoluokkien välillä on selvä ero viittauskertymissä (tarkastelun kohteena yhteensä 31344 ositettua julkaisua vuosilta 2004 2008). Jufo luokka Julkaisuja Viittausindeksi (*) Top10 Indeksi (*) Ilman viittauksia Luokat 2 ja 3 18 352 1,31 1,43 13,4 % Luokka 1 12 992 0,67 0,46 28,3 % * Maailman keskitaso = 1 Auranen, Leino, Poropudas, Pölönen: Julkaisufoorumi-luokitus ja viittausindeksit tieteellisten julkaisujen laadun mittareina
Ei yksittäisen tutkijan arviointiin Bibliometristen analyysien ja laadullisten mittarien luotettavuus heikkenee merkittävästi, kun tarkastelun kohteena olevien julkaisujen määrä on suhteellisen pieni, kuten yleensä yksittäisen tutkijan tapauksessa. Tasoluokan 2 ja 3 julkaisukanavissa julkaistaan myös keskitasoa heikompia ja ilman viittauksia jääviä julkaisuja, ja tasoluokan 1 julkaisukanavissa myös keskitasoa laadukkaampia ja vaikuttavampia julkaisuja vertaisarviointi täsmällisempi. Julkaisukäytäntöjen sekä tutkimuskysymysten ja menetelmien eroista johtuen tutkijoiden tuottamien julkaisujen määrä ja sijoittuminen korkeampiin tasoluokkiin kuuluville foorumeille vaihtelee eri tieteenalojen välillä ja sisällä.
Tietoa yliopistojen ja tieteenalojen julkaisutoiminnasta? OKM julkaisuaineisto käsittää jo lähes 150 000 yliopistojen julkaisua vuosilta 2011 2014 (Vipunen/Juuli/CSC). vertaisarvioituja Jufo luokitettuja julkaisuja on n. 100 000 (2/3) Yliopistot ovat voineet tarkastella oman julkaisuaineistonsa perusteella julkaisutoiminnan määrän ja Jufo pisteiden kehitystä yksiköittäin ja tieteenaloittain. OKM aineistolla eri yliopistojen julkaisutoimintaa voidaan verrata keskenään, ja Jufo pisteet voidaan suhteuttaa tieteenaloittain kansalliseen keskitasoon. Täydentää viittausanalyysin tuottamaa kv vertailua
Julkaisutoiminnan kehitys 2011 14 Tasoille 1 3 luokiteltujen julkaisujen osuus on kasvanut suhteessa tasolle 0 luokiteltuihin ja muihin julkaisuihin. Tasoluokkien 1 3 sisällä painopiste on muuttunut kohti korkeammalle luokiteltuja julkaisukanavia. Osuus julkaisuista 40% 35% 30% 25% 20% 15% 10% 5% 0% Taso 3 Taso 2 Taso 1 Taso 0 Muut 2011 2012 2013 2014
Julkaisutoiminnan kehitys yliopistoittain Kokonaiskuva eri yliopistojen julkaisutoiminnan kehityksestä. Kaikissa yliopistoissa vertaisarvioitujen julkaisujen keskimääräinen Julkaisufoorumi taso on noussut vuodesta 2011 vuoteen 2014 Jufo taso ka. 1,8 1,6 1,4 1,2 1,0 0,8 0,6 0,4 0,2 0,0 2011 2012 2013 2014
Jufo taso ka. 2,5 2,0 1,5 1,0 0,5 0,0 Julkaisutoiminnan kehitys tieteenaloittain Eri tieteenalojen julkaisutoiminnan kehityksen tarkastelu koko maan aineistolla. Tieteenaloittaiset tarkastelut kattavat myös tekniikan, yhteiskuntatieteiden ja humanististen alojen julkaisut. 2011 2012 2013 2014
Tieteenalojen tarkastelu yliopistoittain Kunkin tieteenalojen julkaisutoimintaa voidaan verrata eri yliopistojen kesken Huomioitava julkaisujen lukumäärä (esim. jos alle 25 julkaisua/vuosi) Eri tieteenalojen julkaisujen koko maan Jufo taso keskiarvot (YHT) Jufo taso ka. 2011 2014 julkaisut Aalto HY ISY JY LY LTY OY SHS TTY TaY TY VY ÅA YHT 111 Matematiikka 1,45 1,77 1,32 1,52 1,00 1,40 1,09 1,12 1,44 1,22 1,45 114 Fysiikka 1,87 1,99 1,50 1,65 1,91 1,86 1,55 1,68 1,44 1,80 118,1 Ekologia, evoluutiobiologia 1,71 1,61 1,80 1,87 1,61 1,77 1,70 213 Sähkö, automaatio ja tietol.tekn 1,12 0,44 1,00 1,15 0,95 0,73 0,62 1,05 312,1 Sisätaudit 1,70 2,04 1,81 1,62 1,90 1,78 314,2 Kansanterveystiede, ymp. 1,74 1,69 1,48 1,86 1,47 1,83 1,73 512 Liiketaloustiede 0,90 1,03 0,79 0,89 0,54 0,65 1,05 0,56 0,90 0,72 0,65 0,94 0,80 514,1 Sosiologia 1,39 1,06 1,28 1,24 1,27 1,30 1,18 1,32 516 Kasvatustieteet 1,00 1,00 1,06 0,84 1,04 0,88 1,05 0,86 0,99 612,1 Kielitieteet 1,13 1,20 1,17 1,24 1,07 1,14 0,98 1,28 1,14 615 Historia ja arkeologia 1,31 0,98 1,10 1,13 1,18 1,26 1,17 1,19 Kaikki yhteensä 1,24 1,56 1,39 1,35 0,96 1,05 1,38 1,07 1,11 1,19 1,33 0,72 1,23 1,33
Liiketalouden julkaisut yliopistoittain Myös tieteenalan julkaisutoiminnan kehitystä voidaan tarkastella yliopistoittain Voidaan myös laskea tieteenalan maan keskitasoon skaalatut Jufo taso keskiarvot yliopistoittain (>1 = suurempi kuin tieteenalan maan keskiarvo 0,8). Jufo taso ka. 1,6 1,4 1,2 1,0 0,8 0,6 0,4 0,2 0,0 1,1 1,3 1,0 1,1 1,4 0,7 0,8 1,3 0,7 1,1 0,9 0,8 1,2 2011 2012 2013 2014 Ka.
Yliopiston X julkaisutoiminta tieteenaloittain Vältettävä tieteenalojen suoraa vertailua Jufo luokituksen perusteella. Parempi tapa on ensin suhteuttaa kunkin tieteenalan tulos maan keskitasoon samalla alalla (mutta mikä on suhde maailman tasoon?). Jufo taso ka. 3,0 2,5 2,0 1,5 1,0 0,5 1,1 1,0 0,9 0,8 0,9 1,1 0,8 1,0 0,8 1,0 0,5 1,25 1 0,75 0,5 0,25 0 Skaalattu Jufo taso ka. 2011 2012 2013 2014
Lisätietoja Janne Pölönen, suunnittelija (puh. 044 346 9492; janne.polonen@tsv.fi tai julkaisufoorumi@tsv.fi) Julkaisufoorumin verkkosivut: www.tsv.fi/julkaisufoorumi Julkaisufoorumi Facebookissa: http://fifi.facebook.com/pages/julkaisufoorumi/339468932747959 Julkaisukanavien hakusivu: www.tsv.fi/julkaisufoorumi/haku.php Julkaisukanavien ehdottaminen: www.tsv.fi/julkaisufoorumi/ehdota.php