Julkaisufoorumin käyttö tutkimuksen arvioinnissa

Transkriptio

1 Julkaisufoorumin käyttö tutkimuksen arvioinnissa Suunnittelija Janne Pölönen (TSV) KOTA seminaari Åbo Akademi

2 Esityksen sisältö 1. Julkaisufoorumin esittely 2. Luokituksen käyttö rahoitusmallissa 3. Yksittäisen tutkijan arviointi 4. Tutkimusorganisaatioiden ja tieteenalojen julkaisutoiminta

3 Tavoitteet Julkaisufoorumi luokituksen tehtävä on tunnistaa vertaisarvioidut julkaisusarjat, konferenssit ja kirjakustantajat, sekä osoittaa tiedeyhteisössä laajimmin arvostetut ja vaikuttavat julkaisukanavat Keskeisiä tavoitteita ovat: Suunnata tieteellistä julkaisutoimintaa korkeatasoisille kansainvälisille ja kansallisille foorumeille (tasoluokat 1 3) Tuottaa tietoa tutkimusorganisaatioiden ja alojen julkaisutoiminnasta (OKM julkaisuaineisto) Toimia julkaisutoiminnan laatua ilmaisevana indikaattorina OKM:n yliopistojen perusrahoitusmallissa 2015 alkaen

4 Tausta Tieteelliset julkaisut yliopistojen rahoituskriteerinä vuodesta 2007, mutta ratkaisevaa määrä, ei laatu. Suomen yliopistojen rehtorien neuvoston työryhmän ehdotus laadunarvioinnin kehittämiseksi 2010: Viittauksiin perustuva laadunarviointi on vakiintunut luonnon ja lääketieteissä, mutta se kattaa huonosti humanististen alojen, yhteiskuntatieteiden ja osin teknisten tieteiden tutkimusta. Norjassa (2005) ja Tanskassa (2009) toteutettu julkaisukanavien tasoluokitus kattaa kansainvälisen ja kansallisen julkaisutoiminnan, sekä lehtiartikkelien lisäksi konferenssijulkaisut ja tieteelliset kirjat. Julkaisufoorumi perustettiin Tieteellisten seurain valtuuskuntaan (TSV) OKM:n rahoituksella.

5 Toiminta TSV:n hallituksen nimittämä ohjausryhmä vastaa paneelien asettamisesta sekä arviointityön kriteereistä, ohjeistuksesta ja valvonnasta. 23 tieteenaloittaista asiantuntijapaneelia vastaavat yksittäisten julkaisufoorumien arvioinnista. Yli 200 jäsentä yliopistoilta, tutkimuslaitoksilta ja tieteellisiltä seuroilta saatujen ehdotusten perusteella. Luokitus kattaa yli julkaisukanavaa. Vuosittain täydennysarvioinneissa voidaan lisätä uusia kanavia perustasolle 1 ja kaikki tasoluokat arvioidaan uudelleen 4 vuoden välein: seuraavan kerran 2018.

6 Julkaisufoorumin tasoluokat Tasoluokkaan 1 kuuluu valtaosa tieteellisten tutkimustulosten julkaisemiseen erikoistuneista ulkomaisista ja kotimaisista foorumeista, joilla on tieteenalan asiantuntijoista koostuva toimituskunta ja tieteelliset julkaisut käyvät läpi säännöllisen vertaisarvioinnin. Tasoluokkiin 2 ja 3 on hyväksytty rajoitettu joukko asiantuntijapaneelien korkeatasoisimmiksi ja vaikuttavimmiksi arvostamia tieteellisiä foorumeita. Pääasiassa kansainvälisiä julkaisukanavia, mutta ihmistieteissä myös suomen ja ruotsinkielisiä foorumeita. Tasoluokkaan 0 luetteloidaan paneelien arvioimia ulkomaisia ja kotimaisia foorumeita, jotka eivät täytä tason 1 kriteereitä, sekä paikallisia tieteellisiä foorumeita (esim. yliopistojen omat sarjat).

7 PÄIVITETTY LUOKITUS Vuonna 2012 julkaistua luokitusta on päivitetty, uusi luokitus julkaistiin 2015: tavoitteena nostaa vaatimustasoa ja vähentää tieteenalojen välisiä eroja. Yliopistojen vuosina eri päätieteenaloilla tuottamista julkaisuista keskimäärin 30 % sijoittuu tasoluokkiin 2 ja 3, poikkeuksena kuitenkin tekniikka luokitus 2015 luokitus Tason 2 ja 3 julkaisujen osuus 60% 50% 40% 30% 20% 10% 0% 1 LUO 2 TEK 3 LÄÄ 4 MAA 5 YHT 6 HUM

8 Jufo luokat yliopistojen rahoitusmallissa Julkaisujen perusteella jaetaan 2015 alkaen 13 % perusrahoituksesta: julkaisuja painotetaan julkaisutyypin (monografiat x 4) ja vertaisarvioitujen tieteellisten julkaisujen osalta Jufo tasoluokan perusteella. Rahoitusmallityöryhmältä on valmistumassa esitys uusiksi painokertoimiksi 2017 alkaen PAINOKERTOIMET Tasot 3 ja 2 Taso 1 Taso 0 Vertaisarvioitu artikkeli (A1 4) 3 1,5 1 Tieteellinen erillisteos (C1) Muu artikkeli 0,1 0,1 0,1 Muu erillisteos 0,4 0,4 0,4

9 Suurten julkaisumäärien arviointiin Rahoitusmallissa tarkastelun kohteena on kerrallaan yli yliopistojen kolmen edellisen vuoden aikana tuottamaa vertaisarvioitua artikkelia ja kirjaa. Suomalaisten Web of Science julkaisujen analyysi osoittaa että tasoluokkien välillä on selvä ero viittauskertymissä (tarkastelun kohteena yhteensä ositettua julkaisua vuosilta ). Jufo luokka Julkaisuja Viittausindeksi (*) Top10 Indeksi (*) Ilman viittauksia Luokat 2 ja ,31 1,43 13,4 % Luokka ,67 0,46 28,3 % * Maailman keskitaso = 1 Auranen, Leino, Poropudas, Pölönen: Julkaisufoorumi-luokitus ja viittausindeksit tieteellisten julkaisujen laadun mittareina

10 Ei yksittäisen tutkijan arviointiin Bibliometristen analyysien ja laadullisten mittarien luotettavuus heikkenee merkittävästi, kun tarkastelun kohteena olevien julkaisujen määrä on suhteellisen pieni, kuten yleensä yksittäisen tutkijan tapauksessa. Tasoluokan 2 ja 3 julkaisukanavissa julkaistaan myös keskitasoa heikompia ja ilman viittauksia jääviä julkaisuja, ja tasoluokan 1 julkaisukanavissa myös keskitasoa laadukkaampia ja vaikuttavampia julkaisuja vertaisarviointi täsmällisempi. Julkaisukäytäntöjen sekä tutkimuskysymysten ja menetelmien eroista johtuen tutkijoiden tuottamien julkaisujen määrä ja sijoittuminen korkeampiin tasoluokkiin kuuluville foorumeille vaihtelee eri tieteenalojen välillä ja sisällä.

11 Tietoa yliopistojen ja tieteenalojen julkaisutoiminnasta? OKM julkaisuaineisto käsittää jo lähes yliopistojen julkaisua vuosilta (Vipunen/Juuli/CSC). vertaisarvioituja Jufo luokitettuja julkaisuja on n (2/3) Yliopistot ovat voineet tarkastella oman julkaisuaineistonsa perusteella julkaisutoiminnan määrän ja Jufo pisteiden kehitystä yksiköittäin ja tieteenaloittain. OKM aineistolla eri yliopistojen julkaisutoimintaa voidaan verrata keskenään, ja Jufo pisteet voidaan suhteuttaa tieteenaloittain kansalliseen keskitasoon. Täydentää viittausanalyysin tuottamaa kv vertailua

12 Julkaisutoiminnan kehitys Tasoille 1 3 luokiteltujen julkaisujen osuus on kasvanut suhteessa tasolle 0 luokiteltuihin ja muihin julkaisuihin. Tasoluokkien 1 3 sisällä painopiste on muuttunut kohti korkeammalle luokiteltuja julkaisukanavia. Osuus julkaisuista 40% 35% 30% 25% 20% 15% 10% 5% 0% Taso 3 Taso 2 Taso 1 Taso 0 Muut

13 Julkaisutoiminnan kehitys yliopistoittain Kokonaiskuva eri yliopistojen julkaisutoiminnan kehityksestä. Kaikissa yliopistoissa vertaisarvioitujen julkaisujen keskimääräinen Julkaisufoorumi taso on noussut vuodesta 2011 vuoteen 2014 Jufo taso ka. 1,8 1,6 1,4 1,2 1,0 0,8 0,6 0,4 0,2 0,

14 Jufo taso ka. 2,5 2,0 1,5 1,0 0,5 0,0 Julkaisutoiminnan kehitys tieteenaloittain Eri tieteenalojen julkaisutoiminnan kehityksen tarkastelu koko maan aineistolla. Tieteenaloittaiset tarkastelut kattavat myös tekniikan, yhteiskuntatieteiden ja humanististen alojen julkaisut

15 Tieteenalojen tarkastelu yliopistoittain Kunkin tieteenalojen julkaisutoimintaa voidaan verrata eri yliopistojen kesken Huomioitava julkaisujen lukumäärä (esim. jos alle 25 julkaisua/vuosi) Eri tieteenalojen julkaisujen koko maan Jufo taso keskiarvot (YHT) Jufo taso ka julkaisut Aalto HY ISY JY LY LTY OY SHS TTY TaY TY VY ÅA YHT 111 Matematiikka 1,45 1,77 1,32 1,52 1,00 1,40 1,09 1,12 1,44 1,22 1, Fysiikka 1,87 1,99 1,50 1,65 1,91 1,86 1,55 1,68 1,44 1,80 118,1 Ekologia, evoluutiobiologia 1,71 1,61 1,80 1,87 1,61 1,77 1, Sähkö, automaatio ja tietol.tekn 1,12 0,44 1,00 1,15 0,95 0,73 0,62 1,05 312,1 Sisätaudit 1,70 2,04 1,81 1,62 1,90 1,78 314,2 Kansanterveystiede, ymp. 1,74 1,69 1,48 1,86 1,47 1,83 1, Liiketaloustiede 0,90 1,03 0,79 0,89 0,54 0,65 1,05 0,56 0,90 0,72 0,65 0,94 0,80 514,1 Sosiologia 1,39 1,06 1,28 1,24 1,27 1,30 1,18 1, Kasvatustieteet 1,00 1,00 1,06 0,84 1,04 0,88 1,05 0,86 0,99 612,1 Kielitieteet 1,13 1,20 1,17 1,24 1,07 1,14 0,98 1,28 1, Historia ja arkeologia 1,31 0,98 1,10 1,13 1,18 1,26 1,17 1,19 Kaikki yhteensä 1,24 1,56 1,39 1,35 0,96 1,05 1,38 1,07 1,11 1,19 1,33 0,72 1,23 1,33

16 Liiketalouden julkaisut yliopistoittain Myös tieteenalan julkaisutoiminnan kehitystä voidaan tarkastella yliopistoittain Voidaan myös laskea tieteenalan maan keskitasoon skaalatut Jufo taso keskiarvot yliopistoittain (>1 = suurempi kuin tieteenalan maan keskiarvo 0,8). Jufo taso ka. 1,6 1,4 1,2 1,0 0,8 0,6 0,4 0,2 0,0 1,1 1,3 1,0 1,1 1,4 0,7 0,8 1,3 0,7 1,1 0,9 0,8 1, Ka.

17 Yliopiston X julkaisutoiminta tieteenaloittain Vältettävä tieteenalojen suoraa vertailua Jufo luokituksen perusteella. Parempi tapa on ensin suhteuttaa kunkin tieteenalan tulos maan keskitasoon samalla alalla (mutta mikä on suhde maailman tasoon?). Jufo taso ka. 3,0 2,5 2,0 1,5 1,0 0,5 1,1 1,0 0,9 0,8 0,9 1,1 0,8 1,0 0,8 1,0 0,5 1,25 1 0,75 0,5 0,25 0 Skaalattu Jufo taso ka

18 Lisätietoja Janne Pölönen, suunnittelija (puh ; tai Julkaisufoorumin verkkosivut: Julkaisufoorumi Facebookissa: Julkaisukanavien hakusivu: Julkaisukanavien ehdottaminen: