BIBLIOMETRIIKKA- TYÖKALUJEN HYÖDYNTÄMINEN YLIOPISTOISSA Eva Isaksson Helsingin yliopiston kirjasto Tutkimuksen palvelut / Metriikka Bibliometriikkaseminaari 16.12.2016 15/12/2016 1
KUKA KÄYTTÄÄ ANALYYSITYÖKALUJA? Kysely suomalaisille yliopistoille ja korkeakouluille SYN:in verkoston kautta syksyllä 2016 Analyysityökalut InCites ja SciVal Kysymyksiä: Mitä tuotteita olette käyttäneet / koekäyttäneet? Kuka käyttää, kirjasto vai tutkimushallinto? Mihin käytätte, miten vastannut odotuksia? Vaikuttiko hinta? 14 vastasi, vastausten perusteella kysyttiin lisäkysymyksiä 2
KILPAILEVAT ANALYYSITYÖKALUT Clarivate Analyticsin (ent. Thomson Reuters IP & Science) Web of Science -datalle rakennettu InCites Elsevierin Scopus-datalle rakennettu SciVal 3
KUKA KÄYTTÄÄ KUMPAA SUOMESSA? InCites 6 yliopistoa HY, TY, Aalto, JY, TTY, LTY SciVal 3 yliopistoa HY, OY, UEF Ei kumpaakaan TaY, Hanken, ÅA Lisäksi vastasivat: VY, MpKK, UniArts Valinnat eivät ole staattisia, vaan käyttäjät selvittävät jatkuvasti itselleen sopivinta vaihtoehtoa LY luopuu InCitesista vuodenvaihteessa SciVal harkinnassa joillakin 4
INCITES: KUN HALUATTE INDIKAATTOREITA + 6333 yliopistoa / tutkimuslaitosta / tms. heti vertailtavissa + Indikaattoreita valittavana todella paljon + Data laadukasta - Yksittäisten tutkijoiden tarkastelussa ei kovin notkea - Korkeahko oppimiskynnys - Itse määriteltyjen settien lkm-rajoitus (muuttumassa 2017) 5
SCIVAL: KUN HALUATTE (PALJON) OMIA SETTEJÄ + Helppo tuoda / määritellä omia julkaisusettejä + Toimii yhteen Puren kanssa (suora vienti Pure SciVal) + Käyttäjälle helposti avautuvat grafiikat - Joissakin osioissa saatavilla vain uusimmat vuodet - Indikaattorivalikoima vielä suppea / piilossa - Dataa paljon, mutta sen laatu? 6
ESIMERKKI DATAONGELMASTA Boundaries of humanity: Non-human others and animist ontology in Eastern Indonesia HY:n julkaisu The boundary between humanity and inhumanity as a hermeneutic problem Universidad del Rosario, Kolumbia Elsevierin robotti tunnistaa osan Puressa olevista julkaisuista pieleen SciVal saattaa saada analysoitavaksi vääriä julkaisuja 7
KOEKÄYTÖT JA OPPIMISKYNNYS Koekäyttöihin ja käytön aloittamiseen tarjolla melko runsaasti koulutuksia Oppimiskynnys silti usein oletettua jyrkempi Koekäytön aikana joskus yllättävän vaikeaa soveltaa välineitä omiin tarpeisiin Emme oikein hahmottaneet mitä InCitesillä on tarkoitus tehdä Jotkut yliopistot koekäyttäneet molempia tuotteita, ehkä useampaankin kertaan Kallis analyysiväline voi ostettunakin olla vajaakäytössä, jos sen käyttöä ei osata riittävästi 8
KÄYTTÄJÄT ETUPÄÄSSÄ KIRJASTOISTA kirjasto 7 tutkimushallinto 5 "markkinoitu tutkimushallinnolle" 2 Lisäksi mainittu: yliopiston johto, kansainväliset palvelut, henkilöstöhallinto ja tutkijat Lisensseissä ym. jonkin verran vaihtelua käyttäjämäärittelyissä 9
POIMINTOJA KÄYTTÖKOHTEISTA Tutkimusalojen vertailu (tietyille laitoksille, kansallinen ja kv) Yksittäisen tutkijan profiilin tarkastelu Aallon KPI-mittareiden (key performance indicator) laskenta sekä yliopistotasolle että Aallon korkeakouluille Benchmark ja collaboration -analyysit Erilaiset selvitykset yliopiston hallinnon tarpeisiin, tutkijoiden rahoitushakemusten tueksi Ranking-tyyppiset tiedot, kilpailija/yhteistyökumppaniseuranta Julkaisutietojen tuonti julkaisutietokantaan 10
VALINTAAN VAIKUTTANEET SYYT Hinta Molemmat tuotteet kalliita hankintoja Molemmat saivat mainintoja hankkijalleen edullisempana vaihtoehtona Datan kattavuus kattaa yliopistomme julkaisutuotantoa paremmin Tutkimustietokanta Saman tuoteperheen tuotteeseen (Pure/SciVal, Converis/InCites) sitoutuminen Vaikuttaa jatkossa ehkä selvemmin 11
VERTAILUA INCITES / SCIVAL -DATALLA 0 5000 10000 15000 20000 25000 30000 Aalto Abo Akademi Lappeenranta UT Tampere UT SciVal ja InCites -aineiston määriä suomalaisissa yliopistoissa 2010 2015 OECD-luokitus, kaikki luokat Article, Review, Letter UEF Helsinki Jyvaskyla Oulu Tampere Tampereen aineistossa sairaala ei mukana kuten muilla InCites SciVal Turku InCites data: InCites dataset updated Dec 7, 2016. Includes Web of Science content indexed through Sep 30, 2016. SciVal data: Source: Scopus data up to 25 Nov 2016 Elsevier B.V. All rights reserved. SciVal, RELX Group and the RE symbol are trade marks of RELX Intellectual Properties SA, used under license. 12
DATAN KATTAVUUDEN VERTAILUA SciVal (Scopus) kilpailee määrillä, mutta suomalaisen aineiston kohdalla ero InCitesiin ei ole dramaattinen Tieteenalaluokitteluissa on eroja, jotka vaikeuttavat analyysityökalujen tarkempaa vertailua Esim. HY:llä näyttää olevan SciValissa 2x määrä maatalousmetsätiedettä (OECD-luokitus), mutta julkaisuja on vain luokiteltu SciValissa useampiin luokkiin SciVal sisältää enemmän konferenssijulkaisuaineistoja (tietojenkäsittelytiede, tekniset tieteet) Näitä aineistoja voi käyttää lähinnä ko. alojen tutkijoihin ja ryhmiin kohdistuviin tarkasteluihin, yliopiston kokonaistuloksissa ne eivät näy mm. koska arvioinnissa käytetään eri aineistotyyppejä 13
CASE: TIETOJENKÄSITTELY 0 500 1000 1500 2000 2500 3000 3500 Aalto Åbo Akademi Lappeenranta UT Computer and Information Science 2010-2015 (OECD) Tampere UT UEF Helsinki Jyväskylä Oulu Tampere Turku InCites Article, Review InCites Proceedings SciVal Article, Review SciVal Conference InCites data: InCites dataset updated Dec 7, 2016. Includes Web of Science content indexed through Sep 30, 2016. SciVal data: Source: Scopus data up to 25 Nov 2016 Elsevier B.V. All rights reserved. SciVal, RELX Group and the RE symbol are trade marks of RELX Intellectual Properties SA, used under license. 14
ARVIOINNIN TYÖKALUIKSI? Entä jos yliopiston tutkimuksen arvioinnin julkaisuarviointi tehdään itse jommallakummalla välineellä? + Voidaan itse rajata, mitä dataa analysoidaan + Helpommin hallittava aikataulu + Kevyempi (ja ehkä myös edullisempi?) prosessi - Analyysi ei ole puolueettoman tahon tekemä ja tulkitsema - Tietokanta ei korvaa asiantuntijaa, se on vain väline 15
JOHTOPÄÄTÖKSIÄ Analyysitietokanta vaatii käyttäjältä osaamista ja ajantasaista bibliometriikan asiantuntijuutta Lukuja saa molemmilla välineillä helposti, mutta mitä ne oikeasti kertovat? Altmetriikkatuotteiden tulo markkinoille haastaa perinteiset analyysityökalut (jotka nekin ovat varsin nuoria) Ehkä julkaisukattavuutta tärkeämpi näkökohta on toiminnallisuus, ts. mitä välineellä voi tehdä asiakkaan toimintaympäristössä (CRIS yms.) 16
KIITOS! EVA.ISAKSSON@HELSINKI.FI Photo: Linda Tammisto, 2016 17