Tutkijoiden ja organisaatioiden vertailu tutkimusjulkaisujen viittaustietojen avulla

Transkriptio

1 Tutkijoiden ja organisaatioiden vertailu tutkimusjulkaisujen viittaustietojen avulla Kokemuksia ISIn Science Citation Index tietokannan käytöstä eri aikoina Ulla Neuvonen Terkko

2 ISI koneellisen viittaustiedon monopoli Eugen Garfield perusti 1960 yrityksen nimeltä Institute for Scientific Information, lyhyesti vain ISI Ideana tallentaa viitetietokantaan julkaisujen lähdetieto Myös tekijöiden affiliaatiotiedot kattavasti Tärkein tuote Science Citation Index viitetietokanta, jonka datan perusteella lisätuotteita kuten Current Contents, Journal Citation Reports, ISI Highly Cited, National Science Indicators Thomson Scientific osti 1992, nyt Thomson Reuters ISI 2000-luvulla Web of Knowledge tuoteryhmä, Web of Science tutkijoiden käytössä tärkein Vasta 2000-luvulla tullut kilpailijoita ja vastaavia tuotteita kuten Elsevierin Scopus, Google Scholar ja The SCImago Journal & Country Rank

3 Esimerkkejä viittausanalyyseista 1 Hammaslääketiede järjestyksen kourissa Esitys 1991 Eduskunnalle kahden hammaslääketieteen koulutusyksikön lakkauttamisesta Tätä seurasi tiukka mediataistelu Helsingin, Oulun, Turun ja Kuopion yksikköjen paremmuudesta HY:n hammaslääketieteen esimies tilasi kirjastolta selvityksen eri yliopistojen hammaslääketieteen professoreiden ja apulaisprofessoreiden julkaisujen saamista viittauksista Tiedon julkistamiseen mediassa paineita, selvityksen tilannut esimies ei kuitenkaan tätä halunnut tehdä Vuonna 1992 Eduskunta päätti lakkauttaa valtiontalouden säästötoimena hammaslääketieteen opetuksen kokonaan Kuopion yliopistossa ja perusopetuksen Turun yliopistossa

4 Hammaslääketieteen tutkijat ranking-listoilla HY:ssä oli 10 professoria ja apulaista OY:ssä, TY:ssä ja KY:ssä n. 25 yhteensä Julkaisujen viittaukset aluksi haettava n. 35 henkilölle Tiedon viittausanalyysistä levitessä tutkijoiden nimilistat alkoivat pidentyä Aikaa kului kuukausia, tietojen vertailtavuus huononi Yksittäisiä tutkijoita sijoitus listoilla kiinnosti tavattomasti Tiedon jatkojalostus puuttui: eri yliopistoissa yksikköjen resurssit erilaiset, joten viittausmääristä voitiin tehdä vain karkeita arvioita, esim. montako oululaista tutkijaa on 20 parhaan joukossa

5 Esimerkkejä 2 Eläinlääkärit jälkijoukoissa Lakkautuspäätöksen jälkeen Eduskunnassa esitettiin HY:n eläinlääketieteellisen tiedekunnan siirtoa Kuopioon korvaukseksi hammaslääketieteen menetyksestä. Jälleen kiivasta vertailua yliopistojen paremmuudesta Myös viittausanalyyseja tehtiin, nyt Kuopiossa Eläinlääketieteen julkaisuja verrattiin Kuopion yliopiston lääketieteellisiin julkaisuihin. Tulos julkistettiin Helsingin Sanomissa Kritiikkiä esitettiin eri tieteenalojen viittauskäytäntöjen vertailukelvottomuuden perusteella Eläinlääketiede jäi Helsinkiin

6 Esimerkkejä 3 Web of Science ja tutkijat itse mittaamassa Syksyllä 2000 ISI:n Citation Index tietokantoihin saatiin www-liittymä Web of Science HY:n koekäyttöön Muutama lääketieteen professori testasi joululomalla kollegoittensa tietoja ja julkaisi listat Suomen Kuvalehdessä 7/2001, otsikolla Suomen tieteen huiput Sata ensimmäistä nimeä lehdessä, kaikki 500 nimeä netissä Listalta poimittiin ja julkaistiin eri lehdissä erilaisia otoksia Massatiedonhaussa oli havaittavissa ilmeisiä virheitä ISI:n Highly Cited palvelun perusteella Suomen viitatuimmista tutkijoista 7/17 edustaa lääketiedettä, 6/17 ekologiaa

7 Vanha kunnon ISI-loukkulista informaatikoille Homonyymit Henkilönimien etuliitteet Öökköset ja niiden korvaus Kaksiosaiset sukunimet Nimenmuutokset Ylipitkät nimet Etunimien alkukirjaimet Ensimmäinen tekijä/muut tekijät Laitosnimet, yliopistojen nimet Puutteelliset ja virheelliset ilmestymistiedot alkuperäisjulkaisujen lähdeluetteloissa

8 Originaalijulkaisujen tieto ISI:iin Henkilönimet usein myös ongelma Höckerstedt, K 0 julk. Hockerstedt, K 354 julk viittausta Hoeckerstedt, K 3 julk. 131 viittausta Organisaatiotieto moninaista, yhden henkilön tiedoissa: Univ Helsinki Helsinki Univ Haartman Inst Helsinki Univ Hosp - Univ Helsinki Hosp - Univ Cent Hosp - Helsinki Univ Cent Hosp - Huch - Huch Diagnost

9 Haku tekijänimellä vs. ensimmäisen tekijän nimellä Viittauksessa: HANSKI I Population history and life history influence the migration rate of female Glanville fritillary butterflies Oikos : a journal of ecology 98 : Artikkelissa: Author(s): Hanski I, Breuker CJ, Schops K, Setchfield R, Nieminen M

10 Epäilyksiä ISI:n tietopohjasta yleensä Lehtivalinnan asiantuntemus ISI:ssä Maantieteellinen ja kielellinen kattavuus Social Science Citation Index ja Arts & Humanities Citation Index erityisen suppeita, pohjois-amerikkalaisia Naturessa testattiin IF laskutapaa viittaukset / artikkelit eikä saatu toistettua ISI:n tuloksia Alakohtaisia suuria eroja viittausten kertymisessä, IF on keskiarvo kahdesta uusimmasta vuodesta Konferenssijulkaisut puuttuvat, mutta Viitetiedoissa runsaasti Meeting abstracts tietoja, joiden lukumäärä vaikuttaa tunnuslukuihin, vaikkei niihin juuri viitata

11 Web of Sciencen uusia ominaisuuksia hyödynnetään virantäyttö- ja valitusprosesseissa Havainnollista, jos kyseessä on varmasti vain yhden, tarkoitetun henkilön kaikki tärkeät julkaisut

12 Tunnuslukuja lasketaan ja esitetään graafisesti 355 julkaisua (with 108 Meeting abstracts) -> Average citations 20, julkaisua (no abstracts) -> Average citations 29,49

13 Uutta kivaa grafiikkaa tekeillä, miksiköhän?

14 Esimerkkejä 4 ISI:ltä tilattu selvitys - Eniten viitatut lääketieteen alat Suomessa ja Ruotsissa

15 ISI:ltä tilattu selvitys - Kansainvälinen lääketieteen tutkimusyhteistyö tunnuslukuina

16 Peruskritiikkiä viittaustiedon käytöstä Impact factorit vertaavat lehtien saamaa huomiota Eivät yksittäisten artikkeleiden impaktia Eivät tutkijoiden paremmuutta Artikkelien viittaustiedon mittaaminen suuntaa voimakkaasti tieteellistä julkaisemista, mutta ei välttämättä tuota parempia julkaisuja. Ongelmia Itseviittaukset Kielteiset viittaukset Virheelliset viittaukset Kopioidut viittaukset Liian pienet otokset

17 Aiheesta lisää Lehden Ethics in science and environmental politics 2008 vol 8 no 1 teemanumero The use and misuse of bibliometric indices in evaluating scholarly performance Escape from impact factors Lost in publication: how measurement harms science Hidden dangers of citation culture Benefitting from bibliometry Validating research performance metrics against peer rankings

18 Bibliometrisiä selvityksiä Suomen tähtitieteen julkaisuista Eva Isaksson on julkaissut aiheesta: Bibliometric evaluation of Finnish astronomy /1/ pdf Bibliometrinen näkökuma suomalaiseen tähtitieteen tutkimukseen