Hanna Värri TIETEELLISEN JULKAISEMISEN ARVIOINTI BIBLIOMETRISILLÄ MENETELMIL- LÄ lyhennetty versio Kehittämistehtävä Kajaanin ammattikorkeakoulu Kirjasto- ja tietopalvelualan erikoistumisopinnot PKT10K Kevät 2012
SISÄLLYS 1 JOHDANTO 1 2 BIBLIOMETRIIKKA 3 2.1 Yleistä bibliometriikasta 3 2.2 Viiteanalyysi 5 2.2.1 Viittausanalyysi 5 2.2.2 Lähdeanalyysi 6 2.3 Muita bibliometrisiä menetelmiä 7 2.3.1 Yhteisviittausanalyysi 7 2.3.2 Linkkianalyysi ja yhteissana-analyysi 8 3 BIBLIOMETRISET INDIKAATTORIT 9 3.1 Viittauskerroin 9 3.2 Välittömyysindeksi 11 3.3 Lähteiden mediaani-ikä ja Pricen indeksi 11 3.4 H-indeksi 12 3.5 G-indeksi 13 3.6 SNIP-indikaattori 13 3.7 Crown-indikaattori 14 4 YHTEENVETO 16 LÄHTEET 17 LIITTEET
SYMBOLILUETTELO c CPP/FCS m IF II J MNCS P RDCP RIP SNIP viittausten lukumäärä crown-indikaattori viittauskerroin (Impact factor) välittömyysindeksi julkaisu crown-indikaattorin muunnelma julkaistujen artikkeleiden määrä relative database citation potential, lehden aihealueen suhteellinen tietokannan viittauspotentiaali raw impact per paper, lehden keskimääräinen artikkelikohtainen viittausmäärä source normalized impact per paper viittausten keskiarvo, jonka saman tyyppiset julkaisut samalla tutkimusalalla keskimäärin saavat alaindeksit n i vuosi julkaisu
1 1 JOHDANTO Tässä kehitystehtävän lyhennelmässä perehdytään tieteellisten julkaisujen arviointiin bibliometristen menetelmien avulla. Tieteellisten julkaisujen määrällinen tutkiminen on yksinkertaista, mutta laadullinen tutkiminen on huomattavasti haastavampaa. Bibliometristen menetelmien avulla tieteellisiä julkaisuja ja julkaisujen tekijöitä pystytään vertailemaan, mutta eri tieteenalojen välinen vertailu on vaikeaa. On tärkeää muistaa, että vertailuja tehtäessä pelkkä bibliometrinen osaaminen ei riitä, vaan on tunnettava myös tutkittava tieteenala. Kehittämistehtävä on tehty Lappeenrannan tiedekirjastolle. Tieteellistä julkaisutoimintaa on ollut jo yli 300 vuoden ajan, vuodesta 1665 lähtien. Silloin ilmestyi ensimmäisen kerran Journal des Sçavans, jota pidetään ensimmäisenä tieteellisenä aikakausilehtenä. Tieteellisten lehtien ja julkaisujen määrä on kasvanut koko ajan ja kasvun odotetaan jatkuvan myös tulevaisuudessa. Tarkkaa tieteellisten julkaisujen määrää on mahdotonta arvioida, mutta on sanottu että tieteellisen tiedon määrä kaksinkertaistuu aina 10-15 vuoden aikajaksoissa. Yhden arvion mukaan nykyään erilaisia tieteellisiä julkaisusarjoja ilmestyisi jo lähes puoli miljoonaa kappaletta. 1960-luvulla artikkeli- ja julkaisutoiminnan aktiivisuutta alettiin mitata Institute for Scientific Informationin (ISI) aloitteesta tieteellisissä julkaisuissa esiintyvien viittausten määriä laskemalla. ISI laati listan julkaisuista, jotka oli arvioitu merkittäviksi. Tämä johti siihen, että akateemisia kirjastoja arvostettiin sen mukaan kuinka paljon ISI:n listaamista merkittävistä julkaisuista löytyi heidän kokoelmistaan. (Leinikka 2005, s. 10-12) Perinteisen kirjan rinnalle ovat viime vuosien aikana nousseet yhä vahvemmin erilaiset digitaaliset julkaisut. Tieteellisten julkaisujen tutkimusta varten on kehitetty erilaisia informetrisiä menetelmiä. Näitä menetelmiä voidaan hyödyntää mm. tutkimustoiminnan kuvaamisessa ja arvioinnissa, kirjastojen kokoelmatyössä, tutkimuslaitosten keskinäisten yhteistyöverkostojen kuvaamisessa ja tieteenalojen rakenteiden kuvaamisessa. (Kortelainen 2010, s. 243-246) Suomen Akatemia on käyttänyt bibliometrisiä menetelmiä Suomen tieteen tilan ja tason arvioinnissa 1990-luvun lopulta. Bibliometriikkaa on hyödynnetty mm. erilaisten arviointien apuna, haasteiden tunnistamisessa ja tiedepoliittisten keskustelujen herättäjinä. Suomen Akatemia on myös vertaillut Suomen tutkimuksen tuloksellisuutta, näkyvyyttä ja tieteellistä vaikuttavuutta muihin OECD-maihin viimeisen 20 vuoden aikana. Akatemia on ollut vuodesta
2 2008 mukana bibliometriikan alan NORIA-netissä, jossa on perehdytty Pohjoismaiden tutkimuksen tilaan bibliometristen menetelmien avulla. (Suomen Akatemia) Suomalaisissa yliopistoissa tutkimuksen tason selvittämiseen on ryhdytty viime vuosien aikana suuremmilla panoksilla. Useampi teknillinen yliopisto on alkanut tehdä tutkimuksen arviointiprojekteja (RAE=Research Assessment Exercise). Näissä hankkeissa bibliometriset menetelmät ovat keskeisessä roolissa. Aalto-yliopisto aloitti RAE:n tekemisen ensimmäisenä Suomessa (2009), seuraavana sen teki Tampereen teknillinen yliopisto (2010) ja tällä hetkellä RAE-arviointi on meneillään Lappeenrannan teknillisessä yliopistossa (LUT) (2011-2012). Tutkimuksen arviointiprojektien tavoitteena on ollut analysoida tutkimuksen tasoa yliopistojen kaikissa yksiköissä, tunnistaa olemassa olevat vahvuudet ja potentiaalit. Tampereen teknillinen yliopisto pyrki RAE arvioinnilla saamaan yliopiston johdolle tietoon, mitkä tutkimusyksiköt vaativat kehittämistä ja miten tämä kehittäminen tulisi tehdä. Yleisesti arviointien tarkoituksena on ollut toimia strategian luomisen tukena. (Krause et al. 2009, s. 9)(Tampere University of Technology 2011)(Lappeenrannan teknillinen yliopisto)
3 2 BIBLIOMETRIIKKA 2.1 Yleistä bibliometriikasta Informetriikan perustana on ajatus siitä että julkaistut tutkimukset heijastavat tutkimuksen tilaa. Tulosten julkaisun ajatellaan olevan tutkijoiden tapa osoittaa omaa osaamistaan ja siihen pyritään. Mitä enemmän tutkija julkaisee, sen parempi tutkija hän on. Mitä enemmän julkaisua luetaan ja siihen viitataan, sen parempi julkaisu on kyseessä. Informetriset menetelmät ovat määrällisiä tutkimuksia, joissa sovelletaan tilastollisia tutkimusmenetelmiä erilaisiin julkaisuihin. (Kortelainen 2010, s. 244-246. )Yhdeksi informetriikan alalajiksi voidaan lukea bibliometriikka. Bibliometriikka-termi on saanut osakseen useita erilaisia määritelmiä ja rajauksia. On myös keskusteltu onko bibliometriikka vain joukko erilaisia menetelmiä vai oma tutkimusalueensa (Kärki 1999, s. 205-206). Kuvassa 1 on esitetty eräs tulkinta informetriikan, bibliometriikan ja skientometriikan suhteista. INFORMETRIIKKA BIBLIOMETRIIKKA VIITEANALYYSI SKIENTOMETRIIKKA MUUT KUIN JULKAISUIHIN PERUSTUVAT ANALYYSIT VIITTAUSANALYYSI -viittausten määriin perustuvat analyysit -yhteisviittausanalyysi -viittausten ominaisuuksien analyysi LÄHDEANALYYSI -lähteiden määrän ja ominaisuuksien analyysi -tekstiviitteiden analyysi -bibliografinen kytkentä MUUT JULKAISUIHIN PERUSTUVAT -julkaisujen määrien analyysit -indikaattorit -matemaattiset mallit -yhteissana-analyysi -yhteistyöanalyysi Kuva 1. Informetriikan, bibliometriikan ja skientometriikan suhteet (Mukaellen: Kärki & Kortelainen, 1996)
4 Bibliometriikka ja skientometriikka vaikuttavat hyvin samanlaisilta, mutta näissä tutkimusaloissa on eroja. Bibliometriikka tutkii julkaisuja, jotka voivat olla muitakin kuin tieteellisiä. Skientometriikka on keskittynyt vain tieteellisten julkaisujen ja teknologian tutkimiseen (Kärki & Kortelainen 1996). Bibliometriikan suosio ja kiinnostus bibliometriikkaa kohtaan on kasvanut huomattavasti viime vuosien aikana. Nykyinen tietotekniikka antaa aivan erilaiset mahdollisuudet bibliometriikan käytölle kuin esim. 1970-luvulla, jolloin tieto kerättiin käsin. Nykyisin on myös tarjolla mm. maksuttomia analyysiohjelmia verkossa esim. Bibexcel. (Forsman 2009.) Eräs tapa kuvailla bibliometriikkaa, on jakaa se seuraaviin ryhmiin: - Bibliometriikkaa bibliometrikoille (tutkimusmenetelmät) - Bibliometriikkaa tieteentutkijoille (tutkimusalojen synty ja kehitys, tiedon leviäminen jne.) - Bibliometriikkaa tiedehallinnolle ja tiedepolitiikalle (tutkimuksen arviointi) (Glänzel 2003) Suosituin näistä on bibliometriikkaa tieteentutkijoille, jota harjoittaa myös bibliometrikoiden lisäksi suuri joukko muiden tieteenalojen edustajia. Viimeisenä mainittu ryhmä on kasvattanut suosiotaan paljon viime vuosien aikana (Forsman 2010). Bibliometristen menetelmien avulla on mahdollista tarkastella julkaisujen määrän vaihtelua ja viittausten määrää sekä kohdentumista. Ne soveltuvat hyvin myös tietyn tieteenalan keskeisien lehtien selvittämiseen. Bibliometristen menetelmien avulla voidaan myös selvittää erilaisia verkostoja ja löytää yhteyksiä: ketkä kirjoittavat yhdessä, ketkä käyttävät samoja lähteitä, mitkä eri tieteenalat liittyvät toisiinsa, millaisia kansaivälisiä ja kansallisia yhteyksiä tutkijoilla on jne. Kirjastoille bibliometriset menetelmät tarjoavat hyviä menetelmiä selvittää, ovatko kirjaston kokoelmat asiakkaiden todellisia tarpeita vastaavia. (Forsman 2010b, s. 4.)
5 2.2 Viiteanalyysi Eniten käytetty ja tunnetuin bibliometrinen menetelmä on viiteanalyysi. Viiteanalyysiin kuuluu viittaus- ja lähdeanalyysi (ks. kuva 1). Näitä menetelmiä voidaan pitää kolikon eri puolina. Suuri osa bibliometrisestä tutkimuksesta on viiteanalyysiin perustuvaa tutkimusta. Viiteanalyysin avulla voidaan tutkia mm. eri alojen viittauskäytäntöjä; julkaisussa käytetyn kirjallisuuden ominaisuuksia; julkaisujen, kirjoittajien, tutkimusyhteisöjen ja tieteenalojen kytkentöjä; julkaisujen saamaa huomiota tutkimuskirjallisuudessa. (Kärki & Kortelainen 1996) 2.2.1 Viittausanalyysi Viitausanalyysillä (citation analysis) pyritään selvittämään kirjoittajien tai/ja julkaisujen saamaa huomiota. Viitausanalyysin perustana on ajatus siitä että viittausten määrä korreloi suoraan julkaisun/kirjoittajan merkityksellisyyden kanssa. Mitä useammin julkaisuun viitataan, sitä tunnetumpi ja mahdollisesti parempi julkaisu on kyseessä. Mitä useammin tiettyyn kirjoittajaan viitataan, sitä tunnetumpi ja mahdollisesti parempi tutkija on kyseessä. (Kärki & Kortelainen 1996), (Kärki 1999, s. 211-213), (Kortelainen 2010, s. 255-256) Viittausanalyysin avulla voidaan voidaan hakea vastauksia mm. seuraaviin kysymyksiin: - Onko tiettyyn julkaisuun tai kirjoittajaan viitattu? - Kuinko moni on viitannut tiettyyn julkaisuun tai kirjoittajaan? - Mikä on viittausten alkuperä? Mistä maasta viittaukset tulevat? Miltä tieteenalalta viittaukset tulevat? (Kärki & Kortelainen 1996), (Kärki 1999,s. 211-213) Viittausanalyysiä voidaan käyttää päätöksenteon tukena, näin toimitaan mm. Oulun yliopistossa. Oulun yliopiston kirjasto tekee viittausanalyysejä laitoksille, tiedekunnille ja tutkimusryhmille, lisäksi he kouluttavat yliopiston henkilökuntaa viittausanalyysien itsenäiseen tekemiseen. (Oulun yliopisto)
6 Viittausanalyysilla on myös heikkoutensa. Viittausanalyysi olettaa että viittauksen tekijä on aina lukenut viittaamansa teoksen, mutta todellisuudessa näin ei ole, vaan viittauksen tekijä on voinut lukea esim. hyvinkin pienen osan julkaisusta. Viittausten oletetaan olevan aina positiivisia, vaikka todellisuudessa käytetään myös negatiivisia viittauksia. Oletetaan myös, että vain parhaimpiin julkaisuihin viitataan, vaikka todellisuudessa mm. saatavuus ja teoksen kieli vaikuttavat viittausten tekemiseen merkittävästi. Viitatun julkaisun sisällön oletetaan liittyvän viittaavan julkaisun sisältöön. Viittausanalyysissä kaikki viittaukset ovat samanarvoisia. Tutkijan odotetaan viittaavan kaikkiin niihin julkaisuihin, joista omaan työhön on saatu vaikutteita. Todellisuudessa tämä ei ole edes mahdollista. Viittausten muodot vaihtelevat hyvin paljon eri tieteenaloilla. Myös viittauskäytännöt vaihtelevat eri tieteenaloilla. Viittauskäytäntöön vaikuttavatkin monet asiat, kuten julkaisutyyppi, tieteenala ja kansallisuus. Viittausanalyysin luotettavuuteen vaikuttavat myös inhimilliset virheet, kuten kirjoitusvirheet viitteissä. Tieteellisistä julkaisuista puuttuu myös useimmiten informaalien vaikutteiden dokumentointi. (Forsman 2009.) 2.2.2 Lähdeanalyysi Lähdeanalyysillä tutkitaan mitä julkaisuja tutkija on teoksessaan käyttänyt lähteinä. Lähdeanalyysin avulla voidaan tutkia mm. lähteinä käytetyn kirjallisuuden määrää ja ominaisuuksia, (esim. ikä, julkaisukieli, tieteenala, julkaisutyyppi, julkaisumaa). Lähdeanalyysiä voidaan hyödyntää kirjastojen kokoelmatyössä tutkimalla, mihin julkaisuihin tietyn alan tutkijat (ko. kirjaston asiakkaat) eniten viittaavat. (Kortelainen, 2010) Lisäksi sitä voidaan käyttää apuna tutkimustrendien seuraamisessa ja kirjaston toiminnan vaikuttavuuden arvioinnissa (Nygren 2008, s. 2). Tutkimusaineistoina käytetään usein lähdeluetteloja. Lähdekirjallisuuden bibliografisten tietojen pohjalta on mahdollista tarkastella tietyllä alalla käytetyn kirjallisuuden määrää, ominaisuuksia ja rakennetta (käytetään yleensä informaatiotutkimuksessa ja tavoite on käytännön sovellukset kirjasto- ja informaatiopalveluissa). Lähdeanalyysin avulla voidaan myös tarkastella tutkimusviestintää. Silloin kyseessä on tieteentutkimus ja tavoitteena kuvata ja selittää tieteen tai teknologian kehitystä. Lähdeanalyysin avulla voidaan tarkastella myös tutkimuksen itseriittoisuuden astetta, eli kuinka paljon lähteinä käytetään oman alan julkaisuja ja miten suuria ovat muiden tieteenalojen osuudet. (Kärki & Kortelainen, 1996.)
7 Lähdeanalyysin avulla on mahdollista tutkia myös kahden tai useamman tieteenalan yhtäläisyyksiä ja eroja lähdekirjallisuuden käytön suhteen. Tällöin tarkastelun kohteena voi olla esim. lähteiden kieli, julkaisumuoto, -vuosi, -maa sekä aihealue. Tällaista tutkimusta pystytään soveltamaan kirjastojen kokoelmatyössä. (Kärki & Kortelainen, 1996.) Lähdeanalyysin avulla voidaan myös tutkia tieteellisten julkaisujen kytkentöjä. Tällöin käytetään termiä bibliografinen kytkentä. Joukolla tieteellisiä julkaisuja on jonkinlainen kytkentä, jos niillä on yhteisiä lähdeteoksia (yksi tai useampi). Voidaan sanoa, että kytkentä on sitä voimakkaampi, mitä useampia yhteisiä lähteitä on. Bibliografisen kytkennän avulla voidaan ryhmitellä tieteellisiä ja teknologisia julkaisuja sekä hahmottaa julkaisujen keskinäisiä suhteita kuvaavia verkostoja. Lähdeanalyysin heikkoutena voidaan mainita mm. ettei se ota huomioon syitä miksi lähteet ovat lähdeluettelossa; jokainen viite ei ole positiivinen. On mahdollista suorittaa myös nk. viittaamiskontekstin analyysi tai tekstiviitteiden sisällön erittely. Tällöin koko julkaisu käydään läpi ja luokitellaan tekstissä esiintyvät viitteet esim. millaista informaatiota, missä tarkoituksessa mainitaan, kuinka usein viitataan jne. (Kärki & Kortelainen, 1996.) 2.3 Muita bibliometrisiä menetelmiä Viiteanalyysin lisäksi olemassa on paljon muitakin bibliometrisiä menetelmiä. Tässä on esitelty joitakin tunnetuimpia ja yleisimpiä menetelmiä. 2.3.1 Yhteisviittausanalyysi Viittausanalyysista on jatkojalostettu yhteisviittausanalyysi, jonka avulla pyritään kuvaamaan erityistieteiden tai tutkimusalueiden rakenteita (Kärki & Kortelainen 1996). Yhteisviittausanalyysissa tarkastellaan kahden julkaisun esiintymistä samassa lähdeluettelossa. Yhteisviittausanalyysi voidaan tehdä niin julkaisuista kuin kirjoittajistakin. Yhteisviittausanalyysiä käytetään usein tieteenalojen rakenteiden kuvaamiseen. (Kortelainen 2010, s. 257.) Yhteisviittausanalyysin perusteena on ajatus mitä useammin tutkijat viittaavat tutkimuksissaan kahteen samaan julkaisuun tai kahteen samaan tutkijaan, sitä suuremmalla todennäköisyydellä
8 näiden välillä on jokin yhteys. Yhteys voi olla sama tutkimusmenetelmä, sama näkökulma, läheiset tutkimusaiheet tai vastakkaiset näkemykset. (Kärki 1999, s. 213-214.) Myös yhteisviittausten puuttumista voidaan tutkia. On mahdollista, että kaksi aihepiiriä liittyvät loogisesti yhteen, mutta näiden alueiden julkaisut eivät saa yhteisviittauksia. Tämä on merkki siitä, että viittaajat, eli aihepiirien tutkijat, eivät ole tunnistaneet näiden aihepiirien keskinäistä suhdetta. Yhteisviittausanalyysi ei pyri tutkimaan henkilöitä, vaan sitä mitä nimet edustavat tietyllä alalla. Tutkittaessa nimipareja, eivät niiden väliset yhteydet ole välttämättä kovin suoria. Yhteisviittauksia voivat saada täysin eri tieteenaloilla työskentelevät henkilöt, jotka ovat esim. käyttäneet samaa tutkimusmenetelmää (teoriaa yms.). (Kärki & Kortelainen, 1996.) 2.3.2 Linkkianalyysi ja yhteissana-analyysi Linkkianalyysi on samantapainen kuin viiteanalyysi, mutta siinä tutkimuksen kohteena ovat verkkojulkaisujen väliset linkit. Linkkianalyysissä tutkitaan www sivujen välisiä linkkauksia. Linkkianalyysillä voidaan tutkia linkitysten kautta syntyviä verkostoja, linkkien tekemisen syitä, linkkien sisältöjä, yhteislinkkejä ja linkitysten välisiä eroja eri tieteenaloilla. (Kortelainen 2010, s. 257.) Yhteissana-analyysi on erilaisten termien esiintymisen ja yhteisesiintymisen tutkimista. Yhteissana-analyysi muistuttaa yhteisviittausanalyysia. Yhteissana-analyysissa haetaan viittausten sijasta avainsanoja esim. julkaisujen otsikoista, tiivistelmistä. Analyysissä verkostoja luodaan laskemalla termien yhteisesiintymisiä tutkittavissa teksteissä. Samoja termejä sisältävät julkaisut linkitetään toisiinsa. Tällä menetelmällä saadaan aikaan kartta, joka kuvaa termien välisiä yhteyksiä sekä niiden kasaantumista ja hajontaa (kartta kuvaa analysoitavien tutkimusalueiden suhteita). Yhteissana-analyysin aineistoina käytetään yleensä julkaisujen otsikoita, tiivistelmiä tai kokonaisia julkaisuja. Ennalta valitut sanat rajoittavat yhteissana-analyysin luotettavuutta ja tämän takia yhteissana-analyysin tulkinnassa on oltava erityisen varovainen. (Kärki& Kortelainen 1996)(Kortelainen 2010, s. 253-254.) Yhteissana-analyysin avulla voidaan tutkia myös tieteenalojen ja koulukuntien välisiä yhteyksiä ja vaikutteita (Forsman 2009).
9 3 BIBLIOMETRISET INDIKAATTORIT Bibliometriset indikaattorit on kehitetty kuvaamaan tutkimuksen kohteena olevien julkaisujen ja tutkijoiden ominaisuuksia. Näitä voidaan hyödyntää vertailtaessa julkaisuja ja julkaisujen tuottajia keskenään, mutta on muistettava, että indikaattoreiden käyttö edellyttää myös tutkittavan tieteenalan tuntemista. Liitteessä 2 on esitetty eri indikaattoreiden vertailuun soveltuva taulukko. 3.1 Viittauskerroin Viittauskerroin on tunnetuin bibliometrinen indikaattori. Viittauskerroin ilmaisee tietyssä julkaisussa ilmestyneen artikkelin keskimäärin saamien viittausten määrän. Se pyrkii kuvaamaan julkaisun käytön aktiivisuutta. Viittauskerroin perustuu SciSearch, Social SciSearch ja Arts&Humanities Search -tietokantojen aineistoon. Journal Citation Reports tietokannassa julkaistaan vuosittain viittauskertoimien arvot eri julkaisuille. (Kortelainen 2010, s. 258.) Viittauskerroin tunnetaan mm. nimillä impakti kerroin, viittausindeksi, impaktitekijä, sekä usein käytetään englannin kielistä termiä impact factor. Viitauskerroin saadaan laskettua julkaisulle J seuraavan yhtälön avulla IF ( J) n p n 1 cn p n 2 c n lehden saamien viittausten määrä vuonna n p n-1 +p n-2 lehdessä julkaistujen artikkeleiden kokonaismäärä näiden kahden vuoden aikana (vuodet n-1 ja n-2) (Glänzel 2003)
10 Esimerkki. Lehti X on saanut vuoden 2009 aikana 1000 viittausta vuosien 2007-2008 aikana julkaisemiinsa artikkeleihin. Vuosien 2007-2008 aikana lehti julkaisi 500 artikkelia. Lehden X viittauskerroin on tällöin 2. Viime aikoina on yleistynyt myös viiden vuoden viittauskertoimen käyttö. Sen laskeminen tapahtuu samoin kun kahden vuoden viittauskertoimen, mutta siinä huomioidaan kahden vuoden sijasta viiden vuoden aikana saadut viittaukset ja julkaistut artikkelit. Viittauskerroin on suhteellinen mittaluku, joten se on riippumaton arvioitavien lehtien koosta. Yleensä paljon julkaisevien lehtien viittauskerroin on korkeampi kuin vähän julkaisevien. Viittauskerroin arvioi lehtien laatua vain julkaisevien ja viittauksia tuottavien tutkijoiden osalta, eikä huomioi ollenkaan lehden muuta käyttöä. Yleensä review-artikkelit saavat paljon viittauksia, täten myös paljon review-artikkeleita julkaisevien lehtien viittauskerroin on yleensä korkeampi. (Oulun yliopisto) Viittauskerroin suosii aloja, joilla julkaisutahti ja uusiin artikkeleihin viittaus on nopeaa. Viittauskerroin ei ota huomioon viittauksia, jotka on tehty kahta (tai viittä) vuotta myöhemmin. Lyhyellä aikavälillä saatu viittausten määrä ei ennusta julkaisun viittausten kokonaismäärää. (Kärki & Kortelainen, 1996) Viittauskerroin katsoo kaikkien viittausten olevan samanarvoisia riippumatta siitä, missä lehdessä viittaavat artikkelit on julkaistu ja missä mielessä artikkeliin on viitattu. Viittauskerroin ei myöskään huomioi eri tieteenalojen erilaisia viittauskäytäntöjä. Artikkelin saamat viittaukset lasketaan vain Thomson Reutersin tietokantaan kuuluvista lehdistä, muissa lehdissä saadut viittaukset jäävät huomiotta. Lehtien sisäiset viittaukset otetaan huomioon viittausten kokonaismäärässä sekä artikkelin kirjoittajien omiin töihinsä tekemät viittaukset. Viittausten rekisteröinnistä voi enimmillään puuttua jopa 25-30% viittauksista. Keskimäärin 7 % viittauksista puuttuu johtuen rekisteröinnissä tapahtuvista virheistä. (Oulun yliopisto) Viittauskerrointa käytetään virheellisesti yksittäisten tutkijoiden, tutkimusryhmien tai artikkelin tason arvioimiseen. Lehden viittauskerroin muodostuu artikkelien saamien viittausten mukaan ja lehden eri artikkelien viittausmäärät voivat vaihdelle suuresti. Viittauskertoimen käytön yleistyminen voi johtaa myös siihen että tutkijat pyrkivät julkaisemaan korkean viittauskertoimen omaavassa lehdessä, vaikka olisi tarkoituksenmukaisempaa julkaista artikkelin aihetta vastaavassa lehdessä. Viittauskertoimen kasvattamiseen pyrkiminen voi johtaa vääristymiin tieteenalojen rahoituksista päätettäessä ja lehtien julkaisupolitiikassa. (Oulun yliopisto).
11 Verkkoviittauskerroin on viittauskertoimesta jatkojalostettu kerroin verkkosivujen suosion ja vaikuttavuuden mittaamiseen. Verkkoviittauskerroin voidaan laskea tietylle sivustolle suuntautuvien linkkien ja sivustoon kuuluvien sivujen määrän suhteena. Verkkoviittauskertoimen laskutapoja on useita erilaisia. (Kortelainen 2010, s 258.) 3.2 Välittömyysindeksi Välittömyysindeksi kuvaa sitä, kuinka nopeasti tietyssä lehdessä ilmestyneeseen artikkeliin keskimäärin aletaan viitata. Välittömyysindeksi julkaistaan vuosittain Journal Citation Reports tietokannassa. Indeksi saadaan laskettua jakamalla tietyssä lehdessä julkaistuihin artikkeleihin samana vuonna kohdistuneiden viittausten lukumäärä kyseisenä vuonna ilmestyneiden artikkeleiden määrällä. (Kortelainen 2010, s. 259.) Välittömyysindeksi suosii alkuvuonna ilmestyneitä artikkeleita (Kärki & Kortelainen 1996). Välittömyysindeksi saadaan lasketuksi seuraavalla yhtälöllä II n ( J ) c p n n c n lehden saamien viittausten määrä vuonna n p n lehdessä ilmestyneiden artikkeleiden lukumäärä vuonna n Esimerkki. Lehti X on julkaissut vuoden 2009 aikana 1000 artikkelia. Näihin artikkeleihin on viitattu jo vuoden 2009 aikana 700 kertaa. Lehden X välittömyysindeksi on 0,7. 3.3 Lähteiden mediaani-ikä ja Pricen indeksi Lähteiden ikää ja ikääntymistä voidaan tutkia mm. lähteiden mediaani-iällä ja Pricen indeksillä. Lähteiden mediaani-ikä kuvaa sitä aikamäärää, jolloin lähteet jakautuvat ikänsä suhteen kahteen yhtä suuren joukkoon (eli 50% lähteistä on nuorempia ja 50% lähteistä on vanhempia kuin mediaani-ikä). Laskettaessa mediaani-ikää lähteille on lähtökohtana julkaisun ilmes-
12 tymisvuoden ja siinä käytettyjen lähteiden ilmestymisvuosien erotus. On hyvä muistaa, että mediaani-ikä ei kerro lähteen ikää sen käyttämishetkellä, sillä tutkimuksen tekemisen ja tulosten julkaisun välillä voi olla pitkäkin aika. (Kortelainen 2010, s. 259.) Pricen indeksi kertoo kuinka suuri osuus julkaisuhetkellä lähdeluettelossa olevista julkaisuista on korkeintaan viisi vuotta vanhoja. (Kärki & Kortelainen 1996, s. 25-28.) 3.4 H-indeksi H-indeksillä pyritään kuvaamaan yksittäisen tutkijan julkaisutehokkuutta ja hänen tuottamien julkaisujen merkittävyyttä. Indeksin on kehittänyt Jorge Hirsch ja sitä kutsutaan toisinaan myös nimellä Hirschin luku tai Hirschin indeksi. H-indeksi määräytyy tutkijan julkaisujen lukumäärän ja julkaisujen vaikuttavuuden mukaan. Se lasketaan yleensä tutkijan koko uran ajalta, mutta se voidaan laskea myös lyhyemmältä ajalta. Sitä voidaan käyttää tutkimusryhmien, laitosten, yliopistojen, maiden ja yksittäisten lehtien arviointiin. (Oulun yliopisto) H-indeksi saadaan laskettua tutkijalle/lehdelle seuraavasti: H-indeksin arvo on h, jos h kappaletta tutkijan julkaisuista (N p ) on saanut vähintään h viittausta ja loput julkaisuista (N p -h)ovat saaneet vähemmän kuin h viittausta. (Hirsch, 2005) Esimerkki. Tutkija Y on julkaisut 37 artikkelia, jotka ovat saaneet vähintään 37 viittausta jokainen. Hänen H-indeksinsä on tällöin 37. (Huom! tutkija on voinut julkaista ennemmänkin artikkeleita kuin 37, mutta ne ovat saaneet vähemmän viittauksia). H-indeksiä voidaan käyttää vain saman alan tutkijoiden vertailuun, koska vaihtelut eri tieteenalojen välillä ovat suuria. Se suosii aloja, joissa artikkelin kirjoittamiseen osallistuu useita tutkijoita. H-indeksi huomioi koko uran laskemishetkeen asti, joten se soveltuu huonosti eri vaiheessa uraa olevien tutkijoiden vertailuun. Se ei huomioi viittausten laatua ja antaa vähän painoarvoa erittäin paljon viittauksia saaneille julkaisuille. Omat viittaukset eivät vaikuta merkittävästi H-indeksiin. H-indeksistä on kehitetty lukuisia muunnelmia mm. G-indeksi, m- indeksi, a-indeksi ja individual H-index. (Oulun yliopisto)
13 3.5 G-indeksi G-indeksi on Leo Egghen H-indeksistä kehittämä indikaattori. Egghe kehitti tämän indeksin, koska hänen mielestään H-indeksi oli puutteellinen indikaattori, koska se ei huomioi paljon viittauksia saaneiden julkaisujen viittausten määrää. Tämä indikaattori ei ole vielä saavuttanut suurta suosiota. G-indeksin arvot tutkijoille ja lehdille on haettavissa Publish or Perish ohjelmasta. (Oulun yliopisto) G-indeksi saadaan laskettu seuraavasti: G-indeksi on julkaisujen lukumäärä, jotka ovat saaneet yhteensä g 2 viittausta. G-indeksi on yhtä suuri tai suurempi kuin H-indeksi. G-indeksin arvo kasvaa myös yksittäisen julkaisun saadessa paljon viittauksia. (Oulun yliopisto) 3.6 SNIP-indikaattori SNIP-indikaattori (source normalized impact per paper) on professori Henk Moedin kehittämä ja se mittaa lehden vaikuttavuutta kontekstissa. Indikaattori huomioi mm. lähteiden määrän, kuinka nopeasti artikkeleihin aletaan viitata niiden ilmestymisen jälkeen ja sen kuinka kattava on arvioinnissa käytetty tietokanta. SNIP-indikaattorin kehittämistä jatketaan vielä. SNIP lasketaan seuraavalla yhtälöllä SNIP j RIP j RDCP j RIP on lehden keskimääräinen artikkelikohtainen viittausten määrä (Raw Impact per Paper) RDCP on lehden aihealueen suhteellinen tietokannan viittauspotentiaali (Relative Database Citation Potential) (Oulun yliopisto)
14 3.7 Crown-indikaattori Crown-indikaattori on suhteellisen vaikuttavuuden ilmaisin, joka ottaa huomioon eri alojen julkaisu- ja viittauskäytänteiden erot. (Pasanen&Sutela 2008, s. 26) Indikaattori ilmaisee tietyn yksikön tuottamien julkaisujen saamien viittausten määrän verrattuna koko maailman keskiarvoon vastaavan tyyppisissä julkaisuissa ja tutkimusalueissa. (Rehn et all. 2007, s. 11) Crown-indikaattori, CPP/FCS m, voidaan laskea seuraavalla yhtälöllä / = c viittausten määrä julkaisuun i f ] i kuin julkaisu i keskiarvo jonka saman tyyppiset julkaisut samalla tutkimusalalla keskimäärin saavat, P julkaisujen määrä (Sandström 2009, s. 33) Esimerkki. Tutkimusyksikkö julkaisee neljä artikkelia. Ensimmäinen artikkeli julkaistiin 2003 tutkimusalalla X. Tämä artikkeli sai 7 viittausta. Toinen artikkeli julkaistiin 2004 tutkimusalalla Y. Tämä artikkeli sai 15 viittausta. Kolmas artikkeli julkaistiin 2005 tutkimusalalla Z ja se sai 4 viittausta. Neljäs artikkeli julkaistiin 2006 tutkimusalalla Q ja se sai 11 viittausta. Keskimäärin artikkelit joita julkaistiin vuonna 2003 tutkimusalalla X saivat 5,3 viittausta. Keskimäärin artikkelit joita julkaistiin vuonna 2004 tutkimusalalla Y saivat 17,3 viittausta. Keskimäärin artikkelit joita julkaistiin vuonna 2005 tutkimusalalla Z saivat 4,5 viittausta. Keskimäärin artikkelit joita julkaistiin vuonna 2006 tutkimusalalla Q saivat 7,6 viittausta. Tästä saadaan crown-indikaattorille seuraava arvo (7+15+4+11)/(5,3+17,3+4,5+7,6)=1,07. Tämä tarkoittaa sitä että kyseisen tutkimusyksikön julkaisuihin viitataan 7% keskiarvoa enemmän.
15 Crown-indikaattoria tutkittaessa on havaittu, että tutkimusyksikön koolla on huomattava merkitys indikaattorin arvoon. Pienen yksikön tai tieteen alan on helpompi saada hyvä arvo kuin suurempien yksiköiden. (Pasanen&Sutela 2008, s. 26) Jos crown-indikaattorin laskennassa huomioidaan vain muutamia julkaisuja, myös tällöin indeksin luotettavuus laskee. (Sandström 2009, s. 26) Crown-indikaattoria on jatkokehitetty ja paranneltu. Uusi crown-indikaattori, MNCS, voidaan laskea seuraavan yhtälön avulla = 1 [ ] Tämä uusi crown-indikaattori, MNCS, on tasapuolisempi kaikille julkaisuille, kun vanha crown-indikaattori, CPP/FCSm, antaa enemmän painoarvoa julkaisuille aloilta, joilla on odotettavissa korkea viittausmäärä. (Waltman, L., et al. 2010), (Sandström 2009)
16 4 YHTEENVETO Tässä kehittämistehtävässä tutustuttiin tieteellisten julkaisujen arviointiin kirjaston näkökulmasta bibliometristen menetelmien avulla. Työssä selvitettiin mitä bibliometriikka on ja mitkä ovat yleisimmin käytetyt bibliometriset menetelmät ja indikaattorit. Viime vuosien aikana bibliometristen menetelmien käyttö on lisääntynyt suuresti ja viime vuosikymmenien aikana tapahtunut tietotekninen kehitys tarjoaa uusia mahdollisuuksia bibliometristen sovellusten käyttöön. Suosion odotetaan jatkavan kasvuaan tulevina vuosina. Bibliometriset indikaattorit sopivat tieteenalan sisällä tapahtuvaan vertailuun, mutta heikosti eri tieteenalojen vertailuun. Tähän syynä ovat mm. erilainen julkaisu- ja viittauskulttuuri. Indikaattorit toimivat hyvin tutkimuksen tason määrityksessä apuvälineinä, mutta yksin niihin ei voida luottaa. Bibliometristen indikaattoreiden yleistymisen myötä ongelmia voi syntyä myös siitä, että esim. tutkijat haluavat julkaista korkean viittauskertoimen omaavissa julkaisuissa, vaikka olemassa olisi heille paremmin sopivia julkaisukanavia. Tietolähteenä käytettävät tietokannat eivät koskaan ole täysin kattavia ja niiden valinnalla voidaankin vaikuttaa merkittävästi lopputulokseen.
17 LÄHTEET Forsman, M., 2008. Bibliometrisen tutkimuksen uusi tuleminen. 13th Nordic Workshop on Bibliometrics and Science Policy. Informaatiotutkimus 27(3). Forsman, M., 2009. Bibliometriikka- Mitä se on? Mitä kirjastoammattilaisen olisi syytä tietää bibliometriikasta? Bibliometriikka-aamupäivä 30.1.2009. [Viitattu: 03.05.2011] Saatavissa: http://www.helsinki.fi/kirjastot/verkkari/2009/02/bibliometriikka_hykirj_090130-1.pdf Forsman, M., 2010. Bibliometriikka, kirjastot ja tutkimuksen arviointi. Informaatiotutkimuksen päivät 2010. 21.-22- lokakuuta, Tampere. Forsman, M., 2010.b Tutkijapalvelut haastavat kirjastoammattilaisia. Signum (3). Glänzel, W., 2003. Bibliometrics as a research field : a course on theory and application of bibliometric indicators (course handouts) Hirsch, J., E., 2005. An index to quantify an individual s scientific research output. Proceedings of the National Academy of Sciences 102 (46): 16569-16572. JURE, 2010. JURE-projektin pilotointityöryhmän raportti. [viitattu 15.2.2012]. Saatavissa: raketti.csc.fi/jure/tyoryhmat/jure-pilotointiraportti Kortelainen, T., Miilukangas, K., 2006. FinELibin aineiston näkyvuus lähdeanalyysin avulla. Signum. [viitattu: 27.12.2011]. Saatavilla: http://ojs.tsv.fi/index.php/signum/article/view/3372/3122 Kortelainen, T., 2010. Tieteellinen julkaisutoiminta ja informetrinen tutkimus. Teoksessa: Serola, S. Ote informaatiosta. Johdatus informaatiotutkimukseen ja interaktiviiseen mediaan. ISBN: 978-951-692-773-5 Krause, O., Saaristo, A., Sivenius, P., Lehtovaara, K., 2009. Aalto University Research Assesment Exercise 2009: Panel Reports. ISBN: 978-952-248-055-2. [viitattu 27.11.2011]. Saatavilla : http://www.aaltouniversity.info/aaltorae Kärki, R., Kortelainen, T., 1996. Johdatus Bibliometriikkaan. Tampere 1996. Informaatiotutkimuksen yhdistys. ISBN: 952-90-7596-0.
18 Kärki, R., 1999. Tieteellisen viestinnän tutkimus. Tiedon tie. Johdatus informaatiotutkimukseen. ISBN: 951-692-448-4. Lappeenrannan teknillinen yliopisto. Tutkimuksen arviointi. [Lappeenrannan teknillisen yliopiston www-sivuilla]. [viitattu 12.11.2011]. Saatavissa: http://www.lut.fi/fi/rae/sivut/default.aspx Leinikka, H., 2005. Yliopistot kustantajina. Diplomityö. ISBN 951-22-7684-4. Muhonen, A., 2005. Viitetiedolla vaikutusten jäljillä. Signum (2) Muhonen, A., 2012. Julkaisujen arviointi. [Henkilökohtainen sähköpostiviesti]. Vastaanottaja: Hanna Värri. [viitattu: 13.1.2012] NordForsk, 2011. Comparing Research at Nordic Universities using Bibliometric Indicators. NordForsk Policy Briefs 4-2011. ISSN: 1504-8640. [viitattu: 28.12.2011]. Saatavilla: http://www.nordforsk.org/en/publikasjoner/comparing-research-at-nordic-universititesusing-bibliometric-indicators. NordForsk, 2010 International Research Cooperation in the Nordic Countries. ISBN 978-82-996264-9-1. [viitattu 28.12.2011]. Saatavissa: http://www.nordforsk.org/en/publikasjoner/international-research-cooperation-in-thenordic-countries Nygren, U., Iivonen, M., Valtari, A., Heikkilä, T. 2008. Palveleeko kirjaston kokoelma väitöskirjatutkimusta? lähdeanalyysilla kokoelmat näkyväksi. Signum (1) Opetusministeriö, 2008. TiedeKOTA-työryhmän raportti. Opetusministeriön työryhmämuistioita ja selvityksiä 2008:9. [viitattu: 11.10.2011]. Saatavissa: http://www.minedu.fi/export/sites/default/opm/julkaisut/2008/liitteet/tr09.pdf?lang=fi Opetusministeriö, 2009a. Yliopistojen ohjaus ja rahoitus vuodesta 2010 alkaen. Muistio. http://www.minedu.fi/export/sites/default/opm/koulutus/koulutuspolitiikka/hankkeet /Yliopistolaitoksen_uudistaminen/liitteet/OPMrahoitusasetusMUISTIO140809.pdf Opetusministeriö, 2009b. KOTA-Käsikirja. KTPO/Korkeakoulu- ja tiedeyksikkö. 31.12.2009. Yliopistotiedostojen perustietosisältö.
19 Oulun Yliopisto, Tutkiumuksen työkalupakki. Tutkimuksen tuki. Arvioinnin indikaattoreita. [viitattu: 09.10.2011]. saatavissa: https://wiki.oulu.fi/display/jotut/1.3.1.7.13+arvioinnin+indikaattoreita Pasanen, I,. Sutela, P., 2008. Teknistieteellisen tiedon näkyvyyden mittaaminen: esiselvitys mahdollisuuksista. Raportti. [viitattu: 10.2.2012]. Saatavissa: http://www.vtt.fi/inf/julkaisut/muut/2008/nakyvyyden_mittaaminen_loppuraportti.pdf Puuska, Hanna-Mari & Miettinen, Marita., 2008. Julkaisukäytännöt eri tieteenaloilla. Helsinki :Opetusministeriö. Saatavissa: http://www.minedu.fi/export/sites/default/opm/julkaisut/2008/liitteet/opm33.pdf?lang =fi Rehn, C., Kronman, U., Wadskog, D., 2007. Bibliometric indicators definitions and usage at Karolinska Institutet. [viitattu: 10.2.2012]. Saatavissa: http://kib.ki.se/sites/kib.ki.se/files/bibliometric_indicators_definitions_1.0.pdf Sandström, U., 2009. Aalto University Bibliometric Report 2003-2007. [viitattu: 10.2.2012]. Saatavissa: http://www.aalto.fi/fi/research/rae/results/aalto_university_bibliometric_report_2003-2007.pdf Suomen Akatemia, 2009. Suomen tieteen tila ja taso 2009. Tiivistelmä. Löppönen, P., Lehvo, A., Vaahtera, K., Nuutinen, A. ISBN 978-951-715-766-7. Suomen Akatemia, Bibliometriset hankkeet. [Suomen Akatemian www-sivuilla]. [viitattu: 15.11.2011]. Päivitetty 31.10.2011. Saatavissa: http://www.aka.fi/fi/a/tiedeyhteiskunnassa/tutkimuksen_arviointi/arviointi/bibliometri set-hankkeet/ Tampere University of Technology, 2011. TUT Research Assessment Exercise 2011. Bibliometric report 2005-2010. [viitattu: 12.11.2011]. Saatavissa: http://www.tut.fi/idcprod/groups/public_news/@l102/@news/@p/documents/liit/p009 038.pdf Waltman, L., van Eck, N., val Leeuwen, T., Visser, M., van Raan, A., 2010. Toward a new crown indicator: Some theoretical considerations. CWTS Working Paper Series. [viitattu:
20 17.3.2012]. Saatavissa: https://openaccess.leidenuniv.nl/bitstream/handle/1887/15079/cwts-wp-2010-006.pdf?sequence=2
BIBLIOMETRISTEN INDIKAATTOREIDEN VERTAILUTAULUKKO Indikaattori Indikaattorin käyttö arvioinnissa Indikaattorin saatavuus Viittausaineiston lähteenä oleva tietokanta Viittausikkunan laajuus Viittausten painotus Itseviittaukset Impact Factor Lehdet Journal Citation Reports Web of Science 2 vuotta (5 vuotta) Kaikki viittaukset ovat samanarvoisia Sisältää lehden sisäiset viittaukset Source normalized impact per paper (SNIP) Lehdet CWTS Journal Indicators, Scopus Scopus 3 vuotta Huomioi lehden edustaman aihealueen erityispiirteitä Sisältää lehden sisäiset viittaukset H-index Tutkijat, tutkimusryhmät, lehdet, maat, tieteenalat, tutkimusaiheet ym. Scopus, Web of Science, Scimago Journal & Country Rank, Publish or Perish Scopus, Web of Science, Google scholar Viittausikkuna voidaan määritellä vapaasti Ei painoteta Sisältää iteviittaukset (mahdollisuus poistaa joissakin tietokannoissa) g-index Tutkijat, lehdet Publish or Perish Google scholar Viittausikkuna määriteltävissä Ei painoteta Sisältää itseviittaukset crownindikaattori Tutkimusryhmät Määritettävissä Huomio tutkimuksalalle tyypillisen viittausmäärän Sisältää itseviittaukset ( Mukaellen: Oulun yliopisto)