Tieteellinen julkaisutoiminta ja informetrinen tutkimus

Samankaltaiset tiedostot
JULKAISUT VAIKUTTAMISEN VÄLINEENÄ

Bibliometriikka Suomessa 1970-luvulta 2010-luvulle. Maria Forsman VTT Bibliometriikka- seminaari OKM, SYN, HULib, CSC

Bibliometriikka yliopiston tutkimuksen arvioinnissa OKM:n Bibliometriikkaseminaari korkeakouluille

Terttu Kortelainen & Kristiina Miilukangas

Julkaisufoorumi-hankkeen toteutus ja merkitys Tampereen yliopiston näkökulmasta

Tutkija tiedon kokoajana taustaa viitelistojen laadintaan Tutkijat verkoilla-kurssi

Julkaisuanalyysit Suomen Akatemian arvioinneissa. Maija Miettinen, Suomen Akatemia

Tutka ja julkaisufoorumien murros Mitä tapahtui historialle?

Analyysiraporttien kirjoittaminen SYN:n bibliometriikkaseminaari 2, Julkaisutoiminnan arviointi. Tampereen teknillinen yliopisto

Tarkastelen suomalaisen taloustieteen tutkimuksen tilaa erilaisten julkaisutietokantojen avulla. Käytän myös kerättyjä tietoja yliopistojen

Julkaisufoorumi tieteellisten lehtien ja kirjakustantajien tasoluokitus tutkimuksen arviointimenetelmänä

Tutkijan informaatiolukutaito

Bibliometriikka Mitä se on?

Usein kysytyt kysymykset bibliometriikasta

Julkaisufoorumin tausta ja tavoitteet

Useiden top-viittausindeksien tarkastelu tieteenalaryhmittäin Suomessa ja valituissa verrokkimaissa

ASIAKASNÄKÖKULMA JULKAISUTOIMINNAN MURROKSEEN

Ulkomaisten julkaisu- ja viittaustietokantojen hankinta

Hanna Värri. TIETEELLISEN JULKAISEMISEN ARVIOINTI BIBLIOMETRISILLÄ MENETELMIL- LÄ lyhennetty versio

Informetriikka Luentopäiväkirja

Johdatus julkaisufoorumin toimintaan

Tietoa maantieteen julkaisuista

Web of Science, Scopus ja Tutka. Matti Rajahonka

Julkaisufoorumi ja sen vaihtoehdot suomenkielisen julkaisutoiminnan näkökulmasta

Web of ScienceTM Core Collection (1987-present)

TAMPEREEN YLIOPISTON KIRJASTO JULKAISUKESKUS

Dokumenttia hyödyntävien tulee viitata siihen asianmukaisesti lähdeviitteellä. Lisätiedot:

Paneelin 20 näkökulma. Sami Pihlström Tutkijakollegium & teologinen tdk, Helsingin yliopisto sami.pihlstrom@helsinki.fi

Tutkimuksen tuottavuuden kehitys Suomen yliopistoissa

Julkaisukohtainen kirjoittajien lukumäärä tieteellisissä julkaisuissa: kansainvälinen kehitys ja tieteenaloittaiset erot OKM-julkaisuaineistossa

BIBLIOMETRINEN TUTKIMUS NONAKAN JA KUMPPANIEN UUDEN TIEDON LUOMISEN TEORIAN LEVIÄMISESTÄ ERI TIETEENALOILLE

Rahoittajat ja tiedon julkisuus. Pirjo Hiidenmaa Suomen Akatemia

Avoin tiede ja tutkimus TURUN YLIOPISTON JULKAISUPOLITIIKKA

Terhi Huttunen. Lähdeanalyysi Informaatiotutkimus-lehden vuosikerroista

KOLMEN POHJOISMAALAISEN KIRJASTO- JA IN- FORMAATIOTIETEIDEN YKSIKÖN BIBLIOMETRI- NEN ANALYYSI. Janne Karin-Oka

JULKAISUFOORUMI TIEDEPOLITIIKAN VÄLINEENÄ. Suomen tiedekustantajien liiton seminaari Ilkka Niiniluoto TSV, JuFo-ohjausryhmän pj

Avoin julkaiseminen (Open Access) tarkoittaa tieteellisen tiedon avointa saatavuutta internetissä.

Ajankohtaista TSV:n vertaisarviointitunnuksesta

Julkaisufoorumi ja Open Access. Pekka Olsbo Julkaisukoordinaattori Jyväskylän yliopiston kirjasto

Julkaisufoorumien luokittelu

Tieteellisten seurojen julkaisutoiminta Eeva-Liisa Aalto

ProQuest Dissertations & Thesis: The Humanities and Social Sciences Collection

Jälkidigitaalinen tiede tieteellisen tiedon saatavuuden muutos

KANSALLISESTA KANSAINVÄLISEKSI Tutkimus suomalaisen tieteellisen lehden kansainvälisestä diffuusiosta

Julkaisufoorumin käyttö tutkimuksen arvioinnissa

Mitä on Julkaisuarkisto

Turun yliopiston tieteellisen toiminnan kokonaisarviointi. Pirkko Mäenpää Elise Johansson

Tiedonhankinta syventävissä opinnoissa TaY Pori, syksy 2015

Tutkijoiden ja organisaatioiden vertailu tutkimusjulkaisujen viittaustietojen avulla

Lähdeviitteiden merkintä (Kielijelppi)

OKM:N BIBLIOMETRIIKKASEMINAARI

OPEN ACCESS JYVÄSKYLÄN YLIOPISTO AVOIN TIETEENTEKIJÄ

Tiedonhankinta syventävissä opinnoissa TaY Pori, syksy 2014

Tarvitsetko kansainvälisiä tutkimuksia yhteiskuntatieteiden aloilta? klo 9:00-10:00 Maarit Putous & Tuula Rissanen

Bibliometriikan hyödyntäminen Suomen Akatemiassa

Laatukoulutus TUTKIMUKSEN LAADUN MITTAREISTA

JURE ja julkaisufoorumi. Julkaisuarkistotapaaminen, Jyrki Ilva

Tieteenala- ja sitaatioindeksityöryhmien tuloksia

Tieteen tila 2014: Tutkimuslaitokset

HCIR-KONFERENSSIN BIBLIOMETRINEN VAIKUT- TAVUUSARVIONTI

PIKAOHJE Web of Science tietokantojen käyttöön

Julkaisuarkistot ja rinnakkaisjulkaiseminen

Yliopistotutkimuksen tieteellinen vaikuttavuus ja tuottavuus päätieteenaloittain 2010-luvun alussa

Julkaisufoorumin ohjausryhmä LIITE 1. Unifi lähetti yliopistojen tutkimuksesta vastaaville rehtoreille seuraavan viestin:

Kirjaston rooli tutkimuksen arvioinnissa: asiantuntijapaneeli

Lähteisiin viittaaminen ja lähdekritiikki

Tutkimus- ja kehittämistoiminta Suomessa 1 SUOMEN AKATEMIA 2019 TUTKIMUS- JA KEHITTÄMISTOIMINTA

Väitöskirjan kirjoittaminen ja viimeistely

Julkaisufoorumin ja Tieteellisten seurain valtuuskunnan kuulumisia

Julkaisufoorumin tausta, tavoitteet ja päivitysarviointi

Rinnakkaisjulkaiseminen Tampereen yliopistossa

FIRE-TUTKIMUSRYHMÄN VAIKUTTAVUUS

Helsingin yliopiston arviointiprosessi ja menetelmät

Julkaisukäytännöt eri tieteenaloilla Hanna-Mari Puuska & Marita Miettinen (Opm julkaisuja 2008:33)

YLIOPISTOKIRJASTOT BIBLIOMETRIIKAN OSAAJINA JA TOIMIJOINA

Sähköisen julkaisemisen palvelut TSV:llä nyt ja tulevaisuudessa. Johanna Lilja

Miten löydän Venäjää koskevaa tietoa? Johdatus monitieteiseen Venäjä-tutkimukseen (VEN301)

Käytännön kokemukset opinnäytteiden julkaisijana

Tieto matkaa maailmalle

YLEISESITTELY: MITÄ ON AVOIN TIEDE? Ilkka Niiniluoto Helsingin yliopisto OKM:n seminaari

MONOGRAFIAN KIRJOITTAMINEN. Pertti Alasuutari

Tieteen tila 2014: Bio- ja ympäristötieteet

Oma nimesi Tehtävä (5)

Väitöskirjojen lähteet ja niiden saatavuus valtiotieteissä - lähdeanalyysin tuloksia

Tieteen tila 2014: Humanistiset tieteet

Millaista tietoa tiedottaja tarvitsee? Ja mistä tieto löytyy?

Tiedonhankinta syventävissä opinnoissa TaY Pori, syksy 2013

TIEDONHANKINNAN PERUSTEET (1 op) harjoitus 1 (TaY Pori syksy 2014)

Oulun yliopisto. Julkaisutietojen tallentaminen Oulun yliopisto tutkii - tietokantaan

Yliopistojen julkaisujen avoimuus vuonna 2016

Fakta- ja näytenäkökulmat. Pertti Alasuutari Tampereen yliopisto

Julkaisujen, aktiviteettien ja uutisten tietojen tallennus LaCRISjärjestelmään

Laskennallisen fysiikan esimerkkejä avoimesta tutkimuksesta Esa Räsänen Fysiikan laitos, Tampereen teknillinen yliopisto

Julkaisut ja tutkimuksen arviointi - katsaus OKM:n vireillä oleviin hankkeisiin

Vaihtokumppani SKS Tuntematon Molemmat. SMY Vaihtokumppani Tuntematon Välittäjä Molemmat

Pääluvun tekstin jälkeen tuleva alaotsikko erotetaan kahdella (2) enterin painalluksella,väliin jää siis yksi tyhjä rivi.

Lääketieteen tietokannat ja OVID

Bibliometriikka eli tieteellisen julkaisutoiminnan määrällinen tutkimus on noussut

Suomalaiset lehdet ja avoimen julkaisemisen rahoitus

Porin tiedekirjasto ja TTY:n verkkoaineistot

Transkriptio:

Tieteellinen julkaisutoiminta ja informetrinen tutkimus Terttu Kortelainen Tieteellisen tai teknisen tutkimuksen tuloksena syntyy keksintöjä, uusia tuotteita ja tuotantoprosesseja, tietoa kielen kehityksestä tai yhteiskunnallisista ilmiöistä. Lähes kaikki tutkimus ilmestyy tieteellisinä julkaisuina eli kirjoina, artikkeleina tieteellisissä lehdissä tai erilaisina tutkimusraportteina. Tutkimustulosten julkaisemiseen on monia syitä. Julkaisemisen kautta tutkimustulokset saadaan laajaan käyttöön. Kun ne ovat ilmestyneet tieteellisessä lehdessä, tarvitsija löytää ne tietokantojen kautta vielä vuosia artikkelin ilmestymisen jälkeenkin. Tutkimuksen tekijän kannalta on tärkeää julkaista tulokset, koska sitä kautta tulee näkyviin, kuka tulosten takana on, kuka on keksinnön tai löytöjen isä tai äiti. Tämä ei tarkoita, ettei toisilla olisi oikeutta käyttää tutkimuksessa syntynyttä tietoa. Esimerkiksi aikakauslehtiartikkelin ajatuksia saa lainata, kun vain merkitsee tekstiin lähdeviittauksen avulla, mistä ajatus tai fakta on peräisin. Tieteellisellä lehdellä on tiedon julkistamisen lisäksi toinen, yhtä merkittävä tehtävä: se pitää yllä tutkimuksen laatua. Lehdet eivät julkaise mitä vain. Tieteellinen artikkeli käy läpi vertaisarvioinnin (peer review). Lehden toimitus ensin tarkistaa alustavasti, sopiiko tutkijan tarjoama artikkeli lehden sisällölliseen linjaan. Sitten artikkeli lähtee tarkastettavaksi usein kahdelle asiantuntijalle. Nämä antavat artikkelista lausunnon, jossa artikkeli suositellaan hylättäväksi tai julkaistavaksi. Monesti hyväksyväänkin lausuntoon sisältyy korjausehdotuksia, jotka toteuttamalla julkaisulupa voidaan myöntää. Artikkelin kirjoittajille ei yleensä paljasteta lausunnon antajien henkilöllisyyttä. Tämän prosessin tarkoituksena on säilyttää julkaisevan tieteellisen lehden taso korkeana ja artikkelien sisältö luotettavana. Prosessi vie viikkoja, jopa kuukausia, riippuen lausunnonantajien kiireistä. He yleensä ovat saman alan tutkijoita, yliopistoista tai tutkimuslaitoksista, niin että lausuntojen antaminen ei ole heidän päätyötään. Edellä oleva kuvaus auttaa näkemään, että tieteellisessä julkaisuprosessissa on mukana monta muutakin tekijää kuin kirjoittaja. Julkaiseminen tapahtuu eräänlaisessa verkostossa, joka yhdistää toisiinsa eri maissa työskenteleviä tutkijoita, eri maissa ilmestyviä tieteellisiä lehtiä ja niiden lukijoita ympäri maailmaa. Useimmat tieteelliset lehdet ilmestyvät nykyisin digitaalisessa muodossa. Itse julkaisuprosessi on tätä kautta huomattavasti nopeutunut ajoista, jolloin artikkeli kulki kirjepostina kustantajalle, asiantuntijoille, kirjoittajalle ja taas kustantajalle, kunnes se painettiin lehteen, joka sekin kulki postin kautta. Artikkelin sisällön tarkistus on kuitenkin välttämätön prosessi, joka vaatii asiantuntijan paneutumista ja aikaa. Tieteellistä julkaisutoimintaa on ollut vuodesta 1665 lähtien. Tuolloin ilmestyivät ensimmäiset tieteelliset lehdet, Ranskassa Journal des Scavans ja Isossa Britanniassa Philosophical Transactions of the Royal Society (Meadows 2005, 6). Tieteellisten lehtien lukumäärä on jatkuvassa kasvussa. Perinteisten kustantajien julkaisemien tieteellisten lehtien rinnalle on digitoitumisen myötä syntynyt niin sanottuja open access lehtiä. Ne ilmestyvät pelkästään digitaalisessa muodossa ja ovat vapaasti Internetistä luettavissa, ilman tilausmaksuja. Näistä uudistuksista huolimatta niiden ulkonäkö muistuttaa usein perinteistä lehteä ja monilla toimintatavassa vertaisarviointi on keskeisellä sijalla, koska laadunvarmistus on tärkeää niin artikkelin kirjoittajalle ja lukijalle kuin lehdelle itselleenkin. Julkaisutoiminta on niin olennainen osa tieteellistä tutkimusta, että tutkimuksen määrää, sisältöä ja laatua on tapana kuvata julkaisujen kautta. Shanghain lista, jossa maailman yliopistot asetetaan 1

paremmuusjärjestykseen perustuu sekin osittain julkaisuja ja niiden saamia viittauksia koskeviin laskelmiin (Academic Ranking of World Universities 2009). Julkaisutoiminnan avulla pystytään vastaamaan seuraavantyyppisiin kysymyksiin: Onko Suomessa tutkittu jotakin aihetta, esimerkiksi ilmastonmuutosta? Missä maassa ilmastonmuutosta koskevaa tutkimusta on eniten tehty? Ketkä ovat tehneet tähän aiheeseen liittyvää tutkimusta? Milloin tätä aihetta on alettu tutkia Suomessa tai muissa maissa? Mihin asioihin mahdollinen Suomessa tehty ilmastonmuutosta koskeva tutkimus keskittyy? Paljonko ilmastonmuutosta on tutkittu? Kuinka paljon kansalaiset kirjoittavat ilmastonmuutoksesta blogeissaan? Minä aikoina tämä asia on ollut blogeissa eniten esillä? Millaisia ilmastonmuutoksia historian aikana on esiintynyt ja milloin? Mitä vaikutuksia ilmastonmuutoksella on ollut ihmisten elämään? Edellä kuvattuihin kysymyksiin löytyy vastaus hyvin monenlaisista lähteistä. Hyviä lähteitä ovat eri alojen tietokannat silloin kun kysymys on julkaistusta tiedosta. Internet mahdollistaa myös vähemmän muodollisen julkaisutoiminnan, esimerkiksi blogit, ja joihinkin kysymyksiin voi hakea vastausta myös sieltä. Blogi tosin ei käy läpi asiantuntija-arviointia ennen julkaisemista. Lukijan on siksi osattava olla kriittinen esitettyjä näkemyksiä kohtaan. Niitä onkin tarkoitus löytää kirjoittajien mielipiteitä, ei niinkään faktatietoja. Julkaisutoimintaa koskevaa tutkimusta varten on kehitetty omia informetrisiä menetelmiä, joilla haetaan vastausta edellä esitetyn tyyppisiin kysymyksiin. Niitä on myös käytetty tieteellisen tutkimustoiminnan kuvaamiseen tai arviointiin, kirjaston kokoelmatyön tueksi ja joskus myös kuvaamaan tutkimuslaitosten keskinäisiä yhteistyöverkostoja tai tieteenalojen rakennetta. Kaikessa tällaisessa tutkimuksessa tutkimusaineisto koostuu erilaisista julkaisuista. Informetrisestä tutkimusta luonnehditaan seuraavassa tukeutumalla pääasiassa Riitta Kärjen ja Terttu Kortelaisen (1996) kirjaan Johdatus bibliometriikkaan. Informetrinen tutkimus Informetrisiä tutkimusmenetelmiä nimitetään usein myös bibliometrisiksi menetelmiksi. Tämän termin taustalla on 1920-luvulla syntynyt käsite tilastollinen bibliografia (statistical bibliography; Hulme 1923). Alan Pritchard (1969) ehdotti otettavaksi käyttöön sen tilalle termin bibliometrics (bibliometriikka). Se otettiinkin laajaan käyttöön. Bibliometristä tutkimusta on kuitenkin tehty kauan ennen tämän termin käyttöönottoa. Bibliometriikka -termi viittaa nimenomaan painettuihin julkaisuihin kohdistuvaan tutkimukseen. Sen rinnalle on 2000 -luvun vaihteessa syntynyt webometrinen tutkimus (webometrics; Almind & Ingwersen 1997; joissakin maissa käytetään termiä cybermetrics), jonka kohteena ovat verkkojulkaisut. Informetriikka -termi kattaa nämä molemmat osa-alueet. Informetrisissä menetelmissä on kysymys määrällisestä eli kvantitatiivisesta tutkimuksesta, tilastollisten tutkimusmenetelmien soveltamisesta painettuihin (bibliometriikka) tai verkkojulkaisuihin (webometriikka). Tutkittavia suureita informetrisessä tutkimuksessa ovat: 1. Tuottajat, joita voivat olla kirjoittajat, tutkimuslaitokset tai esimerkiksi maat. 2. Tuotteet eli julkaisut, mikä voi tarkoittaa lehtiartikkelia, kirjaa, patenttia, verkkosivustoa, blogia jne. 2

3. Lähteet eli julkaisujen lähdeluetteloissa mainitut teokset, viittaukset, eli henkilön tai julkaisun saamat maininnat em. lähdeluetteloissa sekä linkit verkkosivustojen välillä 4. Termit eli julkaisun sisältöä kuvaavat sanat tai käsitteet, jotka voivat tulla julkaisun otsikosta tai esimerkiksi sisällönkuvailutermeistä. Tuottajia koskeva tutkimus Tutkijoita on aina enemmän kuin kirjoittajia, mutta informetrisessä tutkimuksessa vain julkaisevat tutkijat (kirjoittajat; engl. authors) tulevat huomion kohteeksi. Informetriset tutkimusmenetelmät edellyttävät riittävän suuria aineistoja, joten yksittäisen tutkijan tarkasteleminen ei yleensä ole mielekästä. Informetrisessä analyysissä tarkastellaankin usein erilaisia tutkimusyhteisöjä, kuten tutkijaryhmiä tai yliopistojen laitoksia, tutkimuslaitoksia, yrityksiä, yhdistyksiä, maita, geopoliittisia alueita tai tieteenaloja tai niiden erityisalueita. Tutkimalla mitä eri organisaatioita julkaisujen kirjoittajat edustavat, saadaan kuva yhtäältä eri organisaatioiden julkaisutuotannosta, toisaalta alalla tehtävästä yhteistyöstä ja verkostoitumisesta. Monen tutkijan kirjoittamat yhteisjulkaisut ovat yleistyneet. Terttu Luukkonen, Olle Persson ja Sasu Hälikkä (2000) selvittivät patenttitietokannan perusteella, minkä maalaisten tutkijoiden kanssa suomalaisilla tutkijoilla on yhteisiä patenttihakemuksia. Yliopistojen julkaisutuotannon tarkasteluun perustuvat osittain myös kansainväliset yliopistoja koskevat vertailut (Academic Ranking of World Universities 2009). Kirjoittajien lukumäärän mukaan on myös vertailtu eri maiden tieteellistä tuotantoa (Price 1986, 146). Kirjoittajia tarkasteltaessa usein ongelmaksi nousevat monen tekijän kirjoittamat yhteisjulkaisut. Tällöin on ratkaistava, missä suhteessa kirjoittajia hyvitetään julkaisuista. Ratkaisuvaihtoehtoina voivat olla muun muassa: Kaikille tekijöille lasketaan yksi kokonainen julkaisu. Vain ensimmäiselle tekijälle merkitään julkaisu, muut jäävät ilman. Jokaiselle tekijälle lasketaan samansuuruinen osuus julkaisusta, esimerkiksi kolmesta kirjoittajasta kaikille merkitään 1/3. Etua ei jaeta tasan vaan ennalta määrätään jollekin, esimerkiksi ensimmäiselle kirjoittajalle, suurempi osuus ja muille pienempi. Julkaisuja koskeva tutkimus Bibliometrisen tutkimuksen aineisto koostuu yleensä julkaisuista, vaikka tutkimuksen varsinaisen kohteena olisikin jokin muu muuttuja, kuten kirjoittajat tai lähdeteokset. Julkaisu voi tarkoittaa kirjaa, artikkelia, tutkimusraporttia jne. painetussa tai digitaalisessa muodossa. Julkaisulla tarkoitetaan joskus myös 3

julkaisematonta tallennetta, joka on kuitenkin julkisesti saatavilla rajatulle joukolle, kuten arkistoaineisto, julkaisemattomat opinnäytteet tai kokouksissa jaetut monisteet. Useimmin informetrisen tutkimusaineistot koostuvat kuitenkin artikkeleista tai kirjoista. Näistä artikkeli on yleisempi, koska viitetietokantojen aineistossa on eniten juuri artikkeleita. Tutkimusaineisto voidaan rajata usealla eri perusteella: Tiettyä alaa edustaviin julkaisuihin kotimaassa tai valituissa maissa tiettynä ajanjaksona. Ennakkotarkastuksen läpikäyneisiin tieteellisiin (referoituihin t. referee) artikkeleihin. Jossakin lehdessä tiettynä ajanjaksona ilmestyneisiin artikkeleihin. Jossakin maassa tietyllä aikavälillä ilmestyneisiin julkaisuihin. Jotakin alaa edustaviin opinnäytteisiin (väitöskirjat, lisensiaatintutkielmat, pro gradut, diplomityöt). Internetissä ilmestyy kuitenkin myös verkkojulkaisuja, esimerkiksi sivustoja. Ne voivat olla webometrisen tutkimuksen kohteena, mutta eivät ole tieteellisten artikkeleiden kaltaisia, yksiselitteisesti rajattavia kokonaisuuksia. Kun tutkimusaineisto koostuu verkkosivustoista, on määriteltävä, mitä jollakin sivustolla tai tietoverkon solmukohdalla (node) tarkoitetaan: onko se yksittäinen verkkosivu, sivusto, hakemisto vai esimerkiksi maakohtainen verkosto. Esimerkiksi yliopiston verkkosivustoja tutkittaessa kohteena voivat olla yksittäinen sivu, laitostason sivustot tai yliopiston koko sivusto. Internetissä ilmestyy paljon aineistoa, joka ei ole käynyt läpi varsinaista julkaisuprosessia vertaisarviointeineen. Blogien rooli on tullut viime aikoina entistä näkyvämmäksi ja niitä käytetään vaikuttamisen kanavana monella eri alalla. Blogit voivat sisältää faktatietoa, mutta myös henkilökohtaisia mielipiteen ilmaisuja. Niiden avulla on mahdollista tutkia esimerkiksi mielipiteitä jostakin asiasta, myös ennen ja jälkeen jonkin tapahtuman. Blogeja ja niiden keskinäisiä linkityksiä voidaan tutkia webometrisin menetelmin. Julkaisujen avulla voidaan kuvata tutkimustoiminnan kehitystä eri aloilla, vertailla eri maiden julkaisutuotantoa keskenään tai tarkastella eri maiden osuuksia maailman julkaisutuotannosta. Se, millainen vastaus yllä mainittuihin kysymyksiin saadaan, luonnollisesti riippuu siitä, millaista aineistoa tutkimuksessa käytetään. Kotimaisia artikkeli- ja kirjallisuustietokantoja (esim. Fennica, Arto, Aleksi) voidaan käyttää haettaessa vastausta kotimaista julkaisutoimintaa koskeviin kysymyksiin. On kuitenkin otettava huomioon, että suomalaiset tutkijat julkaisevat myös ulkomaisissa tieteellisissä lehdissä. Kattavan aineiston saaminen edellyttää siksi myös kansainvälisten tietokantojen tutkimista. Luotaessa julkaisutoiminnasta kansainvälistä kuvaa aineistonkin on vastaavasti edustettava useampia maita. Kansainväliset eri alojen tietokannat, kuten Medline, CA (Chemical Abstracts), Eric, Psycinfo, Lisa ym. sisältävät aineistoa useilta vuosikymmeniltä ja monista maista. Aina on kuitenkin syytä tarkistaa, mitä maita ja kielialueita on edustettuina, mitä ei. Tämä tulee ottaa tämä huomioon tehtäessä tutkimustulosten yleistettävyyttä koskevia johtopäätöksiä. Ratkaistavia kysymyksiä julkaisujen tutkimuksessa ovat mm. mitä maata esim. jokin artikkeli edustaa? Edustaako se artikkelin kirjoittajan kotimaata vai julkaisukanavana toimineen lehden ilmestymismaata? Molemmille voi löytää perustelunsa. On myös ratkaistava, mikä on teoksen julkaisuvuosi: onko se vuosi, jona teos on ensimmäistä kertaa ilmestynyt Saksassa vai se vuosi, jona sen suomennos ilmestyi? Samalla on syytä pohtia, miten nämä ratkaisut vaikuttavat tutkimuksen tuloksiin. 4

Lähteitä, viittauksia tai linkkejä koskeva tutkimus Tutkijat viittaavat teoksissaan toisiin julkaisuihin tai kirjoittajiin, joilta he ovat lainanneet informaatiota tai jotka he haluavat jostakin muusta syystä mainita. Lainaukset merkitään lähdeviittein ja lähdeluettelossa (tai alaviitteessä) kerrotaan, mitä viitatut lähteet ovat. Lähdeluettelossa ilmoitetaan käytettyjen lähteiden bibliografiset tiedot, joiden pohjalta on mahdollista tutkia mm. seuraavia muuttujia: keitä ovat viitatut kirjoittajat, mitä ovat viitatut yksittäiset teokset, viitatut aikakauslehdet tai sarjajulkaisut eri alojen viittauskäytännöt syyt viittausten tai linkitysten tekemiseen lähteenä käytettyjen julkaisujen ominaisuudet lähteiden julkaisumuoto (onko kyseessä monografia, artikkeli, jne.) yhteisviittaukset. Lähdeviite (reference) tarkoittaa kirjoittajan julkaisussaan mainitsemia lähteitä. Jos joku kirjoittaja tai jokin teos mainitaan lähdeluettelossa, sanotaan, että hän saa viittauksen (citation). Viittausanalyysi (citation analysis) on informetrisen tutkimuksen tunnetuin menetelmä. Sen avulla on mahdollista muodostaa kuva julkaisun osakseen saamasta huomiosta. Viittausten suuri määrä osoittaa suurta kiinnostusta ja tunnettuutta ja usein tämä tulkitaan myös osoitukseksi korkeasta laadusta. Viittausanalyysiä käytetäänkin yhtenä tutkimuksen arvioinnin menetelmänä. Verkkosivustolle suuntautuvia, tulevia linkkejä (paluulinkki, inlink, incoming/inbound/inward link tai back link) on tarkasteltu samantapaisessa merkityksessä kuin painetun julkaisun saamia viittauksia. Solmusta lähtevä linkki (outlink) ilmaisee, että linkkiä ja siihen liittyviä kahta solmua tarkastellaan sen solmun näkökulmasta, josta linkki lähtee, samaan tapaan kuin käytetään sanaa lähde bibliometrisessä tutkimuksessa. (Thelwall, Vaughan & Björneborn 2004). Kaikilla linkeillä ei ole kuitenkaan samanlaista, johonkin tietoon viittaavaa luonnetta. Osa linkeistä on navigoinnin apuvälineitä, esimerkiksi sivujen sisäiset linkit. Niiden tarkoituksena on helpottaa liikkumista verkkosivulta toiselle eikä niillä tästä syystä aina ole lähteeseen viittaavaa merkitystä. Thelwall (2004) on paljon tutkinut yliopistojen välistä vuorovaikutusta niiden sivustojen välisten verkkosivustojen välisten avulla. Linkkianalyysin avulla on mahdollista saada näkyviin verkkosivustojen kesken samantapaisia verkostoja, joita tieteellisiin julkaisuihin sisältyvien viittausten avulla on kuvattu viittaus- ja yhteisviittausanalyysissä. Linkkeihin perustuvan analyysin voi edellisestä poiketen kuitenkin laajentaa myös muuhun kuin tieteelliseen aineistoon. Verkkoviittausten kautta viittausanalyysi on kohdistettavissa uudentyyppiseen aineistoon, kun se aiemmin kohdistui vain tieteellisiin artikkeleihin. Kim Holmberg (2009 a&b) on tutkinut Varsinais-Suomen kunnallisten verkkosivujen kehitystä ja Outi Nivakoski (2009) linkkien tekemisen syitä blogeissa. 5

Termejä koskeva tutkimus Myös erilaisten termien esiintymistä yhteisesiintymistä on tutkittu bibliometrisesti. Avainsanoja voidaan etsiä julkaisujen otsikoista, tiivistelmistä tai julkaisuista kokonaisuudessaan. Termien yhteisesiintymistä koskevaa tutkimusta kutsutaan yhteissana-analyysiksi (co-word analysis). Esimerkiksi voisi tutkia webometrics termiä sen suhteen, minkä termien yhteydessä se useimmin esiintyy ja tämän perusteella päätellä esimerkiksi, millä aloilla webometristä tutkimusta tehdään aktiivisimmin. Alla oleva kuva (Kuvio 1) perustuu Oulun yliopistossa informaatiotutkimuksen oppiaineen henkilökunnan julkaisutoimintaan vuosina 1998-2008. Jokaisen julkaisun sisältöä on kuvattu neljällä sisällönkuvailutermillä. Niiden yhteisesiintymistä tutkittiin yhteissana-analyysin avulla käyttäen Bibexcel ohjelmaa. Kuvio 1 osoittaa laitoksen julkaisutoiminnan jakautumista eri tutkimusalueille. Kuvio 1. Oulun yliopiston informaatiotutkimuksen oppiaineen henkilökunnan julkaisujen aihepiirit vuosina 1998-2000. Informetrisiä tutkimusmenetelmiä Tunnetuin informetrinen tutkimusmenetelmä on viiteanalyysi. Siinä on kaksi puolta, viittaus- ja lähdeanalyysi, joissa molemmissa tutkimusaineistona käytetään julkaisujen lähdeluetteloita. Näitä kahta tutkimustapaa 6

erottaa toisistaan näkökulma, josta lähdeluetteloa tarkastellaan. Lähdeanalyysissa tutkitaan, mitä julkaisuja kirjoittaja on käyttänyt lähteinä. Viittausanalyysissä selvitetään, kuinka usein joku kirjoittaja tai jokin teos mainitaan eri julkaisujen lähdeluetteloissa, eli kuinka paljon hän saa viittauksia. Viittausanalyysissa lasketaan, kuinka monta kertaa johonkin julkaisuun on viitattu, eli kuinka usein ao. julkaisu mainitaan joidenkin muiden julkaisujen lähdeluetteloissa. Tämä on mahdollista tehdä käsin kokoamalla riittävä otos jollakin määrätyllä kriteerillä valittuja lähdeluetteloita ja tutkimalla julkaisujen esiintymistä niissä. Tämä on kuitenkin hidas menetelmä. Vaihtoehdon sille tarjoavat Thomson Reutersin ylläpitämät ISI Web of Knowledge tietokannat ovat Scisearch, Social Scisearch ja Arts & Humanities Search. Niihin tallennetaan tieteellisistä artikkeleista bibliografisten ym. tietojen lisäksi myös lähdeluettelot. Scisearch edustaa luonnontieteitä, lääketiedettä ja tekniikkaa, Social Scisearch yhteiskuntatieteitä ja Arts & Humanities Search humanistisia tieteitä ja taiteita. Viittauksia on mahdollista hakea myös Google Scholarin kautta. Sitä kautta tulee osittain samoja viittauksia kuin esim. Social Scisearch -tietokannasta, mutta osa on eri viittauksia eli peräisin julkaisuista, joiden tiedot eivät sisälly em. tietokantoihin. Julkaisuun viittaamisen taustalla on monia tekijöitä: mm. tarkempien tietojen antaminen, tutkimusmetodin selostukseen viittaaminen, vahvistuksen saaminen omille käsityksille, mutta myös mm. toisen kirjoittajan tulosten kritisointi (Weinstock 1971; Cronin 1984). Tutkimusten mukaan viitatuimpia artikkeleita ovat sellaiset, joissa selostetaan perinpohjaisesti jokin tutkimusmenetelmä, sekä katsausartikkelit. Viittausten määrään vaikuttaa myös se, miten paljon tutkijoita alalla on ja miten tutkimuksen kohteena olevaa aihetta käsitellään. Lisäksi julkaisukanava vaikuttaa: kansainvälisesti näkyvissä, laajalevikkisissä, arvostetuissa tieteellisissä lehdissä julkaistut artikkelit saavat paljon viittauksia (Luukkonen 1990). Viittausten saanti ajatellaan yleensä positiiviseksi asiaksi ja hyvän laadun osoitukseksi. Tätä kuvaa hämärtää kuitenkin se, että viittauksen on mahdollista olla myös kielteinen. Negatiivisten viittausten osuudeksi on tutkimuksissa todettu noin 5-14 % annetuista viittauksista (Chubin & Moitra 1975; Moravcsik & Murugesan 1975; Kärki 1987). Kokonaiskuva siis on kuitenkin etu päässä positiivinen ja viittaamisen syynä tuen saanti omille näkemyksille. Sisällöstä riippumatta viittaus joka tapauksessa osoittaa, että viittaava kirjoitta tuntee viitatun julkaisun olemassaolon. Käytettäessä Scisearch, Social Sciserach ja Arts & Humanities Search -tietokantoja viiteanalyysin aineistolähteenä on hyvä tiedostaa, että niihin sisältyvät eri alojen keskeisimmät tieteelliset lehdet, vaikka aineisto painottuukin englanninkieliseen ja angloamerikkalaiseen materiaaliin. Viiteindekseihin tallennetaan lähdeluettelot 16 suomalaisesta lehdestä. Kaikissa muissa suomalaisissa lehdissä annetut viittaukset jäävät siis näiden lähteiden kautta tehdyssä viittausanalyysissä tarkastelun ulkopuolelle. Toisaalta paljon suomalaisten tutkijoiden artikkeleita ilmestyy ulkomaisissa lehdissä. Tutkimusaineistoa kootessa on tärkeää tiedostaa, mitä aineisto edustaa. Viittausanalyysin avulla on tarkasteltu paitsi julkaisun tai kirjoittajan näkyvyyttä (esim. Luukkonen 1989; Kortelainen 1999) myös esimerkiksi eri maiden tutkimusyhteistyön intensiivisyyttä tai tieteenalan rakennetta. Viittaustietoja käytetään myös tutkimuksen ja yliopistojen arvioinnissa. Lähdeluetteloista voidaan laskea myös yhteisviittauksia (co-citations), joilla tarkoitetaan kahden julkaisun mainitsemista samassa lähdeluettelossa. Yhteisviittausten suuren kertymän katsotaan osoittavan sisällöllistä läheisyyttä julkaisujen kesken. Yhteisviittausanalyyseja on tehty sekä julkaisuista että nykyisin yhä useammin 7

kirjoittajista. Kirjoittajien valitsemisella tutkimusyksiköksi on se etu, että nämä edustavat koko omaa tuotantoaan. Tämän vuoksi yhteisviittausluvut voivat olla korkeammat kuin tarkasteltaessa vain yhtä julkaisua kirjoittajaa kohden. Yhteisviittausanalyysia on käytetty usein tieteenalojen rakenteiden kuvaamiseen. Lähdeanalyysin avulla tutkitaan, mihin teoksiin kirjoittaja vetoaa tekstissään. Lähdeanalyysi voi koskea viitatun kirjallisuuden määrää tai ominaisuuksia, esimerkiksi ikää, julkaisukieltä, tieteenalaa, julkaisutyyppiä, -maata, jne. Lähdeanalyysin avulla on tutkittu, mistä julkaisuista, miltä tieteenaloilta ja mistä maista kirjoittaja on saanut vaikutteita (Rautio & Suhonen 1981). Toisaalta sitä on sovellettu kirjastojen kokoelmatyössä tutkittaessa, mihin julkaisuihin jonkin alan edustajat eniten viittaavat. Tavoitteena tällaisessa työssä on kokoelman kehittäminen parhaiten asiakkaiden tarpeita vastaavaksi. Linkkianalyysi on sukua viiteanalyysille. Sen kohteena ovat verkkojulkaisujen väliset linkit. Kun linkit suuntautuvat internetsivustolta toiselle, ne voidaan tulkita samalla tavalla kuin viittaukset positiivisen tai negatiivisen huomion osoitukseksi viitatulle sivustolle. Ajatuksen tarkastella linkkejä viittausten tapaan esittivät ensimmäisinä Almind ja Ingwersen (1997). Linkkianalyysi voi sisältää linkityksen kautta syntyvien verkostojen tutkimusta (Thelwall 1984; Holmberg 2009 a&b), linkkien tekemisen syiden tutkimusta (Nivakoski 2009), linkkien sisällönanalyysiä, yhteislinkkien tutkimusta ja linkityskäytäntöjen välisten erojen tutkimista eri tieteenaloilla (Thelwall 2009). Bibliometriset indikaattorit Bibliometrisillä indikaattoreilla pyritään kuvaamaan tutkittavien julkaisujen ominaisuuksia. Tunnetuin tällainen indikaattori on viittauskerroin (engl.impact factor), joka ilmaisee, montako viittausta jossakin lehdessä ilmestyneet artikkelit saavat keskimäärin. Se kuvaa tieteellisen lehden käytön aktiivisuutta ja perustuu Scisearch ja Social Scisearch -tietokantojen aineistoon. Viittauskertoimen arvot julkaistaan vuosittain Journal Citation Reports tietokannassa, jota julkaisee Thomson Reuters. Impact factor on suomalaisissa tutkimuksissa käännetty termeillä viittauskerroin tai vaikuttavuuskerroin (Suutarinen 1978). Sanomalehtikeskustelussa on käytetty termejä impakti, impaktipiste (Nikkari 1995) tai impaktiluku. Viittauskerroin on siis tieteellisen lehden ominaisuus ja ilmaisee lehden artikkelia kohden keskimäärin saamien viittausten määrän. Laskelmat koskevat kahden vuoden jaksoja. Esimerkiksi viittauskerroin vuodelle 2009 lasketaan keräämällä vuosina 2007-08 julkaistuihin artikkeleihin vuonna 2009 kohdistuneet viittaukset ja jakamalla niiden määrä vuosina 2007-08 julkaistujen artikkeleiden määrällä. Viittauskerrointa on alettu käyttää lehtien keskinäisessä vertailussa viittausten absoluuttisen määrän asemesta siksi, että suuren artikkelimäärän vuosittain julkaisevat lehdet ovat absoluuttisia lukuja verrattaessa paremmassa asemassa kuin ne, joissa ilmestyy vähemmän artikkeleita (Garfield 1979). Viittauskerrointa käytetään yleisesti tutkimuksen arvioinnissa. Sen perusteella vertaillaan julkaistujen artikkeleiden laatua, joka arvioidaan korkeammaksi, jos julkaisevalla lehdellä on korkea viittauskerroin. Verkkoaineistoille on laskettu verkkoviittauskertoimia (engl. web impact factor), joita ei kuitenkaan toistaiseksi julkaista samaan tapaan tilastoina kuin viittauskertoimia. Verkkoviittauskerroin lasketaan tietylle sivustolle suuntautuvien linkkien ja sivustoon kuuluvien sivujen määrän suhteena ja käytäntöjä on useita (Ingwersen 1998; Thelwall 2009). 8

Välittömyysindeksi (immediacy index) on viittauskertoimen tavoin Journal Citation Reportsissa ilmoitettu kausijulkaisua kuvaava indikaattori, joka kertoo kuinka nopeasti jossakin lehdessä ilmestyneeseen artikkeliin keskimäärin aletaan viitata. Se lasketaan jakamalla tietyssä lehdessä julkaistuihin artikkeleihin samana vuonna kohdistuneiden viittausten lukumäärä kyseisenä vuonna ilmestyneiden artikkeleiden määrällä. Lähteiden mediaani-ikää laskettaessa lähtökohdaksi otetaan viittaavan julkaisun ilmestymisvuoden sekä siinä käytettyjen lähteiden ilmestymisvuoden erotus. Näin saadaan selville lähteiden iät, jotka lasketaan yhteen. Tästä summasta johdetaan mediaani-ikä eli se aikamäärä, jonka kohdalla lähteet jakaantuvat ikänsä suhteen kahteen yhtä suureen joukkoon: 50% lähteistä on mediaania vanhempia ja toiset 50% sitä uudempia. On hyvä huomioida mediaani-ikää tarkasteltaessa, ettei viitatun julkaisun ilmestymisvuosien erotus tarkkaan ottaen kerro lähteen ikää sen käyttämishetkellä, koska viittaava julkaisu saattaa ilmestyä paljonkin myöhemmin, kuin se on kirjoitettu (Rautio & Suhonen 1981). Bibliometrisistä indikaattoreista ja niiden käyttötavoista on tietoa myös teoksessa Johdatus bibliometriikkaan (Kärki & Kortelainen 1996). Matemaattisia malleja Informetriseen tutkimukseen liittyvät matemaattiset mallit kuvaavat enimmäkseen kasautumisilmiötä. Kasautumisilmiö liittyy kumulatiivisen edun periaatteeseen, jonka Price (1976) on muotoillut seuraavasti:.. menestys ruokkii menestystä. Artikkeli, johon on viitattu usein, saa uusia viittauksia todennäköisemmin kuin vähän viitattu. Monien artikkelin kirjoittaja julkaisee lisää todennäköisemmin kuin vähemmän tuottava henkilö. Lehteä, josta tietoa on haettu ennenkin, käytetään myös vastedes todennäköisemmin kuin lehteä, jota on aikaisemmin käytetty harvoin. Sanat tulevat yleisiksi tai pysyvät harvinaisina. Miljonääri saa lisätuloja nopeammin ja helpommin kuin kerjäläinen. (Price 1976.) Kirjastoissa kirjallisuuden ja kausijulkaisujen käyttö kasautuu: suurin osa lainauksesta ja muusta käytöstä kohdistuu pieneen osaan kokoelmasta. Samoin suurkäyttäjiä on vain pieni osa kirjaston koko asiakaskunnasta. Oulun yliopiston prosessi- ja sähköosastojen kirjastossa 80 % lainauksesta kohdistui 15.6 %:iin kausijulkaisukokoelmasta, 80 % lehtien uutuuskäytöstä kohdistui 20.4 %:iin uutuuskokoelmasta ja 80 % viittauksista kohdistui 6.8 %:iin kokoelman kausijulkaisuista. (Huhtala 2002.) Kasautumisilmiöön liittyvä bibliometrinen laki, Bradfordin laki kuuluu: jos tieteelliset lehdet järjestetään alenevan, tiettyä alaa edustavan artikkelituotannon mukaiseen järjestykseen, ne voidaan yhtäältä jakaa ytimeen, jonka lehdet ovat voimakkaammin suuntautuneet ao. alaan, ja toisaalta useampiin ydintä ympäröiviin kehiin. Kehiin sisältyy yhtä paljon kyseistä alaa edustavia artikkeleita kuin ytimeen, mutta artikkelit julkaisseiden lehtien määrä kasvaa ytimeen verrattuna suhteissa 1:n:n 2. (Bradford 1934; Herzel 1987.) Tutkimusaineiston Bradfordin mallin soveltamista varten voi koota tietokannasta, joka edustaa tarkasteltavaa aihepiiriä ja tutkimalla, missä lehdissä aiheen kannalta relevantit artikkelit ovat ilmestyneet. Analyysillä pystyy selvittämään esimerkiksi jonkin erityisalan ydinlehdet ja toisaalta lehdet, joissa vain osa artikkeleista edustaa alan lehtiä. Garfield (1979) on täydentänyt Bradfordin lakia seuraavasti: tietyn tieteenalan kirjallisuudessa ulommat kehät koostuvat suurelta osin muiden tieteenalojen ytimiä edustavista kausijulkaisuista. Zipfin (1935) laki kuvaa sanojen jakaumaa tekstien kesken ja Lotkan (1926) laki kuvaa tieteellistä tuottavuutta julkaisujen jakaumalla kirjoittajien kesken. Jakaumat ovat vinoja, eli esimerkiksi kirjoittajia, joilla on yksi julkaisu, on huomattavasti enemmän kuin kymmeniä teoksia julkaisseita kirjoittajia. Price (1986) kuitenkin 9

huomauttaa, ettei mikään todista sitä, että vähän tuottava kirjoittaja olisi merkityksetön ja runsaasti tuottava olisi huomattavat tutkija. Lopuksi Informetriset tutkimusmenetelmät ovat informaatiotutkimuksen ominta aluetta, mutta niitä hyödynnetään muilla aloilla enemmän kuin informaatiotutkimuksen piirissä. Näkyvin osa informetristä tutkimusta on viittausanalyysi tutkimuksen arvioinnissa. Kuitenkin voi olla, että tulevaisuudessa lisääntyy webometrinen tutkimus, ehkä erityisesti linkkianalyysi ja sen soveltaminen sekä tieteen että muiden alojen piirissä. Linkkianalyysin vahvuutena on se, että sillä pystytään tunnistamaan samantapaista verkostoitumista, joita viittaus- ja yhteisviittausanalyysin avulla on saatu tieteellisestä julkaisutoiminnasta. Lähteet Academic Ranking of World Universities (2009). http://www-arwu.org/ Almind, T. C. & Ingwersen, P. (1997). Informetric analyses on the World Wide Web: methodological approaches to Webometrics. Journal of Documentation 53 (1997) 404-426. Bradford, S.C. (1934). Sources of information on specific subjects. Engineering 137: 85-86. Björneborn, L. & Ingwersen, P. (2001). Perspectives of webometrics. Scientometrics 50(1): 65-82. Chubin, D.E. & Moitra, S.C. (1975). Content analysis of references: adjunct or alternative to citation counting? Socieal Studies of Science 5: 423-441. Croninin, Blaise (1984). The Citation Process: the role and significance of citation in scientific communication. Oxford: Taylor Graham. Garfield, Eugene (1979). Citation indexing its theory and application in science, technology and humanities. Philadelphia: ISI Press. Hertzel, Dorothy H. (1987). Bibliometrics, history of the development of ideas in. Teoksessa: Encyclopedia of library and information science, vol. 42, supplement 7. New York: Marcel Dekker, s. 144-219. Holmberg, Kim (2009a). Webometric Network Analysis. Mapping cooperation and geopolitical connections between local government administration on the web. Åbo Akademi University. Åbo: Åbo Akademi University Press. Väitöskirja. Holmberg, Kim (2009b). Co-inlinking to a municipal web space: a webometric and content analysis. In: B. Larsen & J. Leta (Eds.) Proceedings of ISSI 2009. Rio de Janeiro: BIREME/PAHO/WHO & University of Rio de Janeiro. s. 254-263. Huhtala, Ville (2002). Kausijulkaisujen käytön kasaantuminen tieteellisessä kirjastossa. Oulu: Oulun yliopisto, informaatiotutkimuksen laitos. Pro gradu -tutkielma. 10

Hulme, E. Wyndham (1923). Statistical bibliography in relation to the growth of modern civilization. London: Butler and Tanner Grafton. Ingwersen, Peter (1998). The calculation of web impact factors. Journal of Documentation 54(2): 236-243. Kortelainen, Terttu (1999) Kansallisesta kansainväliseksi. Tutkimus suomalaisen tieteellisen lehden kansainvälisestä diffuusiosta. Oulu: Oulun yliopisto. Acta Universitatis Ouluensis B 31. Kärki, Riitta (1987). Formaali tieteellinen kommunikaatio suomalaisessa tiedotustutkimuksessa: analyysi tiedotusopillisten artikkeleiden lähteistä 1970-1984. Tampere: Tampereen yliopisto. Tampereen yliopisto, Tiedotusopin laitos, Julkaisuja, Sarja A 59. Kärki, Riitta & Kortelainen, Terttu (1996). Johdatus bibliometriikkaan. Tampere: Informaatiotutkimuksen yhdistys. Lotka, Alfred J. (1926) Statistics the frequency distribution of scientific productivity. Journal of the Washington Academy of Sciences 16: 317-325. Luukkonen, Terttu (1989). Publish in a visible journal or perish? Assessing citation performance of Nordic cancer research. Scientometrics 15(5-6): 349-367. Luukkonen, Terttu (1990). Citations in the rhetorical, reward and communication system of science. Helsinki: Suomen Akatemia. Suomen Akatemian julkaisuja 2/89. Terttu Luukkonen, Olle Persson & Sasu Hälikkä (2000). A bibliometric study of Finnish science. Espoo: Technical Research Centre of Finland. Meadows, A.J. (2005). Communicating research. London: Academic Press. Moravcsik, Michael J. & Murugesan, Poovanalingam (1975). Some results of the function and quality of citations. Social Studies of Science (5): 86-92. Nikkari, Tapio (1995). Suomen lääketieteen tutkimus bibliometrian valossa. Helsinki: Opetusministeriö. Korkeakouluneuvoston julkaisuja 5/1995. Nivakoski, Outi (2009). The meaning of links in blogs. In: B. Larsen & J. Leta (Eds.) Proceedings of ISSI 2009, Rio de Janeiro: BIREME/PAHO/WHO & University of Rio de Janeiro. s. 242-253. Price, Derek J. de Solla (1986). Little science, big science and beyond. New York: Columbia University Press. Pritchard, Alan (1969). Statistical bibliography or bibliometrics? Journal of Documentation 24(4): 383-349. Rautio, Pertti & Suhonen, Pertti (1981). Yhteiskuntatieteiden tietovirrat ja suomalainen tutkija: raportti sosiologian ja valtio-opin väitöskirjojen lähteistöistä. Helsinki: Suomen Akatemia. Suomen Akatemian julkaisuja 2/1981. Suutarinen, Pirjo (1978). Viittausanalyysi suomalaisten lääketieteellisten julkaisujen kansainvälisestä käytöstä. Tampere: Tampereen yliopisto. Tampereen yliopisto, Kansanterveystieteen julkaisuja M 39/78. Thelwall, Mike (2004). Link analysis: An information science approach. Amsterdam: Elsevier. 11

Thelwall, M., Vaughan, M. & Björneborn, L. (2005). Webometrics. Teoksessa: Annual Reviews of Information Science and Technology 39. Silver Spring, MD: Information Today, Inc. s. 81-135. Thelwall, Michael (2009). Introduction to webometrics. Quantitative web research for the social sciences. Chapel Hill: Morgan & Claypool Publishers. Weinstock, Melvin (1971). Citation Indexes. Teoksessa Encyclopedia of Library and Information Science, Volume 5. New York: Marcel Dekker, s. 21-40. 12