Sitaatio- ja impaktiluvut isäntä vai renki?

Transkriptio

1 ETUSIVU» VUOSIKERRAT» VUOSI 1999» NUMERO 2» SITAATIO- JA IMPAKTILUVUT ISÄNTÄ VAI RENKI? Sitaatio- ja impaktiluvut isäntä vai renki? LÄÄKETIETEELLINEN AIKAKAUSKIRJA DUODECIM 1999;115(2):142 Jouko Tuomisto Sitaatio ja impaktiluvut voivat taiten ja pidättyvästi käytettyinä olla apu tutkimuksen arvioinnissa. Kritiikitön käyttö on kuitenkin johtamassa vaikutuksiin, joita näiden lukujen käytön puoltajat eivät ole varmaankaan osanneet aavistaa, tai mikä olisi vielä pahempaa ehkä ovatkin. Suomea on väitetty Euroopan amerikkalaistuneimmaksi maaksi, ja niin voisi kuvitella lukiessaan sosiaali ja terveysministeriön päätöstä tutkimustoiminnan korvausten perusteista (STM 1997). Siellä suomalainen kliininen tutkimus asetetaan arvojärjestykseen yksityisen yhdysvaltalaisen liikeyrityksen tekemän julkaisufoorumien valinnan ja luokituksen perusteella. Mahtaako Suomi olla maailman ainoa maa, jossa yhdysvaltalainen yritys on päässyt oikein yleisohjeen perusteella vaikuttamaan valtion rahanjakopäätöksiin? Institute for Scientific Informationin sitaatioluku ilmaisee, kuinka usein muut tutkijat ovat viitanneet tiettyyn tieteelliseen julkaisuun tai kirjoittajan kaikkiin julkaisuihin määrävuonna. Impaktiluku taas pyrkii mittaamaan lehden vaikuttavuutta: se mittaa lehdessä julkaistuihin artikkeleihin kohdistuneiden viittausten määrää kahden viime vuoden kuluessa. Impaktilukua on käytetty artikkelin laadun mittarina olettaen, että tutkimus on sitä parempi, mitä suuremman impaktiluvun lehteen kirjoittaja onnistuu sen saamaan (mm. Nikkari 1995). Tällöin on tärkeää tietää, onko analyysillä arvoa, vai onko sen merkitys suunnilleen juorukalenterin tasoa (Taubes 1993). Impaktilukujen käyttöä tutkimuksen laadun arvioimisessa on maailmalla arvosteltu monista eri syistä (Lowy 1997, Seglen 1997, Suomen Akatemia 1998). Keskeisin kritiikki on se, että lehden impaktiluku korreloi huonosti yksittäisten artikkelien siteeraamiseen (Hansen ja Henriksen 1997). Erittäin hyvänkin lehden artikkeleista vain pientä osaa siteerataan vilkkaasti; puolet kaikista siteerauksista kohdistuu keskimäärin noin 15 %:iin lehden artikkeleista (Seglen 1997). Tällöin lehteen hyväksytty artikkeli ratsastaa keskimäärin vapaamatkustajana todella merkittävien artikkelien ansioilla. Toinen perusongelma on se, että siteerausten määrä ei riipu ensi sijassa tutkimuksen laadusta, eikä edes siitä, miten artikkeli edistää tutkimusta yleisesti. Eniten määrä riippuu siitä, voiko joku muu tutkija hyödyntää tutkimusta omia

2 tarkoitusperiään varten (omien artikkelien ahkera siteeraaminen on sitten luku sinänsä). Siten metodisiin ja katsausartikkeleihin viitataan herkästi, ja myös kirjoittajan tarve saada vahvistusta omille ajatuksilleen vaikuttaa olennaisesti. Kynnys siteerata nykyviisaudesta poikkeavaa (ja siten ehkä käänteentekevää) tutkimusta on paljon korkeampi kuin viitata myötäsukaisiin julkaisuihin. Lisäksi sitaatioindeksi mittaa vanhaa asiaa. Siteerausten määrä on maksimissa 2 7 vuoden kuluttua julkaisemisesta, ja viive on hyvin alakohtainen (Hansen ja Henriksen 1997). Tämä kyseenalaistaa paitsi impaktilukujen, myös yksittäisen tutkijan sitaatiolukujen käyttökelpoisuuden erityisesti rahoituspäätösten perusteena. Omiin ennen vuotta 1980 julkaistuihin farmakologian tutkimuksiini viitataan edelleen enemmän kuin sen jälkeen tekemiini toksikologian ja ympäristölääketieteen tutkimuksiin. Eri alat ovat siteerauskäyttäytymisen ja impaktilukujen suhteen aivan eri asemassa (taulukko 1). Olennainen tekijä on alan suuruus. Alat, joilla työskentelee kymmeniätuhansia tutkijoita (biokemia, neurotieteet), ovat aivan eri asemassa kuin pienet alat (korva, nenä ja kurkkutaudit, oikeuslääketiede). Koska sitaatioindeksit ovat vahvasti anglosaksisia, erityisesti Yhdysvalloissa suositut ja hyvin rahoitetut alat ovat kärjessä. Asiaa pahentaa vielä yhdysvaltalaisten kirjoittajien puolueellinen siteerauskäytäntö (Seglen 1997) ja sikäläisten lehtien asiantuntijoiden puolueellinen hyväksymiskäytäntö (Link 1998). Lisäksi käytettävissä olevat tiedostot koskevat käytännössä vain englanninkielistä julkaisutoimintaa (Seglen 1997). Taulukko 1. Eri alojen Annual Reviews sarjan impaktilukuja vuonna 1996 Lehti Impaktiluku Annual Reviews of Biochemistry Annual Reviews of Biophysics & Biomolecular Structure Annual Reviews of Cell & Developmental Biology Annual Reviews of Energy and the Environment Annual Reviews of Genetics Annual Reviews of Immunology Annual Reviews of Medicine Annual Reviews of Microbiology Annual Reviews of Neuroscience Annual Reviews of Nutrition Annual Reviews of Pharmacology & Toxicology Annual Reviews of Physiology Annual Reviews of Psychology Annual Reviews of Public Health Eri alat ovat eri asemassa myös tutkimuksen luonteen takia. Esimerkiksi biokemian ja toksikologian erona on paitsi ero yleisen perustutkimuksen ja pitkälle soveltavan tutkimuksen välillä myös periaatteellinen ero työtavassa. Biokemian tutkija rakentaa mosaiikkia peilaten edistymistä koko ajan muiden tutkimukseen. Jos ajattelemme vaikka syöpäsolun ja normaalin solun signaaliproteiinien ja solukalvoreseptoreiden tutkimusta, solussa on sadoittain tekijöitä, eikä mikään työryhmä voi kuvitella kloonaavansa jokaista mahdollista solun kinaasia. Siksi

3 seurataan nopeassa muutaman kuukauden tahdissa, mitä joku muu tekee, ja modifioidaan tutkimusta sen mukaan. Ja siteerataan ja siteerataan ja siteerataan. Toksikologiassa lähtökohta on alan soveltavan luonteen mukaan ainekohtainen. Jos tutkitaan juomaveden mutageenisen aineen toksisuutta ja syöpää aiheuttavia ominaisuuksia, sovelletaan muiden alojen kuten analyyttisen kemian, biokemian, syöpäbiologian ja endokrinologian perustutkimuksesta tulevaa tietoa ja siteerataan näiden alojen julkaisuja eikä tietenkään saman alan dioksiinien tai lyijyn toksikologiaan kuuluvia julkaisuja. Ääritapauksessa tuloksena voisi olla jopa se, että tuloksia ei siteeraa toisessa tutkimuksessa koskaan kukaan, mutta ne ovat siitä lähtien alan oppikirjoissa ja niiden mukaan on muutettu esimerkiksi kokonaisten valtakuntien vesilaitosten tekniikkaa ja Suomen kokoisessa maassa vältetään muutamia kymmeniä syöpätapauksia vuodessa. Miten tällaisen tutkimuksen todellista vaikuttavuutta eli impaktia verrataan perustutkimuksen piiriin kuuluvaan työhön? Alojen suuruuden ja työtapaerojen takia biokemian alalla on pilvin pimein lehtiä, joiden impaktiluku on yli kolme, toksikologiassa ei ainoatakaan alkuperäistutkimuksia julkaisevaa. Toxicology & Applied Pharmacologyn impaktiluku oli v Tämän lehden ja Sciencen välissä toksikologille ei ole mitään. Ja Science tavallisesti ilmoittaa käsikirjoitusta arvioijalle lähettämättä, että kirjoitus sopii paremmin erikoisalan lehteen. Soveltavat erikoisalat eivät siis ole "yleisesti kiinnostavia", vaikka hyvin spesifinen molekyylibiologian kirjoitus näyttää olevan. Ei ole siis ihme, että toksikologilla on aiheen sen salliessa suuri kiusaus julkaista parhaat tutkimuksensa biokemian lehdissä, mikä aiheuttaa sen, että hän pääsee keskinkertaisellakin biokemian foorumilla ohi kaikista parhaissakin toksikologian lehdissä julkaisevista tutkijoista. Mutta tämä aiheuttaa lisäksi sen, että toksikologian lehtien sitaatioindeksi pienenee edelleen, kun osa hyvistä julkaisuista valuu hyödyttämään muita aloja. Seuraukset impaktien ja siteerausten kritiikittömästä painottamisesta johtavat virantäytöissä vielä pahempiin seurauksiin kuin tutkimusrahoituksen jaossa. Keskinkertainenkin biokemisti hakkaa tässä kisassa huipputoksikologin, keskinkertainenkin immunologi hyvän klassillisen patologin. Ellei virantäytössä käytetyllä asiantuntijalla ole selvää kuvaa ammattitaidon merkityksestä eri aloilla, tietyt alat ja niiden ammattitaito saattavat kuolla maasta sukupuuttoon. Kliinisiä aloja suojaa virantäytöissä vaatimus erikoislääkärin tutkinnosta, mutta biolääketieteen aloilla suunta vie yhtenäistymiseen, jolla on tutkimuksen kannalta hyvätkin puolensa, mutta alojen erikoisammattitaidon ja koulutuksen osalta se johtaa katastrofiin. Mitä sitten pitäisi tehdä? On selvää, että hyvällä foorumilla julkaisevia tulee palkita. Vaatimattomat suomalaiset ovat vuosia julkaisseet tarpeettoman vaatimattomissa lehdissä, ja siksi heidän näkyvyytensä on ollut kohtuuttoman huono. Siksi tutkijoiden kouluttaminen mahdollisimman hyvän lehden hakemiseen on jo isänmaalliselta kannalta tärkeää. Mutta mikä on hyvä lehti? Yksimielisyys voidaan varmaan saavuttaa siitä, että lehti, jonka impaktiluku on 15 20, on parempi kuin lehti, joka impakti on yksi. Siten siinä julkaisemisesta on myös syytä hyvittää enemmän. Nykyinen metodi on kuitenkin vääristynyt, ja karkeimmillaan tämä näkyy EVO pisteiden luokittelussa, jossa mm. monet tärkeät kliiniset alat tuomitaan a priori alimpaan kastiin. Pahimpana tämä vääristyminen näkyy lehdissä, joiden impaktiluvut ovat yhden ja kymmenen välillä. Väittäisin, että suurin osa lehtien eroista välillä 1 10 kuvastaa

4 alojen välisiä eroja eikä lehtien laadullisia eroja. Siten tulisi olla erityisen varovainen käytettäessä aluetta 1 10, ja juuri tätä aluetta käyttää EVO. Periaatteessa on kaksi mahdollisuutta. Ensiksikin voidaan tehdä lista julkaisuista, jotka ovat kiistatta erinomaisia yleislehtiä (esim. Science, Nature, PNAS), ja mahdollisesti eri alojen parhaista lehdistä (kliinisessä lääketieteessä esim. Lancet, N Engl J Med, solubiologiassa esim. Cell, biokemiassa Biochemistry, farmakologiassa Br J Pharmacol, ympäristönsuojelussa Environmental Science and Technology jne). Tällöin tulisi olla vain muutama harva luokituskategoria: kiistattomat yleislehdet (impaktiluku usein noin 20), toisena kiistattoman keskeiset alan kärkilehdet (joiden impaktiluku voi vaihdella alan mukaan välillä 2 15) ja kolmantena muut kunnollista arviointijärjestelmää käyttävät lehdet. Toinen mahdollisuus olisi lähteä täysin alakohtaiselle linjalle. Vertailukohtana ei olisikaan absoluuttinen impaktiluku, vaan alan impaktilukujen sisäinen jakauma (taulukko 1). On eri asia julkaista alan kärjessä olevissa kymmenessä prosentissa lehtiä kuin alan häntäpään lehdissä impaktiluvuilla mitattuna. Tämän huomioon ottaminen tasoittaisi epäkohtia, joita tulee eri alojen vertailusta toisiinsa. Taaskaan ei kannattaisi mennä hiusten halkomiseen; nämä mittarit ovat tavattoman karkeita. Voisi ajatella esimerkiksi luokitusta: 1) erinomaiset yleislehdet (Science jne.), 2) alan kärki (20 % alan sisäisen impaktilukujakauman kärjestä), 3) alan hyvät lehdet (20 50 % kärjestä), 4) muut arviointijärjestelmää noudattavat lehdet, 5) julkaisufoorumit, jotka eivät noudata arviointikäytäntöä (olivatpa nämä sitten lehtiä, kongressijulkaisuja tai yliopiston sarjoja). Voisi myös kuvitella, että kunkin alan "kultaiseksi standardiksi" otettaisiin saman alan yleispätevä julkaisu, kuten Annual Reviews sarja, ja muita lehtiä verrattaisiin sen impaktilukuun (taulukko 1). Arvioinnin perustaminen yhteen julkaisusarjaan johtaisi kuitenkin omiin ongelmiinsa, ja voi olla vaikeaa löytää yhtenäistä muulla tavalla valittua alakohtaista korjausindeksiä kuin jokin määrä kärkilehtiä (esim. 20 %), kuten edellä on esitetty. Tällaisetkaan modifikaatiot eivät korjaa vääristymää, joka aiheutuu siitä, että amerikkalaiset siteeraavat vain tuttujaan ja amerikkalaisia, ja vasta aivan pakon edessä muita. Se suosii Yhdysvalloissa muodissa olevia aloja ja amerikkalaisten kanssa yhteistyötä tekeviä tutkijoita. Tähän asiaan tuonee korjauksen vasta EU:n toivottavasti mukanaan tuoma sellainen eurooppalaisen tiedeyhteisön nousu, jota amerikkalaisetkaan eivät pysty sivuuttamaan olan kohautuksella. * * * Kiitän informaatikko Heikki Laitista avusta CD ROM tiedostojen hallinnassa sekä informaatikko Liisa Salmea ja useita Kansanterveyslaitoksen tutkijoita perehtymisestä tähän käsikirjoitukseen ja hyödyllisistä kommenteista. JOUKO TUOMISTO, professori jouko.tuomisto@ktl.fi Kansanterveyslaitos Ympäristöterveyden osastoryhmä PL 95, Kuopio ja Kuopion yliopiston kansanterveystieteen ja yleislääketieteen laitos Hansen H B, Henriksen J H. How well does journal impact work in the assessment of papers on clinical physiology and nuclear medicine. Clin Physiol 1997: 17:

5 Link A M. US and non US submissions an analysis of reviewer bias. J Am Med Ass 1998: 280: Lowy C. Impact factor limits funding. Lancet 1997: 350: Nikkari T. Suomen lääketieteellinen tutkimus bibliometrian valossa. Korkeakouluneuvoston julkaisuja 5/1995. Seglen P O. Why the impact factor of journals should not be used for evaluating research. BMJ 1997: 314: STM. Sosiaali ja terveysministeriön päätös N:o 103/1997 lääkärikoulutuksen ja tieteellisen tutkimustoiminnan korvauksen perusteista vuonna Suomen Akatemia. Indikaattorityöryhmän muistio. Suomen Akatemian Julkaisuja 8/98. Taubes G. Measure for measure in science. Science 1993: 260: Artikkelin tunnus: duo90013 ( ) 2016 Suomalainen Lääkäriseura Duodecim

6

7