Referee- eli vertaisarviointia käyttävät käytännössä

Transkriptio

1 Lääketieteellinen viestintä Hannu Sariola ja Pekka Mustonen Asiantuntijan nimettömyyteen perustuva referee- eli vertaisarviointijärjestelmä on laajalti käytetty ja tehokas mutta osittain ongelmalliseksi koettu menetelmä tieteellisten artikkeleiden julkaisukelpoisuuden arvioimiseksi ja laadun parantamiseksi. Sen tilalle on tarjottu nimellä allekirjoitettuja asiantuntijalausuntoja, kirjoittajien nimien kätkemistä asiantuntijoilta ja avointa Internet-arviointia eri tavoin toteutettuna. Nämä poistaisivat osan nimettömään järjestelmään liittyvistä ongelmista mutta toisivat mukanaan muita puutteita, kuten nimellä esiintymisestä seuraavan uhkan mielistelevistä lausunnoista tai Internetpalautteeseen liittyvän pinnallisuuden. Koska tieteellisten artikkeleiden vertaisarviointi on tieteellisen julkaisemisen keskeisimpiä kysymyksiä, Duodecim-lehti avaa kotisivullaan postilaatikon, jonne toivotaan keskustelua vertaisarviointijärjestelmän kehittämisestä ja avointa asiantuntijapalautetta lehden artikkeleista. Referee- eli vertaisarviointia käyttävät käytännössä kaikki tieteelliset julkaisusarjat. Sillä pyritään seulomaan julkaisukelpoiset artikkelit ja parantamaan niiden laatua. Tieteellisissä lehdissä käsikirjoituksen arvioi tavallisesti kaksi tai kolme toimituksen valitsemaa asiantuntijaa. Heidän nimettöminä antamiensa lausuntojen perusteella toimitus päättää artikkelin hylkäämisestä tai julkaisemisesta joko sellaisenaan tai korjattuna. Vielä viime vuosikymmenellä vertaisarviointi oli tieteen eniten käyttämä ja vähiten tutkittu menetelmä (Meldrum 1998). Usean vuosikymmenen hiljaiselon jälkeen vertaisarviointi on muuttunut populaariksi ja mielenkiintoiseksi tutkimuskohteeksi. Jotkut ovat jopa ivallisesti tokaisseet, että kyseessä on uusi oppiala»referologia». Esimerkiksi Medlinehakusanalla peer review löytyi artikkelia. Valtaosa niistä käsitteli refereejärjestelmän soveltamista johonkin tieteelliseen ongelmaan, ei itse menetelmää ja sen toimivuutta. Näitä käsitteleviä artikkeleita ilmestyi enemmälti vasta 1990-luvulla. Samalla kun avoin, maailmanlaajuinen Internet vakiinnutti asemansa, refereejärjestelmän tutkimus vilkastui ja kritiikki artikkeleiden nimetöntä arviointia kohtaan lisääntyi (Sterling 1995, Smith 1999). Tähän asti lähes kaikki lehdet ovat käyttäneet nimettömyyteen nojaavaa asiantuntija-arviointia, eli kirjoittajat voivat vain yrittää arvata lausunnonantajan henkilöllisyyden. Suurissa maissa asiantuntijat säilyvätkin useimmiten anonyymeinä, mutta pienissä maissa tai pienillä erikoisaloilla asiantuntijan arvaa luonnollisesti helpommin. Henkilöllisyyden tunnistaminen tai tunnistamatta jättäminen ei kuitenkaan ole anonyymin arviointijärjestelmän suurin heikkous vaan siihen liittyvä oikeudellinen kysymys. Muualla kuin tieteellisen artikkelin tai tutkimusapuraha-anomuksen arvioinnissa keskeistä asiantuntijavaltaa ei enää käytä tuntematon henkilö. Refereejärjestelmän edut ja haitat Refereejärjestelmästä tieteellisen tiedon levittämiselle koituvat edut ovat ilmeiset. Se tarjoaa lehdelle asiantuntijoiden perustellun näkemyksen artikkelista ja sen merkityksestä. Se tuo esiin Duodecim 1999; 115:

2 seikkoja, joiden ansiosta tutkimuksen asetelma, tulkinta ja kieli paranevat (Roberts ym. 1994), ja se saattaa napata kiinni tieteellisen väärennöksen tai tuoda esiin intressiristiriidan, joskaan mikään asiantuntijajärjestelmä ei ole tässä kovin tehokas (Purcell ym. 1998, Goldbeck-Wood 1999). Myös haitat ovat yhtä selkeitä. Refereejärjestelmä hidastaa aina tutkimuksen julkaisemista, ja asiantuntijat voivat käyttää väärin asemaansa varastamalla tutkimustietoa ja hidastamalla kilpailijan tulosten julkaisemista (Sterling 1995). Tuntemattomat tekijät ja tunnetut asiantuntijat On esitetty, että lausuntojen puolueettomuuden lisäämiseksi asiantuntijalta tulisi pimittää tiedot artikkelin tekijöistä (McNutt ym. 1990, Fisher ym. 1994). Tämän hyödyllisyydestä arvioinnin laadun parantajana ei kuitenkaan ole saatu näyttöä kontrolloiduilla vertailevilla tutkimuksilla (Cho ym. 1998, Davidoff 1998, Justice 1998, van Rooyen ym. 1998), eikä nimien ja tutkimuksen tekijöiden laitosten tai sairaalan nimien peittäminen useinkaan käytännössä estä asiantuntijaa arvaamasta, mistä tutkimus on peräisin (taulukko 1). Osassa tieteellisistä lehdistä asiantuntijalausunnot annetaan nimellä varustettuina. Valtaosa näistä lehdistä antaa asiantuntijalle mahdollisuuden joko esiintyä nimellään tai anonyyminä. Tämä sinänsä ymmärrettävä joustavuus sisältää kuitenkin vaaran, että lausuntojen sisällöstä riippuu, annetaanko ne nimellä tai nimettömänä. Julkaisemista puoltaviin lausuntoihin Taulukko 1. Asiantuntijan arvaus kirjoittajien nimistä, kun nämä oli kätketty (van Rooyen ym. 1998). Arvioijien määrä 1 Kirjoittaja tunnistettu 97 (33.1) Kirjoittaja lähes tunnistettu 26 (8.9) Kirjoittaja arvattu väärin 20 (6.8) Kirjoittajaa ei tunnistettu 150 (51.2) Kaikki 293 (100.0) 1 Kyselyyn vastanneiden %-määrä (n = 293); 16 (5.2 %) 309 arvioijasta ei vastannut kyselyyn on helpompi kirjoittaa oma nimensä kuin niihin, jotka joutuu hylkäämään. Koska omalla nimellä allekirjoitettu lausunto saattaa myös vaarantaa lausuntojen puolueettomuuden ja johtaa kirjoittajien mielistelyyn, nimetöntä ja nimellä varustettua arviointijärjestelmää onkin verrattu useissa viime aikaisissa kontrolloiduissa tutkimuksissa. Tulokset ovat olleet sangen yhdenmukaiset. Nimellä varustettu asiantuntija-arviointi on yhtä luotettava tai jopa luotettavampi kuin anonyyminä annettu (Godlee ym. 1998, van Rooyen ym. 1999). Nimellä esiintymiseen liittyvä puolueellisuuden riski on ilmeinen, mutta tämän seikan merkitystä vähentää se, että lausunnon antaja ehkä laatii nimellä varustetun lausuntonsa perusteellisemmin kuin nimettömän. Arvioijan arviointi ja ohjaus Myös arvioijia on tutkittu. Parhaita lausuntoja laativat aktiivista tutkimusta tekevät, joidenkin selvitysten mukaan alle 50-vuotiaat tutkijat (kuva 1), joskin eri lehtien hyvistä asiantuntijoista saadut tulokset ovat osin ristiriitaisia (Nylenna ym. 1994, van Rooyen 1998). Jos siirrytään käyttämään nimellä varustettuja asiantuntijalausuntoja, on kuitenkin selvästi olemassa vaara, että nuoret aktiiviset tutkijat eivät uskalla antaa puolueetonta lausuntoa vanhemman tutkijan työstä. Useat lehdet käyttävät asiantuntijalausuntojen lisänä lomaketta, jossa asiantuntija ottaa kantaa artikkelin eri kohtiin: sen merkitykseen, sopivuuteen lehden linjaan, tieteelliseen asetelmaan, tilastokäsittelyn laadukkuuteen, kieliasuun yms. Näitä lomakkeita ei yleensä lähetetä kirjoittajille, vaan niiden avulla lehden toimittajat saavat tiivistetyn käsityksen artikkelista. Ne myös panevat asiantuntijan ottamaan kantaa käsikirjoituksen eri puoliin. Ainakin muutamat huippulehdet vaativat asiantuntijaa allekirjoittamaan oikeudellisilla uhkauksilla varustetun sitoumuksen siitä, ettei hän käytä asemaansa väärin. Tähän mennessä ei ole tiettävästi käynnistetty yhtään oikeusprosessia tällaisen sitoumuksen rikkomisesta, joskin asiantuntija-aseman epäillystä väärinkäytöstä on muutoin riidelty oikeudessa. 452 H. Sariola ja P. Mustonen

3 Arvioinnin laatupisteet Arvioijan ikä, v Kuva 1. Arvioijan iän ja hänen antamansa lausunnon laadun välinen riippuvuus (1 = huonoin, 5 = paras) (Black ym. 1998). Avoin arviointi Internetissä Nimettömän asiantuntija-arvioinnin heikkouksien takia on ehdotettu ja kokeiltukin täysin avointa käsikirjoitusten arviointia Internetissä. Medical Journal of Australia (MJA) tutki Internet-arvioinnin yhtä sovellusta yhdistämällä asiantuntija-arvion ja avoimen Internet-arvioinnin (Bingham ym. 1998). Lehti julkaisi Internetissä asiantuntijoiden jo hyväksymät artikkelit ja niistä saadut lausunnot, jotka oli laadittu maaliskuun 1996 ja toukokuun 1997 välisenä aikana. Neljä viidestä kirjoittajasta ja asiantuntijasta suostui mukaan tutkimukseen. Neljää käsikirjoitusta ei otettu mukaan julkaisukiireen vuoksi. Mukaan tuli yhteensä 56 artikkelia, ja avointa palautetta saatiin 28:sta. Artikkeleita Internetissä lukeneista 42 eli kaksi prosenttia kommentoi lukemaansa. Suurin osa palautteesta koski yksityiskohtia, mutta seitsemää käsikirjoitusta muutettiin annetun avoimen palautteen perusteella (kuva 2). Tutkimuksen tekijöiden mielestä tärkein tulos oli, että artikkeleiden kirjoittajat ja asiantuntijat olivat valmiit avoimeen arviointijärjestelmään altistavathan sekä artikkelin tekijät että omalla nimellään esiintyvät asiantuntijat itsensä julkiselle arvioinnille vielä julkaisemattoman ja usein muutoksia vaativan käsikirjoituksen pohjalta. Jossain määrin MJAtutkimuksen tekijät olivat huolissaan siitä, olisivatko asiantuntijat suostuneet avoimuuteen niiden kirjoitusten osalta, jotka he hylkäsivät. Vaikka Internet-arviointi saattaakin parantaa refereejärjestelmää, ei sekään ole ongelmaton. Käsikirjoituksen huolellinen arviointi vie runsaasti aikaa. Sen lisäksi, että asiantuntija lukee käsikirjoituksen, arvioi sen merkityksen ja tekee tarvittavat korjausehdotukset, hän voi joutua 453

4 Kohdentamatonta mainontaa Artikkelipyyntöjä Virheilmoituksia Kiitoksia/onnitteluja Arvioita artikkeleista Potilaiden kysymyksiä Muita viestejä MJA:lle Mainontaan liittyviä tiedusteluja Pilaviestejä Tilauksia/eripainospyyntöjä %-määrä saadusta sähköpostipalautteesta Kuva 2. Käsikirjoituksista Internetin kautta saatuja palautteita (Bingham ym. 1998). tarkastamaan taustatietoja kirjallisuudesta ja joskus jopa etsimään kirjoittajien yhteyksiä artikkelin aihepiirin kaupallisiin yrityksiin. Esimerkiksi MJA:n tutkimuksessa näyttikin siltä, että Internetin kautta saatu palaute ei olisi yhtä huolellisesti laadittua kuin ennalta valittujen asiantuntijoiden antamat lausunnot. Suurin osa palautteista koski yksityiskohtia ja oli lyhyitä. Määrä tuskin korvaa tässäkään laatua. Refereejärjestelmä taipuu mutta ei katkea Vertaisarvioinnin puolueettomuus ja oikeudenmukaisuus ovat nousseet tutkimusmaailmassa tärkeään asemaan, koska julkaisematon tieto ei ole tiedeyhteisön arvioitavissa ja koska julkaisufoorumi vaikuttaa tutkijan saamiin resursseihin ja tutkimuksen saamaan julkisuuteen. Pienen impaktiluvun lehdessä julkaistut havainnot jäävät usein pimentoon, ja pahimmillaan kilpailevat tutkijat julkaisevat ne myöhemmin näkyvästi alan huippulehdissä ilman viittausta aikaisempaan artikkeliin. Julkaisufoorumi, sen impaktiluku ja eri tutkimusten merkittävyyden vertailu puhuttavat, ja aihetta on käsitelty Duodeciminkin palstoilla (Nieminen ym. 1995, Saksela 1995, Saxén 1997, Tuomisto 1999). Jos anonymiteettiin perustuva asiantuntijajärjestelmä ei kerran ole tyydyttävä, mikä sopisi sen tilalle? Käytännössä vaihtoehtoja on kolme. Täysin avoin Internet-arviointi, nimellä allekirjoitettu asiantuntija-arviointi tai näiden risteytys: allekirjoitettua asiantuntija-arviota seuraava avoin arviointi Internetissä. Ensimmäiselle vaihtoehdolle ei ole ainakaan vielä sovittuja pelisääntöjä, ja se saattaa tuottaa pääasiassa pinnallista palautetta. Toiseen vaihtoehtoon liittyvä huoli puolueellisista tai liian ystävällisistä lausunnoista voi olla liioiteltu, mutta se pitää ottaa ainakin nuorten asiantuntijoiden osalta huomioon. Tästä uhkasta huolimatta BMJ on päättänyt ryhtyä käyttämään nimellä annettaviä asiantuntijalausuntoja sekä ilmoittamaan kirjoittajille, ketkä ovat käsitelleet artikkelia toimituksessa (Smith 1999). Kolmatta vaihtoehtoa ei ole vielä laajasti testattu, ja se saattaa olla hankala toteuttaa niiden artikkeleiden osalta, jotka saavat asiantuntijoilta hylkäystuomion. Mikään nimettömän refereearvioinnin vaihtoehdoista ei ole sellaisenaan kypsä, mutta niiden oivaltava yhdistäminen saattaa olla ratkaisu artikkeleiden oikeudenmukaiseen käsittelyyn tieteellisissä lehdissä. Postilaatikko Duodecimin refereekäytännöstä Duodecim-lehti on käyttänyt nimettömyyteen perustuvaa arviointijärjestelmää 1960-luvulta lähtien (Kontula 1993). Se on lehden tärkeimpiä toimintaperiaatteita ja siksi sitä tulee arvioida. Olemme päättäneet perustaa avoimen Internet-postilaatikon, jonne lukijat voivat lähettää mielipiteensä, kertoa näkemyksensä refereejärjestelmän kehittämisestä ja antaa asiantuntijapalautetta lehdessä julkaistuista artikkeleista. Jatkossa tämä postilaatikko tulee olemaan lehden lukijoiden keskustelufoorumi ajankohtaisista lääketieteellisistä aiheista. Palauteposti on luettavissa lehden kotisivulla. Postilaatikon osoite Internetissä on Palautteen voi lähettää myös lehden toimitukseen osoitteella Liisa Jaatinen, Lääketieteellinen Aikakauskirja Duodecim, PL 713, Helsinki. Käydyn keskustelun jälkeen lehti on valmis kehittämään asiantuntijakäytäntöään mutta ei luopumaan siitä. 454 H. Sariola ja P. Mustonen

5 Kirjallisuutta Bingham C M, Higgins G, Coleman R, Van Der Weyden M B. The Medical Journal of Australia Internet peer-review study. Lancet 1998; 352: Black N, van Rooyen S, Godlee F, Smith R, Evans S. What makes a good reviewer and a good review for a general medical journal? JAMA 1998; 280: Cho M K, Justice A C, Winker M A, ym. Masking author identity in peer review What factors influence masking success? JAMA 1998; 280: Davidoff F. Masking, blinding, and peer review: the blind leading the blinded. Ann Int Med 1998; 128: Fisher M, Friedman S B, Strauss B. The effects of blinding on acceptance of research papers by peer review. JAMA 1994; 272: Godlee F, Gale C R, Martyn C N. Effect on the quality of peer review of blinding reviewers and asking them to sign their reports A randomized controlled trial. JAMA 1998; 280: Goldbeck-Wood S. Evidence on peer review scientific quality control or smokescreen? BMJ 1999; 318: Justice A C, Cho M K, Winker M A, Berlin J A, Rennie D. Does masking author identity improve peer review quality? A randomized controlled trial. JAMA 1998; 280: Kontula K. Nimettömät mutta korvaamattomat tieteellisen lehden asiantuntijat. Duodecim 1993; 109: McNutt M D, Evans A, Fletcher R, Fletcher S. The effects of blinding on the quality of peer review. JAMA 1990; 263: Meldrum M L. A half century of peer review, Bullet History Med 1998; 72: Nylenna M, Riis P, Karlsson Y. Multiple blinded reviews of the same two manuscripts. JAMA 1994; 272: Purcell G P, Donovan S L, Davidoff F. Changes to manuscripts during the editorial process Characterizing the evolution of a clinical paper. JAMA 1998; 280: Roberts J C, Fletcher R H, Fletcher S W. Effects of peer review and editing on the readability of articles published in Annals of Internal Medicine. JAMA 1994; 272: Smith R. Opening up BMJ peer review A beginning that should lead to complete transparency. BMJ 1999; 318: 4 5. Sterling K W. Through a glass darkly: taking a new look at peer review. Am Med Writers Assoc J 1995; 10: van Rooyen S, Godlee F, Evans S, Black N, Smith R. Effect of open peer review on quality of reviews and on reviewers recommendations: a randomised trial. BMJ 1999; 318: van Rooyen S, Godlee F, Evans S, Smith R, Black N. Effect of blinding and unmasking on the quality of peer review A randomized trial. JAMA 1998; 280: HANNU SARIOLA, dosentti, päätoimittaja hannu.sariola@helsinki.fi Lääketieteellinen Aikakauskirja Duodecim PL 713, Helsinki ja Biotekniikan instituutti PL 56, Helsingin yliopisto PEKKA MUSTONEN, LT, toimitussihteeri pekka.mustonen@duodecim.fi Lääketieteellinen Aikakauskirja Duodecim PL 713, Helsinki ja Biolääketieteen laitos PL xx, Helsingin yliopisto 455