Tutkimus ja opetus Matti Isohanni, Henna Kotiranta, Jouko Miettunen, Pentti Nieminen ja Pekka Tienari Vertaisarviointi käyttökelpoinen laadun parantaja ja ylläpitäjä tieteellisessä tutkimuksessa Vertaisarviointi on vakiintunut osa tieteellistä julkaisutoimintaa ja heijastaa tieteelle ominaista itsekriittisyyttä ja itsekorjautuvuutta. Sen tavoitteena on arvioida ja parantaa tieteellisten käsikirjoitusten laatua. Käyttökelpoisuudestaan huolimatta vertaisarviointiin liittyy myös ongelmia ja kehittämistarvetta. Keskustelua ja tieteellistä tutkimusta arviointimenetelmän järjestelyistä ja käyttökelpoisuudesta julkaistaan jatkuvasti. Tutkimustulokset vertaisarvioinnin soveltuvuudesta ja kehittämistarpeesta ovat ristiriitaisia. Arvioinnin laatuun vaikuttavat muun muassa arvioijan motivaatio, arviointiin käytetty aika sekä arvioijan kokemus aiheesta ja arvioinnista. Arvioiden luotettavuutta ja laatua on pyritty parantamaan muun muassa arviointiohjeilla ja arviointiprosessin läpinäkyvyyttä lisäämällä. Vertaisarviointi on edelleen toimiva järjestelmä, mutta sitä voitaisiin kehittää muun muassa mahdollistamalla arviointi tiimissä sekä lisäämällä toimituksen ja arvioijien yhteistyötä. Duodecim 2006;122:913 7 T ieteellinen lehti tarvitsee lukijoita, kirjoittajia, julkaisijan ja arvioijia. Vertaisarviointijärjestelmän (refereejärjestelmä, peer review) vahvuuksia ja rajoituksia on pohdittu ajoittain myös Duodecim lehdessä (Kontula 1993). Sen on todettu olevan tehokas mutta osittain ongelmallinen tapa arvioida julkaisukelpoisuutta ja parantaa käsikirjoitusten laatua (Sariola ja Mustonen 1999). Keskustelu aiheesta on jatkuvasti vilkasta. Viides kansainvälinen vertaisarviointia ja biolääketieteellistä julkaisutoimintaa käsittelevä kongressi pidettiin 16. 18. syyskuuta 2005 Chicagossa (www.ama-assn.org/public/peer/peerhome. htm), ja sen keskeistä sisältöä on kuvattu Fisterin (2005) tuoreessa artikkelissa. On jopa esitetty, että järjestelmä on tulossa tiensä päähän. Vertaisarviointi on»kallis, hidas, subjektiivinen ja vinoutunut, altis väärinkäytöksille, huono havaitsemaan metodisia ongelmia ja miltei kelvoton havaitsemaan tieteellistä petosta ja väärinkäytöksiä» (Godlee ja Jefferson 1999). Arvovaltaisella foorumilla on esitetty, ettei vertaisarvioinnin hyödyllisyydestä tutkimuksen laadun parantajana ole tutkimusnäyttöä (Jefferson ym. 2002). Toisaalta monissa tutkimuksissa arvioinnin on todettu parantaneen artikkelin laatua, luettavuutta ja esitysteknistä tasoa (Goodman ym. 1994, Laine ja Mulrow 2003). Vertaisarvioinnin lähtökohdat Vertaisarviointi on osa tieteellisen ajatteluun ja tiedeyhteisöön kuuluvaa palautetta, kriittisyyttä, kontrollia ja itsekorjautuvuutta (Isohanni 2005). Tieteellisen julkaisun keskeinen tunnusmerkki on läpäisty tiedeyhteisön arviointi. Sen keskeinen tekijä on asiantuntijoilta pyydetty lausunto ja hyväksyntä. Lopputuloksena tuodaan julki uusia tieteellisiä havaintoja ja liitetään ne 913
aiempaan tietoon ja samalla vältetään vääriä tieteellisiä päätelmiä ja esimerkiksi näyttöön perustumattomia hoitokäytäntöjä. Yksi keskeinen virhelähde on alttius aliarvioida toisten tuloksia ja yliarvioida omia. On helppo ymmärtää, että nuori aloitteleva tutkija hyötyy ratkaisevasti vertaisarvioinnista ja kokeneen tutkijakollegan palautteesta. Kuitenkin myös pitkälle edennyt arvostettu tutkija voi hyötyä työnsä kriittisestä arvioinnista, vaikka hänen itserakkautensa saattaa haavoittua siitä ja välitön torjuva reaktio olla yllättävän voimakas. Yleensä ensireaktion jälkeen tunteet tasoittuvat, ja enimmäkseen kirjoittajat ja toimittajat pitävät asiantuntijalausuntoja arvokkaina (Black ym. 1998). Miksi arviointipyyntöön suostutaan? Vertaisarvioijan tehtävä ei ole helppo. Arviointipyyntö hivelee itsetuntoa mutta lisää toisaalta työtaakkaa. Huolellinen arviointi vie aikaa ja vaatii osaamista. Joissakin tutkimuksissa on kuitenkin osoitettu, että arviointiin käytetty aika on yllättävän lyhyt, esimerkiksi kolme tuntia (Snell ja Spencer 2005). Etenkin aloitteleva arvioija kuluttanee paljon enemmän aikaa. Miksi sitten tutkijat vastaavat yleensä myönteisesti arviointipyyntöihin? Yksi vahva motivoiva seikka on oma oppiminen: toisten käsikirjoitusten arviointi on hyvin haastava tehtävä ja pakottaa käyttämään kaiken osaamisen. Toinen peruste voi olla epäitsekäs rakkaus tieteeseen ja syvällinen sitoutuminen tiedeyhteisöön tai tieteelliseen julkaisemiseen (Lock ja Smith 1990). Kiitollisuudenvelka ja solidaarisuus tiedeyhteisölle saattaa olla vahva motivoiva tekijä. Tämän artikkelin kirjoittajien käsikirjoituksia ovat arvioineet sadat ulkomaiset tai suomalaiset arvioijat. Annamme suuren arvon ja kiitoksen kaikille heille ja etenkin heille, joiden arviot ovat olleet korostuneen kriittisiä ja jotka ovat ehdottaneet käsikirjoituksen hylkäämistä ja täten parantaneet pitkällä aikavälillä tuotantomme laatua. Arviointipyyntöön voidaan suostua myös maineen ja kunnian vuoksi, onhan pyyntö tiedeyhteisön arvostuksen merkki. Association of Learned and Professional Society Publishers seuran (ALPSP 2000) selvityksen mukaan arvioijien nimien julkaiseminen vuosittain on lehtien yleisin tapa»palkita» arvioijat. Arvioijia on monenlaisia ja lausuntoja Asiantuntijalausuntoja on monenlaisia. Ilahduttavan usein kohtaa sellaisia arviointeja, joissa aiheeseen syvällisesti perehtynyt arvioija pyrkii selkeästi esittämään käsikirjoituksen ansiot ja antamaan vihjeitä puutteiden parantamiseksi. Tällainen onnellinen tilanne edellyttää sitä, että käsikirjoituksen tieteelliset lähtökohdat ovat kunnossa ja kirjoitus tuo selkeästi esiin uutta tietoa. Edellisen tyypin muunnelmassa arvioija keskittyy tiedeyhteisön kriittisenä portinvartijana käsikirjoituksen puutteiden etsimiseen mutta tuo myös esiin ansiot. Kolmannessa tyypissä asiantuntijalla ei ole syvällistä osaamista, motivaatiota tai aikaa perehtyäkseen käsikirjoitukseen, jolloin lausunto jää pinnalliseksi mutta antaa karkean kuvan kirjoituksen kiinnostavuudesta ja tieteellisestä tasosta. On myös pieni joukko välinpitämättömiä, huolimattomia, ilkeitä tai tietämättömiä arvioijia, jotka eivät kiitosta ansaitse. He ovat opettaneet sen, että kaikki inhimillinen toiminta on vajavaista; myös oma palaute nuoremmille tutkijoille ja tutkijatovereille ei ole aina oikeaa ja solidaarista. Asiantuntijoiden lääketieteen lehdille antamien lausuntojen laatua on myös tutkittu, joskin vähän. Black ym. (1998) saivat yllättäviä tuloksia, joiden mukaan kokeneet tutkijat, esimerkiksi lehden toimituskunnan jäsenet, antavat kirjoittajien mielestä huolimattomia ja ylimalkaisia lausuntoja. Sen sijaan lehden toimittajien kokemusten mukaan erityisesti nuorempien tutkijoiden vertaisarviointi oli laadukasta joskin tehtävä vaatinee heiltä enemmän ponnistusta ja aikaa kuin kokeneilta tieteentekijöiltä. Sekä kirjoittajat että toimittajat pitivät parhaina lausuntoja, joiden antajilla oli myös epidemiologian ja tilastotieteen menetelmien koulutusta. Monet lehdet pyytävät liittämään käsikirjoituksen saatteeseen ehdotuksen arvioijista joskus myös siitä, ketä ei pitäisi pyytää arvioimaan. Ehdotus voi helpottaa toimituksen työtä. Kir 914 M. Isohanni ym.
joittajat saattavat toivoa valitsemiensa arvioijien suhtautuvan käsikirjoitukseen myönteisesti. Alustavan tiedon valossa (Schroter ym. 2004, Wager ym. 2005) näin voi käydäkin. ALPSP:n (2000) selvityksen mukaan arvioijien nimeämisen pyytäminen ei ole kovin yleinen tapa: vain 14 % kyselyyn vastanneista päätoimittajista sanoi käyttävänsä kirjoittajan valitsemaa refereetä. Miten löytää hyviä arvioijia? Pätevien, motivoituneiden ja eettisesti korkeatasoisten arvioijien löytäminen on vertaisarvioinnin lähtökohta. Suomenkielisten lehtien asema voi olla tässä suhteessa vaikeampi kuin ulkomaisten, sillä pienessä maassa huippuosaajia on vähän ja he voivat olla yhteistyökumppaneita tai tieteellisiä kilpailijoita. Toki valistunut ja kokenut tutkija voi usein arvioida etenkin yleislehteen tulevan käsikirjoituksen tasoa ja etenkin kiinnostavuutta tieteen yleisten lainalaisuuksien pohjalta, vaikka hän ei artikkelin aiheesta paljoa tietäisikään tai hän voi kartuttaa tietojaan aihepiiristä tutustumalla siihen. Usean vertaisarvioijan käytöllä pyritään saamaan monipuolinen kuva arvioitavasta käsikirjoituksesta ja välttämään yhden arvioijan mahdollisia rajoituksia. Arvioijien näkemykset eivät usein ole yhdenmukaisia eikä arviointien toistettavuus hyvä (Wessely 1996), eikä arvioita pyytäneen tavoitekaan välttämättä ole saada keskenään samanlaisia arvioita. Usein vertaisarvioijiksi pyydetään menestyviä alueensa johtavia tutkijoita, jotka kuitenkin ovat usein kiireisiä ja monessa mukana. Vaikka tieteen pelisäännöt ovat osin yhteisiä, huippututkija ei välttämättä hallitse kaikkia omankaan alueensa arvioinnissa tarvittavia taitoja. Monet arvioijat tuntevat itsensä yksinäisiksi tässä tehtävässä (Snell ja Spencer 2005). Monet turvautuvat kollegan mielipiteeseen tai neuvoon. Yksi keino helpottaa arvioijien saamista on tehdä arviointeja pareina ja pieninä ryhminä. Tällaista yhteistyötä ja konsultaatiota voisi helpottaa, jos arviointi olisi virallisesti mahdollista tehdä pari tai ryhmätyönä. Tällainen menettely kasvattaisi jälkikasvua, eivätkä arviointipyynnöt kohdistuisi tällöin pelkästään harvalukuiseen huippututkijoiden joukkoon. Eiväthän korkea ikä ja tieteellinen senioriteetti välttämättä liity arviointien hyvään laatuun; jopa päinvastaista tutkimusnäyttöä on olemassa (Evans ym. 1993, Black ym. 1998, Kliewer ym. 2005). Etenkin arvioivan artikkelin aihepiiriin omassa tutkimuksessaan paneutunut väitöskirjantekijä tai väitellyt tutkija voi olla varsin hyvin perehtynyt aiheeseen, jopa paremmin kuin ansioituneempi ohjaajansa tai senioritutkija. Tällainen arvioijapiirin laajentaminen kasvattaa myös nuoren sukupolven taitoja ja potentiaalisten arvioijien lukumäärää. Tällä tavoin nuoret tutkijat valmistautuvat tulevan uransa haasteisiin ja suoriutuvat tehtävistä, joihin he eivät yksin tunne olevansa valmiita (Seals ja Tanaka 2000). Oletamme että arviointi ryhmässä opettaa paremmin kuin lyhyt koulutus, jonka vaikutus voi olla vähäinen (Schroter ym. 2004). Arvioijan ja lehden yhteistyö Arvioijien ja kirjoittajan välille tarvitaan tehokasta toimitustyöskentelyä. Lehtien tulisi vahvistaa ja systematisoida lausuntokäytäntöä. Toimittajan ja toimituskunnan ei ole helppo pitää arvioijia kurissa ja järjestyksessä, etenkään aikataulujen suhteen. Nykyisessä vapaaehtoispohjaisessa mallissa toimitus ei mielellään vai y d i n a s i a t Vertaisarvioinnin tarkoituksena on parantaa tieteellisen tiedon luotettavuutta sekä tutkijakoulutusta. Parhaimmillaan vertaisarviointi on vastavuoroinen palauteprosessi, josta hyötyvät sekä kirjoittajat että arvioijat. Keskeisiä kehittämiskohteita ovat arvioinnin mahdollistaminen tiiminä, arvioijien ja lehtien yhteistyö, arviointikoulutus sekä arviointiprosessin läpinäkyvyys. Vertaisarviointi käyttökelpoinen laadun parantaja ja ylläpitäjä tieteellisessä tutkimuksessa 915
vaa arvioijia kun kerran tai kahdesti. Näin ollen dialogi arvioijien, kirjoittajan ja toimituskunnan välillä jää lyhyeksi. Tämä voi olla yksi syy siihen, että monet kirjoittajat tuntevat tulevansa pakotetuksi muutoksiin, joita he eivät pidä perusteltuina (Bedeian 2003). Lehden toimituskunnan ja arvioijien välille tulisi luoda henkilökohtainen yhteys. Lehdet käyttävät yhä enemmän erilaisia verkko ja sähköpostipohjaisia tapoja pitää yhteyttä arvioijiin. Tämä nopeuttaa prosessia mutta voi huonontaa toimituksen ja arvioijan yhteyttä. On myös tärkeätä löytää oikea arvioija kullekin käsikirjoitukselle. Vaikka tieteen pelisäännöt ovat suhteellisen yhdenmukaisia, itselle vieraan ja etäisen aiheen arviointi jää helposti epätäydelliseksi tai huonoksi. Kirjoittajan ehdottamien arvioijien käyttö on joskus aiheellista etenkin silloin, kun toimituskunnassa ei ole aiheesta syvällistä tietoa. Tämä tietysti edellyttää vilpittömyyttä arvioijien nimeäjältä. Jotta käsikirjoitus löytäisi parhaan mahdollisen arvioijan, tulee toimituskunnan tuntea potentiaalisten arvioijien tiedot ja julkaisuprofiili. Tämä haaste on varsin suuri, eikä sen kohtaamiseen riitä edes kokeneen ja pitkäaikaisen päätoimittajan mielikuva sopivista arvioijista. Koska esimerkiksi tilastollisilla tutkimusmenetelmillä on merkittävä rooli lääketieteen tutkimusjulkaisuissa, niin myös arvioijien joukossa tulisi olla tutkimusalueen menetelmien asiantuntijoita. Näin lehdet voisivat vahvistetun vertaisarvioinnin avulla parantaa artikkeleiden laatua ja havaita paremmin aineiston virheelliseen analysointiin perustuvat päätelmät. Myös vertaisarvioijat tarvitsevat koulutusta ja palautetta lisätäkseen osaamistaan ja säilyttääkseen motivaationsa. ALPSP:n (ALPSP/EASE Peer Review Survey 2000) selvityksen mukaan suurin osa (61 %) arvioijien saamasta palautteesta liittyy artikkelin julkaisemiseen tai julkaisemattomuuteen. Vain 15 % lehdistä antoi arvioijalle palautetta myös arvion laadusta. Usein arvioijilla ei ole minkäänlaista koulutusta tai perehdytystä arvioijan työhön: Snellin ja Spencerin (2005) aineistossa vain 14 % oli saanut muodollista koulutusta vertaisarviointiin mutta 66 % olisi halunnut tällaista koulutusta. Pääosa arvioijista on itseoppineita, jotka haluaisivat oppia tekemään tämän tehtävän paremmin. Suurin osa lehdistä (78 %) lähettää arvioijille arviointilomakkeen, jossa käydään läpi julkaisemiseen ja artikkelin laatuun liittyviä asioita (ALPSP/EASE Peer Review Survey 2000). Frank (1996) tutki ISI listauksen mukaan sadan parhaan lehden ohjeita arvioijille. Eniten arvioijia pyydettiin kiinnittämään huomiota artikkelin hyväksymiseen tai hylkäämiseen, sisällön merkitykseen, laatuun, omaperäisyyteen ja selkeyteen. Puolet lehdistä pyysi lisäksi ottamaan kantaa tulosten järkevyyteen ja artikkelin sopivuuteen kyseisessä lehdessä. Nimetön vai avoin arviointi? Vertaisarviointi suoritetaan nykyään yleensä nimettömänä. Menettelyn teknisiä vaikeuksia on korostettu, ja jopa puolet kirjoittajista on mahdollista tunnistaa nimettömyydestä huolimatta (Fisher 1994, van Rooyen ym. 1998). Tällainen asiantuntijavallan käyttö nimettömänä on varsin poikkeuksellista. Ei ole ongelmatonta tehdä arviointiprosessia avoimemmaksi, mutta tähän suuntaan ollaan menossa. Onpa joissakin lehdissä tehty koko toimitusprosessi avoimeksi julkaisemalla lähetetty käsikirjoitus, arviot ja lopullinen versio. Tätä esimerkiksi British Medical Journalin käyttämää järjestelmää (http:// bmj.bmjjournals.com/advice/peer_review.shtml) perustellaan muun muassa sillä, että tärkeät päätökset pitää tehdä avoimesti ja arvioijat saavat enemmän huomiota tekemästään työstä. Toistaiseksi on ristiriitaisia tuloksia siitä, parantaako (Evans ym. 1993, Williamsson 2003) nimetön arviointi asiantuntijalausuntojen laatua vai ei (van Rooyen ym. 1998). Vertaisarvioinnin tieteellinen tutkimus Tieteelliselle toiminnalle on ominaista itsekriittisyys ja itsearviointi niin myös vertaisarvioinnille. Vertaisarvioinnin laaja tutkimus käynnistyi suhteellisen myöhään, 1990 luvulla (Wessely 1996). Aiheen keskeisistä kysymyksistä saadaan jatkuvasti uutta tutkimustietoa. Uusimpia ver 916 M. Isohanni ym.
taisarvioinnin eri näkökulmia käsitteleviä katsauksia ovat tehneet Rowland (2002) ja Jeffersson ym. (2002). World Association of Medical Editors ylläpitää Locknet verkostoa (www. wame.org/4thprc.htm), joka on epämuodollinen vertaisarvioinnin keskusteluryhmä. Muutaman vuoden välein vertaisarviointia ja biolääketieteellistä julkaisutoimintaa käsittelevä kongressi kokoaa yhteen asiasta kiinnostuneita tutkijoita, ja aihetta tarkastellaan monista näkökulmista (Fister 2005). Lopuksi Tiedeyhteisön tuottama uusi tieto seuloutuu varsin huomattavalta osin vertaisarvioijien kautta. Näiden portinvartijoiden vastuullinen tehtävä erottaa jyvät akanoista on elintärkeä tiedeyhteisön toiminnalle. Kun tiedon määrä kasvaa kovaa vauhtia, jonkinlaista karsintaa on pakko tehdä. Weller (2000) huomauttaakin, että kenelläkään ei olisi aikaa lukea kaikkia huonoja julkaisuja, jos vertaisarvioinnista luovutaan. Nähdäksemme nykyjärjestelmä toimii yllättävän hyvin ja vertaisarvioinnin riskit ennakoimattomuus, kilpailu, kateus, puolueellisuus ja keskeisenä osaamattomuus eivät vakavasti vaaranna tätä toimintaa. Nähdäksemme arvioijat kantavat kohtalaisen kunniakkaasti suurta eettistä ja käytännöllistä vastuutansa eivätkä esimerkiksi arvioinneissaan juuri aja tiedepolitiikkaa tai edustamansa oppisuunnan tai tutkimuslinjan etua. Vaihtoehtoja tulee siltä harkita ja luoda, esimerkiksi lisätä tieteellisesti koulutettujen ammattitoimittajien määrää tieteellisten lehtien toimituksissa. Vertaisarvioijat ovat tiedeyhteisön suola. He maksavat kiitollisuudenvelkaansa ja sitoutumistaan tiedeyhteisöön tällä palkattomalla työllä. He vaikuttavat siihen, mitä me pidämme nykyään tieteellisenä totuutena tai ainakin sen likiarvona. Kirjallisuutta ALPSP/EASE Peer Review Survey. October-November 2000. Saatavissa: http://www.alpsp.org/publications/peerev.pdf. Bedeian AG. The manuscript review process the proper roles of authors, referees and editors. J Manage Inquiry 2003;12:331 8. Black N, van Rooyen S, Goldlee F, Smith R, Evans S. What makes a good reviewer and a good review for a general medical journal? JAMA 1998;280:231 3. Godlee F, Jefferson T. Introduction. Kirjassa: Godlee F, Jefferson T, toim. Peer review in health sciences. Lontoo: BMJ Books, 1999. Goodman SN, Berlin J, Fletcher SW, Fletcher RH. Manuscript quality before and after peer review and editing at Annals of Internal Medicine. Ann Inter Med 1994;121:11 21. Evans A, McNutt R, Fletcher S, Fletcher R. The characteristics of peer reviewers who produce good-quality reviews. J General Internal Med 1993;8:422 48. Fisher M. The effects of blinding on acceptance of research papers by peer review. JAMA 1994;272:143. Fister K. At the frontier of biomedical publication: Chicago 2005. BMJ 2005;331:838 40. Frank E. Editors requests of peer reviewers: a study and a proposal. Prev Med 1996;25:102 4. Isohanni M. Peer review still the well-functioning quality control and enhancer in scientific research. Acta Psychiatr Scand 2005;112:165 6. Jefferson TO, Alderson P, Davidoff F, Wager E. Effects of editorial peer review. A systemic review. JAMA 2002;287:2784 6. Kliewer M, Freed K, DeLong D, Pickhardt P, Provenzale M. Reviewing the reviewers: comparison of review quality and reviewer characteristics at the American Journal of Roentgenology. Am J Roentgenol 2005;184:1731 5. Kontula K. Nimettömät mutta korvaamattomat tieteellisen lehden asiantuntijat. Duodecim 1993;109:2181. Laine C, Mulrow C. Peer review: integral to science and indispensable to annals. Ann Intern Med 2003;139:1038 40. Lock D, Smith J. What do the peer reviewers do? JAMA 1990;263:1341 90. Rowland F. The peer review process. A report to the JISC Scholarly Communication Group, 2002. Saatavissa: http://www.jisc.ac.uk/ uploaded_documents/rowland.pdf. Sariola H, Mustonen P. Artikkeleiden vertaisarviointia tulee kehittää. Duodecim 1999;115:451 5. Seals DR, Tanaka H. Manuscript peer review: a helpful checklist for students and novice referees. Adv Physiol Educ 2000;23:52 8. Schroter S, Black N, Evans S, Carpenter J, Godlee F, Smith R. Effects of training on quality of peer review: randomised controlled trial. BMJ 2004;328:673 7. Snell L, Spencer J. Reviewers perceptions of the peer review process for a medical education journal. Med Educ 2005;39:90 7. van Rooyen S, Godlee F, Evans S, Smith R, Black N. Effect of blinding and unmasking on the quality of peer review. JAMA 1998;280:234 7. Wager E, Parkin EC, Tamber PS. Are reviewers suggested by authors as good as those chosen by editors? Results of a rater blinded retrospective study. http://www.ama-assn.org/public/peer/prc2005prog. pdf. Weller AC. Editorial peer review for electronic journal. Current issues and emerging models. J Am Soc Inf Sci 2000;51:1328 33. Wessely S. What do we know about peer review? Psychol Med 1996;26:883 6. Williamsson A. What will happen to peer review? Learned Publishing 2003;16:15 20. Matti Isohanni, LT, professori, ylilääkäri matti.isohanni@oulu.fi Henna Kotiranta, FM Jouko Miettunen, FT, vanhempi tutkija Pekka Tienari, emeritusprofessori Oulun yliopisto ja Oulun yliopistollinen sairaala, psykiatrian klinikka PL 5000, 90014 Oulun yliopisto Pentti Nieminen, FT, dosentti Oulun yliopisto, lääketieteellinen tiedekunta PL 5000, 90014 Oulun yliopisto Vertaisarviointi käyttökelpoinen laadun parantaja ja ylläpitäjä tieteellisessä tutkimuksessa 917