Selvitys terveydenhuollon yksiköiden tutkimustyöstä vuosilta 2003-2005 Helena Tähtinen Risto-Pekka Happonen BMF ry Syysseminaari 11.11.2009 Tertio, Tampere STM Selvityksiä 2/2009 http://urn.fi/urn:isbn:978-952-00-2756-8
STM:n toimeksianto 19.10.2007 Mihin terveystieteellisen tutkimuksen alueisiin tutkimuspisteet eri erityisvastuualueilla kohdistuvat Erot tutkimuspisteiden määrissä sekä mahdolliset painopiste-erot Selvitystyössä mukana olleet informaatikko Helena Tähtinen, Turun yliopisto lääkintöneuvos Jouko Isolauri, STM professori Risto-Pekka Happonen, Turun yliopisto professori Anja Tuulonen, Oulun yliopisto
Taustaa selvitystyölle EVO-järjestelmän ja rahoituksen kehittäminen (STM 2005:10) Valtiontalouden tarkastusviraston tarkastuskertomus (108/2005) järjestelmältä puuttuvat toimintaa ohjaava strategia ja toiminnalle asetetut tavoitteet kirjaamiskäytäntöjä kehitettävä läpinäkyvyyden varmistamiseksi ja seurannan mahdollistamiseksi tuloksellisuuden arvioinnille välttämätön vertailukelpoinen tieto puuttuu EVO-tutkimusrahoituksen uudistamista selvittänyt työryhmä (STM 2006:43) Uusi terveydenhuoltolaki (STM 2008:20) Epäselvyydet EVO-pisteissä 2007
EVO-pisteiden määräytyminen - EVO-pisteet perustuvat julkaisufoorumin Impact Factor-arvoon (IF) - 3 vuoden jaksotus: 2003-2005, 2006-2008, Julkaisun IF-arvo Kotimaiset julkaisut Kansainväliset julkaisut IF < 1 IF 1 - < 4 IF 4 Väitöskirjat: Monografia Osajulkaisukirja Tutkimuspisteet 0.5 1 2 3 6 1
IF-arvon ja EVO-pisteiden määräytyminen IF-arvo EVO-pisteet Julkaisuvuodet Julkaistut artikkelit n aikakauslehden IF = m / n IF Citation Year 2002 2003 2004 viittaukset m Vuoden 2005 artikkelien EVO-pisteiden perusta on IF-arvo vuonna 2004
Selvityksen aineisto - eritysvastuualueiden EVO-julkaisut 2003-2005 Kotimaiset artikkelit 1 630 Kansainväliset artikkelit 9 100 Väitöskirjat 650 Yhteensä 11 380
Suoritetut analyysit erityisvastuualueittain Analyysi I - 12 200 julkaisua EVO-pisteiden ja EVO-artikkelien määrien jakautuminen terveystieteellisen tutkimuksen alueille - PubMed Journal Subject Terms Analyysi II - 6 360 artikkelia EVO-artikkeleihin tehtyjen viittausten määrän jakautuminen tutkimusaloittain - Web of Science -tietokannat Analyysi III - 5 450 artikkelia EVO-julkaisujen jakautuminen vaikuttavuustasoille (=näytönvahvuustasoille) tutkimusaloittain - Levels of Evidence A D
Analyysi I EVO-piste- ja EVO-artikkelimäärät EVO-julkaisujen sisällön tieteenala vaikeasti määritettävissä Aikakauslehtien tieteenala tai -alat on määritelty PubMedin Journal Subject Terms -asiasanoilla, joka on kliiniseen lääketieteeseen sopivin asiasanasto Artikkeli ja sen antamat EVO-pisteet laskettu mukaan kullekin aikakauslehden tieteenalalle
Analyysi I EVO-piste- ja EVO-artikkelimäärät Yksi artikkeli lehdessä Journal of Neurology, Neurosurgery and Psychiatry, IF 3.122 (2005) artikkeli ja sen pisteet luettu kullekin aikakauslehden tieteenalalle: art.määrä Neurology 1 2 Neurosurgery 1 2 Psychiatry 1 2 3 6 EVO-pisteet Tästä menettelytavasta johtuu, että analyysitulosten artikkeli- ja EVO-pistemäärät ovat laskennallisia, eivät todellisia ilmoitettuja määriä
Analyysi II viittausmäärät Selvitettiin EVO-julkaisujen saamien viittausmäärien keskiarvot tieteenaloittain kahdelta vuodelta julkaisuvuoden jälkeen Vertailukohtana on EVO-pisteen määräytymisvuoden julkaisufoorumien IF-arvot Saavuttavatko tieteenalan artikkelit sen viittausmäärän, joka on ollut perustana niiden saamalle EVOpistemäärälle? Julkaisuvuodet IF Citation Year Julkaisuvuosi Viittausvuodet 2001 2002 2003 2004 2005 2006 2007 2008 julk.artikkelit n < viittaukset m julk.artikkelit a < viittaukset b aikakauslehden IF =m / n viittausten k.a. =b / a
Analyysi III näytönvahvuustasot Vaikuttavuustasot lääketietieteellisessä kirjallisuudessa (Oxford Centre for EBM Levels of Evidence 2001) A - Systematic Reviews of Randomized Controlled Trials B - Randomized Controlled Trials C - Clinical Controlled Trials, Cohort Studies, ym - tarkemmin raportissa D - Case Reports ym D-tason määrittely tämän selvityksen keinoilla epäluotettava ei mukana selvityksessä Näytönvahvuustasojen määrittämiseksi luotiin vastaavat hakulausekkeet, joita käytettiin hakusuodattimina PubMed-tietokannassa Selvitettiin, kuinka monta prosenttia kukin alan julkaisuista sijoittuu näytönvahvuustasoille A C
Tulokset, analyysi I Kymmenen kärkitieteenalaa EVO-pistemäärän mukaan Koko maa 1. Neurology 2. Neoplasms 3. Endocrinology 4. Vascular Diseases 5. Medicine 6. Allergy & Immunology 7. Molecular Biology 8. Genetics, Medical 9. Psychiatry 10. Pediatrics Artikkelimäärän mukaan Koko maa 1. Neurology 2. Neoplasms 3. Endocrinology 4. Vascular Diseases 5. Pediatrics 6. Psychiatry 7. Cardioloy 8. Medicine 9. Allergy & Immunology 10. Biochemistry
1400 1355 1283 Analyysi I EVO-pistemäärät erityisvastuualueittain 1200 1128 Koko maa EVOpisteet HYKS 1000 915 KYS TAYS 800 761 TYKS 704 625 623 616 608 600 567 562 558 443 437 420 405 387 400 367 333 325 304 304 278 272 200 0 Neurology Neoplasms Endocrinology VascDiseases Medicine Allerg & Immuol Molecular Biology Genetics, Medical Psychiatry Pediatrics Cardiology Biochemistry Metabolism Gastroenterology Brain Pharmacology Surgery Pathology Rheumatology Anesthesiology Nutrit Sciences Cytology Physiology Orthopedics Commun Diseases
700 690 Analyysi I EVO-artikkelimäärät erityisvastuualueittain 600 578 528 Koko m a a - artikkelit HYKS 500 500 KYS TAYS 400 402 391 382 378 376 TYKS O YS 337 328 297 300 286 285 249 229 229 227 199 197 200 186 185 184 182 177 100 0 Neurology Neoplasms Endocrinology Vasc Diseases Pediatrics Psychiatry Cardiology Medicine Allerg & Immuol Biochemistry Surgery Molecular Biology Genetics, Medical Metabolism Dentistry Gastroenterology Pathology Pharmacology Physiology Rheumatology Brain Anesthesiology Orthopedics Nutrit Sciences Gynecology
700 600 500 400 300 200 100 0 Neoplasms Endocrinology Neurology Vasc Diseases Genetics, Med Medicine Mol Biology HYKS Allerg &Immunol Psychiatry Biochemistry Metabolism Gastroenterol HYKS EVO-pisteet 2003-05 HYKS artikkelit 2003-05 Brain Pediatrics Surgery Ophthamology Cardiology Transplantation Cytology Pathology 350 300 250 200 150 100 50 Neurology Endocrinology Vasc Diseases Neoplasms Metabolism Cardiology 0 Psychiatry Medicine Brain KYS Mol Biology Pediatrics Physiology Genetics, Med Allerg &Immunol Orthopedics Nutrit Sciences Biochemistry KYS EVO-pisteet 2003-05 KYS artikkelit 2003-05 Rheumatology Pharmacology Pathology Analyysi I EVO-piste- ja artikkelimäärät erityisvastuualueittain 300 250 200 150 100 Neoplasms Neurology Allerg &Immunol Biochemistry Medicine Endocrinology Mol Biology Vasc Diseases Gastroenterol 50 0 TAYS Pediatrics Urology Genetics, Med Psychiatry Metabolism Cardiology TAYS EVO-pisteet 2003-05 TAYS artikkelit 2003-05 Surgery Pharmacology Orthopedics Pathology Pulm Disease (Spec) 300 250 200 150 100 50 0 Neurology Neoplasms Endocrinology Pediatrics Allerg &Immunol Vasc Diseases Cardiology TYKS Psychiatry Medicine Pharmacology Comm Diseases Metabolism Mol Biology Physiology TYKS EVO-pisteet 2003-05 TYKS artikkelit 2003-05 Biochemistry Cytology Microbiology Drug Therapy Genetics, Med Rheumatology
Analyysi I EVO-artikkelimäärä OYSin erityisvastuualueella 120 100 OYS OYS artikkelit artikkelit 2003-05 80 60 40 20 0 Vascular Diseases Cardiology Dentistry Biochemistry Endocrinology Neurology Surgery Medicine Psychiatry Pediatrics Neoplasms Metabolism Physiology Molecular Biology Genetics, Medical Allerg & Immunol Orthopedics Pathology Gynecology Obstetrics
HYKS KYS Analyysi II vuoden 2005 julkaisujen viittausmäärät TAYS TYKS
EVO-pisteet 700 600 500 400 300 200 100 0 Neoplasms Endocrinology Neurology Vasc Diseases Genetics, Med Medicine 50 % 300 HYKS 2003-05 KYS 2003-05 Mol Biology Allerg&Immunol Psychiatry Biochemistry Metabolism Gastroenterol Pediatrics Surgery Brain 70 % HYKS 2003-05 KYS 2003-05 60 % 40 % 30 % 20 % 10 % 0 % %-osuus Vaikuttavuustasojen A, B ja C artikkelien %- osuus EVO-pistemäärä Analyysi III - näytönvahvuustasot (julkaisuista 46 % tasoilla A C) EVO-pisteet 400 350 250 200 150 100 50 0 Neurology Endocrinology Vasc Diseases Neoplasms Metabolism Cardiology Psychiatry Medicine Brain Biochemistry Mol Biology Pediatrics Physiology Genetics, Med Nutrit Sciences 70 % 60 % 50 % 40 % 30 % 20 % 10 % 0 % %-osuus Vaikuttavuustasojen A, B ja C artikkelien %- osuus EVOpistemäärä 300 250 70 % TAYS 2003-05 TAYS 2003-05 TYKS 2003-05 60 % 300 250 70 % 60 % EVO-pisteet 200 150 100 50 % 40 % 30 % 20 % %-osuus EVO-pisteet 200 150 100 50 % 40 % 30 % 20 % %-osuus 50 10 % 50 10 % 0 Neoplasms Neurology Allerg&Immunol Biochemistry Medicine Endocrinology Mol Biology Vasc Diseases Gastroenterol Pediatrics Urology Genetics, Med Psychiatry Metabolism Cardiology 0 % Vaikuttavuustasojen A, B ja C artikkelien %- osuus EVO-pistemäärä 0 Neurology Neoplasms Endocrinology Pediatrics Allerg &Immunol Vasc Diseases Cardiology Psychiatry Medicine Pharmacology Comm Diseases Metabolism Mol Biology Physiology Biochemistry 0 % Vaikuttavuustasojen A, B ja C artikkelien %- osuus EVO-pistemäärä
Pohdintaa ja johtopäätöksiä - 1 Vaikeudet tietojen saamisessa ja erot niiden rekisteröintitavoissa haittasivat selvitystyön tekemistä julkinen valtakunnallinen julkaisurekisteri välttämätön JULKI-tietokanta? kirjaukset määrämuotoisina sähköisinä tietueina Käytettyihin menetelmiin liittyvät ongelmat tieteenalojen määrittely pisteiden ja julkaisujen jakaminen tieteenaloille mahdotonta näytönvahvuustasojen kattava määrittely vaikeaa (esimerkiksi taso D)
Pohdintaa ja johtopäätöksiä -2 EVO-pisteisiin (eli IF-arvoon) ja julkaisujen näytönvahvuustasoihin perustuvat analyysit antavat toistaan poikkeavat tulokset IF-arvoon perustuva tuloksellisuuden arviointi suosii perustutkimusta, suuria erikoisaloja ja tutkimuksen muotialoja osa terveystieteellisestä tutkimuksesta jää tämän järjestelmän ulkopuolelle Näytönvahvuuteen perustuva arviointi keskittyy kliiniseen lääketieteeseen kaikki erikoisalat ovat samanvertaisia mm. laboratorio- ja koe-eläintutkimukset jäävät ulkopuolelle
Evo-pisteet/artikkelien määrä 1600 1400 1200 1000 800 600 400 200 0 400 350 300 250 200 150 100 50 0 Aikakausilehtien lukumäärä Neurology Neoplasms Endocrinology Vascular Medicine Allerg & Immunol Molecular Genetics, Psychiatry P ediatrics Cardiology B iochem istry Metabolism Gastroenterology B rain Pharmacology S urgery Pathology Rheumatology Anesthesiology PubMed Current Journals EVO-pistemäärä 2003-05 Artikkelimäärä 2003-05 20 kärkitieteenalan tuottamat EVO-pisteiden ja EVO-artikkelien määrät ja vuosina 2003 2005 ja näiden alojen aikakauslehtien lukumäärät PubMedtietokannassa.
IF-pistejärjestelmän heikkoudet Todettu huonosti sopivaksi tieteellisten julkaisujen arviointiin Viittausmäärän keskiarvon käyttö peittää yksittäisten julkaisujen viittausten määrissä olevat erot vääristää julkaisujen välistä vertailua Huomioi vain yhden vuoden aikana tehdyt viittaukset (Short Citation Window) Ei tee eroa alkuperäis- ja katsausartikkelien välillä Ei määrittele minkälaisiin kirjoituksiin viittaukset on tehty Ottaa mukaan myös myös negatiiviset viittaukset Ei huomioi eri tutkimusalojen välisiä eroja ei sovellu eri tutkimusalojen ja erikoisalojen väliseen vertailuun IF-arvon käytöstä hyötyvät erityisesti tutkimuksen muoti- ja valta-alueet ja suuret erikoisalat IF-arvo ei kerro mitään tutkimustulosten näytönvahvuudesta, tai merkityksestä terveydenhuollossa
Lopuksi Tutkimustyön tuloksellisuuden arviointi ei ole mahdollista, mikäli ei samalla huomioida resursseja, joilla tutkimustuotos on saatu aikaan. STM Selvityksiä 2/2009 http://urn.fi/urn:isbn:978-952-00-2756-8 11.11.09
Lopuksi Tutkimustyön tuloksellisuuden arviointi ei ole mahdollista, mikäli ei samalla huomioida resursseja, joilla tutkimustuotos on saatu aikaan. STM Selvityksiä 2/2009 http://urn.fi/urn:isbn:978-952-00-2756-8
Kiitokset informaatikko Liisa Salmi, emerita, Kuopion yliopisto informaatikko Ulla Neuvonen, Helsingin yliopisto, Terkko informaatikko Tuulevi Ovaska, Kuopion yliopisto informaatikko Leena Lodenius, Suomalainen Lääkäriseura Duodecim systeemisuunnittelija Marko Sormunen, Kuopion yliopisto JULKI-tietokannan ylläpito toimistosihteeri Johanna Lehtilä, TYKS, suusairauksien klinikka Turun yliopiston kirjaston henkilökunta, yms