Järjestelmällisen katsauksen arviointi Antti Malmivaara, LKT, dosentti, ylilääkäri THL/Terveys- ja sosiaalitalouden yksikkö
Sidonnaisuudet Terveyden ja hyvinvoinnin laitos, terveys- ja sosiaalitalous -yksikkö, ylilääkäri Terveys- ja sosiaalitalouden uutiskirje OPTIMIn päätoimittaja Suomalainen Lääkäriseura Duodecim, Käypä hoito toimittaja, Käypä kuntoutus työryhmä STM, Palveluvalikoimaneuvoston Tules-jaos; Näyttöpääte European Academy of Rehabilitation Medicine Cochrane Rehabilitation Field, Member of the Executive Committee, Head of the Methodology Committee Cochrane Back and Neck Review Group, Editorial Board Sairaala ORTON, tieteellisen yksikön johtoryhmä Fysiatriyhdistys, Terveystaloustieteen seura ja Lääketieteen filosofian seura 21.9.2017 Antti Malmivaara
Näytön hierarkia (Guyatt G. 2005) Meta-analysis of RCTs Systematic review of RCTs Individual RCT Observational studies patient-important outcomes Basic research test tube, animal, human physiology Clinical experience
Arkivaikuttavuuden lääketiede Vertaiskehittäminen Muilta oppiminen Laatu Suoriutuminen arjessa Näyttöön perustuva lääketiede Uusin tutkimustieto Osaaminen Vaikuttavuuden ja tasa-arvoisen hoidon perusta Malmivaara A. Real-Effectiveness Medicine pursuing the best effectiveness in the ordinary care of patients. Annals of Medicine 2013;45:103-106. 21.9.2017 Antti Malmivaara, Käypä hoito/ THL
Vertaiskontrolloidut kokeet Vertaiskehittäminen Muilta oppiminen Laatu Suoriutuminen arjessa Satunnaistetut kokeet Näyttöön perustuva lääketiede Uusin tutkimustieto Osaaminen Vaikuttavuuden ja tasa-arvoisen hoidon perusta Malmivaara A. Real-Effectiveness Medicine pursuing the best effectiveness in the ordinary care of patients. Annals of Medicine 2013;45:103-106. 21.9.2017 Antti Malmivaara, Käypä hoito/ THL
Archie Cochrane It is surely a great criticism of our profession that we have not organised a critical summary, by specialty or sub-specialty, adapted periodically, of all relevant randomized controlled trials Antti Malmivaara, Käypä hoito/ THL
International non-profit organization that prepares, maintains, and disseminates systematic up-to-date reviews of health care interventions. 21.9.2017 Antti Malmivaara, Käypä hoito/ THL
Cochrane Collaboration Review Groups 51 Centres 14 Fields 11 Steering Group Consumer Network Methods Groups 11 21.9.2017 Antti Malmivaara, Käypä hoito/ THL
Cochrane Rehabilitation Mission and Vision Stefano Negrini Chair of Physical and Rehabilitation Medicine University of Brescia, Don Gnocchi Foundation Director of Cochrane Rehabilitation Trusted evidence. Informed decisions. Better health.
Methodology Committee Antti Malmivaara, MD, PhD, Chief Physician National Institute for Health and Welfare Finland Trusted evidence. Informed decisions. Better health.
Systematic review A systematic review is a review of a clearly formulated question that uses systematic and explicit methods to identify, select, and critically appraise relevant research, and to collect and analyze data from the studies that are included in the review. Statistical methods (meta-analysis) may or may not be used to analyze and summarize the results of the included studies. Meta-analysis refers to the use of statistical techniques in a systematic review to integrate the results of included studies. Liberati A, et al. (2009) The PRISMA Statement for Reporting Systematic Reviews and Meta-Analyses of Studies That Evaluate Health Care Interventions: Explanation and Elaboration. BMJ 2009;339:b2700 Antti Malmivaara, Käypä hoito/ THL
Järjestelmällisen katsauksen toteutus 1. Tutkimuskysymyksen määrittely 2. Sisäänotto- ja poissulkukriteerien määrittely 3. Kirjallisuushaku ja artikkelien valinta 4. Tiedon uuttaminen ja luotettavuuden arvioiminen 5. Tutkimustulosten yhdistäminen (laadullinen tai meta-analyysi) 6. Johtopäätökset 21.9.2017 Antti Malmivaara, Käypä hoito/ THL
Järjestelmällisen katsauksen arviointi I. Tutkimuskysymys (PICOS) II. Katsauksen pätevyys. III. Tutkimustulosten suuruus ja tarkkuus IV.Sovellettavuus hoitopäätöksissä. Antti Malmivaara, Käypä hoito/ THL
I Tutkimuskysymys Vaikuttavuutta arvioitaessa tutkimuskysymys sisältää seuraavat osat: PICOS = patient, intervention, control intervention, outcome, study design. minkälaisia potilaita tutkimukseen otettiin (P) mikä oli intervention (interventioiden) sisältö (I) mikä oli vertailuintervention sisältö (C) millä mittareilla vaikuttavuutta mitattiin (mitä tulosmuuttujia käytettiin) (O) onko tutkimusasetelma soveltuva (S) 21.9.2017 Antti Malmivaara, Käypä hoito/ THL
II Ovatko katsauksen tulokset päteviä (valideja)? 1) Esitettiinkö katsauksessa rajattu kliininen kysymys? Vaikuttavuustutkimuksessa tutkimuskysymys määritellään PICO-käsitteen mukaisesti (patient, intervention, control intervention, outcome). PICO-määrittelyn perusteella kliinisesti yhtenäisinä pidettävät tutkimukset otetaan katsauksen piiriin. 2) Valittiinko katsaukseen tutkimusasetelmaltaan luotettavimmat julkaisut? Hoidon, kuntoutuksen ja prevention vaikuttavuutta, diagnoosia, haittaa ja ennustetta koskevissa tutkimuskysymyksissä asianmukaiset tutkimusasetelmat. 21.9.2017 Antti Malmivaara, Käypä hoito/ THL
II Ovatko katsauksen tulokset päteviä (valideja)? (2) 3) Onko todennäköistä, että kaikki tärkeät tutkimukset ovat mukana katsauksessa? Laaja kirjallisuushaku tärkeimmistä sähköisistä tietokannoista: MEDLINE, Cochrane Library, Web of Science. Katsaukseen sisällytettyjen artikkeleiden kirjallisuusviitteet tulee tutkia ja tarvittaessa ottaa yhteyttä alan asiantuntijoihin ja tutkijoihin. Kirjallisuushaussa käytetyt lähteet ja hakustrategia tulee kuvata. Julkisia tutkimustietokantoja (esim. www.clinicaltrials.gov) voi hyödyntää "negatiivisten" tulosten omaavien tutkimusten löytämiseksi. 21.9.2017 Antti Malmivaara, Käypä hoito/ THL
II Ovatko katsauksen tulokset päteviä (valideja)? (3) 4) Arvioitiinko mukaan otettujen tutkimusten pätevyys? Katsaukseen sisällytettyjen julkaisujen laatu (pätevyys, validiteetti) tulee arvioida yksityiskohtaisesti. Pätevyyden arviointi kriteerit ovat samat kuin hoidon ja prevention vaikuttavuutta, diagnoosia, haittaa ja ennustetta koskevien alkuperäistutkimusten laatukriteerit. 5) Onko tutkimusten arviointi toistettavissa? Alkuperäistutkimusten valinnan, katsaukseen sisällytettävien tutkimusten sisällön kuvaamisen sekä laadun arvioinnin tulee perustua ennalta määriteltyihin ja riittävän yksiselitteisiin kriteereihin. Vähintään kahden tutkijan toisistaan riippumatonta arviointia edellytetään. 21.9.2017 Antti Malmivaara, Käypä hoito/ THL
II Ovatko katsauksen tulokset päteviä (valideja)? (4) 6) Käytettiinkö meta-analyysissa yksilötason vai julkaisutason dataa? Useimmiten meta-analyysissa hyödynnetään julkaistuista alkuperäisartikkeleista saatavaa informaatiota eikä kuhunkin tutkimukseen sisältyvien yksittäisten potilaiden tietoja ole analyysia varten käytettävissä. Yksittäisten potilaiden tietoihin (IPD = individual patient data) perustuvaan meta-analyysiin voidaan sisällyttää juuri tietyt kriteerit täyttävät potilaat, mikä mahdollistaa luotettavampien alaryhmäanalyysien tekemisen. 21.9.2017 Antti Malmivaara, Käypä hoito/ THL
Potential sources of bias in trials
Funnel plot kuvio ei viitettä julkaisuharhasta Turlik M. Evaluating the results of a Systematic Review/Meta-Analysis: Foot and Ankle Online Journal 2009;2:5 Antti Malmivaara, Käypä hoito/ THL
Funnel plot kuvio viite julkaisuharhasta Antti Malmivaara, Käypä hoito/ THL Turlik M. Evaluating the results of a Systematic Review/Meta-Analysis: Foot and Ankle Online Journal 2009;2:5
III Mitkä olivat tulokset? 1) Mitkä olivat tulokset? Olivatko tulokset samankaltaisia eri tutkimuksissa? Tutkimuksen tulosta kutsutaan pisteestimaatiksi ja sen lukuarvo kertoo esimerkiksi hoidon vaikuttavuuden määrän. Meta-analyysissa piste-estimaattia laskettaessa tutkimukset saavat niiden koon mukaisen painoarvon. Painoarvoon vaikuttavat sekä tutkimuksen potilasmäärät että tulostapahtumien lukumäärä. Laadultaan tasokkaat ja heikkotasoiset tutkimukset on yleensä syytä arvioida erikseen ja perustaa johtopäätökset laadukkaiden tutkimusten tuottamiin meta-analyysin tuloksiin. Antti Malmivaara, Käypä hoito/ THL
III Mitkä olivat tulokset? (2) 2) Mitkä olivat tutkimuksen tulokset? Kliininen merkittävyys Tilastollinen merkitsevyys on perusedellytys, mutta tuloksen kliininen merkittävyys tulisi myös arvioida. Merkittävyyttä arvioidaan vaikuttavuustutkimuksessa esimerkiksi hoitoryhmien välisen eron suuruuden (jatkuva muuttuja) perusteella tai number needed to treat luvun avulla, kun kyse on esimerkiksi sydäninfarktin ilmaantumisesta (dikotominen muuttuja). Myös jatkuvan muuttujan kohdalla voidaan käyttää NNTlukuja: kuinka monta prosenttia hoito- ja vertailuryhmässä sai kliinisesti merkittävän hyödyn ja kuinka monella tila parani vähämerkitykselliseksi. 21.9.2017 Antti Malmivaara, Käypä hoito/ THL
III Mitkä olivat tulokset? (3) 3) Kuinka tarkkoja tulokset olivat? Tuloksen tarkkuus kuvataan kuten alkuperäistutkimuksissa 95 %:n luottamusvälillä. 21.9.2017 Antti Malmivaara, Käypä hoito/ THL
Routine Specific Rare/Never Experimental Not Mentioned Cumulative Year RCTs Trombolyysihoito, sydäninfarkti Pts 0.5 1.0 2.0 Textbook/Review Recommendations 1 23 191960 60 2 65 1965 1965 3 149 21 191970 70 4 316 7 1793 1 5 10 10 2544 11 2651 15 3311 17 3929 22 5452 P<.01 1 2 2 8 7 1980 191985 85 1990 21.9.2017 23 5767 27 6125 30 6346 33 6571 43 21 059 54 22 051 65 47 185 67 47 531 70 48 154 P<.001 P<.00001 Odds Ratio (Log Scale) Favours Treatment Favours Control M M M M M M 5 15 6 1 1 1 2 8 1 8 7 2 8 12 4 3 1 1
IV Onko tuloksista apua hoitopäätöksissä? 1) Voidaanko tuloksia soveltaa omiin potilaisiini? Vastausta voidaan hakea arvioimalla tutkimuspotilaiden, interventioiden, diagnostisen testin tai haittatekijän sekä käytetyn tulosmittarin merkitystä omassa potilastyössä. Onko hoidossani samanlaisia potilaita, joiden hoitovaihtoehdot ovat samankaltaiset kuin meta-analyysissa tutkittujen? Kysymyksen voi esittää myös toisin päin: eroavatko potilaani niin paljon meta-analyysin potilaista, että tulokset eivät ole omiin potilaisiini sovellettavissa? 21.9.2017 Antti Malmivaara, Käypä hoito/ THL
IV Onko tuloksista apua hoitopäätöksissä? (2) 2) Onko tämä hoito toteutettavissa omassa hoitoyksikössäni? 3) Otettiinko kaikki potilaani kannalta tärkeät hyödyt ja haitat huomioon? Vaikka katsausartikkelin tulokset ovat usein pätevämpiä kuin yksittäisten tutkimusten, voi katsauksista puuttua kokonaan tärkeitä hyötyjä tai haittoja, jolloin tulosten soveltaminen voi olla epävarmaa. 4) Mitkä ovat potilaani arvot ja odotukset hoidon hyödyistä ja haitoista? Hyötyjä ja haittoja koskevan näytön lisäksi olennaista on potilaan oma käsitys lopputulosten merkityksestä hänelle itselleen. 21.9.2017 Antti Malmivaara, Käypä hoito/ THL
Näytön asteen luokitus A Vahva tutkimusnäyttö Vähintään kaksi tasokasta tutkimusta, joiden tulokset ovat samansuuntaiset. B Kohtalainen tutkimusnäyttö Tasokkaita tutkimuksia on vain yksi tai useita, mutta tuloksissa on vähäistä ristiriitaa tai useita kelvollisia tutkimuksia, joiden tulokset ovat samansuuntaiset. C Niukka tutkimusnäyttö Tutkimusten tuloksissa on merkittävää ristiriitaa tai kelvollisia kontrolloituja tutkimuksia on ainakin yksi. D Ei tutkimusnäyttöä Kliinisiä tutkimuksia ei ole olemassa tai ne ovat menetelmällisesti heikkoja.
Suora vertailu, epäsuora vertailu ja verkostometa-analyysi Antti Malmivaara, Käypä hoito/ THL
Verkostometa-analyysi Jos saatavilla on sekä suoraan että epäsuoraan vertailuun perustuvaa tutkimusnäyttöä, nämä tulokset on mahdollista yhdistää verkostometa-analyysin (network analysis tai mixed-treatment comparison) avulla. Tilastollinen tarkkuus lisääntyy potilaisaineiston kasvamisen myötä. Verkostometa-analyysin tulokset voivat olla harhaisia, koska kaikki vertailut eivät perustu satunnaistettuun asetelmaan. Antti Malmivaara, Käypä hoito/ THL
Järjestelmällisen katsausten johtopäätösten tulee perustua: 1. Samaa kysymystä selvittäneisiin tutkimuksiin 2. Kunkin alkuperäistutkimuksen sisäiseen pätevyyteen luotettavimmat ratkaisevat 3. Julkaisuharhan olemassaoloon tai riskiin (poisjääneiden/-jätettyjen tutkimusten tulokset usein erilaisia) Malmivaara A. Methodological considerations of the GRADE method. Ann Med. 2015;47:332-40. Antti Malmivaara, Käypä hoito/ THL
Tarkistuslista järjestelmällisille katsauksille: PRISMA statement 21.9.2017 Antti Malmivaara, Käypä hoito/ THL
PRISMA vuokaavio 21.9.2017 Antti Malmivaara, Käypä hoito/ THL
PRISMA: tarkistuslista 21.9.2017 Antti Malmivaara, Käypä hoito/ THL
PRISMA: tarkistuslista 21.9.2017 Antti Malmivaara, Käypä hoito/ THL
21.9.2017 Anttti Malmivaara, CHESS/THL
21.9.2017 Anttti Malmivaara, CHESS/THL
21.9.2017 Anttti Malmivaara, CHESS/THL
Kiitos!