Järjestelmällisen katsauksen arviointi. Antti Malmivaara, LKT, dosentti, ylilääkäri THL/Terveys- ja sosiaalitalouden yksikkö

Transkriptio

1 Järjestelmällisen katsauksen arviointi Antti Malmivaara, LKT, dosentti, ylilääkäri THL/Terveys- ja sosiaalitalouden yksikkö

2 Sidonnaisuudet Terveyden ja hyvinvoinnin laitos, terveys- ja sosiaalitalous -yksikkö, ylilääkäri Terveys- ja sosiaalitalouden uutiskirje OPTIMIn päätoimittaja Suomalainen Lääkäriseura Duodecim, Käypä hoito toimittaja, Käypä kuntoutus työryhmä STM, Palveluvalikoimaneuvoston Tules-jaos; Näyttöpääte European Academy of Rehabilitation Medicine Cochrane Rehabilitation Field, Member of the Executive Committee, Head of the Methodology Committee Cochrane Back and Neck Review Group, Editorial Board Sairaala ORTON, tieteellisen yksikön johtoryhmä Fysiatriyhdistys, Terveystaloustieteen seura ja Lääketieteen filosofian seura Antti Malmivaara

3 Näytön hierarkia (Guyatt G. 2005) Meta-analysis of RCTs Systematic review of RCTs Individual RCT Observational studies patient-important outcomes Basic research test tube, animal, human physiology Clinical experience

4 Arkivaikuttavuuden lääketiede Vertaiskehittäminen Muilta oppiminen Laatu Suoriutuminen arjessa Näyttöön perustuva lääketiede Uusin tutkimustieto Osaaminen Vaikuttavuuden ja tasa-arvoisen hoidon perusta Malmivaara A. Real-Effectiveness Medicine pursuing the best effectiveness in the ordinary care of patients. Annals of Medicine 2013;45: Antti Malmivaara, Käypä hoito/ THL

5 Vertaiskontrolloidut kokeet Vertaiskehittäminen Muilta oppiminen Laatu Suoriutuminen arjessa Satunnaistetut kokeet Näyttöön perustuva lääketiede Uusin tutkimustieto Osaaminen Vaikuttavuuden ja tasa-arvoisen hoidon perusta Malmivaara A. Real-Effectiveness Medicine pursuing the best effectiveness in the ordinary care of patients. Annals of Medicine 2013;45: Antti Malmivaara, Käypä hoito/ THL

6

7 Archie Cochrane It is surely a great criticism of our profession that we have not organised a critical summary, by specialty or sub-specialty, adapted periodically, of all relevant randomized controlled trials Antti Malmivaara, Käypä hoito/ THL

8 International non-profit organization that prepares, maintains, and disseminates systematic up-to-date reviews of health care interventions Antti Malmivaara, Käypä hoito/ THL

9 Cochrane Collaboration Review Groups 51 Centres 14 Fields 11 Steering Group Consumer Network Methods Groups Antti Malmivaara, Käypä hoito/ THL

10 Cochrane Rehabilitation Mission and Vision Stefano Negrini Chair of Physical and Rehabilitation Medicine University of Brescia, Don Gnocchi Foundation Director of Cochrane Rehabilitation Trusted evidence. Informed decisions. Better health.

11 Methodology Committee Antti Malmivaara, MD, PhD, Chief Physician National Institute for Health and Welfare Finland Trusted evidence. Informed decisions. Better health.

12 Systematic review A systematic review is a review of a clearly formulated question that uses systematic and explicit methods to identify, select, and critically appraise relevant research, and to collect and analyze data from the studies that are included in the review. Statistical methods (meta-analysis) may or may not be used to analyze and summarize the results of the included studies. Meta-analysis refers to the use of statistical techniques in a systematic review to integrate the results of included studies. Liberati A, et al. (2009) The PRISMA Statement for Reporting Systematic Reviews and Meta-Analyses of Studies That Evaluate Health Care Interventions: Explanation and Elaboration. BMJ 2009;339:b2700 Antti Malmivaara, Käypä hoito/ THL

13 Järjestelmällisen katsauksen toteutus 1. Tutkimuskysymyksen määrittely 2. Sisäänotto- ja poissulkukriteerien määrittely 3. Kirjallisuushaku ja artikkelien valinta 4. Tiedon uuttaminen ja luotettavuuden arvioiminen 5. Tutkimustulosten yhdistäminen (laadullinen tai meta-analyysi) 6. Johtopäätökset Antti Malmivaara, Käypä hoito/ THL

14 Järjestelmällisen katsauksen arviointi I. Tutkimuskysymys (PICOS) II. Katsauksen pätevyys. III. Tutkimustulosten suuruus ja tarkkuus IV.Sovellettavuus hoitopäätöksissä. Antti Malmivaara, Käypä hoito/ THL

15 I Tutkimuskysymys Vaikuttavuutta arvioitaessa tutkimuskysymys sisältää seuraavat osat: PICOS = patient, intervention, control intervention, outcome, study design. minkälaisia potilaita tutkimukseen otettiin (P) mikä oli intervention (interventioiden) sisältö (I) mikä oli vertailuintervention sisältö (C) millä mittareilla vaikuttavuutta mitattiin (mitä tulosmuuttujia käytettiin) (O) onko tutkimusasetelma soveltuva (S) Antti Malmivaara, Käypä hoito/ THL

16 II Ovatko katsauksen tulokset päteviä (valideja)? 1) Esitettiinkö katsauksessa rajattu kliininen kysymys? Vaikuttavuustutkimuksessa tutkimuskysymys määritellään PICO-käsitteen mukaisesti (patient, intervention, control intervention, outcome). PICO-määrittelyn perusteella kliinisesti yhtenäisinä pidettävät tutkimukset otetaan katsauksen piiriin. 2) Valittiinko katsaukseen tutkimusasetelmaltaan luotettavimmat julkaisut? Hoidon, kuntoutuksen ja prevention vaikuttavuutta, diagnoosia, haittaa ja ennustetta koskevissa tutkimuskysymyksissä asianmukaiset tutkimusasetelmat Antti Malmivaara, Käypä hoito/ THL

17 II Ovatko katsauksen tulokset päteviä (valideja)? (2) 3) Onko todennäköistä, että kaikki tärkeät tutkimukset ovat mukana katsauksessa? Laaja kirjallisuushaku tärkeimmistä sähköisistä tietokannoista: MEDLINE, Cochrane Library, Web of Science. Katsaukseen sisällytettyjen artikkeleiden kirjallisuusviitteet tulee tutkia ja tarvittaessa ottaa yhteyttä alan asiantuntijoihin ja tutkijoihin. Kirjallisuushaussa käytetyt lähteet ja hakustrategia tulee kuvata. Julkisia tutkimustietokantoja (esim. voi hyödyntää "negatiivisten" tulosten omaavien tutkimusten löytämiseksi Antti Malmivaara, Käypä hoito/ THL

18 II Ovatko katsauksen tulokset päteviä (valideja)? (3) 4) Arvioitiinko mukaan otettujen tutkimusten pätevyys? Katsaukseen sisällytettyjen julkaisujen laatu (pätevyys, validiteetti) tulee arvioida yksityiskohtaisesti. Pätevyyden arviointi kriteerit ovat samat kuin hoidon ja prevention vaikuttavuutta, diagnoosia, haittaa ja ennustetta koskevien alkuperäistutkimusten laatukriteerit. 5) Onko tutkimusten arviointi toistettavissa? Alkuperäistutkimusten valinnan, katsaukseen sisällytettävien tutkimusten sisällön kuvaamisen sekä laadun arvioinnin tulee perustua ennalta määriteltyihin ja riittävän yksiselitteisiin kriteereihin. Vähintään kahden tutkijan toisistaan riippumatonta arviointia edellytetään Antti Malmivaara, Käypä hoito/ THL

19 II Ovatko katsauksen tulokset päteviä (valideja)? (4) 6) Käytettiinkö meta-analyysissa yksilötason vai julkaisutason dataa? Useimmiten meta-analyysissa hyödynnetään julkaistuista alkuperäisartikkeleista saatavaa informaatiota eikä kuhunkin tutkimukseen sisältyvien yksittäisten potilaiden tietoja ole analyysia varten käytettävissä. Yksittäisten potilaiden tietoihin (IPD = individual patient data) perustuvaan meta-analyysiin voidaan sisällyttää juuri tietyt kriteerit täyttävät potilaat, mikä mahdollistaa luotettavampien alaryhmäanalyysien tekemisen Antti Malmivaara, Käypä hoito/ THL

20 Potential sources of bias in trials

21 Funnel plot kuvio ei viitettä julkaisuharhasta Turlik M. Evaluating the results of a Systematic Review/Meta-Analysis: Foot and Ankle Online Journal 2009;2:5 Antti Malmivaara, Käypä hoito/ THL

22 Funnel plot kuvio viite julkaisuharhasta Antti Malmivaara, Käypä hoito/ THL Turlik M. Evaluating the results of a Systematic Review/Meta-Analysis: Foot and Ankle Online Journal 2009;2:5

23 III Mitkä olivat tulokset? 1) Mitkä olivat tulokset? Olivatko tulokset samankaltaisia eri tutkimuksissa? Tutkimuksen tulosta kutsutaan pisteestimaatiksi ja sen lukuarvo kertoo esimerkiksi hoidon vaikuttavuuden määrän. Meta-analyysissa piste-estimaattia laskettaessa tutkimukset saavat niiden koon mukaisen painoarvon. Painoarvoon vaikuttavat sekä tutkimuksen potilasmäärät että tulostapahtumien lukumäärä. Laadultaan tasokkaat ja heikkotasoiset tutkimukset on yleensä syytä arvioida erikseen ja perustaa johtopäätökset laadukkaiden tutkimusten tuottamiin meta-analyysin tuloksiin. Antti Malmivaara, Käypä hoito/ THL

24 III Mitkä olivat tulokset? (2) 2) Mitkä olivat tutkimuksen tulokset? Kliininen merkittävyys Tilastollinen merkitsevyys on perusedellytys, mutta tuloksen kliininen merkittävyys tulisi myös arvioida. Merkittävyyttä arvioidaan vaikuttavuustutkimuksessa esimerkiksi hoitoryhmien välisen eron suuruuden (jatkuva muuttuja) perusteella tai number needed to treat luvun avulla, kun kyse on esimerkiksi sydäninfarktin ilmaantumisesta (dikotominen muuttuja). Myös jatkuvan muuttujan kohdalla voidaan käyttää NNTlukuja: kuinka monta prosenttia hoito- ja vertailuryhmässä sai kliinisesti merkittävän hyödyn ja kuinka monella tila parani vähämerkitykselliseksi Antti Malmivaara, Käypä hoito/ THL

25 III Mitkä olivat tulokset? (3) 3) Kuinka tarkkoja tulokset olivat? Tuloksen tarkkuus kuvataan kuten alkuperäistutkimuksissa 95 %:n luottamusvälillä Antti Malmivaara, Käypä hoito/ THL

26 Routine Specific Rare/Never Experimental Not Mentioned Cumulative Year RCTs Trombolyysihoito, sydäninfarkti Pts Textbook/Review Recommendations P< P<.001 P< Odds Ratio (Log Scale) Favours Treatment Favours Control M M M M M M

27 IV Onko tuloksista apua hoitopäätöksissä? 1) Voidaanko tuloksia soveltaa omiin potilaisiini? Vastausta voidaan hakea arvioimalla tutkimuspotilaiden, interventioiden, diagnostisen testin tai haittatekijän sekä käytetyn tulosmittarin merkitystä omassa potilastyössä. Onko hoidossani samanlaisia potilaita, joiden hoitovaihtoehdot ovat samankaltaiset kuin meta-analyysissa tutkittujen? Kysymyksen voi esittää myös toisin päin: eroavatko potilaani niin paljon meta-analyysin potilaista, että tulokset eivät ole omiin potilaisiini sovellettavissa? Antti Malmivaara, Käypä hoito/ THL

28 IV Onko tuloksista apua hoitopäätöksissä? (2) 2) Onko tämä hoito toteutettavissa omassa hoitoyksikössäni? 3) Otettiinko kaikki potilaani kannalta tärkeät hyödyt ja haitat huomioon? Vaikka katsausartikkelin tulokset ovat usein pätevämpiä kuin yksittäisten tutkimusten, voi katsauksista puuttua kokonaan tärkeitä hyötyjä tai haittoja, jolloin tulosten soveltaminen voi olla epävarmaa. 4) Mitkä ovat potilaani arvot ja odotukset hoidon hyödyistä ja haitoista? Hyötyjä ja haittoja koskevan näytön lisäksi olennaista on potilaan oma käsitys lopputulosten merkityksestä hänelle itselleen Antti Malmivaara, Käypä hoito/ THL

29 Näytön asteen luokitus A Vahva tutkimusnäyttö Vähintään kaksi tasokasta tutkimusta, joiden tulokset ovat samansuuntaiset. B Kohtalainen tutkimusnäyttö Tasokkaita tutkimuksia on vain yksi tai useita, mutta tuloksissa on vähäistä ristiriitaa tai useita kelvollisia tutkimuksia, joiden tulokset ovat samansuuntaiset. C Niukka tutkimusnäyttö Tutkimusten tuloksissa on merkittävää ristiriitaa tai kelvollisia kontrolloituja tutkimuksia on ainakin yksi. D Ei tutkimusnäyttöä Kliinisiä tutkimuksia ei ole olemassa tai ne ovat menetelmällisesti heikkoja.

30 Suora vertailu, epäsuora vertailu ja verkostometa-analyysi Antti Malmivaara, Käypä hoito/ THL

31 Verkostometa-analyysi Jos saatavilla on sekä suoraan että epäsuoraan vertailuun perustuvaa tutkimusnäyttöä, nämä tulokset on mahdollista yhdistää verkostometa-analyysin (network analysis tai mixed-treatment comparison) avulla. Tilastollinen tarkkuus lisääntyy potilaisaineiston kasvamisen myötä. Verkostometa-analyysin tulokset voivat olla harhaisia, koska kaikki vertailut eivät perustu satunnaistettuun asetelmaan. Antti Malmivaara, Käypä hoito/ THL

32

33 Järjestelmällisen katsausten johtopäätösten tulee perustua: 1. Samaa kysymystä selvittäneisiin tutkimuksiin 2. Kunkin alkuperäistutkimuksen sisäiseen pätevyyteen luotettavimmat ratkaisevat 3. Julkaisuharhan olemassaoloon tai riskiin (poisjääneiden/-jätettyjen tutkimusten tulokset usein erilaisia) Malmivaara A. Methodological considerations of the GRADE method. Ann Med. 2015;47: Antti Malmivaara, Käypä hoito/ THL

34 Tarkistuslista järjestelmällisille katsauksille: PRISMA statement Antti Malmivaara, Käypä hoito/ THL

35 PRISMA vuokaavio Antti Malmivaara, Käypä hoito/ THL

36 PRISMA: tarkistuslista Antti Malmivaara, Käypä hoito/ THL

37 PRISMA: tarkistuslista Antti Malmivaara, Käypä hoito/ THL

38 Anttti Malmivaara, CHESS/THL

39 Anttti Malmivaara, CHESS/THL

40 Anttti Malmivaara, CHESS/THL

41 Kiitos!