Järjestelmällisen katsauksen arviointi Antti Malmivaara, LKT, dos.,ylilääkäri, Käypä hoito, Suomalainen Lääkäriseura Duodecim Terveys- ja sosiaalitalouden yksikkö, THL
Sidonnaisuudet Terveyden ja hyvinvoinnin laitos, terveys- ja sosiaalitalouden yksikkö, ylilääkäri Terveys- ja sosiaalitalouden uutiskirje OPTIMIn päätoimittaja Suomalainen Lääkäriseura Duodecim, Käypä hoito toimittaja Sairaala ORTON, tieteellisen yksikön johtoryhmän jäsen Cochrane Back Review Group Editorial Board, jäsen
Esitelmän sisältö Järjestelmällisen katsauksen asema Cochrane katsauksista Järjestelmällisen katsauksen käsite ja toteutus Järjestelmällisen katsauksen arviointi PRISMA suositukset katsauksen raportoinnille
Arkivaikuttavuuden lääketiede Vertaiskehittäminen Muilta oppiminen Laatu Suoriutuminen arjessa Näyttöön perustuva lääketiede Uusin tutkimustieto Osaaminen Vaikuttavuuden ja tasa-arvoisen hoidon perusta Malmivaara A. Real-Effectiveness Medicine pursuing the best effectiveness in the ordinary care of patients. Annals of Medicine 2013;45:103-106.
Vaikuttavuustutkimukset Vertaiskontrolloidut kokeet Vertaiskehittäminen Muilta oppiminen Laatu Suoriutuminen arjessa Satunnaistetut kokeet Näyttöön perustuva lääketiede Uusin tutkimustieto Osaaminen Vaikuttavuuden ja tasa-arvoisen hoidon perusta Malmivaara A. Real-Effectiveness Medicine pursuing the best effectiveness in the ordinary care of patients. Annals of Medicine 2013;45:103-106. 1.10.2015 Antti Malmivaara, CHESS/THL
Malmivaara A. Benchmarking Controlled Trial a novel concept covering all observational effectiveness studies. Annals of Medicine 2015;47:332-40. 1.10.2015 Antti Malmivaara, CHESS/THL
Vertaiskontrolloitu koe (BCT) Malmivaara A. Benchmarking Controlled Trial a novel concept covering all observational effectiveness studies. Annals of Medicine 2015;47:332-40. 1.10.2015 Antti Malmivaara, CHESS/THL
Malmivaara A. Benchmarking Controlled Trial. Annals of Medicine 2015;47:332-40. 1.10.2015 Antti Malmivaara, CHESS/THL
Alkuperäisjulkaisu Systemoitu katsaus Hoitosuositus (Käypä hoito, Lääkärin käsikirja) Alueellinen työryhmä Alueellinen hoito-ohjelma Pienryhmä Talon tapa Ilkka Kunnamo, 2000
International non-profit organization that prepares, maintains, and disseminates systematic up-to-date reviews of health care interventions.
14 Cochrane centres San Francisco Nordic Canadian United German Kingdom Dutch French Italian New England IberoAmerican Chinese Brazilian South African Australasian
Cochrane Collaboration Review Groups 51 Centres 14 Fields 11 Steering Group Consumer Network Methods Groups 11
Kirjallisuuskatsaus - käsitteet Katsaus = mikä tahansa tiivistelmä lääketieteellisestä kirjallisuudesta. Systemoitu katsaus = Katsaus on toistettavissa. Siinä kuvataan menetelmät, joilla kirjallisuus on kerätty kattavasti. Katsaukseen valittujen julkaisujen aineistot, menetelmällinen laatu (pätevyys) ja sovellettavuus arvioidaan ja kuvataan. Meta-analyysi = systemoitu katsaus, jonka tuloksia on analysoitu kvantitatiivisin menetelmin.
Meta-analyysi Meta-analyysi on systemoitu katsaus, jonka tuloksia on yhdistetty ja analysoitu kvantitatiivisin menetelmin. Meta-analyysi on mahdollinen silloin kun käytettävissä on tutkimuksia, joissa potilasryhmät, interventiot (tai muut syytekijät) ja tulosmuuttujat ovat kliinisesti riittävän samankaltaiset. Meta-analyysiin otettavien tutkimusten tulisi myös olla menetelmällisesti laadukkaita ja tutkimusten tuottamien vaikuttavuustulosten välillä ei saisi olla tilastollisesti merkitseviä eroja (heterogeenisyyttä). Herkkyysanalyysilla voidaan selvittää miten erot tutkimusten laadussa ja kliinisessä asetelmassa vaikuttavat tuloksiin.
Järjestelmällisen katsauksen toteutus 1. Tutkimuskysymyksen määrittely 2. Sisäänotto- ja poissulkukriteerien määrittely 3. Kirjallisuushaku ja artikkelien valinta 4. Tiedon uuttaminen ja luotettavuuden arvioiminen 5. Tutkimustulosten yhdistäminen (laadullinen tai meta-analyysi) 6. Johtopäätökset
Potential sources of bias in trials
Validity of randomised controlled trials 1. Randomisation 2. Concealment of treatment allocation 3. Baseline similarity 4. Blinding of patients 5. Blinding of outcome assessors 6. Blinding of care providers 7. Adherence (compliance) 8. Co-interventions 9. Drop-outs 10. Timing of the outcome assessment 11. Freedom from selective reporting 12. Intention-to-treat analysis 13. Other sources of potential bias Furlan AD, Malmivaara A, Chou R, Maher CG, Deyo RA, Schoene M, Bronfort G, van Tulder MW. Updated method guideline for systematic reviews in the Cochrane back and neck group.spine (Phila Pa 1976). 2015 Jul 22
Funnel plot kuvio ei julkaisuharhaa Turlik M. Evaluating the results of a Systematic Review/Meta-Analysis: Foot and Ankle Online Journal 2009;2:5
Funnel plot kuvio - julkaisuharha Turlik M. Evaluating the results of a Systematic Review/Meta-Analysis: Foot and Ankle Online Journal 2009;2:5
Cumulative Year RCTs 191960 60 1965 1965 Trombolyysihoito, sydäninfarkti Pts 1 23 2 65 3 149 0.5 1.0 2.0 Textbook/Review Recommendations Routine Specific Rare/Never Experimental Not Mentioned 21 191970 70 4 316 7 1793 1 5 10 10 2544 11 2651 15 3311 17 3929 22 5452 P<.01 1 2 2 8 7 1980 191985 85 1990 23 5767 27 6125 30 6346 33 6571 43 21 059 54 22 051 65 47 185 67 47 531 70 48 154 P<.001 P<.00001 Odds Ratio (Log Scale) M M M M M M 5 15 6 1 1 1 2 8 1 8 7 2 8 12 4 3 1 1 1.10.2015 Favours Treatment Favours Control
Verkostometa-analyysi Jos saatavilla on sekä suoraan että epäsuoraan vertailuun perustuvaa tutkimusnäyttöä, nämä tulokset voidaan yhdistää verkostometa-analyysin (network analysis tai mixed-treatment comparison) avulla. Verkostometa-analyysin tulokset voivat olla harhaanjohtavia, jos siihen sisältyvien tutkimusten tuloksissa esiintyy ristiriitaisuuksia. Vastaavasti yhdenmukainen tieto tuottaa verkostometaanalyysissä tilastollisen tarkkuuden lisääntymisen ansiosta tarkempia estimaatteja kuin pelkkä suoraan vertailuun perustuva meta-analyysi.
Suora vertailu, epäsuora vertailu ja verkostometa-analyysi
Järjestelmällisen katsausten tuottaman tiedon luotettavuuden arvioinnin tulee perustua: 1. Kunkin alkuperäistutkimuksen sisäiseen pätevyyteen 2. Samaa tutkimuskysymystä selvittäneiden tutkimusten tulosten samankaltaisuuteen 3. Julkaisuharhan olemassaoloon tai riskiin => tulkintojen tulee perustua tasokkaimpien tutkimusten tuottamaan tietoon Malmivaara A. Methdological considerations of the GRADE method. Ann Med 2015;47:1-5.
Järjestelmällisen katsauksen arviointi Tutkimusasetelman selvittäminen -> I. Tutkimuskysymys (PICOS) II. Katsauksen pätevyys. III. Tutkimustulosten suuruus ja tarkkuus IV.Sovellettavuus hoitopäätöksissä.
Tutkimusasetelma Soveltuuko valittu tutkimusasetelma vastaamaan tutkimuskysymykseen (alkuperäistutkimus tai järjestelmällinen katsaus)? diagnostiikkaa käsittelevä tutkimus: kysymyksenasettelun kannalta edustava otos potilaita, yleensä poikkileikkausasetelma vaikuttavuuden selvittäminen (preventio/hoito/kuntoutus): satunnaistettu kontrolloitu koe ennustetutkimus (mitkä tekijät ennustavat taudin kulkua): seurantatutkimus
I Tutkimuskysymys Vaikuttavuutta arvioitaessa tutkimuskysymys sisältää seuraavat osat: PICOS = patient, intervention, control intervention, outcome, study design. minkälaisia potilaita tutkimukseen otettiin (P) mikä oli intervention (interventioiden) sisältö (I) mikä oli vertailuintervention sisältö (C) millä mittareilla vaikuttavuutta mitattiin (mitä tulosmuuttujia käytettiin) (O) onko tutkimusasetelma soveltuva (S)
II Ovatko katsauksen tulokset päteviä (valideja)? 1) Esitettiinkö katsauksessa rajattu kliininen kysymys? Vaikuttavuustutkimuksessa tutkimuskysymys määritellään PICO-käsitteen mukaisesti (patient, intervention, control intervention, outcome). PICO-määrittelyn perusteella kliinisesti yhtenäisinä pidettävät tutkimukset otetaan katsauksen piiriin. 2) Valittiinko katsaukseen tutkimusasetelmaltaan luotettavimmat julkaisut? Hoidon, kuntoutuksen ja prevention vaikuttavuutta, diagnoosia, haittaa ja ennustetta koskevissa tutkimuskysymyksissä asianmukaiset tutkimusasetelmat.
II Ovatko katsauksen tulokset päteviä (valideja)? (2) 3) Onko todennäköistä, että kaikki tärkeät tutkimukset ovat mukana katsauksessa? Laaja kirjallisuushaku tärkeimmistä sähköisistä tietokannoista, joista MEDLINE-tietokanta on tavallisin. Katsaukseen sisällytettyjen artikkeleiden kirjallisuusviitteet tulee tutkia ja tarvittaessa ottaa yhteyttä alan asiantuntijoihin ja tutkijoihin. Kirjallisuushaussa käytetyt lähteet ja hakustrategia tulee kuvata. Julkisia tutkimustietokantoja (esim. www.clinicaltrials.gov) voi hyödyntää "negatiivisten" tulosten omaavien tutkimusten löytämiseksi.
II Ovatko katsauksen tulokset päteviä (valideja)? (3) 4) Arvioitiinko mukaan otettujen tutkimusten pätevyys? Katsaukseen sisällytettyjen julkaisujen laatu (pätevyys, validiteetti) tulee arvioida yksityiskohtaisesti. Pätevyyden arviointi kriteerit ovat samat kuin hoidon ja prevention vaikuttavuutta, diagnoosia, haittaa ja ennustetta koskevien alkuperäistutkimusten laatukriteerit. 5) Onko tutkimusten arviointi toistettavissa? Alkuperäistutkimusten valinnan, katsaukseen sisällytettävien tutkimusten sisällön kuvaamisen sekä laadun arvioinnin tulee perustua ennalta määriteltyihin ja riittävän yksiselitteisiin kriteereihin. Vähintään kahden tutkijan toisistaan riippumatonta arviointia edellytetään.
II Ovatko katsauksen tulokset päteviä (valideja)? (4) 6) Käytettiinkö meta-analyysissa yksilötason vai julkaisutason dataa? Useimmiten meta-analyysissa hyödynnetään julkaistuista alkuperäisartikkeleista saatavaa informaatiota eikä kuhunkin tutkimukseen sisältyvien yksittäisten potilaiden tietoja ole analyysia varten käytettävissä. Yksittäisten potilaiden tietoihin (IPD = individual patient data) perustuvaan meta-analyysiin voidaan sisällyttää juuri tietyt kriteerit täyttävät potilaat, mikä mahdollistaa luotettavampien alaryhmäanalyysien tekemisen.
III Mitkä olivat tulokset? 1) Olivatko tulokset samankaltaisia eri tutkimuksissa? Mitkä olivat tulokset? Tutkimuksen tulosta kutsutaan piste-estimaatiksi ja sen lukuarvo kertoo esimerkiksi hoidon vaikuttavuuden määrän. Meta-analyysissa piste-estimaattia laskettaessa tutkimukset saavat niiden koon mukaisen painoarvon. Painoarvoon vaikuttavat sekä tutkimuksen potilasmäärät että tulostapahtumien lukumäärä. Laadultaan tasokkaat ja heikkotasoiset tutkimukset on yleensä syytä arvioida erikseen ja perustaa johtopäätökset laadukkaiden tutkimusten tuottamiin meta-analyysin tuloksiin.
III Mitkä olivat tulokset? (2) 2) Mitkä olivat tutkimuksen tulokset? Kliininen merkittävyys Tilastollinen merkitsevyys on perusedellytys, mutta tuloksen kliininen merkittävyys tulisi myös arvioida. Merkittävyyttä arvioidaan vaikuttavuustutkimuksessa esimerkiksi hoitoryhmien välisen eron suuruuden (jatkuva muuttuja) perusteella tai number needed to treat luvun avulla, kun kyse on esimerkiksi sydäninfarktin ilmaantumisesta (dikotominen muuttuja). Myös jatkuvan muuttujan kohdalla voidaan käyttää NNTlukuja: kuinka monta prosenttia hoito- ja vertailuryhmässä sai kliinisesti merkittävän hyödyn ja kuinka monella tila parani vähämerkitykselliseksi.
III Mitkä olivat tulokset? (3) 3) Kuinka tarkkoja tulokset olivat? Tuloksen tarkkuus kuvataan kuten alkuperäistutkimuksissa 95 %:n luottamusvälillä.
Example Figure: Overall failure (defined as failure of assigned regimen or relapse) with tetracycline-rifampicin versus tetracyclinestreptomycin.
IV Onko tuloksista apua hoitopäätöksissä? 1) Voidaanko tuloksia soveltaa omiin potilaisiini? Vastausta voidaan hakea arvioimalla tutkimuspotilaiden, interventioiden, diagnostisen testin tai haittatekijän sekä käytetyn tulosmittarin merkitystä omassa potilastyössä. Onko hoidossani samanlaisia potilaita, joiden hoitovaihtoehdot ovat samankaltaiset kuin meta-analyysissa tutkittujen? Kysymyksen voi esittää myös toisin päin: eroavatko potilaani niin paljon meta-analyysin potilaista, että tulokset eivät ole omiin potilaisiini sovellettavissa?
IV Onko tuloksista apua hoitopäätöksissä? (2) 2) Onko tämä hoito toteutettavissa omassa hoitoyksikössäni? 3) Otettiinko kaikki potilaani kannalta tärkeät hyödyt ja haitat huomioon? Vaikka katsausartikkelin tulokset ovat usein pätevämpiä kuin yksittäisten tutkimusten, voi katsauksista puuttua kokonaan tärkeitä hyötyjä tai haittoja, jolloin tulosten soveltaminen voi olla epävarmaa. 4) Mitkä ovat potilaani arvot ja odotukset hoidon hyödyistä ja haitoista? Hyötyjä ja haittoja koskevan näytön lisäksi olennaista on potilaan oma käsitys lopputulosten merkityksestä hänelle itselleen.
Näytön asteen luokitus A Vahva tutkimusnäyttö Vähintään kaksi tasokasta tutkimusta, joiden tulokset ovat samansuuntaiset. B Kohtalainen tutkimusnäyttö Tasokkaita tutkimuksia on vain yksi tai useita, mutta tuloksissa on vähäistä ristiriitaa tai useita kelvollisia tutkimuksia, joiden tulokset ovat samansuuntaiset. C Niukka tutkimusnäyttö Tutkimusten tuloksissa on merkittävää ristiriitaa tai kelvollisia kontrolloituja tutkimuksia on ainakin yksi. D Ei tutkimusnäyttöä Kliinisiä tutkimuksia ei ole olemassa tai ne ovat menetelmällisesti heikkoja.
Tarkistuslista järjestelmällisille katsauksille: PRISMA statement
Suositeltu vuokaavio
PRISMA: tarkistuslista
PRISMA: tarkistuslista
PRISMA: tarkistuslista
QUOROM vs PRISMA
Kiitos!