VIHELIÄISET ONGELMAT SAIRAALAN VAIKUTTAVUUDEN JA TUOTTAVUUDEN MITTAAMISESSA S. Laine, Tietotekniikan laitos, Aalto-yliopisto Laine, Sami, Niemi, Erkka (2013), Transparency of Hospital Productivity Benchmarking in Two Finnish Hospital Districts, In the Proceedings of the 29th annual Patient Classification Systems International (PCSI) Conference, Helsinki, Finland. (Best Paper Award, Full Paper Download)
Henkilökohtaisessa osaamisessa yhdistyvät tietotekniikka, ihmistieteet ja terveydenhuolto VARSINAIS-SUOMEN SAIRAANHOITOPIIRI Terveydenhuollon raportointi ja tietovarastointi Projektien hallinta TURUN YLIOPISTO Järjestelmä- ja Tietojärjestelmätiede palvelusuunnittelu Empiiristä kenttätutkimusta TYKSissä AALTO-YLIOPISTO Käytettävyystutkimus Terveydenhuollon tietojen laatu Kokonaisarkkitehtuuri Yli 10 vuotta erikoissairaanhoidon toimialaa
Suomalaisella sairaalatuottavuusvertailulla on pitkä historia Aineistot Vertailu THL tuottaa vuosittain sairaalatuottavuusvertailun useilla hieman toisistaan poikkeavilla tunnusluvuilla. Linna ja Häkkinen ovat kuvanneet aiemmin sairaalatuottavuusvertailun historian, nykytilanteen ja tulevaisuuden suunnitelmat. Päätöksentekijät ja poliittinen ohjaus ei käytä sairaalatuottavuusvertailuja päätöksiensä perusteena ja pääasialliseksi syyksi esitettiin tietojen laatu. Linna, M. and Häkkinen, U. (2007) Benchmarking Finnish Hospitals. In Evaluating Hospital Policy and Performance: Contributions from Hospital Policy and Productivity Research, pp. 179-190.
THL:n tuottama vertailu esitti sairaanhoitopiirien välille merkittäviä tuottavuuseroja Mistä luvut oikeasti tulevat? Pirkanmaan sairaanhoitopiiri Varsinais- Suomen sairaanhoitopiiri Mitä luvut oikeasti tarkoittavat? Mitä luvuista on poistettu? Mitä lukuihin on laskettu?
Qualidat-projektissa (2012-2014) käytettiin kolmea eri lähestymistapaa tutkittaessa tuottavuusvertailun lukuja Hallintotieteet Tietojen tuottamisen hallinnointi ja ohjaus Käytettävyystutkimus Käyttäjien kirjaamistilanteet ja välineet Data analytiikka Tietovirrat ja algoritmit kirjaamisesta johtopäätöksen tekemiseen.
Tietotuotantoprosessi sisältää tietojen syntymisen, muokkaamisen ja hyödyntämisen vaiheet Tiedon syntyminen Tiedon muokkaaminen Tiedon hyödyntäminen Kirjaa tietoja Kerää tietoaineistoja Analysoi ja raportoi Tulkitsee ja tekee päätöksiä Elektroninen Potilaskertomus Poiminta Raportointi Sisäiset tilastot Tietovarasto Kuvantamisen tietojärjestelmä Poiminta Poiminta Wang, R. Y., Lee, Y. W., Pipino, L. L. and Strong, D. M. (1998) Manage Your Information as a Product. Sloan Management Review, 39, 4, pp. 95-105. Tietovarasto Raportointi Sairaaloiden tuottavuuden vertailu
Perinteinen tuotantoprosessinäkökulma havaitsi inhimillisiä virheitä, erilaisia ohjelmistojen rakenteita sekä läpinäkymättömiä kohtia. Tiedon syntyminen Tiedon muokkaaminen Tiedon hyödyntäminen Kirjaamisvirhe tietoja Kerää Tulkintaero tietoaineistoja Analysoi ja raportoi Tulkitsee ja tekee päätöksiä MUSTA LAATIKKO MUSTA LAATIKKO Elektroninen Ohjelmistoominaisuus Potilaskertomus Poiminta Raportointi Sisäiset tilastot MUSTA LAATIKKO Kuvantamisen tietojärjestelmä Poiminta Arkkitehtuuri Tietovarasto ero Poimintavirhe Tietovarasto MUSTA LAATIKKO Raportointi Sairaaloiden tuottavuuden vertailu
Tuottavuusvertailussa yhdistyy neljä toisiinsa kietoutuvaa aihepiiriä Tiedon syntyminen Tiedon muokkaaminen Tiedon hyödyntäminen Kustannusallokaatio Kirjaa tietoja Potilaiden hoitopolut Elektroninen Potilaskertomus Poiminta Kerää tietoaineistoja Raportointi Analysoi ja raportoi Tulkitsee ja tekee päätöksiä Sisäiset tilastot Tietovarasto Kuvantamisen tietojärjestelmä Poiminta Poiminta Tuottavuusalgoritmi Tietotuotantoprosessit Tietovarasto Raportointi Sairaaloiden tuottavuuden vertailu
Läpinäkymättömyys on ongelma, koska mustat laatikot ovat arvaamattomia! X A*80% 1,12 A Y A*135% Sairaalan todellinen tuottavuus ja havaittu tuottavuus menettävät kosketuksensa toisiinsa jos mustissa laatikoissa piilee tunnistamattomia bias-mekanismeja.
Tietotuotantoprosessit tulisi avata kaikkien osapuolien näkyville, jotta piilevät virheet ja erot voidaan tunnistaa ja korjata Läpinäkyvyyden tulee kattaa hoitopolut, taloushallinnon, tietotuotantoprosessin ja algoritmit Läpinäkyvä hoitopolku Yksityiskohdat ovat tärkeitä! Pieni yksityiskohta saattaa aiheuttaa suuria kerrannaisvaikutuksia. Läpinäkyvyyden tulee kattaa koko tietotuotantoprosessi kaikkien osapuolien osalta: tietojen syntyminen, tietojen muokkaaminen ja tietojen hyödyntäminen. Virhetulkinta tai variaatio voi tapahtua missä tahansa vaiheessa! Virheet tai variaatiot voivat moninkertaistua tai poistua mustien laatikoiden piilevien rakenteiden vuoksi. Läpinäkyvä tietotuotantoprosessi
Tietotuotantoprosessit tulisi avata kaikkien osapuolien näkyville, jotta piilevät virheet ja erot voidaan tunnistaa ja korjata Läpinäkyvä hoitopolku Vain läpinäkyvällä ja laadukkaalla tiedolla voidaan taata sairaalan johtamisen, poliittisen päätöksenteon ja kliinisen tutkimuksen johtopäätöksien validius Läpinäkyvä tietotuotantoprosessi
Viheliäiset ongelmat
Viheliäiset ongelmat Ongelman tunnistaminen ja mittaaminen on vaikeaa, koska samaan ilmiöön on sekä hyviä että huonoja syitä Yhden ongelman ratkaiseminen aiheuttaa toisia ongelmia toisaalle Ongelma voidaan nähdä toisen ongelman oireena, eikä alkuperäistä syytä ole mahdollista selvittää
DATA ANALYTIIKKA SELITTÄVÄ TUTKIMUS Rakentaa algoritmeja ja johtaa tuloksia datasta Tavoite Manipuloi algoritmeja ja selittää mekanismeja Tavoitteiden ja oletusten kääntäminen päälaelleen avaa uusia näkökulmia tuottavuusvertailuun Olettaa satunnaisuutta ja Gaussin käyrää Virheet Etsii systemaattisia syitä ja piileviä muuttujia
Systemaattinen bias mittaamisessa Tunnistimme ja selitimme mekanismeja, jotka johtavat biasoituneisiin johtopäätöksiin Systemaattinen bias on ei-toivottu ominaisuus, jolla on negatiivisia vaikutuksia tuottavuusvertailun validiudelle tai hyödyllisyydelle. Systemaattisella biasilla on monia epäsuotuisia seurauksia tuottavuusvertailun validiudulle, palvelujen vaikuttavuudelle ja terveyspalvelujärjestelmän insentiiveille
Minkälaiset asiat tekevät tuottavuusvertailusta viheliäisen ongelman?
Tuottavuusvertailussa esiintyy systemaattisia biaseja jotka johtuvat mekanismeista Potilasaineksen mekanismit Potilaiden poiminta Potilaiden hylkääminen Palvelujen pirstoutuminen Potilasaines Insentiivit Datan laajuus Dokumentaation taso Tiedon virheet Tiedon korjaukset Pirstoutumisen mekanismit Palvelujen pilkkominen Palvelujen nimeäminen
Palvelujen pirstoutuminen palkitsee hajanaisuudesta ja monimutkaisuudesta Sairaala Sairaala
Palvelujen pirstoutuminen palkitsee hajanaisuudesta ja monimutkaisuudesta Episode A DRG X Sairaala Sairaala Episode 1 DRG A DRG B DRG C Vähemmän tuottavuutta mutta enemmän terveyttä! Episode A DRG X Enemmän tuottavuutta mutta vähemmän terveyttä! Pilkotaan hoitopolku 3 osaan JA Nimetään palvelut uudelleen
Tietojen korjaaminen aiheuttaa biasoitumista ja väärän ilmiön mittaamista Sairaala Sairaala
Tietojen korjaaminen aiheuttaa biasoitumista ja väärän ilmiön mittaamista Sairaala Sairaala Ohjelmisto ehdottaa uutta diagnoosia JA Ohjelmistot etsivät lisädiagnooseja Episode A Episode A Episode A Diagnosis A Diagnosis B Potilaskertomus SELECTED SELECTED SELECTED Diagnosis B+C C Tietovarasto Episode A Episode A Episode B+C! A PUUTTUU A Tietovarasto ehdottaa korjausta
Bias mekanismit voidaan rakennuttaa organisaatioiden toimintaan tai tietotuotantoprosessiin Tiedon syntyminen Tiedon muokkaaminen Tiedon hyödyntäminen Palvelujen pirstoutuminen Palvelutuotanto malli Kirjaa tietoja Kerää tietoaineistoja Potilasaines Insentiivit Datan laajuus Analysoi ja raportoi Tulkitsee ja tekee päätöksiä Elektroninen Potilaskertomus Poiminta Dokumentaation Raportointi taso Sisäiset tilastot Hoitokäytännöt Kuvantamisen tietojärjestelmä Poiminta Tietovarasto Tiedon virheet Poiminta Tiedon korjaukset Ohjelmistojen ominaisuudet Tietovarasto Inhimillinen toiminta Raportointi Sairaaloiden tuottavuuden vertailu
Bias-mekanismit aiheuttavat systemaattisia variaatioita eivätkä satunnaisia virheitä! Tiedon syntyminen Tiedon muokkaaminen Tiedon hyödyntäminen Kirjaa tietoja Kerää tietoaineistoja Analysoi ja raportoi Tulkitsee ja tekee päätöksiä Elektroninen Potilaskertomus Poiminta Raportointi Sisäiset tilastot Tietovarasto Kuvantamisen tietojärjestelmä Poiminta Poiminta Variaatiot voivat olla kumulatiivisia tai toisiaan kumoavia Tietovarasto Raportointi Mekanismien perimmäiset syyt on hankala tunnistaa Sairaaloiden tuottavuuden vertailu
Mutta mitä pitäisi tehdä viheliäisille ongelmille eli biasoituneille vertailutuloksille?
Viheliäisten ongelmien tunnistaminen bias-indikaattoreilla Ratkaisuna biasindikaattorit Palvelujen pirstoutuminen Potilasaines Insentiivit Datan laajuus Dokumentaation taso Tiedon virheet Tiedon korjaukset Itse viheliäistä ongelmaa on hankala tai mahdoton mitata, koska siihen on sekä hyviä että huonoja syitä Bias-mekanismien olemassa oleminen voisi kuitenkin olla mitattavissa Mutta voidaanko erottaa mekanismista hyvät ja huonot syyt?
Bias-indikaattori on systemaattinen virhemarginaali Tilastotieteessä on vakiintunut tapa esittää tuloksen virhemarginaali Tilastotieteessä tulisi kehittää tapa esittää tuloksien bias-indikaattorit Virhemarginaali perustuu Bias-indikaattori perustuu Otoksiin populaatioista Oletukseen virheiden satunnaisuudesta Algoritmin ominaisuuksiin Systemaattisten virheiden tai vääristymien tunnistamiseen Esimerkiksi virhemarginaali +-3% Virhemarginaali tunnistaa aineistossa satunnaisuutta, jonka vuoksi tulokset poikkeavat oikeasta Todellisten tulosten vaihteluväli on noin 6% tuloksesta. Esimerkiksi hoitopolkujen hajanaisuus +- 5%. Indikaattori tunnistaa aineistosta palvelutuottajia, joiden hoitopolut poikkeavat merkittävästi toisistaan. Samantyyppisten potilastapausten keinotekoinen vaihteluväli on 10% tuottavuutta.
Palvelujärjestelmän päätöksentekijät ja poliittinen ohjaus tarvitsevat bias-indikaattoreita Bias-indikaattoreita käytetään jo monin eri tavoin! mutta niitä ei seurata systemaattisesti eikä niitä jaeta tuottavuusvertailujen tulosten yhteydessä Bias-mekanismit kuitenkin vaikuttavat oleellisesti terveyspalvelujärjestelmän mittauksien tuloksiij ja sitä kautta jopa ohjaukseen joten niitä pitäisi seurata systemaattisemmin ja jakaa tulkitsijoiden tueksi!
Kysymyksiä?
Additional References to Transparency of Healthcare Information Management Laine, S. (2014) Open Data Critical Capability in Healthcare Information Production Processes, in the seminar of Openness and the Future of Healthcare IS by Service Factory, Aalto University School of Business at 18th of March 2014.