Sigma metric Six sigma asteikko käytännön sovelluksena analyysiprosessin ja analysaattorin suorituskyvyn mittaamisessa Labquality päivät 2011 Martti Ojanen, ohjelmistoasiantuntija martti.ojanen@mylab.fi
Omasta taustastani LV ohjelmiston kehittäminen HUSLAB:in vanhaan Multilabohjelmistoon (1989) LV Ohjelmiston kehittäminen Mylab:in Multilab II ohjelmistoon (asiantuntijana HUSLAB kemisti Seppo Vilkki) Weblab QC ohjelmiston ideointi ja ensimmäisen version kehittäminen. (Kirittäjänä K-SKS laboratorioylilääkäri Kalle Willman) Mylab:in uuden sukupolven LIS: Weblab LV ohjelmiston ja käyttöliittymän toiminnallisuuden määrittely ja ohjelmointi. (Asiantuntijana J.O.Westgard / Käytännön rutiinin asiantuntijana sairaalakemisti Jukka Saarimies) sivu 2
Esityksen sisältö Mistä Sigma metric = Sigma-arvo tulee Miten Sigma-arvo lasketaan ja mitä se tarkoittaa Mitä Sigman käyttäminen edellyttää? Mihin Sigma-arvoa voidaan käyttää? Analysaattorin suorituskyvyn arviointi valmistajan ilmoittamien suorituskykyarvojen mukaan Analyysiprosessien arviointi ja seuranta Laadunvalvontaproseduurin valinta Päämäärä: Tehdä Sigma-arvo tutuksi Sigma-arvoarvo tulee osaksi Mylab:in uuden Weblabohjelmiston laadunvalvontaohjelmistoa! Tietolähteenä: James O. Westgard (www.westgard.com) sivu 3
MO1 Mistä Sigma metric tulee Six Sigma on johtamis- ja laatumenetelmä, liiketoimintaprosessien parannusmenetelmä. Menetelmässä pyritään tekemään asiat oikein ensimmäisellä kerralla, vähennetään vaihtelua. Tarkkailtavalle prosessille on määriteltävä toleranssi (tavoite, suurin hyväksyttävä virhe) Menetelmä määrittelee standardin mitta-asteikon (Sigma metric) minkä tahansa prosessin laadun mittaamiseksi ja vertailemiseksi (Vertailumitta). Sigma metric Sigma asteikko Sigma Menetelmä määrittelee laatutavoitteet: Tavoite on 6 (Six Sigma) tarkoittaa World Class Quality. sivu 4
Slide 4 MO1 Syntyi MOTOROLA:ssa 80-luvulla (vastaveto Japanille) 1. menetelmä, jolla todistettava vaikutus laatuun 1.laatumenetelmä, jonka rahamaailma on noteerannut Liiketoimintamittarilla parannetaan laatua martti.ojanen; 4.2.2011
sivu 5
Mitä Sigman laskeminen edellyttää? Uutena asiana tulee toleranssin (TEa, Analyyttinen kokonaisvirhe) l. laatutavoitteen määritteleminen. Jokaiselle analyysille pitää määritellä analyyttinen laatutavoite. 1996 LQ laatutyöryhmä laati esityksen analyyttisiksi laatutavoitteiksi tavallisimmille kliinisen kemian tutkimuksille (kts. liite 1) Bio-Rad lista löytyy yyy netistä (kts. liite 2) Westgard:in sivuilla on useita muita listoja. Sigman käyttöönotto Suomessa edellyttää uutta laatutyöryhmää, joka laatii esityksen yhtenäisiksi laatutavoitteiksi laajemmalle joukolle tutkimuksia. sivu 6
Liite 1: Yleiskemian tutkimusten laatutavoitteet sivu 7
Bio-Rad, Biological Variation Values sivu 8
Sigman laskeminen analyysiprosessille Sigma = Toleranssi-laskettu Bias laskettu CV Toleranssi(%) Analyysiprosessille määritelty tavoite sallitulle kokonaisvirheelle (TEa) )(kts. Liite LQ työryhmä y ja Bio-Rad lista). Laskettu Bias% Bias voidaan määrittää lasketun keskiarvon erona tavoitearvoon tai vertailuarvoon muilta laitteilta / muusta laboratoriosta (Ulkoinen laadunvalvonta). Laskettu CV% CV lasketaan kontrollituloksien mukaan sivu 9
Mitä Sigma-arvo 6 tarkoittaa? Termi six sigma process tulee siitä, että sellaisen prosessin keskiarvon ja toleranssirajan väliin mahtuu kuusi keskihajontaa, kuten ao. kaaviossa. Käytännössä pysytään aina toleranssin sisällä (3,4 DPMO). sivu 10
The Power of Sigma Sigma-metric yhdistää analyysiprosessin laatuvaatimuksen ja sen mitatun tarkkuuden & biasin yhteen lukuun. Mitta-asteikko on tunnettu ja teollisuudessa testattu, tavoite on 6 ja pienin hyväksyttävä y arvo 3. Westgard:in Kolesteroliesimerkki: CLIA: Toleranssi=10%, NCEP guidelines: CV=3%, Bias=3% Sigma=2,33. Teollisuudessa alle 3 Sigman suorituskyvyn prosesseja EI pidettäisi sopivana rutiinitoimintaan. Six Sigman periaatteet voivat näin vaikuttaa käsitykseemme analyysiprosessin suorituskyvystä. CLIA = Clinical Laboratory Improvement Amendments NCEP = National Cholesterol Education Program sivu 11
Medical Decision Chart, yksi Sigman esitystapa Westgard:in Sigma laskin ja toimintapisteen esitys Medical Decision kaaviossa. (Excel) Mahdollistaa nopean arvioinnin. Kts. www.westgard.com Downloads/Worksheets/Six Sigma MEDx chart (vaatii rekisteröinnin) sivu 12
Analysaattorien suorituskyvyn arviointi Valmistajien suorituskykyspeksit Valmistajat ilmoittavat tarkkuuden hajontana 2-3 tulostasolla. Näistä valitaan lähinnä lääketieteellistä päätöksentasoa vastaava arvo. Hajonta voidaan ilmoittaa kahtena osana (inter run ja intra run) ja bias:ia ei aina ilmoiteta erikseen. Bias ilmoitetaan usein regressiosuorana, jonka avulla voidaan laskea bias halutulla tulostasolla: Inter run = sarjojen välinen toistettavuus Intra run = sarjan sisäinen toistettavuus Varoitus! Jatkossa esitettävät tiedot voivat aiheuttaa ihmettelyä. Analyysiprosesseja arvioidaan nyt teollisuuden mittarien mukaan. Laskelmissa on käytetty toleranssina suomalaisen työryhmän tai Bio-Rad:in listan arvoja. Sigma riippuu eniten valitusta toleranssista. Laskelmat on pyritty tekemään huolellisesti, mutta virheettömyyttä ei voida taata. Katsokaa lukuja avoimin mielin! Uskon kuitenkin, ki että ammattitaitoiset i t sairaalakemistit i terveydenhuollon laboratorioissa i tekevät hyvää työtä ja voimme luottaa tuloksiin turvallisin mielin. sivu 13
Spekseihin liittyviä termejä Precision / Imprecision CV meas Toistuvien mittausten tulosten välinen hajonta (variaatiokerroin). Accuracy / Inaccuracy bias meas Toistuvien mittausten tulosten keskiarvon ja todellisen arvon välinen ero. sivu 14
Laskeminen valmistajan spekseistä Valmistaja ilmoittaa variaatiokertoimen kahtena osuutena: inter-run ja intra-run. Bias:ia ei ilmoiteta. Valmistaja ilmoittaa bias:in regressiosuorana Kokonais-CV lasketaan kaavalla CV tot CV 2 inter_runrun CV 2 intra run Sigma lasketaan ilman Bias-arvoa. Y a b c X c Kaavassa Xc on haluttu tulostaso. Vakiot a ja b on valmistaja laskenut oman mittausdatansa perusteella. bias(%) (( a b X c ) X c ) / X c ) 100 Sigman laskemisessa tarvittava bias:in %-arvo voidaan laskea kaavalla. Kts. http://www.westgard.com/qc-applications-6.htm sivu 15
Westgard esimerkki/1 sivu 16
Westgard esimerkki/2 K 4% Gluk 6% Ca-ioni 3% img 3,6% Oikeat arvot sivu 17
Display of Sigma-metrics: sivu 18
Westgard: Abbot Architect c1600 Lisää analyysejä: http://www.westgard.com/qcapp.htm sivu 19
Analysaattorin suorituskyky Sigma-arvona Case 1: Analysaattori 1 *CV:t valmistajan ilmoittamia -1.0-1.2-0.8 0.6 10 1.0 0.2 sivu 20
Analysaattorin suorituskyky Sigma-arvona Case 2: Analysaattori 2 *CV:t valmistajan ilmoittamia sivu 21
Analysaattorin suorituskyky Sigma-arvona Case 3: Analysaattori 3 *CV ja Bias valmistajan ilmoittamia sivu 22
Analyysiprosessien arviointi ja seuranta Miten voidaan hyödyntää uusia asioita: Sigmaa ja Toleranssia? Toleranssin avulla voidaan esimerkiksi kontrollituloksista piirretty grafiikka asettaa oikeaan kontekstiin (asetettuja ±3s rajoja verrataan toleranssirajoihin) Online valvonnassa voidaan hyödyntää kontrollituloksista laskettavaa Sigmaa Raportoinnissa voidaan hyödyntää Sigmaa analyysiprosessien suoritustason indikaattorina Laboratorioiden välillä voidaan tehdä vertailuja Sigman avulla sivu 23
Toleranssirajojen hyödyntäminen +5,4% toleranssiraja -5,4% toleranssiraja sivu 24
Analyysiprosessien online valvonta Tilanneraportti / periaatteita Raportti on itseorganisoituva l. luokittelee näytettävät tiedot ja näyttää vain tärkeät Näytetään aluksi yhteenveto Porautuminen tarkemmin ongelmatapauksiin Pisteytysalgoritmi (betaversio) 3 * normalisoitu Ka + 3 * normalisoitu Hajonta + yli 2s tulosten lukumäärä / 2 + yli 3s tulosten lukumäärä + hylättyjen tulosten lukumäärä + 3 * varoitukset + 5 * hälytykset - 2 * Sigma-arvo arvo (Huomaa! vähennetään!) sivu 25
Analyysiprosessien online valvonta Tilanneraportti / esimerkki sivu 26
Analyysiprosessien seuranta Sigma-arvoa voidaan käyttää laadunvalvonnassa analyysiprosessien jälkiseurannassa sivu 27
Laadunvalvontaproseduurin valinta Sigman suhde kriittiseen virheeseen mahdollistaa sen käyttämisen LV proseduurin valinnassa SE crit Sigma 1,65 Sigmaa käyttäen voidaan valita riittävät kontrollisäännöt Power Function kaavion avulla. Toinen vaihtoehto on OPSpec kaavio, jossa valintaan käytetään Sigman laskennassa käytettäviä suureita sekä toleranssia. Lähde: Six Sigma Quality Design & Control, James O. Westgard sivu 28
Power function kaavio 1 Kaavio näyttää erilaisten kontrollisääntöjen ja sääntöketjujen kyvyn havaita virheitä. Huomaa erot sekä väärien hälytysten t mahdollisuudessa d että virheiden id havaisemiskyvyssä. sivu 29
Power function kaavio 2 Nuolet osoittavat minkä suuruinen virhe (SE) on havaittavissa 90% todennäköisyydellä eri säännöillä tai sääntöketjuilla. sivu 30
Power Function kaavio & Sigma SE crit Sigma 1,65 sivu 31
Sigma-asteikko ja tarvittava LV (katsottu Power Function kaaviosta) 6 = tavoite, World Class Quality (1-2 kontrollia per ARL 13.5s tai 13s säännöillä) 5 = (2 kontrollia per ARL 12.5s (<5) tai 13s (>5) säännöillä) 4 = (4 kontrollia per ARL, multirules tai 12.5s) 3 = Pienin hyväksyttävä arvo (vaatii maksimaalisen laaduntarkkailun ja kokeneet k käyttäjät. <3 = Huono suorituskyky, analyysiprosessia ei pysty täysin kontrolloimaan = HANKI PAREMPI. Virheitä ei pysty luotettavasti havaitsemaan. ARL = Analytic Run Length (Analyysierän pituus) Minimimenettely Westgard:in mukaan voisi olla 1:3s/1:3,5s (N=2) sivu 32
OPSpecs kaavion rakenne 1 sivu 33
OPSpecs kaavion rakenne 2 sivu 34
OPSpecs kaavion käyttö sivu 35
Normalisoitu OPSpecs kaavio % of Tea) (% Bias = 20% S = 20% (% of Tea) sivu 36
Yhteenveto Komponentit 1. Sigma (universaali mittari, vertailumitta) 2. Toleranssi (sallittu kokonaisvirhe) 3. Menetelmän suorituskykydata..ovat työkaluja laitteiden, menetelmien ja laboratorioiden objektiiviseen ja laadulliseen arviointiin Käyttö Sigmaa voidaan käyttää usealla tavalla hyödyksi LV online valvonnassa ja raportoinnissa Sigma ja Medical Decision kaavio ovat työkaluja laitteiden suorituskyvyn arviointiin Jotta osataan valita oikeat laitteet OPSpec kaaviot ovat työkaluja QC suorituskyvyn arviointiin Jotta osataan valita oikea LV proseduuri sivu 37
Liite 1: Yleiskemian tutkimusten laatutavoitteet sivu 38
Liite 2: Linkkejä ja materiaalia Bio-Rad, Biological Variation Values (qcnet.com/portals/0/pdfs/bvvalues1final.pdf p ) www.westgard.com (vaatii rekisteröinnin) Medical Decision Chart Excel www.westgard.com Downloads/Worksheets/Six Sigma MEDx chart Lisää laitteiden Sigma analyysejä: http://www.westgard.com/qc-applications-6.htm Nämä saa esitelmöitsijältä pyydettäessä Sten Westgard esitelmä Effective Quality Management in the Laboratory Sten Westgard artikkeli Six Sigma Metric Analysis for Analytical Testing Process sivu 39