Tilastolliset menetelmät

Transkriptio

1 Tilastolliset meetelmät tilastolliste meetelmie tarkoitus o: estimoida eliaika- (vikaatumisaika, korjausaika- jakaumie ja -mallie parametreja eliaikakokeide, laitteide käyttökokemustiedo yms. perusteella selvittää tilastollisilla testeillä oko vika-aikatilastoissa tredejä tuistaa tilastoista erilaisia vikaatumistapoja Eustaa tulevia vikaatumisaikoja je.

2 KLASSINEN, FREKVENTISTINEN TILASTOLLINEN ANALYYSI: perustuu todeäköisyyde frekvessitulkitaa jakaumie parametrie estimoiti epäparametrie aalyysi tilastolliset testit BAYESILAINEN TILASTOLLINEN ANALYYSI: perustuu pohjimmiltaa subjektiivisee todeäköisyys tulkitaa

3 BAYESILAINEN TILASTOLLINEN ANALYYSI: jakaumie parametrie posteriorijakaumie määrittämie eustava aalyysi Bayesilaie tilastollie päättely

4 VIKAANTUMISTILASTOAINEISTOJEN MUOTO TÄYDELLINEN DATA: kaikki aieistossa olevat vikaatumisajat täydellisesti havaittuja ja tuettuja otos muotoa: T {t 1, t 2,,t } EPÄTÄYDELLINEN l. SENSUROITU DATA: osa vikaatumisajoista epätäydellisesti tuettuja otoksessa o täydellisesti tuettu osa, T lisäksi tiedetää, että jotkut eliajat ovat pitempiä kui tietyt ajat: S {s 1, s 2,,s m }, tiedetää siis, että joilleki eliajoille pätee: T i >s i lisäksi U {u 1, u 2,,u k }, tiedetää, että joilleki eliajoille T i < u i

5 EPÄPARAMETRINEN ANALYYSI: EMPIIRINEN ELINAIKAJAKAUMA toimitatodeäköisyysfuktio estimoiti havaitoje perusteella Kapla-Meier-estimaattori tavoitteea johtaa estimaattori fuktiolle P(T>t R(t 1- F(t tarkastellaa esi täydellistä aieistoa {t 1, t 2,,t } järjestetty otos: t (1 t ( 2 t

6 EPÄPARAMETRINEN ANALYYSI: EMPIIRINEN ELINAIKAJAKAUMA toimitatodeäköisyysfuktio estimaattori: I( t( i > t ( t Rt ( i 1 :tä suurempie eliaikoje lukumäärä I ( A, 1 0, ku loogie ehto A "tosi" muulloi

7 EPÄPARAMETRINEN ANALYYSI: KAPLAN-MEIER ESTIMAATTORI, epätäydellie otos. olkoo j eliaikoje lukumäärä, joide pituus o vähitää t (j olkooj t iide ideksie joukko, joille t (j < t ( Rt 1 j J t j j

8 ELINAIKAJAKAUMIEN ESTIMOINTI suurimma uskottavuude meetelmä (egl. maximum likelihood method tarkastellaa aluksi täydellistä otosta {t 1, t 2,,t } olkoo eliaikajakauma tiheysfuktio f(t θ olkoot t i, i1,2,, i.i.d satuaismuuttujia (jakaumasta f(t θ todeäköisyys havaita em. otos : P({ t dt } { t dt } { t dt } P({ t dt } i i i 1 f ( t θ dt l( t, t,, t θ dt i i 1 2 i 1 i 1 i

9 ELINAIKAJAKAUMIEN ESTIMOINTI fuktio l(t 1, t 2,,t θ o s. likelihoodfutio itse asiassa l(t 1, t 2,,t θ o i.i.d satuaismuuttujie T 1, T 2,,T yhteisjakauma suurimma uskottavuude meetelmässä parametrivektori estimaattoriksi valitaa se θ: arvo, joka maksimoi likelihoodfuktio, eli se parametrivektori arvo, joka maksimoi todeäköisyyde havaita tarkasteltava otos θ : l( t, t,, t θ l( t, t,, t θ, θ

10 ELINAIKAJAKAUMIEN ESTIMOINTI epätäydellise otokse tapauksessa likelihoodfuktio l(t 1, t 2,,t,s 1,s 2,,s m,, u 1, u 2,,u k, θ mudostuu kolmesta osasta: l( t, t,, t, s, s,, s, u, u,, u θ l( t, t,, t θ m 1 2 k 1 2 l ( s, s,, s θ l ( u, u,, u θ l( E θ, l( t, t,, t θ f ( t θ 1 2 S U i 1 m i ls( s1, s2,, sm θ R( si θ ( 1 l ( u, u,, u θ F( u θ U 1 2 k i i 1 k i m k m i 1 F( s θ i

11 ELINAIKAJAKAUMIEN ESTIMOINTI ESIMERKKI: ekspoetiaalijakauma parfametri estimoiti oletetaa, että otoksessa o vai täydellisesti havaittuja ja S-sesuroituja aikoja likelihoodfuktio: l( t, t,, t, s, s,, s λ l( t, t,, t λ l ( s, s,, s λ m 1 2 S 1 2 m λ exp( λt exp( λt λ exp( ( t + s λ i i i i 1 i 1 i 1 i 1 m i i Τ i 1 i 1 λ exp( ( t + s λ λ exp( λ m i

12 ELINAIKAJAKAUMIEN ESTIMOINTI ESIMERKKI: ekspoetiaalijakauma parfametri estimoiti ko. likelihoodfuktio maksimoituu, ku λ λ Τ

13 ELINAIKAJAKAUMIEN ESTIMOINTI ESIMERKKI: Poisso-otos vikoje lukumäärä ajassa T o poisso jakautuut likelihoodfuktio o siis ( λt l(, T λ exp( λt! Likelihoodfuktio maksimoituu, ku λ λ ˆ T

14 ELINAIKAJAKAUMIEN ESTIMOINTI ESIMERKKI: Biomiaalie-otos vikoje lukumäärä k :ssä tarvetilateessa o Biomijakautuut likelihoodfuktio l( k, p p k k k (1 p Likelihoodfuktio maksimoituu, ku k p pˆ

15 ELINAIKAJAKAUMIEN ESTIMOINTI Luottamusrajat pelkkä piste-estimaatti ei aa kuvaa éstimoitii liittyvästä epävarmuudesta klassisessa tilastotieteessä estimaati epävarmuutta arvioidaa s. luottamusrajoje avulla Määritelmä olkoox 1,x 2,...,x (i.i.d otos jakaumasta f(x θ olkoot fuktiot L(x 1,x 2,...,x ja U(x 1,x 2,...,x sellaisia, että P ( L( x1, x2,, x θ U( x1, x2,, x 1 γ satuaisväliä [L(x 1,x 2,...,x, U(x 1,x 2,...,x ] kutsutaa parametri 100(1-γ%: luottamusväliksi

16 ELINAIKAJAKAUMIEN ESTIMOINTI Luottamusrajat, esimerkki (Poisso-otata Tapahtumie lukumäärä (K ajassa t Poisso jakautuut, eli ( ( dz e k z k e t k K P k e t k K P z k i t k t k t k 0!! ( ja! ( λ λ λ λ λ eli 2 2 (2 ( ( 2 t k P k K P λ χ > + λ: arvo, jolle todeäköisyys havaita eitää k tapahtumaa o 1-γ/2 t k 2 2 (2 2 2 / 1 2 / 1 + γ γ χ λ, joka o λ: ylempi 100(1-γ/2%: luottamusraja

17 ELINAIKAJAKAUMIEN ESTIMOINTI vastaavasti P( K > k i k+ 1 ( λt k e k! λt 2 P( χ (2k < 2λt λ: arvo, jolle todeäköisyys havaita vähitää k+1 tapahtumaa o 1-γ/2 λ γ / 2 χ 2 γ / 2 (2k 2t, joka o λ: alempi 100(1-γ/2%: luottamusraja väli [λ γ/2, λ 1-γ/2 ] o siis λ: 100(1-γ%: luottamusväli

18 BAYESILAINEN ANALYYSI Bayeslaise tilastoaalyysi tavoite o päätellä tutemattomie suureide arvoja havaittuje muuttujie perusteella Bayesilaisessa tilastotieteelle o omiaista todeäköisyysmallie ekplisiittie käyttö kaike epävarmuude kuvaamisessa ja mittaamisessa Aalyysi vaiheet: kokoaistodeäköisyysmalli laatimie ehdoistamie havaitoje suhtee malli hyvyyde arvioiti

19 BAYESILAINEN ANALYYSI kokoaistodeäköisyysmalli malli tai tarkasteltava tilatee kaikkie muuttujie (havaittavie, tutemattomie ja parametrie yhteisjakauma malli o vastattava tarkasteltavaa ilmiötä koskevaa tieteellistä tietoa ja tiedokeruuprosessia ehdollistamie havaitoje suhtee tutemattomie muuttujie ehdollise jakauma määrittämie ku havaittavie muuttujie arvo tuetaa, posteriorijakauma ja eustava jakauma määrittämie

20 BAYESILAINEN ANALYYSI malli arvioiti malli sopivuude ja se seurauste arvioiti, herkkyystarkastelut, subjektiiviste oletuste eksplisiittie arvioiti omiaista Bayes-malleille o tilastolliste johtopäätöste selkeä tulkita (esim. luottamusvälit mallie joustavuus ja yleisyys epävarmuude selkeä ilmaisemie todeäköisyyksillä hierarkisuus

21 BAYESILAINEN ANALYYSI tilastolliset johtopäätökset koskevat koko populaatiota mutta e perustuvat otoksee syy-seuraussuhtee selvittämiseksi tarvitaa tilastollista päättelyä kahdelaisia estimoitavia tai arvioitavia suureita l. estimadeja: havaitsemattomat suureet (tulevat muuttujie arvot, joide arvo joko havaitaa tulevaisuudessa tai se o periaatteessa mahdollista havaita parametrit, joita ei voida suoraa havaita, mutta joita käytetää hyväksi mallissa (esim. regressiokertoimet, jakaumie parametrit

22 BAYESILAINEN ANALYYSI Parametrit, data ja eusteet havaitsemattomat muuttujat, esim. parametrit θ havaittavat muuttujat, y tutemattomat, mutta havaittavissa olevat muuttujat (esim. tulevaisuudessa havaittavat prosessimittauste arvot, y

23 BAYESILAINEN ANALYYSI Vaihdettavuus muuttujat y 1, y 2,..., y ovat vaihdettavia, jos mikä tahasa permutaatio y i, y j,..., y l yhteisjakauma p(y i, y j,..., y l o sama de Fietti esityslause: y 1, y 2,..., y ovat vaihdettavia <> kuki y i : jakauma muotoa p( y i p( yi θ p( θ dθ θ jos muuttujat ovat vaihdettavia, ii e voidaa korvata tilastollisessa päättelyssä toisillaa

24 BAYESILAINEN ANALYYSI Selittävät muuttujat selittävät muuttujat liittyvät kuhuki havaitoyksikköö, ja kuvaavat se omiaisuuksia (esim. kliiisessä kokeessa potilaa ikä, potilaa lääkitys tai hoito yms. esim. regressiomalli selittävät muuttujat i. havaitoyksikkö o muotoa (x, y i, missä x o yksikö omiaisuuksia kuvaava selittävä muuttuja, ja y o (kokeessa havaittava muuttuja vaihdettavuude tulkita: jos muuttuja y ehdollie jakauma p(y x o samalaie kaikille havaitoyksiköille, site että jos kahta tai useampaa yksikköä kuvaa sama x ii vastaava muuttuja y jakauma o sama, ii yksiköt ovat vaihdettavia

25 BAYESILAINEN ANALYYSI Hierarkiset mallit Y µ, σ Parameters hierarkisissa malleissa voidaa puhua vaihdettavuudesta usealla mallitamistasolla Θ11 Θ1L Θm1 ΘmL Hidde sample hierarkiset mallit voidaa esittää graafisesti verkkoia Y1 Observable variables Ym

26 BAYESILAINEN ANALYYSI Bayesilaie tilastollie päättely parametreja ja tutemattomia muuttujia koskevat tilastolliset väittämät esitetää todeäköisyysväittämiä todeäköisyysväittämät ovat muotoa: p(θ y tai p(y y jotta yo. muotoa olevia väittämiä voidaa esittää, o muodostettava muuttujie θ ja y yhteisjakauma, p(θ, y p(y θp(θ p(y θ o s. otosjakauma (samplig distributio p(θ o muuttuja θ o priorijakauma

27 BAYESILAINEN ANALYYSI Bayesilaie tilastollie päättely Bayesi kaavalla voidaa voidaa laskea ehdollie jakauma p(θ y p( θ, y p( θ p( y θ p( θ y p( y p( y missä p( y p( y θ p( θ dθ θ,

28 BAYESILAINEN ANALYYSI kaikki mallissa olevat tutemattomat muuttujat mallietaa todeäköisyysjakaumilla eliaikajakauma paraetri o tutemato, siis satuaismmuuttuja, jolla o priorijakauma p(θ ku o havaittu otos i.i.d. E {t 1, t 2,,t }, johdetaa posteriorijakauma p(θ E otokse yhteisjakauma, eli likelihood, o l( E θ f ( θ i 1 t i

29 BAYESILAINEN ANALYYSI posteriorijakauma, eli parametrivektori ehdollie jakauma ehdolla otos, muodostetaa Bayesi kaavalla Θ Θ θ θ θ θ θ θ θ θ θ θ θ θ θ d p t f p t f d p E l p E l E p i i i i ( ( ( ( ( ( ( ( ( 1 1 Posteriorijakauma laskemie oistuu vai harvoi aalyyttisesti kojugaattiset priori-likelihoodparit: mikäli priori ja posteriori kuuluvat saamaa jakaumaperheesee, puhutaa kojugaattiprioreista

30 BAYESILAINEN ANALYYSI kojugaattiprioreita o olemassa.s ekspoetiaalise jakaumaperhee jakaumille ekspoetiuaalijakauma - gammajakauma biomijakauma - betajakauma ormaalijakauma - ormaalijakauma

31 BAYESILAINEN ANALYYSI Epäiformatiiviset priorit tavoite ataa otokselle mahdollisimma suuri paio, ja välttää eakko-odotuste vaikutusta tasajakauma erilaisia approksimatiivisesti epäiformatiivisia jakaumia o määritelty epäoleelliset priorit MIKSI KÄYTTÄÄ EPÄINFORMATIIVISTA PRIORIA?

32 BAYESILAINEN ANALYYSI ESIMERKKI: ekspoetiaalijakauma Bayesaalyysi valitaa λ: priorijakaumaksi gammajakauma p( λ α, β β λ Γ( α α α 1 βλ e likelihoodfuktio l( t1, t2,, t λ λ exp( λ t i λ exp( λt i 1

33 BAYESILAINEN ANALYYSI ESIMERKKI: ekspoetiaalijakauma Bayesaalyysi posteriorijakauma Bayesi kaavalla: λ β α α β λ α β λ α βλ α α λ βλ α α λ λ α β λ λ λ λ λ α β λ λ α β λ λ ( 1 0 ( 1 ( ( ( ( (, ( T T T T T e T d e e d e e e e T p Γ + Γ Γ

34 BAYESILAINEN ANALYYSI ESIMERKKI: biomijakauma Bayesaalyysi: kojugaattipriori betajakauma: Γ( r Γ( s f( p r, s Γ( r + s r E( p r + s rs Var( p 2 ( r + s ( r + s+ 1 p s ( 1 p, r 1 1

35 BAYESILAINEN ANALYYSI ESIMERKKI: biomijakauma Bayesaalyysi: k k likelihood: l( k, p p (1 p k posteriorijakauma: f p k k p p ( r ( s (, ( p ( p Γ Γ 1 1 Γ( r + s ( r ( s k Γ Γ Γ( r + s f( p k, beta( k + r, k + s k k r 1 s 1 p ( 1 p k+ r 1 k+ s 1

36 BAYESILAINEN ANALYYSI Eustavat jakaumat:: tavoitteea eustaa tulevia esim. eliaja arvoja, ku o havaittu otos ({t 1, t 2,,t } oletus:{t 1, T 2,,T } o ehdollisest i.i.d. eli T i θ ~ f(t θ kaikilla i1, seuraava eliaika T +1 θ ~ f(t θ parametri priorijakauma p(θ tavoite siis laskea jakauma T +1 T 1, T 2,,T f(t +1 T 1 t 1, T 2 t 2,, T t f(t +1 E lasketaa esi paramateri posteriorijakauma, p(θ Ε

37 BAYESILAINEN ANALYYSI Eustavat jakaumat: T +1 ehdollie jakauma ehdolla paramatri o T +1 θ ~ f(t θ T +1 reuajakauma (ehdoto jakauma o eustava jakauma, eli f( t+ 1 E f( t+ 1 θ p( θ E dθ θ

38 BAYESILAISET LUOTTAMUSVÄLIT Posteriorijakauma koskee parametri arvo epävarmuutta 100(1-γ%: epävarmuusväli: [ θγ /2, θ1 γ / 2 ]: θ γ θ /2 p( θ E dθ γ/2, 1 γ /2 p( θ E dθ 1 γ /2,

39 BAYESILAISET LUOTTAMUSVÄLIT R o Highest Posterior Desity Regio of cotet 1-γ jos: a P( θ R E 1 γ b kaikilleθ1 R, θ2 R, p( θ1 E p( θ2 E

40 Reject-accept algoritmi: jos o olemassa M > 0 site, että f(θ g(θm, ii algoritmi: 1. Arvo θ jakaumasta g(θ 2. Arvo u tasajakaumasta U(0,1 3. Jos u f(θ/m g(θm, hyväksy θ, muute toista 1-3 Algoritmi mukaie hyväksytty θ oudattaa jakaumaa h( θ θ f ( θ f ( θ dθ

41 Bayesilaie tilastoaalyysi - tausta, motivoiti ja peruskäsitteet Bayesilaie tilastollie päättely; eustavat jakaumat eekui y o havaittu, sitä koskeva epävarmuus kuvataa reuajakaumalla (a priori eustava jakauma py ( py (, θ dθ py ( θ p( θ dθ θ θ

42 Bayesilaie tilastoaalyysi - tausta, motivoiti ja peruskäsitteet Bayesilaie tilastollie päättely; eustavat jakaumat ku y o havaittu samalaise tai samassa asemassa olevaa, mutta tutematota muuttujaa y* koskeva epävarmuus kuvataa (a posteriori eustavalla jakaumalla p( y* y θ θ θ p( y*, θ p( y* θ, y p( θ p( y* θ p( θ y dθ y dθ y dθ

43 Bayesilaie tilastoaalyysi - tausta, motivoiti ja peruskäsitteet Bayesilaie tilastollie päättely; likelihoodfuktio ku Bayesi kaavaa käytetää edellä esitetyllä tavalla, vaikuttaa havaittu data (y tilastollisee päättelyy aioastaa fuktio p(y θ kautta fuktiota p(y θ kutsutaa likelihood- l. uskottavuusfuktioksi Bayesilaie päättely oudattaa s. likelihoodperiaatetta, joka mukaisesti kaikki todeäköisyysmallit, joilla o (vakiokerroita vaille sama likelihoodfuktio, johtavat samoihi tilastollisii johtopäätöksii

44 Bayesilaie tilastoaalyysi - tausta, motivoiti ja peruskäsitteet Bayesilaie tilastollie päättely; likelihood- ja vedolyötisuhteet (likelihood ratio / odds ratio posterioritiheyksie suhdetta p(θ 1 y/ p(θ 2 y kutsutaa posteriori odds suhteeksi (posterior odds ratio, ja pätee p( θ 1 y p( θ 1 p( y θ 1/ p( y p( θ y p( θ p( y θ / p( y p( θ 1 p( y θ 1 p( θ p( y θ 2 2

45 Bayesilaie tilastoaalyysi - tausta, motivoiti ja peruskäsitteet Bayesilaie tilastollie päättely; likelihood- ja vedolyötisuhteet (likelihood ratio / odds ratio posteriori odds suhde o siis priori odds suhde likelihoodsuhde likelihoodsuhde määritellää kaavalla LR py ( θ 1 py ( θ 2

46 Bayesilaie tilastoaalyysi - tausta, motivoiti ja peruskäsitteet Käyttökelpoisia todeäköisyyslaskea tuloksia yhteisjakaumie esittämie ehdolliste jakaumie avulla (huom! myös graafiset esitykset pu (, u,, u pu ( pu ( u,, u ja i 1 i 2 pu (, u,, u H pu ( H pu ( u,, u, H i 1 i 2 i 1 i 1