P(X = x T (X ) = t, θ) = p(x = x T (X ) = t) ei riipu tuntemattomasta θ:sta. Silloin uskottavuusfunktio faktorisoituu

Transkriptio

1 1. Tyhjentävä tunnusluku (sucient statistics ) Olkoon (P(X = x θ) : θ Θ) todennäköisyysmalli havainnolle X. Datan funktio T (X ) on Tyhjentävä tunnusluku jos ehdollinen todennäköisyys (ehdollinen tiheysfunktio) P(X = x T (X ) = t, θ) = p(x = x T (X ) = t) ei riipu tuntemattomasta θ:sta Silloin uskottavuusfunktio faktorisoituu P(X = x θ) = P(X = x T (X ) = T (x))p(t (X ) = T (x) θ)

2 Esimerkki: Heitetaan kolikkoa n-kertaa, olkoon Y i = 1( i-tulos on kruunu ). Oletamme että kolikon heitot ovar riippumattomia ja samoin jakautuneita (independent and uniformly distributed, i.i.d), tuntemattomalla kruunun todennäköisyydellä θ [0, 1]. P(Y 1,..., Y n θ) = n P(Y i θ) = i=1 n θ Y i (1 θ) (1 Y ) i = θ X n(1 θ) n X n i=1 jossa X n = T (Y 1,..., Y n ) = (Y Y n ) on tyhjentävä tunnusluku.

3 P(X n = x θ) = P(Y 1 = y 1,..., Y n = y n θ) y i {0,1}: P n i=1 y i =x = θ x (1 θ) n x # { y {0, 1} n : ( ) n = θ x (1 θ) n x x n y i = } x i=1

4 Tyhjentävyydenperiaate Olkoon Y data ja T (Y ) tyhjentävä tunnusluku. Olkoon y ja y havaintojen arvoja joilla T (y) = T (y ). Tilastollinen päättely θ:sta datan {Y = y} ja {Y = y} perustella johtaa samoihin tuloksiin. Sekä freqventistisessa että Bayeslaisessa ajattelutavassa hyväksytään tyhjentävyyden periaatetta.

5 Uskottavuuden periaate (Likelihood principle) Olkoon X p(x θ) ja X p( x θ), kaksi kokeetta samoilla tuntematomalla parametrilla θ. Jos joillakin kokeiden tulokseilla { X = x} ja { X = x} p(x = x θ) = C p( X = x θ) θ jossa C = C(x, x) ei riipu θ:sta, silloin kokeiden tulokset { X = x} ja { X = x} ovat yhtä informatiivisia θ:stä ja johtavat samaan päättelyyn.

6 Uskottavuusfunktio θ p(x = x θ) modulo normalisointivakiota sisältää koko havainnon {X = x}:n informaatiota tuntemattomasta parametrista θ. Esimerkiksi, suurimman uskottavuuden (maximum likelihood, ML) estimaattori noudattaa uskottavuuden periateetta: θ ML = arg max p(x = x θ)p( X = x θ) θ = arg max C(x, x)p( X = x θ) θ = arg max p( X = x θ) θ Kuitenkin, kun suurimman uskottavuudeen estimattoriin liitetään frekventistiset luottamusvälit, rikotaan uskottavauuden periaatetta.

7 Esimerkki Koe I: Heitetaan kolikkoa n kertaa, jossa kruunun todennäköisyys on tuntematon parametri θ [0, 1]. Olkon satunnaismuuttuja X n = kruunujen määrä Uskottavuusfunktio on ( ) n p(x n = x θ) = θ x (1 θ) n x x

8 Esimerkki Koe I: Heitetaan kolikkoa n kertaa, jossa kruunun todennäköisyys on tuntematon parametri θ [0, 1]. Olkon satunnaismuuttuja X n = kruunujen määrä Uskottavuusfunktio on ( ) n p(x n = x θ) = θ x (1 θ) n x x Koe II: heitetaan samaa kolikkoa jolla on edelleen tuntematon todennäköissys parametri θ [0, 1], niin kauan kun saadan x-kruunuja. Olkoon satunnaismuuttuja N x = heittojen määrä. N x on x-geometristen satunnaismuuttujen muuttujen konvoluutio, negatiivinen binomialinen jakauma. x on otoskoko ja uskottavuusfunktio on ( ) n 1 P(N x = n θ) = θ x (1 θ) n x x 1

9 Tämä seuraa koska kun x = 1, N 1 on geometrisesti jakautunut parametrilla θ, P(N 1 = n 1 θ) = (1 θ) (n 1 1) θ ja kun N 0 = 0 P(N 1 = n 1, N 2 N 1 = n 2,... N x N x 1 θ) = x P(N i N i 1 = n i θ) = i=1 (1 θ) (n 1 1) θ (1 θ) (n 2 1) θ (1 θ) (n x 1) θ = (1 θ) P x i=1 (n i 1) θ P x i=1 n i (1 θ) (n x) θ x jossa n = n 1 + n n x.

10 Koska N x = x i=1 (N i N i 1 ), P(N x = n θ) = P(N 1 = n 1, N 2 N 1 = n 2,... N x N x 1 θ) n i : P x i=1 n i =n (1 θ) (n x) θ x # { (n 1,..., n x ) : ( ) n 1 = (1 θ) (n x) θ x x 1 x n i = } n i=1

11 Oletetaan että kokeessa I) olemme saaneet X n = x, jossa n on otoskoko, ja kokeessa II) olemme saaneet N x = n jossa x. Havainnot {X n = x} kokeessa (I) ja {N x = n} kokeessa (II) sisältävät samaa informaatiota θ:sta ja kun noudataan uskottavuus-periaatetta joudutaan samaan päättelyyn.

12 Tässä tapauksessa Suurimman uskottavuuden estimaattorit ovat (I ) : θn = X n n = x n, ja (II ) : θx = x N x = x n. molemmissa tapauksissa. Laskemme ML-estimattorien varianssieja: I ) : E θ0 (X n ) = θ 0 n, Var θ0 (X n ) = θ 0(1 θ 0 ) n

13 Asymptottisesti, suurten lukujen laista θ n = X n n θ 0 kun n P ϑ0 -todennäköisyydellä 1, ja ja keskeisesta raja-arvolauseesta n( θn θ 0 ) d N (0, θ 0 (1 θ 0 )) jakauman konvergenssin mielessä.

14 II ) E θ0 (N x ) = x (1 θ), Var θ0 (N x ) = x θ 0 θ 2 Suurten lukujen laista seuraa N x x 1 θ 0 kun x P ϑ0 -todennäköisyydellä 1, ja keskeisesta raja-arvolauseesta x ( Nx x 1 θ 0 jakauman mielessä. ) ( d N 0, 1 θ ) θ 2 kun x

15 Palautan mieleen delta-menetelmaa: jos x( ψx ψ 0 ) d N (0, σ 2 ) ja ψ θ = f (ψ) jossa f on sileä, seuraa estimattorille θ x := f ( ψ x ) x( θx θ 0 ) = x(f ( ψ x ) f (ψ 0 )) d N (0, f (ψ 0 ) 2 σ 2 ) jossa θ 0 := f (ψ 0 )

16 Kun f (x) = 1/x, Delta menetelmällä seuraa x(f (Nx /x) f (1/θ 0 )) = x(x/n x θ 0 ) = ( x( θx θ 0 ) d N 0, f (ψ 0 ) 2 (1 θ ) 0) θ 2 0 ( ) = N 0, (1 θ 0 )θ 2 0

17 Kun otoskoot n ja x ovat tarpeeksi suureet, saadan freventistiset α-luottamustason luottamusvälit Koe I): Kun X n = x, θ n = x/n θ 0 ˆθ n ± q α Koe II): Kun N x = n θ x = x/n ˆθ n (1 ˆθ n ) n θ 0 ˆθ n ± q α (1 θ x ) θ 2 x x Vaikka suurimman uskottavuuden estimointi on sopusoinnissa uskottavuus periaatteen kanssa, freqventistiset luottamusvälit eivät ole!

18 Bayesin ratkaisu Oletamme tasainen priori p(θ) = 1 kun θ [0, 1], p(θ) = 0 muuten Posteriori jakauma on Koe I: p(x n = x θ)p(θ) p(θ X n = x) = 1 p(x 0 n = x ϑ)p(ϑ)dϑ ( n ) θx (1 θ) n x x = ( n 1 x) 0 ϑx (1 ϑ) n x dϑ 1 = Beta(x + 1, n x + 1) θx (1 θ) n x jossa Beta(a, b) := 1 0 ϑ a 1 (1 ϑ) b 1 dϑ on Beta funktio. Siis a posteriori ehdolla X n = x θ on

19 Koe II: p(θ N x = n) = p(θ N x = n) p(n x = n θ)p(θ) = 1 p(n 0 x = n ϑ)p(ϑ)dϑ ( n 1 ) θx (1 θ) n x = = x 1 ( n 1 x 1 ) 1 0 ϑx (1 ϑ) n x dϑ 1 Beta(x + 1, n x + 1) θx (1 θ) n x on θ:n ehdollinen jakauma ehdolla N x = n. Koska Bayesin kaavassa käytetään vain uskottavuusfunktion arvo data pisteissä, seuraa että Bayeslainen tilastotiede on sopusoinnissa uskottavuusperiaatteen kanssa.

20 Yleisemmin, oletetaan että heitetaan kolikkoita tietyn satunnaisen pysähdysstrategia mukaan: Kokeensunnitelija määrää jonoa pysähdystodennäköisyyksiä q k (Y 1,..., Y k ) : {0, 1} k [0, 1], jossa k N. Koska θ on tuntematon koesuunnitelijalle, pysähdystodennäköisyydet eivät riipu parametrista θ. Jos koe on jatkanut k-heiton asti, todennäköisyydellä q k (Y 1,..., Y k ) datan kerääminen loppuu siihen. Myös alussa todennäköisyydella q 0 päätetään kerätäänkö ollenkaan dataa. Jos data ei kerätä, N = 0 Koska θ on tuntematon koesuunnitelijalle määrää pysähdys-todennäköisyydet q k (Y 1,..., Y k ).

21 Silloin data = (N, Y 1,..., Y N ), jossa N on satunnainen, uskottavuusfunktiolla P(N = n, Y 1 = y 1,..., Y n = y n θ) = q 0 jos n = 0, muuten { ( n 1 ) } = (1 q 0 ) (1 q k (y 1,..., y k )) q n (y 1,..., y n ) i=1 k=1 { n } θ y i (1 θ) 1 y i = C(n, y 1,..., y n )θ x n(1 θ) n x n jossa x n = y y n. Huomataan satunnaispari (N, X N ) on tyhjentävä tunnusluku. Kun noudataan uskottavuuden periaatteetta tilastollinen päättely riippuu vain kerätystä datasta, eikä datan-keräämisen strategiasta

22 Edellisessä esimerkissa käytettiin pysähdysstrategiat q k (y 1,..., y k ) = 1(k = n) ja vastaavasti q k (y 1,..., y k ) = 1(y y k = x) jossa n, ja vastaavasti x kiinnitettiin. Frekventtistiset luottamusvälit ja p-arvot riippuvat ei pelkään kerätystä datasta mutta myös etukäteen sovitusta pysähdysstrategiasta. Miten jos jostakin syystä joudutaan poikkeamaan etukäteen sovitusta pysähdysstrategiasta? Silloin uusi pysähdystodennäköisyys on tuntematon, ja ei pysty enää laskemaan ML-estimattorin varianssi, freqventistiset luottamusvälit ja p-arvot.

23 Lääketieteellisessä tutkimuksessa tämä on aiheuttanut ja aiheuttaa (aivan turhaan, jos hyväksytään uskottavuuden periaattetta) eettisia kysymyksiä: kun testataan uusia lääkkeitä, ja joudutaan poikeaamaan protokollasta joidenkin potilaiden suhteen, koko koetutkimuksen aineisto sattaa tulla frekventisen tilastotieteen näkökulmasta kelvottamaksi, koska p-arvot ei pysty enää laskemaan. Toisaalta, lääkärit ovat velvollisia antamaan yksittäisille potilaille jokaisessa vaiheessa parhasta mahdollista hoitoa protokollan huolimatta.

24 Delta-menetelmästä Delta menetelmä perustuu Taylorin kaavaan: Kun θ P θ0 n θ0 kun n n ( θn ) d θ 0 N ( 0, σ 2), jos funktio f on derivoituva f (θ n ) P θ 0 f (θ0 ) n(f (ˆθn ) f (θ 0 )) = f (θ 0 ) n( θ n θ 0 ) +n 1/2 1 2 f (θ n) ( n( θ n θ 0 ) ) 2 d N ( 0, f (θ 0 ) 2 σ 2) Kun n, θ P θ0 n θ0 ja toisen asteen jäännöstermi suppenee kohti nollaan P θ0 :n mielessä.