Tässä luvussa mietimme, kuinka paljon aineistossa on tarpeellista tietoa Sivuamme kysymyksiä:

Transkriptio

1 4. Tyhjentyvyys Tässä luvussa mietimme, kuinka paljon aineistossa on tarpeellista tietoa Sivuamme kysymyksiä: Voidaanko päätelmät perustaa johonkin tunnuslukuun t = t(y) koko aineiston y sijasta? Mitä tunnusluvulta tulee vaatia, jotta päättelyssä ei hukata parametrin θ kannalta oleellista informaatiota? Näitä kysymyksiä varten tutustumme tyhjentyvyyden käsitteeseen.

2 4.1.1 Tunnusluvuista ja aineiston tiivistämisestä Olkoon y = (y 1,..., y n ) aineisto, joka tulee analysoida. Tunnusluku: aineiston muunnos, voi olla reaalinen t = t(y) R tai vektori t = t(y) = (t 1 (y),..., t k (y)) R k Usein k < n, eli ne usein tiivistävät aineistoa tai korostavat aineiston piirteitä Tunnusluvut myös luokittelevat aineistoa, sillä t(y) = t(y ) voi hyvin olla sama eri aineistoille.

3 4.1.1 Esimerkkejä tunnusluvuista a) otoskeskiarvo y = (y y n )/n; tässä k = 1 b) otosvarianssi s 2 = (n 1) 1 i (y i y) 2 ; tässä k = 1 c) pari (y, s 2 ); tässä k = 2 d) pienin havainto y (1) = min(y 1,..., y n ); tässä k = 1 e) suurin havainto y (n) = max(y 1,..., y n ); tässä k = 1 f) järjestetty aineisto eli järjestystunnusluku (y (1),..., y (n) ); tässä k = n

4 4.1.2 Tyhjentävän tunnusluvun määritelmä ja tulkinta Määritelmä Tunnusluku T = t(y) on parametrin θ tyhjentävä tunnusluku, jos satunnaisvektorin Y ehdollinen jakauma ehdolla T = t ei koskaan riipu θ:sta eli ehdollinen tiheys toteuttaa kaikilla θ, θ Ω. f Y T (y t; θ) = f Y T (y t; θ ) = f Y T (y t)

5 4.1.2 Tyhjentävän tunnusluvun määritelmä ja tulkinta Määritelmä voidaan ymmärtää seuraavasti: Jos aineistosta y tiedetään että tunnusluvun t(y) arvo on t, niin aineiston tarkempi tuntemus ei enää tuo mitään lisätietoa parametrista θ Sanalle tieto/informaatio emme antaneet tarkkaa tulkintaa, mutta riittävillä säännöllisyysoletuksilla tämän voisi ymmärtää Fisherin informaation avulla. Itse asiassa olemme eri informaation käsitteiden alkujuurella.

6 4.1.2 Tyhjentävän tunnusluvun määritelmä ja tulkinta Tyhjentäviä tunnuslukuja on aina: koko aineisto Y on aina tyhjentävä tunnusluku (HT). Tämä on ns. triviaali tunnusluku Yleensä pyrkimyksenä on löytää tyhjentävä tunnusluku, jonka dimensio on mahdollisimman pieni, eli tiivistää aineistoa mahdollisimman paljon jatkopäättelyiden tästä kärsimättä Järjestystunnuslukukin on riippumattomien ja samoin jakautuneiden havaintojen tapauksessa tyhjentävä tunnusluku

7 4.1.3 Esimerkki: toistokoemalli Palataan esimerkkiin n oleva otos lamppuja ja määritellään y i = 1{ i:s lamppu on rikki } Aineisto on y = (y 1,..., y n ) Tilastollinen mallin spesifoi yptnf kun k = k(y) = y y n. f Y (y; θ) = θ k (1 θ) n k Näytetään määritelmän avulla, että tunnusluku K = k(y) on tyhjentävä tunnusluku.

8 4.1.3 Esimerkki: toistokoemalli Esimerkissä totesimme K Bin(n, θ), ja tämän siten selittää tilastollinen malli ( ) n f K (k; θ) = θ k (1 θ) n k k Ehdollinen yptnf on siten f Y K (y k; θ) = 1 ( n k)1{ k = k(y) } Oikea puoli ei riipu θ:sta, joten K on tyhjentävä.

9 4.2.1 Faktorointikriteeri tyhjentävyydelle Käytännön tehtävissä on määritelmän sijaan paljon kätevämpää käyttää faktorointikriteeriksi kutsuttua lausetta Lause (Faktorointikriteeri) Tunnusluku T = t(y) on parametrin θ tyhjentävä tunnusluku jos ja vain jos f Y (y; θ) voidaan kirjoittaa muodossa kaikilla y ja θ Ω. Todistus. Liitutaululla. f Y (y; θ) = h(y)g(t(y); θ)

10 4.2.1 Faktorointikriteeri tyhjentävyydelle Huom. Faktorointikriteeri lausua myös näin: Lause (Faktorointikriteeri (vaihtoehtoinen muotoilu)) Tunnusluku T = t(y) on parametrin θ tyhjentävä tunnusluku jos ja vain jos mallin uskottavuusfunktio L (tai log-uskottavuus l) voidaan valita siten, että se riippuu aineistosta vain t(y):n välityksellä

11 4.2.2 Esimerkki: toistokoemalli Esimerkissä tunnusluvun k = y i tyhjentävyys nähdään faktorointikriteerin avulla suoraan, sillä mallin uskottavuusfunktio L(θ; y) = θ k (1 θ) n k riippuu aineistosta vain tunnusluvun k välityksellä

12 4.2.3 Esimerkki: normaalimalli Esimerkkissä huomasimme, että uskottavuusfunktio riippui vain aineistosta tunnuslukujen y ja s 2 välityksellä log-uskottavuusfunktioksi kävi l(µ, σ 2 ; y) = n 2 log(σ2 ) 1 2σ 2 ( (n 1)s 2 + n(y µ) 2) Siispä: pari (y, s 2 ) on parametrin (µ, σ 2 ) tyhjentävä tunnusluku Myös su-estimaattori ( µ, σ 2 ) on parametrin (µ, σ 2 ) tyhjentävä tunnusluku

13 4.2.3 Esimerkki: normaalimalli Vastaasti: kun varianssi on tunnettu σ0 2 > 0, niin l(µ; y) = n 2σ0 2 (y µ) 2 joten y on parametrin µ tyhjentävä tunnusluku Huom. kummassakin normaalimallin tapauksessa löysimme tyhjentävän tunnusluvun, joka oli samaa dimensiota kuin mallin parametri! Sama ilmiö myös lineaarisen regressiomallin tapauksessa, mutta ei yleisesti...

14 4.2.4 Esimerkki: Cauchyn jakauma (vanha tuttumme) Cauchyn jakauma oli TN2-kurssin mallivastaesimerkki suurelle osalle pohdinnoista (ei odotusarvo, jne.) ja osoittautuu, että Cauchyn jakauma on jälleen kerran peikkomainen Olkoon Y 1,..., Y n ja kukin noudattaa Cauchyn jakaumaa f (y; θ) = 1 π(1 + (y θ) 2 ) Faktorointikriteerin jos T = t(y) on tyhjentävä, niin f Y (y; θ) = 1 π n n i=1 1 = h(y)g(t(y); θ) 1 + (y i θ) 2 Parilla lisäapulauseella voisimme osoittaa, että tällöin T on järjestystunnusluku tai jokin sen permutaatio.

15 4.2.5 Eksponenttiperheen mallit Malli f Y (y; θ) kuuluu d-ulotteiseen eksponenttiperheeseen, mikäli ( d ) f Y (y; θ) = c(θ)h(y) exp φ j (θ)t j (y) j=1 (4.1) Faktorointikriteerin mukaan (t 1 (y),..., t d (y)) on parametrin tyhjentävä tunnusluku

16 4.2.5 Eksponenttiperheen mallit Edelleen: jos Y i :t ovat samoin jakautuneita ja riippumattomia satunnaismuuttujia, ja kullakin (4.1) ptnf/tf, niin f Y (y; θ) = c(θ) n( i h(y i ) ) ( d exp j=1 φ j (θ) i ) t j (y i ) Eli tällöinkin tyhjentävän tunnusluvun dimensio on d. Tämä on tietyin poikkeuksin voimassa vain eksponenttiperheeseen kuuluvilla malleilla, sisältäen mm. Bernoulli-, binomi-, Poisson-, normaali-, gamma- ja eksponenttijakaumat. (HT)

17 Raon Blackwellin lause Helposti voi miettiä, mitä hyötyä tyhjentyvyydestä on Seuraava yksinkertainen lause kertoo, että paras harhaton estimaattori on tyhjentävän tunnusluvun muunnos Seuraavassa tunnusluku T = t(y) on parametrin θ tyhjentävä tunnusluku, ja U jokin g(θ) harhaton estimaattori. Lause (Raon Blackwellin lause) Olkoon V (y) = E θ (U T = t(y)). Tällöin estimaattori V (Y) on parametrin g(θ) harhaton estimaattori, joka on ainakin yhtä tehokas kuin U. Itse asiassa, U on yhtä tehokas voi V jos ja vain jos U = V = h(t). Todistus. Liitutaululla.

18 Lehmannin Scheffén lause Oletetaan, että tyhjentävän tunnusluku T on ns. täydellinen eli jos kaikilla θ on E θ h(t ) = 0, niin tällöin jokaisella θ on P θ (h(t ) = 0) = 1. Tällöin Lehmannin Scheffén lause sanoo, että V on paras harhaton estimaattori. Momenttiemäfunktioitten avulla voisimme osoittaa, että eksponenttiperheen malleille luonnollinen tyhjentävä tunnusluku on täydellinen. Erityisesti voimme päätellä, että S 2 normaalimallissa on paras harhaton estimaattori.