3.6 Su-estimaattorien asymptotiikka

Transkriptio

1 3.6 Su-estimaattorien asymptotiikka su-estimaattorit ovat usein olleet puutteellisia : ne ovat usein harhaisia ja eikä ne välttämättä ole täystehokkaita asymptoottisilta ominaisuuksiltaan ne ovat yleensä varsin hyviä: tarkentuvia asymptoottisesti harhattomia täystehokkaita likimain normaalijakautuneita tämä selittänee su-estimaattorien suurta suosiota

2 3.6.1 Tarkasteltava tilanne Havaintoja vastaavat satunnaismuuttujat Y 1,..., Y n ovat riippumattomia ja samoin jakautuneita, f Yi (y; θ) = f (y; θ), jossa parametri θ on d-ulotteinen Tässä tapauksessa l(θ; y) = n log f (y i ; θ) i=1 Huom. esimerkiksi lineaarinen regressiomalli ei toteuta tätä ehtoa.

3 3.6.2 Su-estimaattorin tarkentuvuus Lause Oletetaan, että θ (n) = θ(y 1,..., Y n ) on n:n havainnon su-estimaattori. Kunhan riittävät säännöllisyysehdot toteutuvat, niin θ (n) on tarkentuva! Ehtoihin kuuluu: kantaja (alusta) ei riipu parametrista θ parametri θ on identifioituva eli jos θ θ, niin vastaavat tiheydet f ( ; θ) ja f ( ; θ ) ovat erit. useimmat kurssin malleista ovat riittävän säännöllisiä.

4 3.3 Momenttimenetelmä Momenttimenetelmä on vanha (1800-luvulta) estimointimenetelmä Sillä saa yleensä muodostettua estimaattoreita, mutta niiden ominaisuuksissa voi olla toivomisen varaa

5 3.3.1 Otosmomenttien määritelmä Oletus: Y 1,..., Y n samoin jakautuneita, ja odotusarvo olemassa otoskeskiarvo Y on aina odotusarvon eli ensimmäisen momentin harhaton estimaattori vastaavasti k:s otosmomentti m k (Y) = n 1 n i=1 Y k i on aina k:nnen momentin µ k = EY k i harhaton estimaatti.

6 3.3.1 Momenttimentelmän ajatus Muodostetaan yhtälöryhmä m 1 = µ 1 = µ 1 (θ 1,..., θ d ). m d = µ d = µ d (θ 1,..., θ d ) missä m k = m k (y) on k:s otosmomentti aineistosta y. Yhtälöryhmässä yhtälöitä on yhtä monta kuin parametria d, joten yritetään ratkaista θ 1,..., θ d näistä yhtälöistä

7 3.3.1 Momenttimentelmän ajatus Jos yhtälöryhmällä on yksikäsitteinen ratkaisu θ = ( θ 1,..., θ d ), on löydetty jokin estimaatti θ 1 = θ 1 (m 1 (y),..., m d (y)). θ d = θ d (m 1 (y),..., m d (y)) sillä otosmomentit riippuvat vain aineistosta y. tämä ratkaisu θ on momenttimenetelmän mukainen estimaatti

8 3.3.2 Esimerkki: normaalimalli normaalimallissa Y 1,..., Y n N(µ, σ 2 ) paremetreja on 2, joten muodostamme yhtälöryhmän { m 1 = µ m 2 = σ 2 + µ 2 Ratkaisu ( µ, σ 2 ) on yksikäsitteinen (ja sama kuin su-menetelmällä saatu) { µ = m 1 = y σ 2 = m 2 µ 2 = m 2 m 2 1 = n 1 i (y i y) 2

9 3.3.3 Esimerkki: välin (0, θ) tasajakauma Oletus: Y 1,..., Y d ja Y i Tas(0, θ) Monisteen luku 2.2.8: voidaan ajatella, että su-estimaattori on θ = max(y 1,..., Y n ) Momenttimenetelmä antaa estimaattorin θ = 2Y Harjoitustehtävässä verrataan näiden estimaattorien soveltuvuutta

10 3.6.3 Estimaattorin jakauma normaalimallissa Motivoidaan hieman su-estimaattorien asymptoottista normaalisuutta Tarkastellaan normaalimallia Y 1,..., Y n N(µ, σ 2 0 ) kun varianssi σ 2 0 > 0 on tunnettu Tiedämme: otoskeskiarvo Y on odotusarvon µ i) harhaton estimaattori, ii) täystehokas estimaattori (eli tässä var Y = ( ι(µ)) 1 ) iii) tarkentuva eli P( Y µ < a) 1 jokaisella a > 0

11 3.6.3 Estimaattorin jakauma normaalimallissa Mutta nyt tiedämme vielä (kuten H3A tehtävässä 1), että µ = Y N(µ, σ 2 0/n) = N(µ, ι(µ) 1 ) Siispä voimme jopa sanoa tarkkaan, millä a > 0 on P( Y µ < a) = 0, 95 Tätä väliä (µ a, µ + a) tulemme kutsumaan 95%:n luottamusväliksi parametrille µ.

12 Sama kuvina

13 Sama kuvina

14 Sama kuvina

15 Sama kuvina

16 3.6.3 Estimaattorin jakauma yleisesti Yleensä estimaattorien jakaumaa ei vain voi yksinkertaisesti täysin selvittää Esimerkiksi su-estimaattorin θ(y) voi riippua niin monimutkaisesti Y:stä, että jakaumalle ei ole nimeä. ja joskus yhteys voi olla niin monimutkainen, että sille ei ole suljettua muotoa (lauseketta) ollenkaan. Mutta asymptoottisesti (eli suurilla n) tilanne on yleensä lähes normaalimallin mukainen!

17 3.6.4 Keskeinen raja-arvolause ja heikko suppeneminen Lause (Keskeinen raja-arvolause) Olkoon X 1, X 2,... jono riippumattomia ja samoin jakautuneita satunnaismuuttujia siten, että 0 < σ 2 <, jossa σ 2 = var X 1. Merkitään µ = EX 1, X n = 1 n X i. n Tällöin n X n µ σ i=1 d N(0, 1). Kalvolla Z n d N(0, 1) on monisteessa merkitty Zn w N(0, 1).

18 TN2 (luku 11.2) Jakaumasuppeneminen Määritelmä Olkoon X 1, X 2,... jono satunnaismuuttujia, joiden kertymäfunktiot ovat F 1, F 2,.... Olkoon Y satunnaismuuttuja, jonka kertymäfunktio on G, ts. kaikilla x F n (x) = P(X n x), G(x) = P(Y x). Jono (X n ) suppenee jakaumaltaan (engl. converges in distribution tai converges in law) kohti Y :tä, mikäli lim F n(x) = G(x) n kaikissa rajajakauman kertymäfunktion G jatkuvuuspisteissä x. Huom. monisteessa mainittu heikko suppeneminen = jakaumasuppeneminen.

19 TN2 (luku 11.4) Normaaliapproksimaatio Kun (X i ) on i.i.d.-jono, niin keskeiseen raja-arvolauseeseen avulla usein approksimoidaan äärellisellä, kiinteällä n n X n µ σ d N(0, 1). Tämä on sama asia kuin approksimaatio d σ X 2 n N(µ, n ). (Teeskentele, että edellä saatiin täsmällinen jakaumatulos, kerro vakiolla σ/ n ja lopuksi lisää µ.) Tämä on sama asia kuin approksimaatio n d X i N(nµ, nσ 2 ). i=1

20 3.6.4 Merkinnöistä Tällä kurssilla monisteessa jakaumasuppenemisestä puhutuaan usein heikkona suppenemisena ja tätä suppenemista merkitään X n w jakauma (TN2 : Xn d jakauma). Likimääräistä (asymptoottista jakaumaa) kurssilla merkitään X n as jakauma (TN2 : X n d jakauma).

21 Suuren otoskoon jakauma-approksimaatioita Keskeinen raja-arvolause takaa, että nämä normaaliapproksimaatiot (eli normaaliset approksimaatiot tai normaalijakauma-approksimaatiot) saadaan mielivaltaisen tarkoiksi, kun otoskoko n valitaan riittävän suureksi. Milloin otoskoko n on riittävän suuri? Tämä asia riippuu toisaalta halutusta tarkkuudesta ja approksimaation käyttötarkoituksesta ja toisaalta satunnaismuuttujien X i yhteisen jakauman luonteesta. Symmetrisille ja yksihuippuisille jatkuville jakaumille saavutetaan pienehköllä (muutaman kymmenen) otoskoolla useisiin tarpeisiin riittävä tarkkuus, mutta vinojen jakaumien kohdalla vastaavaan tarkkuuteen tarvittava otoskoko voi olla monta kertaluokkaa suurempi.

22 3.6.5 Su-estimaattorin asympt. normaalisuus (d = 1) Lause Esimerkissä totesimme, että normaalimallissa (kun varianssi tunnetaan) µ (n) N(µ, ι(µ) 1 ) Seuraava lause kertoo, että tämä on likimain voimassa varsin yleisesti :) Riittävien säännöllisyysehtojen vallitessa θ (n) as N(θ, ι(θ) 1 ) = N(θ, n 1 ι 1 (θ) 1 )

23 Mitä oletuksia tarvitsimme Havaintoja vastaavat satunnaismuuttujat Y 1,..., Y n ovat riippumattomia ja samoin jakautuneita, f Yi (y; θ) = f (y; θ), jossa parametri θ on 1-ulotteinen Edellä ι 1 (θ) on yhden havainnon Fisherin informaatio ja tiedämme ι(θ) = n ι 1 (θ)

24 3.6.6 Esimerkki: eksponenttimalli Tarkastellaan eksponenttimallia Y 1,..., Y n Exp(λ). Tiedämme (tehtävä 2.3 ja H2A tehtävä 1): λ = 1/Y Tiedämme (tehtävä 2.11 ja H2A tehtävä 2): ι(λ) = n/λ 2 Siispä: λ (n) N(λ, λ 2 /n) as

25 Sama kuvina

26 Sama kuvina

27 Sama kuvina

28 Sama kuvina

29 3.6.7 Pistemäärän asymptoottinen jakauma Osana su-estimaattorin asymptoottisen normaalisuuden lauseen todistusta saamme myös vallan mainion tiedon pistemäärän l (θ; Y) jakaumasta Kunhan malli on riittävän säännöllinen, niin l (θ; Y) as N(0, ι(θ)) missä odotusarvo ja varianssi saadaan apulauseesta (luku 2.5.3)

30 3.6.8 Su-estimaattorin asymptoottinen normaalisuus, kun d > 1 Lause Kun d > 1, on helppo arvata, miten asymptoottinen normaalisuuslause yleistyy :) Riittävien säännöllisyysehtojen vallitessa θ (n) as N d (θ, ι(θ) 1 ) eli θ (n) on asymptoottisesti multinormaalijakautunut.

31 3.6.5 Lauseen todistus (d = 1) Merkitään θ 0 :lla todellista parametri ja θ:lla muuttujaa Näytetään (taululla) että θ (n) θ 0 l (θ 0 ; Y) j(θ 0 ; Y) Siispä n( θ(n) θ 0 ) (l (θ 0 ; Y))/ n (j(θ 0 ; Y))/n (3.9)

32 3.6.5 Lauseen todistus (d = 1) Siispä n( θ(n) θ 0 ) (l (θ 0 ; Y))/ n (j(θ 0 ; Y))/n Oletusten nojalla (sekä apulauseen että keskeisen raja-arvolauseen avulla): (3.9) l(θ; Y) = i log f (Y i ; θ) = l (θ 0 ; Y) = i l 1(θ 0 ; Y i ) = l (θ 0 ; Y) as N(0, n ι 1 (θ 0 ))

33 3.6.5 Lauseen todistus (d = 1) Siispä n( θ(n) θ 0 ) (l (θ 0 ; Y))/ n (j(θ 0 ; Y))/n Oletusten (sekä suurten lukujen lain) nojalla j(θ 0 ; Y)/n = 1 j 1 (θ 0 ; Y i ) = n i j(θ 0 ; Y)/n p E θ0 (j 1 (θ 0, Y i )) = ι 1 (θ 0 ) (3.9)

34 3.6.5 Lauseen todistus (d = 1) Voimme päätellä, että n( θ(n) θ 0 ) as N(0, 1/ ι 1 (θ 0 )) Ja väite seuraa :) sillä n ι 1 (θ 0 ) = ι(θ 0 ) oletuksen nojalla.