Tilastollinen päättely. 3. Piste estimointi Johdanto Estimointimenetelmät Estimaattoreiden ominaisuudet

Transkriptio

1 Mat.36 Tlastolle päättely 3. Pste estmot Tlastolle päättely 3. Pste estmot 3.. Johdato Estmaattor, Estmaatt, Estmot, Havato, Havatopste, Otos, Otostuusluku, Parametr, Pste estmot, Pstetodeäkösyysfukto, Rppumattomuus, Theysfukto 3.. Estmotmeetelmät Asymptootte ormaalsuus, Beroull jakauma, Bjekto, χ jakauma, Estmaattor, Estmaatt, Estmot, Harhattomuus, Havato, Havatopste, Logartme uskottavuusfukto, Maksmot, Momettestmaattor, Momettmeetelmä, Normaaljakauma, Normaalsuus, Otos, Otostuusluku, Parametr, Pstetodeäkösyysfukto, Rppumattomuus, Suurmma uskottavuude estmaattor, Suurmma uskottavuude meetelmä, Tarketuvuus, Tehokkuus, Theysfukto, t jakauma, Tyhjetävyys, Uskottavuusfukto, Yhtesjakauma 3.3. Estmaattorede omasuudet Asymptootte ormaalsuus, Cramér ja Rao alaraja, Cramér ja Rao epäyhtälö, Estmaattor, Estmaatt, Estmot, Fsher formaato, Harha, Harhattomuus, Havato, Havatopste, Iformaato, Keskelövrhe, Logartme uskottavuusfukto, Maksmot, Mmvarasssuus, Normaaljakauma, Normaalsuus, Otos, Otostuusluku, Parametr, Paras harhato estmaattor, Pstetodeäkösyysfukto, Rao ja Blackwell teoreema, Rppumattomuus, Schwarz epäyhtälö, Suurmma uskottavuude estmaattor, Suurmma uskottavuude meetelmä, Tarketuvuus, Tehokkuus, Theysfukto, Tyhjetävyys, Uskottavuusfukto, Yhtesjakauma Ilkka Mell (007) /8

2 Mat.36 Tlastolle päättely 3. Pste estmot Ilkka Mell (007) /8

3 Mat.36 Tlastolle päättely 3. Pste estmot 3.. Johdato Pste estmot Olkoo f( x; ) satuasmuuttuja pstetodeäkösyys ta theysfukto, joka rppuu tutemattomasta parametrsta. Haluamme määrätä otokse perusteella mahdollsmma hyvä arvo parametrlle. Kutsumme tätä meettelyä estmoks. Olkoo,,, satuasotos satuasmuuttuja jakaumasta, joka pstetodeäkösyys ta theysfukto f(x;) rppuu parametrsta. Tällö havaot,,, ovat rppumattoma, dettsest jakautueta satuasmuuttuja, jolla o sama pstetodeäkösyys ta theysfukto f(x;): Olkoo,, K, f( x; ), =,, K, = (,,, ) satuasmuuttuje,,, muodostama vektor. Olkoot satuasmuuttuje,,, havatut arvot Merktää tätä: x, x,, x = x, = x,, = x Satuasmuuttuje,,, havatut arvot x, x,, x määräävät havatopstee x = (x, x,, x ) Kutsumme satuasmuuttuje,,, (mtallsta) fuktota W = W = W K ( ) (,,, ) (pste ) estmaattorks. Tämä merktsee stä, että estmaattor o otostuusluku (ks. luku ). Jos satuasmuuttuje,,, havatut arvot ovat x, x,, x, estmaattor W = W = W K ( ) (,,, ) saa havatuks arvoksee w fukto W( ) arvo havatopsteessä x = (x, x,, x ): w= W x = W x x K x ( ) (,,, ) Kutsumme estmaattor W havatoarvosta x, x,, x määrättyä arvoa w estmaatks. Ilkka Mell (007) 3/8

4 Mat.36 Tlastolle päättely 3. Pste estmot Huomautus: Koska haluamme käyttää estmaattora W parametr arvoje estmot, tutus luoollselta ssällyttää estmaattor määrtelmää vaatmus, että estmaattor ptää jollak tavalla lttyä estmotavaa parametr. O kutek osottautuut, että estmaattor määrtelmää e ole syytä lttää tällasta vaatmusta. 3.. Estmotmeetelmät Johdato Mte todeäkösyysjakauma parametrelle löydetää estmaattort? Tarkastelemme tässä kappaleessa kahta estmotmeetelmää: momettmeetelmää ja suurmma uskottavuude meetelmää. Momettmeetelmä Satuasotos Olkoo,,, satuasotos jakaumasta, joka pstetodeäkösyys ta theysfukto rppuu parametresta f(x;,,, p ),,, p Tällö havaot,,, ovat rppumattoma, dettsest jakautueta satuasmuuttuja, jolla o sama pstetodeäkösyys ta theysfukto f(x;,,, p ):,, K, Momettestmaattor f( x;,, K, ), =,, K, p Oletetaa, että jakaumalla f(x;,,, p ) o kakk (orgo ) momett kertalukuu p saakka: k E( ) = α, k =,, K, p k Oletetaa, että momette α, α,, α p ja parametre,,, p välllä o jatkuva bjekto el käätäe ykskästtee kuvaus: () α = g(,, K, p) α = g(,, K, p) M αp = gp(,, K, p) Ilkka Mell (007) 4/8

5 Mat.36 Tlastolle päättely 3. Pste estmot Tällö parametrt,,, p vodaa esttää momette α, α,, α p fuktoa: () = h( α, α, K, α p) = h( α, α, K, αp) M p = hp( α, α, K, αp) Estmodaa momett α, α,, α p vastaavlla otosmometella: k a =, k =,, K, p k = Sjottamalla estmaattort a, a,, a p momette α, α,, α p pakalle yhtälöh (), saadaa parametre,,, p momettestmaattort el MM estmaattort ˆ = h ( a, a, K, ap ) ˆ = h( a, a, K, ap) M ˆ p = hp( a, a, K, ap) Moet todeäkösyysjakaumat o parametrotu jakauma (orgo ) mometella ta keskusmometella: () () Jos jakauma o parametrotu jakauma (orgo ) mometella, ko. parametre momettestmaattoreta ovat vastaavat otosorgomomett. Jos jakauma o parametrotu jakauma keskusmometella, ko. parametre momettestmaattoreta ovat vastaavat otoskeskusmomett. Momettestmaattor omasuudet Hyvä estmaattor o harhato, tyhjetävä, tehokas ja tarketuva (ks. lukua, kappaletta 3.3 ja lukua 6). MM estmaattor e välttämättä täytä yhtäkää hyvä estmaattor krteerestä, jote momettmeetelmää käytettäessä o aa erksee varmstettava tuloksea saadu estmaattor hyvyys. Esmerkk.: Normaaljakauma parametre momettestmot Satuasmuuttuja oudattaa ormaaljakaumaa parametre µ = E( ) σ = Var( ) = E[( µ ) ] jos se theysfukto o muotoa / f( x; µ, σ ) = ( πσ ) exp ( x µ ) σ < µ <+, σ > 0, < x<+ Parametr µ o ormaaljakauma odotusarvo ja parametr σ o ormaaljakauma varass. Ilkka Mell (007) 5/8

6 Mat.36 Tlastolle päättely 3. Pste estmot Oletetaa, että havaot,,, muodostavat satuasotokse ormaaljakaumasta N(µ,σ ). Tällö,, K, N( µσ, ), =,, K, Parametre µ ja σ MM estmaattort ovat havatoje,,, artmeette keskarvo ja otosvarass Perustelu: = = σˆ ( ) = = Oletetaa, että satuasmuuttuja oudattaa ormaaljakaumaa parametre µ ja σ : N( µσ, ) Jakauma parametre ja satuasmuuttuja orgomomette välllä o seuraava bjekto: () () Parametrt µ jaσ lausuttua. ja. orgomomet fuktoa: µ = E( ) = α σ = Var( ) = E[( µ ) ] = E( ) µ = α α. ja. orgomomett lausuttua parametre µ jaσ fuktoa: α = E( ) = µ α = E( ) = σ + µ Olkoo,,, satuasotos ormaaljakaumasta N(µ,σ ). Havatoje,,,. ja. otosorgomomett saadaa kaavolla k a =, k =, k = Ste ormaaljakauma N(µ,σ ) parametre µ ja σ MM estmaattort ovat ˆ µ = a = = σˆ ( ) = a a = = = = = Huomaa, että ˆµ o havatoje artmeette keskarvo ja σ ˆ o havatoje. otoskeskusmomett el havatoje otosvarass, jossa elösumma jakajaa o käytetty havatoje lukumäärää. ( ) Ilkka Mell (007) 6/8

7 Mat.36 Tlastolle päättely 3. Pste estmot Estmaattorede omasuudet: ks. esmerkkä.. Suurmma uskottavuude meetelmä Satuasotos Olkoo,,, satuasotos satuasmuuttuja jakaumasta, joka pstetodeäkösyys ta theysfukto f(x;) rppuu parametrsta. Tällö havaot,,, ovat rppumattoma, dettsest jakautueta satuasmuuttuja, jolla o sama pstetodeäkösyys ta theysfukto f(x;): Uskottavuusfukto,, K, f( x; ), =,, K, Koska havaot,,, muodostavat satuasotokse jakaumasta f(x;), otokse = (,, K, ) yhtesjakauma pstetodeäkösyys ta theysfukto o jossa f( x, x, K, x ; ) = f( x ; ) f( x ; ) L f( x ; ) f( x; ), =,, K, o yksttäsee havatoo, =,,, lttyvä pstetodeäkösyys ta theysfukto. Otokse,,, uskottavuusfukto L( ; x, x, K, x ) = f( x, x, K, x ; ) o havatoje,,, yhtesjakauma pstetodeäkösyys ta theysfukto f arvo psteessä x, x,, x tulkttua parametr arvoje fuktoks. Uskottavuusfukto L ssältää kake (stokastse) formaato otoksesta. Suurmma uskottavuude estmaattor Olkoo t = g( x, x, K, x ) parametr arvo, joka maksmo otokse,,, uskottavuusfukto L( ; x, x, K, x ) parametr suhtee. Huomaa, että uskottavuusfukto L maksm atava parametr arvo t o muuttuje (havatoarvoje) x, x,, x fukto. Ilkka Mell (007) 7/8

8 Mat.36 Tlastolle päättely 3. Pste estmot Sjottamalla uskottavuusfukto L maksm parametr suhtee atavassa lausekkeessa muuttuje t = t( x, x, K, x ) x, x,, x pakalle satuasmuuttujat (havaot),,, saadaa parametr suurmma uskottavuude estmaattor el SU estmaattor ˆ = g (,, K, ) Parametr suurmma uskottavuude estmaattor ˆ tuottaa parametrlle arvo, joka maksmo pomtu otokse el saatuje havatoarvoje uskottavuude (todeäkösyyde). Ste suurmma uskottavuude estmaattor otoskohtae arvo maksmo uskottavuude (todeäkösyyde) saada juur se otos, joka o saatu. Suurmma uskottavuude estmotmeetelmä ojaa vomakkaast uskottavuusperaatteesee (ks. luku ). Suurmma uskottavuude estmaattor määrääme Parametr suurmma uskottavuude estmaattor määrätää etsmällä uskottavuusfukto L x x K x ( ;,,, ) (globaal) maksm parametr suhtee. Tavallsest uskottavuusfukto o parametr fuktoa sääölle, että se äärarvot vodaa löytää dervomalla: Jos uskottavuusfuktolla o maksm jossak parametravaruude ssäpsteessä, se löydetää kakssa tavaomasssa tlatessa merktsemällä uskottavuusfukto. dervaatta L ( ) ollaks ja ratkasemalla saadusta ormaalyhtälöstä L ( ) = 0 Olkoo ˆ jok ormaalyhtälö ratkasu. Pste ˆ vastaa uskottavuusfukto (lokaala) maksma, jos uskottavuusfukto. dervaatta L ( ) o egatve: L ( ˆ ) < 0 Uskottavuusfukto käyttäytyme parametravaruude reualla o tarkstettava erksee, koska o mahdollsta, että uskottavuusfukto saavuttaa maksmsa parametravaruude reualla psteessä, jossa L ( ) 0 Logartme uskottavuusfukto Uskottavuusfukto maksm vodaa etsä maksmomalla uskottavuusfukto sjasta logartme uskottavuusfukto (uskottavuusfukto logartm) l( ; x, x, K, x ) = log L( ; x, x, K, x ) Ilkka Mell (007) 8/8

9 Mat.36 Tlastolle päättely 3. Pste estmot parametr suhtee. Tämä johtuu stä, että logartmfukto o adost mootoe, jollo uskottavuusfukto ja se logartm saavuttavat äärarvosa samossa pstessä. Koska havaot,,, o oletettu rppumattomks, logartme uskottavuusfukto vodaa krjottaa seuraavaa muotoo: Tässä l( ) = log L( ) ( f x f x L f x ) = log ( ; ) ( ; ) ( ; ) = log f( x ; ) + log f( x ; ) + L+ log f( x ; ) = l( ; x ) + l( ; x ) + L+ l( ; x ) l(;x ) = log f(x ;), =,,, o havatoarvoo x lttyvä logartme uskottavuusfukto. Suurmma uskottavuude estmaattor omasuudet Hyvä estmaattor o harhato, tyhjetävä, tehokas ja tarketuva (ks. lukua, kappaletta 3.3 ja lukua 6). SU estmaattor e välttämättä täytä yhtäkää hyvä estmaattor krteerestä, jote suurmma uskottavuude meetelmää käytettäessä o aa erksee varmstettava tuloksea saadu estmaattor hyvyys. Jos parametr SU estmaattor ˆ e täytä hyvä estmaattor krteeretä (ks. kappaletta 3.3) äärellsllä havatoje lukumäärllä, SU estmaattor ˆ käyttöä parametr estmaattora vodaa kutek use perustella sllä, että SU estmaattorlla o hyv ylesest hyvät asymptoottset omasuudet (ks. asymptoottsta teoraa koskevaa 6. lukua). Vodaa osottaa, että hyv yles ehdo pätee: () () SU estmaattor ˆ o tarketuva el Pr( ˆ ) =, ku + SU estmaattor ˆ o asymptoottsest ormaale. SU estmaattor tarketuvuus merktsee stä, että SU estmaattor toteuttaa suurte lukuje la. Suurte lukuje la mukaa SU estmaattor arvo lähestyy (melke varmast) parametr okeata arvoa, ku otoskoko kasvaa. SU estmaattor asymptootte ormaalsuus merktsee stä, että SU estmaattor toteuttaa keskese raja arvolausee. SU estmaattor asymptootte ormaalsuus merktsee stä, että SUestmaattor jakaumaa vodaa suurssa otoksssa approksmoda ormaaljakaumalla. Suurmma uskottavuude estmaattor vs momettestmaattor Mossa alkeellsssa tlatessa suurmma uskottavuude meetelmällä ja momettmeetelmällä saadaa samat estmaattort. Ylesest tämä e kutekaa ole totta. Nykyakasessa tlastoteteessä SU meetelmä o hyv ptkält syrjäyttäyt momettmeetelmä estmaattorede johtamse meetelmää. Tämä johtuu stä, että SU meetelmällä o momettmeetelmää vakemp teoreette perusta: Uskottavuusperaate (ks. luku ) tukee vomakkaast uskottavuusfuktoo perustuva meetelmä käyttämstä estmaattorede johtamsee. Lsäääe SU meetelmälle tuo se hyvät asymptoottset omasuudet (ks. luku 6). Ilkka Mell (007) 9/8

10 Mat.36 Tlastolle päättely 3. Pste estmot Esmerkk.: Normaaljakauma parametre suurmma uskottavuude estmot Satuasmuuttuja oudattaa ormaaljakaumaa parametre µ = E( ) σ = Var( ) = E[( µ ) ] jos se theysfukto o muotoa / f( x; µ, σ ) = ( πσ ) exp ( x µ ) σ < µ <+, σ > 0, < x<+ Parametr µ o ormaaljakauma odotusarvo ja parametr σ o ormaaljakauma varass. Oletetaa, että havaot,,, muodostavat satuasotokse ormaaljakaumasta N(µ,σ ). Tällö,, K, N( µσ, ), =,, K, Parametre µ ja σ SU estmaattort ovat havatoje,,, artmeette keskarvo ja otosvarass Perustelu: = = σˆ ( ) = = Olkoo,,, satuasotos ormaaljakaumasta N(µ,σ ). Otokse,,, uskottavuusfukto o ( µσ, ;,, K, ) L x x x = f( x ; µσ, ) f( x ; µσ, ) L f( x ; µσ, ) = σ ( π ) exp ( x ) µ σ = Otokse,,, logartme uskottavuusfukto o l x x K x ( µσ, ;,,, ) = L x x K x log ( µσ, ;,,, ) = logσ log( π ) ( µ ) x σ = Ilkka Mell (007) 0/8

11 Mat.36 Tlastolle päättely 3. Pste estmot Dervodaa logartme uskottavuusfukto l(µ,σ ) parametr µ suhtee ja merktää dervaatta ollaks: l ( µσ, ) µ σ = Dervaata aoa ollakohta ˆ µ = x = x = = ( x µ ) = 0 ataa log uskottavuusfukto maksm parametr µ suhtee. Sjotetaa ratkasu logartmsee uskottavuusfuktoo l(µ,σ ): Dervodaa fukto l( x, σ ) logσ log( π) ( x x) l = σ = lxσ (, ) parametr σ suhtee ja merktää dervaatta ollaks: ( µσ, ) 4 σ σ σ = Dervaata aoa ollakohta σˆ ( ) = + ( x x) = 0 = x x = ataa log uskottavuusfukto maksm parametr σ suhtee. Yllä estetystä seuraa, että ormaaljakauma N(µ,σ ) parametre µ ja σ SU estmaattort ovat ˆ µ = = σˆ = ( ) = Ste ormaaljakauma N(µ,σ ) parametre µ ja σ SU estmaattort yhtyvät de momettestmaattoreh Vodaa osottaa, että ormaaljakauma N(µ,σ ) odotusarvo µ SU estmaattorlla o seuraavat omasuudet (ks. lukuja, 3 ja 7 sekä kappaletta 4.3): () () () (v) (v) o harhato. ja σ ˆ ovat yhdessä tyhjetävä parametrelle µ ja σ. o tehokas el mmvarasse estmaattor. o tarketuva. oudattaa ormaaljakaumaa: Ilkka Mell (007) /8

12 Mat.36 Tlastolle päättely 3. Pste estmot σ N µ, Vodaa osottaa, että ormaaljakauma N(µ,σ ) varass σ SU estmaattorlla σ ˆ o seuraavat omasuudet (ks. lukuja, 3 ja 7 sekä kappaletta 4.3): () () () (v) (v) σ ˆ o harhae, mutta estmaattor s o harhato. ja σˆ = ( ) ˆ = σ = σ ˆ ovat yhdessä tyhjetävä parametrelle µ ja σ. e ole tehokas el mmvarasse estmaattor. σ ˆ o tarketuva. ( ) s /σ oudattaa χ jakaumaa vapausaste ( ): ( ) s σ χ ( ) Lsäks vodaa osottaa, että ja µ t= t ( ) s/ σ ˆ ovat rppumattoma ja että (ks. lukua ) Suurmma uskottavuude estmaattorlla o s. varassomasuus. Se mukaa estmotava parametr jok fukto suurmma uskottavuude estmaattor saadaa soveltamalla ko. fuktota ko. parametr suurmma uskottavuude estmaattor. Ee SU estmaattor varassomasuutta koskeva lausee todstamsta määrtelemme s. dusodu uskottavuusfukto: Olkoo η= τ ( ) jok parametr fukto. Tällö dusotu uskottavuusfukto L saadaa kaavasta () L ( η; x) = sup L( ; x) { τ ( ) = η} Olkoo η ˆparamer η arvo, joka maksmo dusodu uskottavuusfukto L. Tällö estmaaatora η ˆkutsutaa parametr η= τ ( ) suurmma uskottavuude estmaattorks. Määrtelmästä () ähdää suoraa, että uskottavuusfuktolla L ja dusodulla uskottavuusfuktolla L o sama maksm. Lause: Todstus: Olkoo ˆ parametr suurmma uskottavuude estmaattor. Tällö τ ( ˆ ) o parametr τ() suurmma uskottavuude estmaattor kaklle fuktolle τ( ). Olkoo ˆ η paramer η arvo, joka maksmo dusodu uskottavuusfukto Ilkka Mell (007) /8

13 Mat.36 Tlastolle päättely 3. Pste estmot L ( η; x) Lause tulee todstetuks, jos osotamme, että L ( ηˆ; x) = sup sup L( ; x) η { τ ( ) = η} Koska uskottavuusfuktolla L ja dusodulla uskottavuusfuktolla L o sama maksm, L ( ηˆ; x) = sup sup L( ; x) fukto L määrtelmä η { τ ( ) = η} = sup L( ; x) = L( ˆ; x) estmaattor ˆmäärtelmä jossa toe = merkk seuraa stä, että terotu maksmot yhtyy maksmot parametr suhtee. Edellee Ste ja L( ˆ; x) = sup L( ; x) ˆo SU estmaattor { τ ( ) = τ( ˆ )} = sup L( ; x) ( ( ˆ = L τ); x) fukto L määrtelmä L ( ηˆ ; x) = L ( τ ( ˆ); x) τ ( ˆ ) o parametr τ() SU estmaattor Estmaattorede omasuudet Johdato Tässä kappaleessa tarkastellaa estmaattorede hyvyysomasuuksa. Keskelövrhe Olkoo W parametr estmaattor. Estmaattor W keskelövrhe (egl. Mea Squared Error) o O helppo ähdä, että jossa MSE( W) = E[( W )] MSE( W) = Var ( W) + [Bas ( W)] Var ( W) = E [( W E ( W)) ] Ilkka Mell (007) 3/8

14 Mat.36 Tlastolle päättely 3. Pste estmot o estmaattor W varass ja o estmaattor W harha. Perustelu: Harhattomuus Bas ( W) = E ( W) MSE( W) = E[( W )] = + E[( W E( W) E( W) )] = E [( W E ( W)) ] + E [( W E ( W))(E ( W) )] + [E ( W) ] = E [( W E ( W)) ] + [E ( W) ] = Var ( W) + [Bas ( W)] Olkoo W parametr estmaattor. Estmaattor W harha (Bas) o Bas ( W) = E ( W) Estmaattor W o harhato parametrlle, jos jollo ja Bas ( W ) = 0 E ( W) = MSE( W) = Var ( W) Artmeettse keskarvo ja otosvarass harhattomuus Olkoo,,, satuasotos jakaumasta, joka odotusarvo o µ ja varass o σ. Määrtellää havatoje,,, artmeette keskarvo kaavalla = = ja otosvarass kaavalla s = ( ) = Artmeette keskarvo ja otosvarass s ovat parametre µ ja σ harhattomat estmaattort (ks. lukua ): E( ) = µ E( s ) = σ Jos,,, o satuasotos ormaaljakaumasta N(µ,σ ), yllä todetusta seuraa, että varass σ suurmma uskottavuude estmaattor (ta momettestmaattor) Ilkka Mell (007) 4/8

15 Mat.36 Tlastolle päättely 3. Pste estmot σˆ ( ) = = s = o harhae, mutta harha hävää, jos kasvaa rajatta. Tämä ähdää seuraavalla tavalla: Koska ˆ σ = s E( σ ˆ ) = E( s ) = σ σ jos. Ste ormaaljakauma varass σ suurmma uskottavuude estmaattor (ta momettestmaattor) o asymptoottsest harhato. Paras harhato estmaattor Saattas tutua houkuttelevalta ptää vahtoehtossta estmaattoresta parhaaa stä, joka keskelövrhe o pe. Keskelövrhettä e voda kutekaa sellaseaa käyttää parhaa estmaattor valtaa. Tästä ataa esmerk seuraava tlae: Olkoo ˆ parametr estmaattor, jolla o vakarvo a: ˆ a = Jos parametr todelle arvo o a, ˆ MSE( ) 0 = mutta muullo estmaattor ˆ = a o tetyst täys käyttökelvoto. Ogelma o sä, että kakke estmaattorede luokka o la laaja järkeve vertaluje tekemsee. Se sjaa, jos tarkasteltave estmaattorede luokkaa rajataa sopvast, saatetaa ko. luokasta löytää paras estmaattor. Olkoot W ja W kaks parametr harhatota estmaattora. Tällö E( W ) = E( W ) = ja estmaattorede W ja W vertaluu vodaa käyttää de varassa: Estmaattor W o paremp ku estmaattor W, jos Var( W ) < Var( W ) Saomme joskus myös, että estmaattor W o tehokkaamp ku estmaattor W. Itse asassa pätee seuraava: Olkoo W parametr estmaattor, jolle E ( W ) = τ( ) Tarkastellaa estmaattorede luokkaa C = { W E ( W) = ( )} τ τ Ilkka Mell (007) 5/8

16 Mat.36 Tlastolle päättely 3. Pste estmot Olkoot Tällö ja W, W C τ Bas ( W ) = Bas ( W ) MSE( W ) MSE( W ) = Var ( W) Var ( W ) jote estmaattorede keskelövrhevertalut vodaa luokassa C τ perustaa estmaattorede varasseh. Estmaattor W o parametr τ() paras harhato estmaattor, jos kaklle ja E ( W ) = τ ( ) Var ( W ) Var ( W) kaklle estmaattorelle W, jotka toteuttavat ehdo E ( W ) = τ ( ) Parasta harhatota estmaattora kutsutaa use tasasest parhaaks mmvarassseks harhattomaks estmaattorks (UMVUE, egl. Uform Mmum Varace Ubased Estmator) ta (täys ) tehokkaaks estmaattorks. Jos kakke harhattome estmaattorede varasslle vodaa löytää teoreette alaraja ja estmaattor W varass saavuttaa ko. alaraja, tedetää, että W o paras harhato estmaattor el tehokas estmaattor. Harhattome estmaattorede varasse teoreettsta alarajaa s. Cramér ja Rao alarajaa tarkastellaa seuraavassa kappaleessa. Tehokkuus Tarkastelemme tässä todeäkösyysjakauma parametr estmaattor varass teoreettsta alarajaa. Todstettavat lauseet o muotoltu pääasassa jatkuvlle jakaumlle, mutta e pätevät sopvast modfotua myös dskreetelle jakaumlle. Muotollaa ja todstetaa ee tämä kappalee päätulokse el Cramér ja Rao epäyhtälö muotolemsta ja todstamsta se todstamsessa tarvttava Schwarz epäyhtälö. Schwarz epäyhtälö: Olkoot satuasmuuttuje ja Y odotusarvot, varasst ja kovarasst E( ) = µ E( Y) = µ Y Var( ) = E[( µ ) ] = D ( ) = σ Var( Y) = E[( Y µ ) ] = D ( Y) = σ Y Y Cov(, Y) = E[( µ )( Y µ )] = σ Y Y Ilkka Mell (007) 6/8

17 Mat.36 Tlastolle päättely 3. Pste estmot Tällö Todstus: [Cov(, Y)] Var( ) Var( Y) ja lsäks yhtäsuuruus pätee, jos ja va jos o olemassa vakot a ja b ste, että Pr(Y = a + b) = Tarkastellaa fuktota Helpost ähdää, että ( ) = E[(( µ ) + ( µ Y)) ] h t t Y h t t Y ( ) = E[(( µ ) + ( µ Y)) ] = + + E[( µ ) ] t E[( µ )( Y µ Y)] t E[( Y µ Y) ] = σ t + σ t+ σ Y Y Fukto h(t) o muuttuja t fuktoa ylöspä aukeava paraabel. Koska h(t) o eegatvse satuasmuuttuja odotusarvo, h(t) 0 kaklle t. Ste yhtälöllä h(t) = 0 vo olla korketaa yks reaaljuur, jollo yhtälö dskrmatt D o e postve: el Yhtälöllä D = σ σ σ ( σ ) ( Y) 4 Y 0 σ σ Y Y h(t) = 0 o yks reaaljuur, jos yhtälö dskrmatt D o 0: Koska jos ja va jos el D = σ σ σ = ( Y) 4 Y 0 (( µ ) t+ ( Y µ Y)) 0 h t t Y ( ) = E[(( µ ) + ( µ Y)) ] = 0 ( µ t Y µ Y ) Pr [( ) + ( )] = 0 = Pr(Y = a + b) = Ilkka Mell (007) 7/8

18 Mat.36 Tlastolle päättely 3. Pste estmot jossa b= t a= µ t+ µ ja t o yhtälö h(t) = 0 juur. Tämä juur o Cov( Y, ) t = σ Y Lsäks tästä ähdää, että vakolla b ja satuasmuuttuje ja Y kovarasslla o sama merkk. Huomaa, että Schwarz epäyhtälöstä saadaa svutuotteea satuasmuuttuje ja Y Pearso (tulomomett ) korrelaatokerrota koskeva epäyhtälö ρ Y Cov( Y, ) σ Y = = D( ) D( Y) σ σ ρ Y + Muotollaa ja todstetaa seuraavaks tämä kappalee päätulos: Lause: Cramér ja Rao epäyhtälö Olkoo,,, satuasotos, joka yhtesjakauma theysfukto o f(x;) ja olkoo W( ) = W(,, K, ) parametr estmaattor, jolle ja Tällö Todstus: d E [ W( )] = [ W( ) f( ; )] d d x x x χ Var [ W ( )] < d E [ W ( )] d Var [ W ( )] E log( f ( ; )) Sovelletaa todstuksessa Schwarz epäyhtälöä [Cov(, Y)] Var( ) Var( Y) Y Ilkka Mell (007) 8/8

19 Mat.36 Tlastolle päättely 3. Pste estmot Epäyhtälöstä seuraa satuasmuuttuja varasslle alaraja [Cov( Y, )] Var( ) Var( Y) Cramér ja Rao epäyhtälö todstus perustuu tähä epäyhtälöö ja valtaa = W( ) Todetaa es, että () Sjottamalla tähä saadaa Y = log( f( ; )) d E [ W( )] = W( ) f( ; ) d d x χ x x f( x; ) W( ) = x f( x; ) dx χ f( x; ) f( ; ) E W( ) = f( ; ) = E W( ) log( f( ; )) W ( ) = d d () E log( f( ; )) = E [] = = 0 d d Yhdstämällä yhtälöt () ja () äemme, että (3) ja lsäks Cov W( ), log( f( ; )) = E W( ) log( f( ; )) E [ W( )] E log( f( ; )) = E W( ) log( f( ; )) d = E [ W( )] d Ilkka Mell (007) 9/8

20 Mat.36 Tlastolle päättely 3. Pste estmot Ilkka Mell (007) 0/8 (4) Var log( ( ; )) E log( ( ; )) E log( ( ; )) E log( ( ; )) f f f f = = Soveltamalla Schwarz epäyhtälöä ja kaavoja (3) ja (4) saadaa haluttu tulos: E [ ( )] Var [ ( )] E log( ( ; )) d W d W f Seuraus: Jos edellse lausee oletukset pätevät, mutta lsäks estmaattor W() o harhato parametrlle, Var [ ( )] E log( ( ; )) W f Todstus: Tulos seuraa suoraa Cramér ja Rao epäyhtälö ylesestä muodosta, koska estmaattor W() o harhato parametrlle, jos E [ ( )] W = ja tällö E [ ( )] d d W d d = = Lause: Cramér ja Rao epäyhtälö rppumattomlle havaolle Olkoot havaot,,, rppumattoma ja samaa jakaumaa oudattava satuasmuuttuja. Jos lsäks Cramér ja Rao epäyhtälö ylestä muotoa koskeva lausee oletukset pätevät, E [ ( )] Var [ ( )] E log( ( ; )) d W d W f

21 Mat.36 Tlastolle päättely 3. Pste estmot Todstus: jossa f(x;) o satuasmuuttuje,,, yhtee pstetodeäkösyys ta theysfukto. Lause tulee todstetuks, jos äytämme, että Nyt E log( f( ; )) = E log( f( ; )) E log( f( ; )) = E log f( ; ) = = E log( f( ; )) = = E log( f( ; )) = + E log( f( ; )) log( f( j; )) j = E log( f( ; )) = Vmee muoto seuraa stä, että satuasmuuttuje,,, rppumattomuude taka E log( f( ; )) log( f( j; )) = E log( f( ; )) E log( f( j; )) = 0 0= 0 Koska satuasmuuttujat,,, ovat samo jakautueta vomme krjottaa = E log( f( ; )) = E log( f( ; )) Ilkka Mell (007) /8

22 Mat.36 Tlastolle päättely 3. Pste estmot Seuraus: Todstus: Jos edellse lausee oletukset pätevät, mutta lsäks estmaattor W() o harhato parametrlle, Var [ W ( )] E log( f( ; )) Tulos seuraa suoraa Cramér ja Rao epäyhtälöstä rppumattomlle havaolle, koska estmaattor W() o harhato parametrlle, jos ja tällö Apulause: E [ W ( )] = d d E [ W( )] = = d d Jos theysfukto f(x;) toteuttaa ehdo Todstus: χ f ( x; ) dx = f ( x; ) dx χ f = f E log( ( ; )) E log( ( ; )) Lähdetää lkkeelle todstettava yhtälö vasemmasta puolesta: E log( f( ; )) log( f ( x; )) f ( x; ) dx = χ f ( x; ) = f ( x; ) dx f( x; ) χ f ( x; ) f( x; ) [ f ( x; )] = [ f( x; )] χ f ( x; ) dx f ( x; ) = f ( x; ) dx f ( x; ) dx f( x; ) χ χ Ilkka Mell (007) /8

23 Mat.36 Tlastolle päättely 3. Pste estmot Väte seuraa tästä yhtälöstä, koska ja χ χ f ( x; ) dx = f ( x; ) dx = = 0 f ( x; ) f( x; ) χ f ( x; ) dx = log( f ( x; )) f ( x; ) dx χ = E log( f( x; )) Vodaa osottaa, että s. ekspoettperhe toteuttaa apulausee sääöllsyysehdo. Huomautus: Suur osa tlastotetee tavaomassta jakaumsta kuuluu ekspoettperheesee. Tällasa ovat esmerkks sellaset dskreett jakaumat kute Beroull jakauma, bomjakauma, geometre jakauma, egatve bomjakauma ja Posso jakauma sekä sellaset jatkuvat jakaumat kute ekspoettjakauma, ormaaljakauma, gamma jakauma, χ jakauma ja beta jakauma. Seuraava lause ataa välttämättömä ja rttävä ehdo slle, että harhato estmaattor saavuttaa Cramér ja Rao lausee alaraja. Lause: Olkoo Todstus:,,, satuasotos satuasmuuttuja jakaumasta, joka pstetodeäkösyys ta theysfukto f(x;) rppuu parametrsta. Olkoo = = L( ; x) f( x; ) otokse,,, uskottavuusfukto. Olkoo W( ) = W(,, K, ) harhato estmaattor parametr fuktolle τ(). Tällö estmaattor W() saavuttaa Cramér ja Rao alaraja, jos ja va jos o olemassa fukto a() ste, että log L( ; x) = a( )[ W( x) τ ( )] Cramér ja Rao epäyhtälö vodaa esttää Schwarz epäyhtälö mukasessa muodossa. Ilkka Mell (007) 3/8

24 Mat.36 Tlastolle päättely 3. Pste estmot Koska havaot o tässä oletettu rppumattomks ja samaa jakaumaa oudattavks satuasmuuttujks, saamme epäyhtälö Cov W( ), log f( ; ) Var [ W( )]Var log f( ; ) = = Koska W o oletettu harhattomaks parametrlle, E ( W ) = τ ( ) Lsäks Cramér ja Rao epäyhtälö todstukse kaavasta () seuraa, että E log f( ; ) 0 = = Käyttämällä hyväks Schwarz epäyhtälö todstusta edellä, äemme, että yllä estetyssä epäyhtälössä valltsee yhtäsuuruus, jos term W ( x) τ ( ) o (todeäkösyydellä ) suhteessa term log f( ; ) = Tyhjetävyys ja harhattomuus Seuraava lause ataa meetelmä, jolla harhatota estmaattoreta o mahdollsta parataa: Rao ja Blackwell teoreema: Olkoo W harhato estmaattor parametr fuktolle τ() ja olkoo T tyhjetävä tuusluku parametrlle. Määrtellää tuusluku Tällö ja Todstus: φ ( T) = E( W T) E [ ( T )] = τ ( ) φ Var [ φ( T)] Var ( W) kaklle el φ(t) o tasasest estmaattora W paremp harhato estmaattor parametr fuktolle τ(). Todetaa es, että (olettae, että ko. odotusarvot ovat olemassa) () E( ) = E[E( Y)] ja () Var( ) = Var[E( Y)] + E[Var( Y)] Ilkka Mell (007) 4/8

25 Mat.36 Tlastolle päättely 3. Pste estmot Yhtälöstä () seuraa, että τ( ) = E ( W) = E [E( W T)] = E [ φ( T)] jote φ(t) o harhato parametr fuktolle τ(). Soveltamalla yhtälöä () saadaa arvo Var ( W) = Var [E( W T)] + E [Var( W T)] = Var [ φ( T)] + E [Var( W T)] Ste φ(t) o tasasest paremp ku W. Var [ φ( T)] Var( W T) 0 Nyt o velä äytettävä, että φ(t) o estmaattor el että φ ( T) = E( W T) o otokse fukto, joka e rpu parametrsta. Tämä seuraa stä, että W o otokse fukto, joka e rpu parametrsta ja stä, että T o tyhjetävä parametrlle, jollo satuasmuuttuja W ehdolle jakauma ehdolla T e rpu parametrsta. Ste olemme äyttäeet, että φ(t) o tasasest estmaattora W paremp harhato estmaattor parametr fuktolle τ(). Rao ja Blackwell teoreemasta seuraa, että ehdollstamalla melvaltae harhato estmaattor jok tyhjetävä tuusluvu suhtee saadaa alkuperästä estmaattora tasasest paremp estmaattor. Tämä merktsee stä, että parasta harhatota estmaattora etsttäessä rttää tarkastella tyhjetäve tuuslukuje fuktota. Tarkastellaa seuraavaa ogelmaa: Olkoo φ harhato parametr fuktolle τ() el, että E [ ] = τ ( ) φ Oletetaa lsäks, että φ perustuu tyhjetävää tuuslukuu T. Mte saamme selvlle oko φ paras harhato estmaattor? Jos estmaattor φ varass saavuttaa Cramér ja Rao alaraja, tedämme, että φ o paras harhato estmaattor. Etä jos ä e tapahdu? Esmerkks, jos φ o toe harhato estmaattor parametr fuktolle τ(), mte E( φ T ) suhtautuu estmaattor φ. Osttase ratkasu tähä ogelmaa ataa seuraava lause: Lause: Todstus: Jos W o paras harhato estmaattor parametr fuktolle τ(), W o ykskästtee. Olkoo W paras harhato estmaattor parametr fuktolle τ() ja olkoo W jok toe paras harhato estmaattor parametr fuktolle τ(). Ilkka Mell (007) 5/8

26 Mat.36 Tlastolle päättely 3. Pste estmot Tarkastellaa estmaattora W = ( W + W ) Estmaattor W o selväst harhato parametr fuktolle τ(): E ( W ) = [E ( W) + E ( W )] [ τ ( ) τ ( )] τ ( ) = + = Lsäks Schwarz epäyhtälöstä seuraa epäyhtälö Var ( W ) = Var W + W = Var ( W) + Var ( W ) + Cov ( WW, ) 4 4 Var ( W) + Var ( W ) + [Var ( W) Var ( W )] 4 4 = Var ( W) Jos tämä epäyhtälö o ato, W e vo olla paras harhato estmaattor. Ste Schwarz epäyhtälöstä seuraa, että yhtäsuuruus valltsee va, jos o olemassa fuktot a() ja b() ste, että (todeäkösyydellä ) W = a( ) + b( ) W Ste kovarass ylesstä omasuukssta seuraa, että Cov ( W, W ) = Cov ( W, a( ) + b( ) W) = Cov ( W, b( ) W) = b( )Cov ( WW, ) = b( )Var ( W) Koska yllä estetty epäyhtälössä valltsee yhtäsuuruus, Lsäks, koska Ste b( ) = Cov ( W, W ) = Var ( W) a( ) = 0 W = W ja ste W o ykskästtee. Tarkastellaa velä seuraavaa ogelmaa: Oletetaa, että olemme löytäeet harhattoma estmaattor. Mte vomme parataa stä? / Ilkka Mell (007) 6/8

27 Mat.36 Tlastolle päättely 3. Pste estmot Oletetaa, että W o harhato estmaattor parametr fuktolle τ(), ts. E ( W ) = τ ( ) Olkoo U jok olla harhato estmaattor, ts. E ( U ) = 0 kaklle. Määrtellää estmaattor φ a = W + au jossa a o vako. Estmaattor φ a o harhato parametr fuktolle τ(), koska E( φa ) = E( W) + ae( U) = τ () + a 0 = τ () Voko estmaattor φ a olla paremp ku estmaattor W? Estmaattor φ a varass o Oletetaa, että jollek = 0. Tällö jos Var ( φ a) = Var ( W + au) = Var ( W) + acov ( W, U) + a Var ( U) Cov ( WU, ) < 0 acov ( W, U) + a Var ( U) < 0 a (0, Cov ( W, U) /Var ( U)) Ste estmaattor φ a o paremp ku estmaattor W psteessä = 0 ja W e vo olla paras harhato estmaattor. Vastaavalla tavalla äytetää, että W e vo olla paras harhato estmaattor, jos Cov ( WU, ) > 0 Ste yllä kuvattu suhde estmaattor W ja olla harhattoma estmaattor U välllä ratkasee se, oko W paras harhato estmaattor. Itse asassa yllä kuvattu suhde karakterso parhaat harhattomat estmaattort. Lause: Jos Todstus: E ( W ) = τ ( ) W o paras harhato estmaattor parametr fuktolle τ(), jos ja va jos W korrelomato kakke olla harhattome estmaattorede kassa. Olkoo W o paras harhato estmaattor parametr fuktolle τ(). Yllä estystä seuraa, että tällö estmaattor W o toteutettava ehto Cov ( WU, ) = 0 Ilkka Mell (007) 7/8

28 Mat.36 Tlastolle päättely 3. Pste estmot jokaselle estmaattorlle U, joka toteuttaa ehdo E ( U ) = 0 Ste ehdo välttämättömyys o todstettu. Oletetaa yt, että W o harhato estmaattor, joka o korrelomato kakke olla harhattome estmaattorede kassa. Olkoo W melvaltae estmaattor, joka toteuttaa ehdo E( W ) = E( W) = () τ Näytämme, että estmaattor W o paremp ku estmaattor W. Krjotetaa W = W + (W W) ja määrätää estmaattor W varass: Var ( W ) = Var ( W) + Var ( W W) + Cov ( W, W W) = Var ( W) + Var ( W W) koska W W o olla harhato estmaattor ja olemme olettaeet, että kakk olla harhattomat estmaattort ovat korrelomattoma estmaattor W kassa. Koska Var ( W W) 0 Var ( W ) Var ( W) Koska W ol melvaltae harhato estmaattor, tästä seuraa, että W o paras harhato estmaattor ja ehdo rttävyys o todstettu. O syytä huomata, että edellse lausee käyttökelposuus o rajotettu, koska o use hyv vakeata äyttää, että aettu estmaattor o korrelomato kakke olla harhattome estmaattorede kassa. Tarkasteltava jakaumaperhee täydellsyys (ks. lukua ) takaa se, että ollalla e ole muta harhattoma estmaattoreta ku olla tse. Koska aa pätee, että Cov ( W,0) = 0 W o paras harhato estmaattor, jos se o harhato. Lause: Olkoo T täydelle ja tyhjetävä estmaattor parametrlle ja olkoo φ(t) melvaltae estmaattor, joka perustuu va estmaattor T. Tällö φ(t) o odotusarvosa paras harhato estmaattor ja lsäks φ(t) o ykskästtee. Ilkka Mell (007) 8/8