Tilastollinen päättely. 3. Piste-estimointi Johdanto Estimointimenetelmät Estimaattoreiden ominaisuudet

Transkriptio

1 Mat Tlastolle päättely 3. Pste-estmot Tlastolle päättely 3. Pste-estmot 3.1. Johdato Estmaattor, Estmaatt, Estmot, Havato, Havatopste, Otos, Otostuusluku, Parametr, Pste-estmot, Pstetodeäkösyysfukto, Rppumattomuus, Theysfukto 3.. Estmotmeetelmät Asymptootte ormaalsuus, Beroull-jakauma, Bjekto, -jakauma, Estmaattor, Estmaatt, Estmot, Harhattomuus, Havato, Havatopste, Logartme uskottavuusfukto, Maksmot, Momettestmaattor, Momettmeetelmä, Normaaljakauma, Normaalsuus, Otos, Otostuusluku, Parametr, Pstetodeäkösyysfukto, Rppumattomuus, Suurmma uskottavuude estmaattor, Suurmma uskottavuude meetelmä, Tarketuvuus, Tehokkuus, Theysfukto, t-jakauma, Tyhjetävyys, Uskottavuusfukto, Yhtesjakauma 3.3. Estmaattorede omasuudet Asymptootte ormaalsuus, Cramér ja Rao alaraja, Cramér ja Rao epäyhtälö, Estmaattor, Estmaatt, Estmot, Fsher-formaato, Harha, Harhattomuus, Havato, Havatopste, Iformaato, Keskelövrhe, Logartme uskottavuusfukto, Maksmot, Mmvarasssuus, Normaaljakauma, Normaalsuus, Otos, Otostuusluku, Parametr, Paras harhato estmaattor, Pstetodeäkösyysfukto, Rao ja Blackwell teoreema, Rppumattomuus, Schwarz epäyhtälö, Suurmma uskottavuude estmaattor, Suurmma uskottavuude meetelmä, Tarketuvuus, Tehokkuus, Theysfukto, Tyhjetävyys, Uskottavuusfukto, Ilkka Mell (010) 1/9

2 Mat Tlastolle päättely 3. Ilkka Mell (010) /9

3 Mat Tlastolle päättely 3. Pste-estmot 3.1. Johdato Pste-estmot Olkoo f ( x; ) satuasmuuttuja pstetodeäkösyys- ta theysfukto, joka rppuu tutemattomasta parametrsta. Haluamme määrätä parametrlle mahdollsmma hyvä estmaat el arvo jakaumasta f ( x; ) pomtu otokse (so. havatoje) perusteella. Kutsumme tätä tehtävää estmoks. Olkoo 1,,, (ykskertae) satuasotos satuasmuuttuja jakaumasta, joka pstetodeäkösyys- ta theysfukto f(x;) rppuu parametrsta. Tällö havaot 1,,, ovat rppumattoma, dettsest jakautueta satuasmuuttuja, jolla o sama pstetodeäkösyys- ta theysfukto f(x;): Olkoo,,, 1 f ( x; ), 1,,, = ( 1,,, ) satuasmuuttuje (havatoje) 1,,, muodostama -vektor. Olkoot satuasmuuttuje 1,,, havatut arvot Merktää tätä: x 1, x,, x 1 = x 1, = x,, = x Satuasmuuttuje 1,,, havatut arvot x 1, x,, x määräävät havatopstee x = (x 1, x,, x ) Kutsumme satuasmuuttuje 1,,, (mtallsta) fuktota W W W 1 ( ) (,,, ) (pste-) estmaattorks. Tämä merktsee stä, että estmaattor o otostuusluku (ks. luku 1). Jos satuasmuuttuje 1,,, havatut arvot ovat x 1, x,, x, estmaattor W W W 1 ( ) (,,, ) saa havatuks arvoksee w fukto W() arvo havatopsteessä x = (x 1, x,, x ): w W x W x1 x x ( ) (,,, ) Kutsumme estmaattor W havatoarvosta x 1, x,, x määrättyä arvoa w Ilkka Mell (010) 3/9

4 Mat Tlastolle päättely 3. Pste-estmot Huomautus: Koska haluamme käyttää estmaattora W parametr arvoje estmot, tutus luoollselta ssällyttää estmaattor määrtelmää vaatmus, että estmaattor ptää jollak tavalla lttyä estmotavaa parametr. O kutek osottautuut, että tällasta vaatmusta e pdä lttää estmaattor määrtelmää. 3.. Estmotmeetelmät Johdato Mte todeäkösyysjakauma parametrelle löydetää estmaattort? Tarkastelemme tässä kappaleessa kahta estmotmeetelmää: momettmeetelmää ja suurmma uskottavuude meetelmää. Momettmeetelmä Satuasotos Olkoo 1,,, satuasotos jakaumasta, joka pstetodeäkösyys- ta theysfukto rppuu parametresta f(x; 1,,, p ) 1,,, p Tällö havaot 1,,, ovat rppumattoma, dettsest jakautueta satuasmuuttuja, jolla o sama pstetodeäkösyys- ta theysfukto f(x; 1,,, p ):,,, 1 Momettestmaattor f ( x;,,, ), 1,,, 1 p Oletetaa, että jakaumalla f(x; 1,,, p ) o kakk (orgo-) momett kertalukuu p saakka: k E( ), k 1,,, p k Oletetaa, että momette 1,,, p ja parametre 1,,, p välllä o jatkuva bjekto el käätäe ykskästtee kuvaus: (1) 1 g1( 1,,, p ) g( 1,,, p ) p g p ( 1,,, p Ilkka Mell (010) 4/9

5 Mat Tlastolle päättely 3. Pste-estmot Tällö parametrt 1,,, p vodaa esttää momette 1,,, p fuktoa: () 1 h1 ( 1,,, p ) h ( 1,,, p ) p hp ( 1,,, p ) Estmodaa momett 1,,, p vastaavlla otosmometella: 1 k a, k 1,,, p k 1 Sjottamalla estmaattort a 1, a,, a p momette 1,,, p pakalle yhtälöh (), saadaa parametre 1,,, p momettestmaattort el MM-estmaattort ˆ 1 h1 ( a1, a,, ap ) ˆ h ( a1, a,, ap ) ˆ p hp ( a1, a,, ap ) Moet todeäkösyysjakaumat o parametrotu jakauma (orgo-) mometella ta keskusmometella: () () Jos jakauma o parametrotu jakauma (orgo-) mometella, ko. parametre momettestmaattoreta ovat vastaavat otosorgomomett. Jos jakauma o parametrotu jakauma keskusmometella, ko. parametre momettestmaattoreta ovat vastaavat otoskeskusmomett. Momettestmaattor omasuudet Hyvä estmaattor o harhato, tyhjetävä, tehokas ja tarketuva (ks. lukua, kappaletta 3.3 tässä luvussa ja lukua 7). MM-estmaattor e välttämättä täytä yhtäkää hyvä estmaattor krteerestä, jote momettmeetelmää käytettäessä o aa erksee varmstettava tuloksea saadu estmaattor hyvyys. Esmerkk.1: Normaaljakauma parametre momettestmot Satuasmuuttuja oudattaa ormaaljakaumaa parametre E( ) Var( ) E[( ) ] jos se theysfukto o muotoa 1/ 1 f ( x;, ) ( ) exp ( x ), 0, x Parametr o ormaaljakauma odotusarvo ja parametr o ormaaljakauma Ilkka Mell (010) 5/9

6 Mat Tlastolle päättely 3. Pste-estmot Oletetaa, että havaot 1,,, muodostavat satuasotokse ormaaljakaumasta N(, ). Tällö,,, 1 N(, ), 1,,, Parametre ja MM-estmaattort ovat havatoje 1,,, artmeette keskarvo ja otosvarass Perustelu: ˆ ( ) 1 Oletetaa, että satuasmuuttuja oudattaa ormaaljakaumaa parametre ja : N(, ) Jakauma parametre ja satuasmuuttuja orgomomette välllä o seuraava bjekto: () () Parametrt ja lausuttua 1. ja. orgomomet fuktoa: E( ) 1 Var( ) E[( ) ] E( ) 1 1. ja. orgomomett lausuttua parametre ja fuktoa: 1 E( ) E( ) Olkoo 1,,, satuasotos ormaaljakaumasta N(, ). Havatoje 1,,, 1. ja. otosorgomomett saadaa kaavolla 1 k a, k 1, k 1 Ste ormaaljakauma N(, ) parametre ja MM-estmaattort ovat 1 ˆ a1 1 ˆ ( ) a a Huomaa, että ˆ o havatoje artmeette keskarvo ja ˆ o havatoje. otoskeskusmomett el havatoje otosvarass, jossa elösumma jakajaa o käytetty havatoje lukumäärää. ( Ilkka Mell (010) 6/9

7 Mat Tlastolle päättely 3. Pste-estmot Estmaattorede omasuudet: ks. esmerkkä.. Suurmma uskottavuude meetelmä Satuasotos Olkoo 1,,, satuasotos satuasmuuttuja jakaumasta, joka pstetodeäkösyys- ta theysfukto f(x;) rppuu parametrsta. Tällö havaot 1,,, ovat rppumattoma, dettsest jakautueta satuasmuuttuja, jolla o sama pstetodeäkösyys- ta theysfukto f(x;): Uskottavuusfukto,,, 1 f ( x; ), 1,,, Koska havaot 1,,, o oletettu rppumattomks, otokse (,,, ) 1 yhtesjakauma pstetodeäkösyys- ta theysfuktolla o tulomuotoe estys jossa f ( x, x,, x ; ) f ( x ; ) f ( x ; ) f ( x ; ) 1 1 f ( x ; ), 1,,, o yksttäsee havatoo, = 1,,, lttyvä pstetodeäkösyys- ta theysfukto. Otokse 1,,, uskottavuusfukto L( ; x, x,, x ) f ( x, x,, x ; ) 1 1 o havatoje 1,,, yhtesjakauma pstetodeäkösyys- ta theysfukto f arvo psteessä x 1, x,, x tulkttua parametr arvoje fuktoks. Uskottavuusfukto L ssältää kake (stokastse) formaato otoksesta. Suurmma uskottavuude estmaattor Olkoo t g x1 x x (,,, ) parametr arvo, joka maksmo otokse 1,,, uskottavuusfukto L x1 x x ( ;,,, ) parametr suhtee. Huomaa, että uskottavuusfukto L maksm atava parametr arvo t o muuttuje (havatoarvoje) x 1, x,, x Ilkka Mell (010) 7/9

8 Mat Tlastolle päättely 3. Pste-estmot Sjottamalla uskottavuusfukto L maksm parametr suhtee atavassa lausekkeessa muuttuje t t x1 x x (,,, ) x 1, x,, x pakalle satuasmuuttujat (havaot) 1,,, saadaa parametr suurmma uskottavuude estmaattor el SU-estmaattor ˆ (,,, ) g 1 Parametr suurmma uskottavuude estmaattor ˆ tuottaa parametrlle arvo, joka maksmo pomtu otokse el saatuje havatoarvoje uskottavuude (todeäkösyyde). Ste suurmma uskottavuude estmaattor otoskohtae arvo maksmo uskottavuude (todeäkösyyde) saada juur se otos, joka o saatu. Suurmma uskottavuude estmotmeetelmää sovellettaessa oletetaa mplsttsest, että uskottavuusperaate pätee (ks. luku ). Suurmma uskottavuude estmaattor määrääme Parametr suurmma uskottavuude estmaattor määrätää etsmällä uskottavuusfukto L x1 x x ( ;,,, ) (globaal) maksm parametr suhtee. Tavallsest uskottavuusfukto o parametr fuktoa sääölle, että se äärarvot vodaa löytää dervomalla: Jos uskottavuusfuktolla o maksm jossak parametravaruude ssäpsteessä, se löydetää kakssa tavaomasssa tlatessa merktsemällä uskottavuusfukto 1. dervaatta L( ) ollaks ja ratkasemalla saadusta ormaalyhtälöstä L( ) 0 Olkoo ˆ jok ormaalyhtälö ratkasu. Pste ˆ vastaa uskottavuusfukto (lokaala) maksma, jos uskottavuusfukto. dervaatta L ( ) o egatve: L ( ˆ ) 0 Uskottavuusfukto käyttäytyme parametravaruude reualla o tarkstettava erksee, koska o mahdollsta, että uskottavuusfukto saavuttaa maksmsa parametravaruude reualla psteessä, jossa L( ) 0 Logartme uskottavuusfukto Uskottavuusfukto maksm vodaa etsä maksmomalla uskottavuusfukto sjasta logartme uskottavuusfukto (uskottavuusfukto logartm) l( ; x, x,, x ) log L( ; x, x,, x ) 1 Ilkka Mell (010) 8/9

9 Mat Tlastolle päättely 3. Pste-estmot parametr suhtee. Tämä johtuu stä, että logartmfukto o adost mootoe, jollo uskottavuusfukto ja se logartm saavuttavat äärarvosa samossa pstessä. Koska havaot 1,,, o oletettu rppumattomks, logartme uskottavuusfukto vodaa krjottaa seuraavaa muotoo: Tässä l( ) log L( ) log f ( x ; ) f ( x ; ) f ( x ; ) 1 log f ( x ; ) log f ( x ; ) log f ( x ; ) 1 l( ; x ) l( ; x ) l( ; x ) 1 l(;x ) = log f(x ;), = 1,,, o havatoarvoo x lttyvä logartme uskottavuusfukto. Suurmma uskottavuude estmaattor omasuudet Hyvä estmaattor o harhato, tyhjetävä, tehokas ja tarketuva (ks. lukua, kappaletta 3.3 tässä luvussa ja lukua 7). SU-estmaattor e välttämättä täytä yhtäkää hyvä estmaattor krteerestä, jote suurmma uskottavuude meetelmää käytettäessä o aa erksee varmstettava tuloksea saadu estmaattor hyvyys. Jos parametr SU-estmaattor e täytä hyvä estmaattor krteeretä (ks. kappaletta 3.3) äärellsllä havatoje lukumäärllä, SU-estmaattor käyttöä parametr estmaattora vodaa kutek use perustella sllä, että SU-estmaattorlla o hyv ylesest hyvät asymptoottset omasuudet (ks. asymptoottsta teoraa koskevaa 7. lukua). Vodaa osottaa, että hyv yles ehdo pätee: () () SU-estmaattor ˆ o tarketuva el Pr( ˆ ) 1, ku SU-estmaattor ˆ o asymptoottsest ormaale. SU-estmaattor tarketuvuus merktsee stä, että SU-estmaattor toteuttaa suurte lukuje la. Suurte lukuje la mukaa SU-estmaattor arvo lähestyy (melke varmast) parametr okeata arvoa, ku otoskoko kasvaa. SU-estmaattor asymptootte ormaalsuus merktsee stä, että SU-estmaattor toteuttaa keskese raja-arvolausee. Keskese raja-arvolausee mukaa SU-estmaattor jakaumaa vodaa suurssa otoksssa approksmoda ormaaljakaumalla. Suurmma uskottavuude estmaattor vs momettestmaattor Mossa alkeellsssa tlatessa suurmma uskottavuude meetelmällä ja momettmeetelmällä saadaa samat estmaattort. Ylesest tämä e kutekaa ole totta. Nykyakasessa tlastoteteessä SU-meetelmä o hyv ptkält syrjäyttäyt momettmeetelmä estmaattorede johtamse meetelmää. Tämä johtuu stä, että SU-meetelmällä o momettmeetelmää vakemp teoreette perusta: Uskottavuusperaate (ks. luku ) tukee vomakkaast uskottavuusfuktoo perustuva meetelmä käyttämstä estmaattorede johtamsee. Lsäks SU-estmaattorella o hyvät asymptoottset omasuudet (ks. tarkemm lukua Ilkka Mell (010) 9/9

10 Mat Tlastolle päättely 3. Pste-estmot Esmerkk.: Normaaljakauma parametre suurmma uskottavuude estmot Satuasmuuttuja oudattaa ormaaljakaumaa parametre E( ) Var( ) E[( ) ] jos se theysfukto o muotoa 1/ 1 f ( x;, ) ( ) exp ( x ), 0, x Parametr o ormaaljakauma odotusarvo ja parametr o ormaaljakauma varass. Oletetaa, että havaot 1,,, muodostavat satuasotokse ormaaljakaumasta N(, ). Tällö,,, 1 N(, ), 1,,, Parametre ja SU-estmaattort ovat havatoje 1,,, artmeette keskarvo ja otosvarass Perustelu: ˆ ( ) 1 Olkoo 1,,, satuasotos ormaaljakaumasta N(, ). Otokse 1,,, uskottavuusfukto o L x x x (, ; 1,,, ) f ( x ;, ) f ( x ;, ) f ( x ;, ) ( ) exp ( ) x 1 Otokse 1,,, logartme uskottavuusfukto o l x x x (, ; 1,,, ) log L(, ; x1, x,, x) 1 1 log log( ) ( ) x Ilkka Mell (010) 10/9

11 Mat Tlastolle päättely 3. Pste-estmot Dervodaa logartme uskottavuusfukto l(, ) parametr suhtee ja merktää dervaatta ollaks: l (, ) 1 1 Dervaata aoa ollakohta 1 ˆ 1 ( x ) 0 x x ataa log-uskottavuusfukto maksm parametr suhtee. Sjotetaa ratkasu logartmsee uskottavuusfuktoo l(, ): Dervodaa fukto 1 1 l( x, ) log log( ) ( x x) l 1 l( x, ) (, ) Dervaata aoa ollakohta 1 ˆ ( ) parametr suhtee ja merktää dervaatta ollaks: ( x x) 0 x x 1 ataa log-uskottavuusfukto maksm parametr suhtee. Yllä estetystä seuraa, että ormaaljakauma N(, ) parametre ja SU-estmaattort ovat 1 ˆ 1 1 ˆ ( ) 1 Ste ormaaljakauma N(, ) parametre ja SU-estmaattort yhtyvät de momettestmaattoreh Vodaa osottaa, että ormaaljakauma N(, ) odotusarvo SU-estmaattorlla o seuraavat omasuudet (ks. lukuja, 3 ja 7 sekä kappaletta 3.3): () () () (v) (v) o harhato. ja ˆ ovat yhdessä tyhjetävä parametrelle ja. o tehokas el mmvarasse estmaattor. o tarketuva. oudattaa Ilkka Mell (010) 11/9

12 Mat Tlastolle päättely 3. Pste-estmot N, Vodaa osottaa, että ormaaljakauma N(, ) varass SU-estmaattorlla ˆ seuraavat omasuudet (ks. lukuja, 3 ja 7 sekä kappaletta 3.3): () () () (v) (v) ˆ o harhae, mutta estmaattor 1 s o harhato. ja ˆ ˆ ( ) ˆ ˆ ovat yhdessä tyhjetävä parametrelle ja. e ole tehokas el mmvarasse estmaattor. o tarketuva. ( 1) s / oudattaa -jakaumaa vapausaste ( 1): ( 1) s ( 1) Lsäks vodaa osottaa, että ja t t( 1) s / ˆ ovat rppumattoma ja että (ks. lukua 1) Suurmma uskottavuude estmaattor vodaa use johtaa use vetoamalla suurmma uskottavuude estmaattor varassomasuutee. Se mukaa parametr fuktode suurmma uskottavuude estmaattort saadaa soveltamalla ko. fuktota ko. parametr suurmma uskottavuude estmaattor. Ee SU-estmaattor varassomasuutta koskeva lausee todstamsta määrttelemme s. dusodu uskottavuusfukto: Olkoo ( ) jok parametr fukto. Tällö dusotu uskottavuusfukto L saadaa kaavasta (1) L ( ; x) sup L( ; x) { ( ) } Olkoo ˆ paramer arvo, joka maksmo dusodu uskottavuusfukto L. Tällö estmaattora ˆ kutsutaa parametr ( ) suurmma uskottavuude estmaattorks. Määrtelmästä (1) ähdää suoraa, että uskottavuusfuktolla L ja dusodulla uskottavuusfuktolla L o sama maksm. Lause: Olkoo ˆ parametr suurmma uskottavuude estmaattor. Tällö ( ˆ ) () suurmma uskottavuude estmaattor kaklle fuktolle (). o o Ilkka Mell (010) 1/9

13 Mat Tlastolle päättely 3. Pste-estmot Todstus: Olkoo ˆ paramer arvo, joka maksmo dusodu uskottavuusfukto L ( ; x) Lause tulee todstetuks, jos osotamme, että L ( ˆ ; x) sup sup L( ; x) { ( ) } Koska uskottavuusfuktolla L ja dusodulla uskottavuusfuktolla L o sama maksm, L ( ˆ ; x) sup sup L( ; x) fukto L määrtelmä { ( ) } sup L( ; x) L( ˆ ; x) estmaattor ˆ määrtelmä jossa toe = -merkk seuraa stä, että terotu maksmot yhtyy maksmot parametr suhtee. Edellee Ste ja ( ˆ ) L( ˆ ; x) sup L( ; x) ˆ o SU-estmaattor { ( ) ( ˆ )} sup L( ; x) ( ( ˆ L ); x) fukto L määrtelmä L ( ˆ ; x) L ( ( ˆ ); x) o parametr () SU-estmaattor Estmaattorede omasuudet Johdato Tässä kappaleessa tarkastellaa estmaattorede hyvyysomasuuksa. Keskelövrhe Olkoo W parametr estmaattor. Estmaattor W keskelövrhe (egl. Mea Squared Error) o O helppo ähdä, että jossa MSE( W ) E [( W ) ] MSE( W ) Var ( W ) [Bas ( W Ilkka Mell (010) 13/9

14 Mat Tlastolle päättely 3. Pste-estmot o estmaattor W varass ja o estmaattor W harha. Perustelu: Var ( W ) E [( W E ( W )) ] Bas ( W ) E ( W ) MSE( W ) E [( W ) ] E [( W E ( W ) E ( W ) ) ] E [( W E ( W )) ] E [( W E ( W ))(E ( W ) )] [E ( W ) ] E [( W E ( W )) ] [E ( W ) ] Var ( W ) [Bas ( W )] Harhattomuus Olkoo W parametr estmaattor. Estmaattor W harha (Bas) o Bas ( W ) E ( W ) Estmaattor W o harhato parametrlle, jos jollo ja Bas ( W ) 0 E ( W ) MSE( W ) Var ( W ) Artmeettse keskarvo ja otosvarass harhattomuus Olkoo 1,,, satuasotos jakaumasta, joka odotusarvo o ja varass o. Määrtellää havatoje 1,,, artmeette keskarvo kaavalla ja otosvarass kaavalla s ( ) 1 1 Artmeette keskarvo ja otosvarass s ovat parametre ja harhattomat estmaattort (ks. lukua 1): E( ) E( s Ilkka Mell (010) 14/9

15 Mat Tlastolle päättely 3. Pste-estmot Jos 1,,, o satuasotos ormaaljakaumasta N(, ), yllä todetusta seuraa, että varass suurmma uskottavuude estmaattor (ta momettestmaattor) 1 1 ˆ ( ) s 1 o harhae, mutta harha hävää, jos otoskoo aetaa kasvaa rajatta. Tämä ähdää seuraavalla tavalla: Koska 1 ˆ 1 s 1 1 E( ˆ ) 1 E( s ) 1 jos. Ste ormaaljakauma varass suurmma uskottavuude estmaattor (ta momettestmaattor) o asymptoottsest harhato. Paras harhato estmaattor Saattas tutua houkuttelevalta ptää vahtoehtossta estmaattoresta parhaaa stä, joka keskelövrhe o pe. Keskelövrhettä e voda kutekaa sellaseaa käyttää parhaa estmaattor valtaa. Tästä ataa esmerk seuraava tlae: Olkoo ˆ parametr estmaattor, jolla o vakoarvo a: ˆ a Jos parametr todelle arvo sattus olemaa a, MSE( ˆ ) 0 mutta muullo estmaattor ˆ a o tetyst muute täys käyttökelvoto. Ogelma o sä, että kakke estmaattorede luokka o la laaja järkeve vertaluje tekemsee. Se sjaa, jos tarkasteltave estmaattorede luokkaa rajataa sopvast, saatetaa ko. luokasta löytää paras estmaattor. Olkoot W 1 ja W kaks parametr harhatota estmaattora. Tällö E( W ) E( W ) 1 ja estmaattorede W 1 ja W vertaluu vodaa käyttää de varassa: Estmaattor W 1 o paremp ku estmaattor W, jos Var( W ) Var( W ) 1 Saomme use, että estmaattor W 1 o tällö tehokkaamp ku estmaattor W. Itse asassa pätee seuraava: Olkoo W parametr estmaattor, jolle E ( W ) ( Ilkka Mell (010) 15/9

16 Mat Tlastolle päättely 3. Pste-estmot Tarkastellaa estmaattorede luokkaa Olkoot Tällö ja C { W E ( W ) ( )} W 1, W C Bas ( W ) Bas ( W ) 1 MSE( W ) MSE( W ) Var ( W ) Var ( W ) 1 1 jote estmaattorede keskelövrhevertalut vodaa luokassa C perustaa estmaattorede varasseh. Estmaattor W o parametr () paras harhato estmaattor, jos kaklle ja E ( W ) ( ) Var ( W ) Var ( W ) kaklle estmaattorelle W, jotka toteuttavat ehdo E ( W ) ( ) Parasta harhatota estmaattora kutsutaa use tasasest parhaaks mmvarassseks harhattomaks estmaattorks (UMVUE, egl. Uform Mmum Varace Ubased Estmator) ta (täys-) tehokkaaks estmaattorks. Jos kakke harhattome estmaattorede varasslle vodaa löytää teoreette alaraja ja estmaattor W varass saavuttaa ko. alaraja, tedetää, että W o paras harhato estmaattor el tehokas estmaattor. Harhattome estmaattorede varasse teoreettsta alarajaa s. Cramér ja Rao alarajaa tarkastellaa seuraavassa kappaleessa. Tehokkuus Tarkastelemme tässä todeäkösyysjakauma parametr estmaattor varass teoreettsta alarajaa. Todstettavat lauseet o muotoltu pääasassa jatkuvlle jakaumlle, mutta e pätevät sopvast modfotua myös dskreetelle jakaumlle. Muotolemme ja todstamme ee tämä kappalee päätulokse el Cramér ja Rao epäyhtälö muotolemsta ja todstamsta se todstamsessa tarvttava Schwarz epäyhtälö. Schwarz epäyhtälö: Olkoot satuasmuuttuje ja Y odotusarvot, varasst ja kovarasst E( ) E( Y) Ilkka Mell (010) 16/9

17 Mat Tlastolle päättely 3. Pste-estmot Tällö Todstus: Var( ) E[( ) ] D ( ) Var( Y ) E[( Y ) ] D ( Y ) Y Y Cov(, Y) E[( )( Y )] Y Y [Cov(, Y )] Var( ) Var( Y ) ja lsäks yhtäsuuruus pätee, jos ja va jos o olemassa vakot a ja b ste, että Pr(Y = a + b) = 1 Tarkastellaa fuktota Helpost ähdää, että h t t Y ( ) E[(( ) ( Y )) ] h t t Y ( ) E[(( ) ( Y )) ] E[( ) ] t E[( )( Y Y )] t E[( Y Y ) ] t t Y Y Fukto h(t) o muuttuja t fuktoa ylöspä aukeava paraabel. Koska h(t) o eegatvse satuasmuuttuja odotusarvo, h(t) 0 kaklle t. Ste yhtälöllä h(t) = 0 vo olla korketaa yks reaaljuur, jote yhtälö dskrmat D o oltava e-postve: el Yhtälöllä D ( ) ( Y ) 4 Y 0 Y Y h(t) = 0 o yks reaaljuur, jos yhtälö dskrmatlla D o arvo olla: Koska jos ja va jos D ( Y ) 4 Y 0 (( ) t ( Y Y )) 0 h t t Y ( ) E[(( ) ( Y )) ] Ilkka Mell (010) 17/9

18 Mat Tlastolle päättely 3. Pste-estmot el jossa Pr [( ) t ( Y Y )] 0 1 Pr(Y = a + b) = 1 b t a t ja t o yhtälö h(t) = 0 juur. Tämä juur o Cov(, Y ) t Y Lsäks tästä ähdää, että vakolla b ja satuasmuuttuje ja Y kovarasslla o sama merkk. Huomaa, että Schwarz epäyhtälöstä saadaa svutuotteea satuasmuuttuje ja Y Pearso (tulomomett-) korrelaatokerrota koskeva epäyhtälö Y Cov(, Y ) Y D( ) D( Y ) 1 1 Y Muotollaa ja todstetaa seuraavaks tämä kappalee päätulos: Lause: Cramér ja Rao epäyhtälö Olkoo 1,,, satuasotos, joka yhtesjakauma theysfukto o f(x;) ja olkoo W W 1 ( ) (,,, ) parametr estmaattor, jolle ja Tällö d E [ W ( )] [ W ( ) f ( ; )] d d x x x Var [ W ( )] d E [ W ( )] d Var [ W ( )] E log( f ( ; )) Ilkka Mell (010) 18/9

19 Mat Tlastolle päättely 3. Pste-estmot Todstus: Sovelletaa todstuksessa Schwarz epäyhtälöä [Cov(, Y )] Var( ) Var( Y ) Epäyhtälöstä seuraa satuasmuuttuja varasslle alaraja [Cov(, Y)] Var( ) Var( Y) Cramér ja Rao epäyhtälö todstus perustuu tähä epäyhtälöö ja valtaa W ( ) Y log( f ( ; )) Todetaa es, että d E [ W ( )] W ( ) f ( ; ) d d x x x f ( x; ) W ( ) x f ( x; ) dx f ( x; ) (1) f ( ; ) E W ( ) f ( ; ) E W ( ) log( f ( ; )) Sjottamalla tähä W ( ) 1 saadaa yhtälö d d () E log( f ( ; )) E [1] 1 0 d d Yhdstämällä yhtälöt (1) ja () äemme, että Cov W ( ), log( f ( ; )) E W ( ) log( f ( ; )) E W ( ) E log( f ( ; )) (3) E W ( ) log( f ( ; )) d E [ W ( )] d ja Ilkka Mell (010) 19/9

20 Mat Tlastolle päättely 3. Ilkka Mell (010) 0/9 (4) Var log( ( ; )) E log( ( ; )) E log( ( ; )) E log( ( ; )) f f f f Soveltamalla Schwarz epäyhtälöä ja kaavoja (3) ja (4) saadaa haluttu tulos: E [ ( )] Var [ ( )] E log( ( ; )) d W d W f Seuraus: Jos edellse lausee oletukset pätevät, mutta lsäks estmaattor W() o harhato parametrlle, 1 Var [ ( )] E log( ( ; )) W f Todstus: Tulos seuraa suoraa Cramér ja Rao epäyhtälö ylesestä muodosta, koska estmaattor W() o harhato parametrlle, jos E [ ( )] W ja tällö E [ ( )] 1 d d W d d Lause: Cramér ja Rao epäyhtälö rppumattomlle havaolle Olkoot havaot 1,,, rppumattoma ja samaa jakaumaa oudattava satuasmuuttuja. Jos lsäks Cramér ja Rao epäyhtälö ylestä muotoa koskeva lausee oletukset pätevät, E [ ( )] Var [ ( )] E log( ( ; )) d W d W f

21 Mat Tlastolle päättely 3. Pste-estmot Todstus: jossa f(x;) o satuasmuuttuje 1,,, yhtee pstetodeäkösyys- ta theysfukto. Lause tulee todstetuks, jos äytämme, että Nyt E log( f ( ; )) E log( f ( ; )) E log( f ( ; )) E log f ( ; ) 1 E log( f ( ; )) 1 E log( f ( ; )) 1 E log( f ( ; )) log( f ( j; )) j E log( f ( ; )) 1 Vmee muoto seuraa stä, että satuasmuuttuje 1,,, rppumattomuude taka E log( f ( ; )) log( f ( j; )) E log( f ( ; )) E log( f ( j; )) 00 0 Koska satuasmuuttujat 1,,, ovat samo jakautueta vomme krjottaa 1 E log( f ( ; )) E log( f ( ; Ilkka Mell (010) 1/9

22 Mat Tlastolle päättely 3. Pste-estmot Seuraus: Todstus: Jos edellse lausee oletukset pätevät, mutta lsäks estmaattor W() o harhato parametrlle, Var [ W ( )] 1 E log( f ( ; )) Tulos seuraa suoraa Cramér ja Rao epäyhtälöstä rppumattomlle havaolle, koska estmaattor W() o harhato parametrlle, jos ja tällö Apulause: E [ W ( )] d d E [ W ( )] 1 d d Jos theysfukto f(x;) toteuttaa ehdo Todstus: f ( x; ) dx f ( x; ) dx f f E log( ( ; )) E log( ( ; )) Lähdetää lkkeelle todstettava yhtälö vasemmasta puolesta: E log( f ( ; )) log( f ( x; )) f ( x; ) dx f ( x; ) f ( x; ) dx f ( x; ) f ( x; ) f ( x; ) [ f ( x; )] [ f ( x; )] f ( x; ) dx f ( x; ) f ( x; ) dx f ( x; ) dx f ( x; Ilkka Mell (010) /9

23 Mat Tlastolle päättely 3. Pste-estmot Väte seuraa tästä yhtälöstä, koska ja f ( x; ) dx f ( x; ) dx 1 0 f ( x; ) f ( x; ) f ( x; ) dx log( f ( x; )) f ( x; ) dx E log( f ( x; )) Vodaa osottaa, että s. ekspoettperheesee kuuluvat (jatkuvat) jakaumat toteuttavat apulausee sääöllsyysehdo. Huomautus: Suur osa tlastotetee tavaomassta jakaumsta kuuluu ekspoettperheesee. Tällasa ovat esmerkks sellaset dskreett jakaumat kute Beroull-jakauma, bomjakauma, geometre jakauma, egatve bomjakauma ja Posso-jakauma sekä sellaset jatkuvat jakaumat kute ekspoettjakauma, ormaaljakauma, gamma-jakauma, -jakauma ja beta-jakauma. Seuraava lause ataa välttämättömä ja rttävä ehdo slle, että harhato estmaattor saavuttaa Cramér ja Rao lausee alaraja. Lause: Olkoo 1,,, satuasotos satuasmuuttuja jakaumasta, joka pstetodeäkösyys- ta theysfukto f(x;) rppuu parametrsta. Olkoo L( ; x) f ( x ; ) 1 otokse 1,,, uskottavuusfukto. Olkoo W W 1 ( ) (,,, ) harhato estmaattor parametr fuktolle (). Tällö estmaattor W() saavuttaa Cramér ja Rao alaraja, jos ja va jos o olemassa fukto a() ste, että log L( ; x) a( )[ W ( x) ( Ilkka Mell (010) 3/9

24 Mat Tlastolle päättely 3. Pste-estmot Todstus: Estetää Cramér ja Rao epäyhtälö Schwarz epäyhtälö mukasessa muodossa. Koska havaot o tässä oletettu rppumattomks ja samaa jakaumaa oudattavks satuasmuuttujks, saamme epäyhtälö Cov W ( ), log f ( ; ) Var [ W ( )]Var log f ( ; ) 1 1 Koska W o oletettu harhattomaks parametrlle, E ( W ) ( ) Lsäks Cramér ja Rao epäyhtälö todstukse kaavasta () seuraa, että E log f ( ; ) 0 1 Käyttämällä hyväks edellä estettyä Schwarz epäyhtälö todstusta, äemme, että yllä estetyssä epäyhtälössä valltsee yhtäsuuruus, jos term W ( x) ( ) o (todeäkösyydellä 1) suhteessa term log f ( ; ) 1 Tyhjetävyys ja harhattomuus Seuraava lause ataa meetelmä, jolla o mahdollsta parataa sellasa harhattoma estmaattoreta, jotka evät ole (täys-) tehokkata el parhata Cramér ja Rao epäyhtälöm melessä. Rao ja Blackwell teoreema: Olkoo W harhato estmaattor parametr fuktolle () ja olkoo T tyhjetävä tuusluku parametrlle. Määrtellää tuusluku Tällö ja ( T ) E( W T ) E [ ( T)] ( ) Var [ ( T )] Var ( W ) kaklle el (T) o tasasest estmaattora W paremp harhato estmaattor parametr fuktolle Ilkka Mell (010) 4/9

25 Mat Tlastolle päättely 3. Pste-estmot Todstus: Todetaa es, että (olettae, että ko. odotusarvot ovat olemassa) (1) E( ) E[E( Y )] ja () Var( ) Var[E( Y )] E[Var( Y )] Yhtälöstä (1) seuraa, että ( ) E ( W ) E [E( W T)] E [ ( T )] jote (T) o harhato parametr fuktolle (). Soveltamalla yhtälöä () saadaa arvo Var ( W ) Var [E( W T )] E [Var( W T)] Var [ ( T )] E [Var( W T )] Ste (T) o tasasest paremp ku W. Var [ ( T)] Var( W T ) 0 Nyt o velä äytettävä, että (T) o estmaattor el että ( T ) E( W T ) o otokse fukto, joka e rpu parametrsta. Tämä seuraa stä, että W o otokse fukto, joka e rpu parametrsta ja stä, että T o tyhjetävä parametrlle, jollo satuasmuuttuja W ehdolle jakauma ehdolla T e rpu parametrsta. Ste olemme äyttäeet, että (T) o tasasest estmaattora W paremp harhato estmaattor parametr fuktolle (). Rao ja Blackwell teoreemasta seuraa, että ehdollstamalla melvaltae harhato estmaattor jok tyhjetävä tuusluvu suhtee saadaa alkuperästä estmaattora tasasest paremp estmaattor. Tämä merktsee stä, että parasta harhatota estmaattora etsttäessä rttää tarkastella tyhjetäve tuuslukuje fuktota. Tarkastellaa seuraavaa ogelmaa: Olkoo harhato parametr fuktolle () el, että E [ ] ( ) Oletetaa lsäks, että perustuu tyhjetävää tuuslukuu T. Mte saamme selvlle oko paras harhato estmaattor? Jos estmaattor varass saavuttaa Cramér ja Rao alaraja, tedämme, että o paras harhato estmaattor. Etä jos ä e tapahdu? Esmerkks, jos o toe harhato estmaattor parametr fuktolle (), mte E( T ) suhtautuu Ilkka Mell (010) 5/9

26 Mat Tlastolle päättely 3. Pste-estmot Osttase ratkasu tähä ogelmaa ataa seuraava lause: Lause: Todstus: Jos W o paras harhato estmaattor parametr fuktolle (), W o ykskästtee. Olkoo W paras harhato estmaattor parametr fuktolle () ja olkoo W jok toe paras harhato estmaattor parametr fuktolle (). Tarkastellaa estmaattora 1 W ( W W ) Estmaattor W o selväst harhato parametr fuktolle (): 1 1 E ( W ) [E ( W ) E ( W )] [ ( ) ( )] ( ) Schwarz epäyhtälöstä ja stä, että seuraa epäyhtälö Var ( W ) Var ( W ) 1 1 Var ( W ) Var W W Var ( W ) Var ( W ) Cov ( W, W ) Var ( W ) Var ( W ) [Var ( W ) Var ( W )] 4 4 Var ( W ) Jos tämä epäyhtälö o ato, W e vo olla paras harhato estmaattor. Schwarz epäyhtälöstä seuraa, että tässä epäyhtälössä valltsee yhtäsuuruus va, jos o olemassa sellaset fuktot a() ja b(), että (todeäkösyydellä 1) W a( ) b( ) W Ste kovarass ylesstä omasuukssta seuraa, että Cov ( W, W ) Cov ( W, a( ) b( ) W ) Cov ( W, b( ) W ) b( ) Cov ( W, W ) b( ) Var ( W ) Koska yllä estetyssä epäyhtälössä valltsee yhtäsuuruus, välttämättä b( ) 1 Ilkka Mell (010) 6/9

27 Mat Tlastolle päättely 3. Pste-estmot Lsäks, koska välttämättä E( W ) a( ) E( W ) ( ) E( W ) a( ) 0 Koska b( ) 1 ja a( ) 0, W = W ja W o ykskästtee. Tarkastellaa velä seuraavaa ogelmaa: Oletetaa, että olemme löytäeet harhattoma estmaattor. Vommeko parataa stä? Oletetaa, että W o harhato estmaattor parametr fuktolle (), ts. E ( W ) ( ) Olkoo U jok olla harhato estmaattor, ts. E ( U ) 0 kaklle. Määrtellää estmaattor a W au jossa a o vako. Estmaattor a o harhato parametr fuktolle (), koska E ( a ) E ( W ) a E ( U ) ( ) a 0 ( ) Vosko estmaattor a olla paremp ku estmaattor W? Estmaattor a varass o Oletetaa, että jollek = 0. Tällö jos Var ( a ) Var ( W au ) Var ( W ) a Cov ( W, U ) a Var ( U ) Cov ( W, U ) 0 a Cov ( W, U ) a Var ( U ) 0 a (0, Cov ( W, U ) /Var ( U )) Ste estmaattor a o paremp ku estmaattor W psteessä = 0 ja W e vo olla paras harhato estmaattor. Vastaavalla tavalla äytetää, että W e vo olla paras harhato estmaattor, jos Cov ( W, U ) Ilkka Mell (010) 7/9

28 Mat Tlastolle päättely 3. Pste-estmot Ste yllä kuvattu suhde estmaattor W ja olla harhattoma estmaattor U välllä ratkasee se, oko W paras harhato estmaattor. Itse asassa yllä kuvattu suhde karakterso parhaat harhattomat estmaattort. Lause: Jos Todstus: E ( W ) ( ) W o paras harhato estmaattor parametr fuktolle (), jos ja va jos W korrelomato kakke olla harhattome estmaattorede kassa. Olkoo W o paras harhato estmaattor parametr fuktolle (). Yllä estystä seuraa, että tällö estmaattor W o toteutettava ehto Cov ( W, U ) 0 jokaselle estmaattorlle U, joka toteuttaa ehdo E ( U ) 0 Ste ehdo välttämättömyys o todstettu. Oletetaa yt, että W o harhato estmaattor, joka o korrelomato kakke olla harhattome estmaattorede kassa. Olkoo W melvaltae estmaattor, joka toteuttaa ehdo E ( W ) E ( W ) ( ) Näytämme, että estmaattor W o paremp ku estmaattor W. Krjotetaa W = W + (W W) ja määrätää estmaattor W varass: Var ( W ) Var ( W ) Var ( W W ) Cov ( W, W W ) Var ( W ) Var ( W W ) koska W W o olla harhato estmaattor ja olemme olettaeet, että kakk olla harhattomat estmaattort ovat korrelomattoma estmaattor W kassa. Koska Var ( W W ) 0 Var ( W ) Var ( W ) Koska W ol melvaltae harhato estmaattor, tästä seuraa, että W o paras harhato estmaattor ja ehdo rttävyys o Ilkka Mell (010) 8/9

29 Mat Tlastolle päättely 3. Pste-estmot O syytä huomata, että edellse lausee käyttökelposuus o rajotettu, koska o use hyv vakeata äyttää, että aettu estmaattor o korrelomato kakke olla harhattome estmaattorede kassa. Se sjaa tarkasteltava jakaumaperhee täydellsyys (ks. lukua ) takaa se, että ollalla e ole muta harhattoma estmaattoreta ku olla tse. Koska aa pätee, että Cov ( W,0) 0 W o paras harhato estmaattor, jos se o harhato. Lause: Olkoo T täydelle ja tyhjetävä estmaattor parametrlle ja olkoo (T) melvaltae estmaattor, joka perustuu va estmaattor T. Tällö (T) o odotusarvosa paras harhato estmaattor ja lsäks (T) o Ilkka Mell (010) 9/9