Tilastolliset menetelmät: Otokset, otosjakaumat ja estimointi

Transkriptio

1 Tlastollset meetelmät Otokset, otosjakaumat ja estmot Tlastollset meetelmät: Otokset, otosjakaumat ja estmot 4. Otokset ja otosjakaumat 5. Estmot 6. Estmotmeetelmät 7. Välestmot Ilkka Mell (006) 5

2 Tlastollset meetelmät Otokset, otosjakaumat ja estmot Ilkka Mell (006) 5

3 Tlastollset meetelmät Otokset, otosjakaumat ja estmot Ssällys 4. OTOKSET JA OTOSJAKAUMAT SATUNNAISOTOS 58 TILASTOLLISET AINEISTOT 58 TILASTOLLISET MALLIT 58 SATUNNAISOTANTA 58 SATUNNAISOTOKSEN TILASTOLLINEN MALLI OTOSTUNNUSLUVUT JA OTOSJAKAUMAT 59 OTOSTUNNUSLUVUT 59 OTOSJAKAUMA 60 OTOSJAKAUMAT: ESIMERKKEJÄ ARITMEETTISEN KESKIARVON JA OTOSVARIANSSIN OTOSJAKAUMAT 60 ARITMEETTINEN KESKIARVO JA OTOSVARIANSSI 60 ARITMEETTISEN KESKIARVON ODOTUSARVO JA VARIANSSI 6 ARITMEETTISEN KESKIARVON OTOSJAKAUMA: KÄYTTYTYMINEN OTOSKOON KASVAESSA 6 ARITMEETTISEN KESKIARVON OTOSJAKAUMA: NORMAALIJAKAUTUNUT OTOS 6 ARITMEETTISEN KESKIARVON OTOSJAKAUMA: ASYMPTOOTTINEN JAKAUMA 63 STANDARDOIDUN ARITMEETTISEN KESKIARVON OTOSJAKAUMA: ODOTUSARVO JA VARIANSSI 63 STANDARDOIDUN ARITMEETTISEN KESKIARVON OTOSJAKAUMA: NORMAALIJAKAUTUNUT OTOS 63 STANDARDOIDUN ARITMEETTISEN KESKIARVON OTOSJAKAUMA: ASYMPTOOTTINEN JAKAUMA 63 ARITMEETTISEN KESKIARVON OTOSJAKAUMA: KOMMENTTEJA 64 OTOSVARIANSSIN ODOTUSARVO JA VARIANSSI 64 OTOSVARIANSSIN OTOSJAKAUMA: NORMAALIJAKAUTUNUT OTOS 64 OTOSVARIANSSIN OTOSJAKAUMA: KOMENTTEJA 67 ARITMEETTISEN KESKIARVON JA OTOSVARIANSSIN RIIIPPUMATTOMUUS JA OTOSJAKAUMAT: NORMAALIJAKAUTUNUT OTOS SUHTEELLISEN FREKVENSSIN OTOSJAKAUMA 7 FREKVENSSI JA SUHTEELLINEN FREKVENSSI 7 FREKVENSSIN ODOTUSARVO, VARIANSSI JA OTOSJAKAUMA 7 SUHTEELLISEN FREKVENSSIN ODOTUSARVO JA VARIANSSI 7 SUHTEELLISEN FREKVENSSIN OTOSJAKAUMA: KÄYTTÄYTYMINEN OTOSKOON KASVAESSA 7 SUHTEELLISEN FREKVENSSIN OTOSJAKAUMA: ASYMPTOOTTINEN JAKAUMA ESTIMOINTI TODENNÄKÖISYYSJAKAUMAN PARAMETRIT JA NIIDEN ESTIMOINTI 75 TILASTOLLISET AINEISTOT 75 TILASTOLLISET MALLIT 75 SATUNNAISOTANTA 75 SATUNNAISOTOS 76 ESTIMAATTORIT JA ESTIMAATIT 76 ESTIMAATTORIN OTOSJAKAUMA 77 ESTIMAATTOREIDEN JOHTAMINEN 77 PISTE ESTIMOINTI JA VÄLIESTIMOINTI HYVÄN ESTIMAATTORIN OMININAISUUKSIA 77 TYHJENTÄVYYS 78 HARHATTOMUUS 78 ESTIMAATTORIN HARHA 78 Ilkka Mell (006) 53

4 Tlastollset meetelmät Otokset, otosjakaumat ja estmot ESTIMAATTORIN KESKINELIÖVIRHE 78 TEHOKKUUS 79 TÄYSTEHOKKUUS ELI MINIMIVARIANSSISUUS 79 TARKENTUVUUS ESTIMOINTIMENETELMÄT ESTIMOINTI 8 SATUNNAISOTOS 8 ESTIMAATTORI JA ESTIMAATTI 8 ESTIMAATTOREIDEN JOHTAMINEN SUURIMMAN USKOTTAVUUDEN MENETELMÄ 8 USKOTTAVUUSFUNKTIO 8 SUURIMMAN USKOTTAVUUDEN ESTIMAATTORI 83 SUURIMMAN USKOTTAVUUDEN ESTIMAATTORIN MÄÄRÄÄMINEN 84 LOGARITMINEN USKOTTAVUUSFUNKTIO 84 SUURIMMAN USKOTTAVUUDEN ESTIMAATTORIN ASYMPTOOTTISET OMINAISUUDET NORMAALIJAKAUMAN PARAMETRIEN SUURIMMAN USKOTTAVUUDEN ESTIMOINTI 85 SU ESTIMAATTOREIDEN JOHTO 85 SU ESTIMAATTOREIDEN OMINAISUUDET EKSPONENTTIJAKAUMAN PARAMETRIEN SUURIMMAN USKOTTAVUUDEN ESTIMOINTI 87 SU ESTIMAATTORIN JOHTO BERNOULLI JAKAUMAN PARAMETRIEN SUURIMMAN USKOTTAVUUDEN ESTIMOINTI 89 SU ESTIMAATTORIN JOHTO 89 SU ESTIMAATTORIN OMINAISUUDET MOMENTTIMENETELMÄ 9 SATUNNAISOTOS 9 MOMENTIT 9 MOMENTTIESTIMAATTOREIDEN MÄÄRÄÄMINEN 9 MOMENTTIMENETELMÄ VS SUURIMMAN USKOTTAVUUDEN MENETELMÄ NORMAALIJAKAUMAN PARAMETRIEN MOMENTTIESTIMOINTI 9 MM ESTIMAATTOREIDEN JOHTO EKSPONENTTIJAKAUMAN PARAMETRIEN MOMENTTIESTIMOINTI 94 MM ESTIMAATTORIN JOHTO BERNOULLI JAKAUMAN PARAMETRIEN MOMENTTIESTIMOINTI 95 MM ESTIMAATTORIN JOHTO VÄLIESTIMOINTI TODENNÄKÖISYYSJAKAUMAN PARAMETRIT JA NIIDEN ESTIMOINTI 98 SATUNNAISOTOS 98 ESTIMAATTORI JA ESTIMAATTI 98 ESTIMAATTOREIDEN JOHTAMINEN 98 PISTE ESTIMOINTI JA VÄLIESTIMOINTI LUOTTAMUSVÄLIT 99 LUOTTAMUSVÄLIN MÄÄRÄÄMINEN 99 LUOTTAMUSTASON JA VÄLIN FREKVENSSITULKINTA 00 JOHTOPÄÄTÖKSET LUOTTAMUSVÄLISTÄ 00 LUOTTAMUSVÄLIT: ESIMERKKEJÄ NORMAALIJAKAUMAN ODOTUSARVON LUOTTAMUSVÄLI, KUN JAKAUMAN VARIANSSI ON TUNNETTU 0 Ilkka Mell (006) 54

5 Tlastollset meetelmät Otokset, otosjakaumat ja estmot OTOS NORMAALIJAKAUMASTA 0 NORMAALIJAKAUMAN PARAMETRIEN ESTIMOINTI 0 ODOTUSARVON LUOTTAMUSVÄLIN KONSTRUOINTI 0 LUOTTAMUSVÄLIN OMINAISUUDET 04 LUOTTAMUSVÄLIN FREKVENSSITULKINTA 04 JOHTOPÄÄTÖKSET LUOTTAMUSVÄLISTÄ 04 VAATIMUKSET LUOTTAMUSVÄLILLE 05 OTOSKOON MÄÄRÄÄMINEN NORMAALIJAKAUMAN ODOTUSARVON LUOTTAMUSVÄLI, KUN JAKAUMAN VARIANSSI ON TUNTEMATON 05 OTOS NORMAALIJAKAUMASTA 05 NORMAALIJAKAUMAN PARAMETRIEN ESTIMOINTI 05 ODOTUSARVON LUOTTAMUSVÄLIN KONSTRUOINTI 06 LUOTTAMUSVÄLIN OMINAISUUDET 09 LUOTTAMUSVÄLIN FREKVENSSITULKINTA 09 JOHTOPÄÄTÖKSET LUOTTAMUSVÄLISTÄ 09 VAATIMUKSET LUOTTAMUSVÄLILLE 0 OTOSKOON MÄÄRÄÄMINEN 0 NORMAALIJAKAUMAN ODOTUSARVON LUOTTAMUSVÄLIN MÄÄRÄÄMINEN: ESIMERKKI NORMAALIJAKAUMAN VARIANSSIN LUOTTAMUSVÄLI 3 OTOS NORMAALIJAKAUMASTA 3 NORMAALIJAKAUMAN PARAMETRIEN ESTIMOINTI 3 VARIANSSIN LUOTTAMUSVÄLIN KONSTRUOINTI 3 LUOTTAMUSVÄLIN OMINAISUUDET 5 LUOTTAMUSVÄLIN FREKVENSSITULKINTA 5 JOHTOPÄÄTÖKSET LUOTTAMUSVÄLISTÄ 6 VAATIMUKSET LUOTTAMUSVÄLILLE BERNOULLI JAKAUMAN ODOTUSARVON LUOTTAMUSVÄLI 6 BERNOULLI JAKAUMA 6 OTOSBERNOULLI JAKAUMASTA 7 BERNOULLI JAKAUMAN ODOTUSARVOPARAMETRIN ESTIMOINTI 7 BERNOULLI JAKAUMAN ODOTUSARVOPARAMETRIN LUOTTAMUSVÄLI 7 LUOTTAMUSVÄLIN OMINAISUUDET 0 LUOTTAMUSVÄLIN FREKVENSSITULKINTA 0 JOHTOPÄÄTÖKSET LUOTTAMUSVÄLISTÄ 0 VAATIMUKSET LUOTTAMUSVÄLILLE OTOSKOON MÄÄRÄÄMINEN Ilkka Mell (006) 55

6 Tlastollset meetelmät Otokset, otosjakaumat ja estmot Ilkka Mell (006) 56

7 Tlastollset meetelmät 4. Otokset ja otosjakaumat 4. Otokset ja otosjakaumat 4.. Satuasotos 4.. Otostuusluvut ja otosjakaumat 4.3. Artmeettse keskarvo ja otosvarass otosjakaumat 4.4. Suhteellse frekvess otosjakauma Tlastolle aesto koostuu tutkmukse kohteta ja de olosuhteta kuvaave muuttuje havatusta arvosta. Koska tlastollsssa tutkmusasetelmssa havatoarvoh lttyy aa epävarmuutta ta satuasuutta, havatoarvoje ajatellaa oleva jok satuasmuuttuja geeroma. Tlastollse aesto tlastolle mall tarkottaa tämä satuasmuuttuja todeäkösyysjakaumaa. Vomme ajatella, että havatoarvoh lttyvä satuasuus o seurausta stä, että havatoarvot o saatu arpomalla käyttämällä arvotatodeäkkösyyksä todeäkösyyksä stä todeäkösyysjakaumasta, joka tom havatoarvoje vahtelua kuvaavaa tlastollsea malla. Koska ste havatoarvot vahtelevat satuasest arvoasta tosee, myös kakk havatoarvosta johdetut suureet kute otostuusluvut vahtelevat satuasest arvoasta tosee. Kästtelemme tässä luvussa tlastollsa aestoja kuvaave tuuslukuje el otossuurede todeäkösyysjakauma el otosjakauma. Tarkastelu kohteea ovat ertysest artmeettse keskarvo ja otosvarass sekä suhteellse frekvess otosjakaumat. Avasaat: Artmeette keskarvo, Havato, Havatoarvo, Keskee raja arvolause, χ jakauma, Normaaljakauma, Otos, Otosjakauma, Otostuusluku, Otosvarass, Rppumattomuus, Satuasotos, Suhteelle frekvess, t jakauma, Tlastolle aesto, Tlastolle mall, Todeäkösyysjakauma Ilkka Mell (006) 57

8 Tlastollset meetelmät 4. Otokset ja otosjakaumat 4.. Satuasotos Tlastollset aestot Tlastolle aesto koostuu tutkmukse kohteta kuvaave muuttuje havatusta arvosta. Stä, että tlastollsssa tutkmusasetelmssa havatoarvoh lttyy aa epävarmuutta ta satuasuutta, seuraa seuraavat kaks sekkaa: () () Tlastollsssa tutkmusasetelmssa ajatellaa, että havatoarvot o geerout lmö, joka o luoteeltaa satuae. Tlastollse tutkmukse kohteta kuvaavat muuttujat tulktaa satuasmuuttujks ja havatoarvot tulktaa äde satuasmuuttuje realsotueks arvoks. Tlastollset mallt Tlastollse aesto tlastollsella malllla tarkotetaa de satuasmuuttuje todeäkösyysjakaumaa, joka ajatellaa geeroee havaot. Havatoarvoje ajatellaa sytyee arpomalla käyttäe arvotatodeäkösyyksä aesto malla käytetystä todeäkösyysjakaumasta saatav todeäkösyyks. Huomautus: Todeäkösyysjakaumat rppuvat tavallsest parametresta el vakosta, jode arvoja e yleesä tueta. Ku tlastollsa malleja sovelletaa reaalmaalma lmötä kuvaave havatoaestoje aalysot, kohdataa tavallsest seuraavat mall parametreja koskevat ogelmat: () () Parametre arvoja e tueta ja e o estmotava el arvotava havatoaestosta; lsätetoja: ks. lukua Estmot. Parametre arvosta o estetty oletuksa ta vättetä, jota halutaa testata el asettaa koetteelle havatoaestosta saatua formaatota vastaa; lsätetoja: ks. lukua Tlastolle testaus. Tlastollste malle parametre estmot ja testaus muodostavat keskese osa tlastollsta päättelyä. Satuasotata Satuasotos pomtaa arpomalla havatoyksköt perusjoukosta otoksee. Arpomsessa käytettävää meetelmää kutsutaa satuasotaaks. Satuasotaassa sattuma määrää mtkä perusjouko alkosta tulevat otoksee. Jos havatoyksköt pomtaa perusjoukosta satuasotaalla, pätee seuraava: () () Olkoot Havatoykskötä kuvaave muuttuje havatut arvot ovat satuasa sä melessä, että e vahtelevat satuasest otoksesta tosee. Kakk havatoykskötä kuvaave muuttuje havatusta arvosta lasketut tuusluvut ovat satuasa sä melessä, että e vahtelevat satuasest otoksesta tosee.,,, Ilkka Mell (006) 58

9 Tlastollset meetelmät 4. Otokset ja otosjakaumat rppumattoma ja dettsest jakautueta satuasmuuttuja, jode pstetodeäkösyys ta theysfukto o f(x):,, K, f( x), =,, K, Saomme tällö, että satuasmuuttujat,,, muodostavat satuasotokse jakaumasta, joka pstetodeäkösyys ta theysfukto o f(x) ja kutsumme satuasmuuttuja,,, havaoks. Otokse pommse jälkee satuasmuuttujat,,, saavat havatuks arvoksee havatoarvot x, x,, x Merktsemme tätä seuraavast: = x, = x,, = x Havatoarvot ovat ktetä lukuja, mutta e vahtelevat satuasest otoksesta tosee. Ste satuasuus lttyy satuasotaassa she, että havatoarvot vahtelevat tosstaa rppumatta ja satuasest otoksesta tosee. Satuasuus e ss lty otaa tuloksea saatuh havatoarvoh, vaa otokse pomtaa. Satuasotokse tlastolle mall Oletetaa, että,,, havaot muodostavat satuasotokse jakaumasta, joka pstetodeäkösyys ta theysfukto o f(x). Satuasmuuttuje,,, yhtesjakauma muodostaa tlastollse mall havatoarvoje satuaselle vahtelulle otoksesta tosee. Koska satuasmuuttujat,,, o oletettu rppumattomks, de yhtesjakauma o muotoa jossa f( x, x, K, x ) = f( x ) f( x ) L f( x ) f( x ), =,, K, 4.. Otostuusluvut ja otosjakaumat Otostuusluvut Oletetaa, että havaot,,, muodostavat satuasotokse jakaumasta, joka pstetodeäkösyys ta theysfukto o f(x) ja olkoo T = g(,,, ) Ilkka Mell (006) 59

10 Tlastollset meetelmät 4. Otokset ja otosjakaumat jok satuasmuuttuje,,, (mtalle) fukto. Satuasmuuttujaa T kutsutaa (otos ) tuusluvuks. Oletetaa, että otokse pommse jälkee satuasmuuttujat,,, saavat havatuks arvoksee havatoarvot x, x,, x : Tällö tuusluku = x, = x,, = x T = g(,,, ) saa havatuks arvoksee t fukto g arvo psteessä (x, x,, x ): Otosjakauma Oletetaa, että havaot t = g(x, x,, x ),,, muodostavat satuasotokse, joka pstetodeäkösyys ta theysfukto o f(x) ja olkoo T = g(,,, ) jok otostuusluku. Koska tuusluku T o satuasmuuttuja, sllä o todeäkösyysjakauma, jota kutsutaa tuusluvu T otosjakaumaks. Tuusluvu T otosjakauma muodostaa tlastollse mall el todeäkösyysmall tuusluvu T arvoje satuasvahtelulle otoksesta tosee. Huomautus: Otosjakauma o tavallsest epäoperatoaale sä melessä, että se rppuu tutemattomsta parametresta. Otostuuslukuje otosjakaume johtame o kutek teoreettsest tärkeää, koska llä o tärkeä rool todeäkösyysjakaume parametreja koskevassa estmot ja testteorassa. Otosjakaumat: Esmerkkejä Tutkmme alla seuraava otosjakauma: Artmeettse keskarvo ja otosvarass otosjakaumat Suhteellse frekvess otosjakauma 4.3. Artmeettse keskarvo ja otosvarass otosjakaumat Artmeette keskarvo ja otosvarass Oletetaa, että havaot,,, muodostavat satuasotokse jakaumasta, joka odotusarvo o µ ja varass o σ. Tällö havaot,,, ovat rppumattoma satuasmuuttuja, jolla kaklla o sama odotusarvo ja varass:,,, E( ) = µ, =,,, Ilkka Mell (006) 60

11 Tlastollset meetelmät 4. Otokset ja otosjakaumat Var( ) = D ( ) = σ, =,,, Otokse,,, omasuuksa vodaa kuvata havatoarvoje artmeettsella keskarvolla ja varasslla: Määrtellää havatoje,,, artmeette keskarvo kaavalla = = ja määrtellää havatoje,,, otosvarass kaavalla s = ( ) = Sekä artmeette keskarvo että otosvarass s ovat satuasmuuttuja, jode saamat arvot vahtelevat satuasest otoksesta tosee. Artmeettse keskarvo odotusarvo ja varass Oletetaa, että havaot,,, muodostavat satuasotokse jakaumasta, joka odotusarvo o µ ja varass o σ. Tällö havatoje,,, artmeettsella keskarvolla = = o seuraava odotusarvo ja varass: E( ) = µ σ = = Var( ) D ( ) Artmeettse keskarvo stadardpokkeamaa D( ) = σ kutsutaa tavallsest keskarvo keskvrheeks ja se kuvaa artmeettse keskarvo otosvahtelua oma odotusarvosa µ ympärllä. Perustelu: Olkoot,,, rppumattoma satuasmuuttuja, jolle E( ) = µ, =,, K, Var( ) = σ, =,, K, Odotusarvo yleste omasuukse perusteella pätee (myös lma rppumattomuusoletusta): E( ) = E E( ) = = µ = µ = µ = = = Ilkka Mell (006) 6

12 Tlastollset meetelmät 4. Otokset ja otosjakaumat Varass yleste omasuukse perusteella pätee (koska satuasmuuttujat,,, o oletettu rppumattomks): σ Var( ) = Var Var( ) = = σ = σ = = = = Artmeettse keskarvo otosjakauma: Käyttytyme otoskoo kasvaessa Koska artmeettse keskarvo odotusarvo o ja varass o E( ) = µ σ = = Var( ) D ( ) artmeettse keskarvo otosjakauma keskttyy yhä vomakkaamm havatoje yhtese odotusarvo µ ympärlle, ku otoskoko kasvaa. Artmeettse keskarvo otosjakauma: Normaaljakautuut otos Oletetaa, että havaot,,, muodostavat satuasotokse ormaaljakaumasta N(µ,σ ). Tällö havatoje,,, artmeette keskarvo oudattaa ormaaljakaumaa parametre µ ja σ / : Perustelu: σ N µ, Olkoo,,, otos ormaaljakaumasta N( µσ, ) Koska oletukse mukaa havaot,,, ovat rppumattoma, ja = N( µ, σ ) σ = N µ, = Ykstyskohdat: Ks. todstusta ormaaljakautuee otokse artmeettse keskarvo ja otosvarass s rppumattomuudelle tässä samassa kappaleessa sekä mostee Todeäkösyyslasketa lukuja Jatkuva jakauma, Moulotteset satuasmuuttujat ja todeäkösyysjakaumat sekä Satuasmuuttuje muuokset ja de jakaumat. Ilkka Mell (006) 6

13 Tlastollset meetelmät 4. Otokset ja otosjakaumat Artmeettse keskarvo otosjakauma: Asymptootte jakauma Oletetaa, että havaot,,, muodostavat satuasotokse jakaumasta, joka odotusarvo o µ ja varass o σ. Tällö keskesestä raja arvolauseesta seuraa, että havatoje artmeette keskarvo oudattaa suurssa otoksssa approksmatvsest (asymptoottsest) ormaaljakaumaa parametre µ ja σ / : a σ N µ, Stadardodu artmeettse keskarvo otosjakauma: Odotusarvo ja varass Koska E( ) = µ σ = = Var( ) D ( ) stadardodu satuasmuuttuja odotusarvo ja varass ovat E( ) µ Z = = D( ) σ E(Z) = 0 Var(Z) = Stadardodu artmeettse keskarvo otosjakauma: Normaaljakautuut otos Oletetaa, että havaot,,, muodostavat satuasotokse ormaaljakaumasta N(µ,σ ). Tällö stadardotu satuasmuuttuja E( ) µ Z = = D( ) σ oudattaa eksaktst (el myös äärellsssä otoksssa) stadardotua ormaaljakaumaa N(0,): Z ~ N ( 0,) Stadardodu artmeettse keskarvo otosjakauma: Asymptootte jakauma Oletetaa, että havaot,,, muodostavat satuasotokse jakaumasta, joka odotusarvo o µ ja varass o σ. Tällö keskesestä raja arvolauseesta seuraa, että stadardotu satuasmuuttuja Ilkka Mell (006) 63

14 Tlastollset meetelmät 4. Otokset ja otosjakaumat Z E( ) µ = = D( ) σ oudattaa suurssa otoksssa approksmatvsest (asymptootttsest) stadardotua ormaaljakaumaa N(0,): Z ~ N ( 0,) Artmeettse keskarvo otosjakauma: Kommetteja Oletukset havatoje rppumattomuudesta, samasta jakaumasta ja ormaalsuudesta ovat välttämättömä artmeettse keskarvo eksakta el tarkkaa otosjakaumaa koskevalle äärellse otoskoo tulokselle. Artmeettse keskarvo otosjakaumaa koskeva asymptootte tulos seuraa keskesestä rajaarvolauseesta; ks. mostee Todeäkösyyslasketa lukua Jatkuva jakauma ta lukua Kovergesskästteet ja raja arvolauseet. Artmeettse keskarvo otosjakaumaa koskeva asymptootte tulos pätee tety lsäehdo myös mossa sellasssa tlatessa, jossa havatoje rppumattomuutta ja samaa jakaumaa koskevat oletukset evät päde. Otosvarass odotusarvo ja varass Oletetaa, että havaot,,, muodostavat satuasotokse jakaumasta, joka odotusarvo o µ ja varass o σ. Tällö havatoje,,, otosvarasslla o seuraava odotusarvo: s = ( ) = E(s ) = σ Jos lsäks vodaa olettaa, että havaot,,, oudattavat ormaaljakaumaa N(µ,σ )., otosvarass s varass o 4 Var( s ) = D ( s ) = σ Ste otosvarass s keskvrhe o ormaalse otokse tapauksessa D( s ) =σ Otosvarass otosjakauma: Normaaljakautuut otos Oletetaa, että havaot,,, Ilkka Mell (006) 64

15 Tlastollset meetelmät 4. Otokset ja otosjakaumat muodostavat satuasotokse ormaaljakaumasta N(µ,σ ) ja olkoo s havatoje,,, otosvarass. Määrtellää satuasmuuttujat ja Y µ = = σ ( ) s V = = = σ σ Tällöo satuasmuuttuja Y oudattaa χ jakaumaa vapausaste : Y χ ( ) ja satuasmuuttuja V = ( )s /σ oudattaa χ jakaumaa vapausaste ( ): Huomautus: Perustelu: V ( ) s σ = χ ( ) Satuasmuuttuja V o saatu satuasmuuttujasta Y korvaamalla tavallsest tutemato parametr µ stä vastaavalla otossuureella. Olkoo,,, otos ormaaljakaumasta Olkoo N( µσ, ) = = havatoje,,, artmeette keskarvo ja de otosvarass. s = ( ) = Määrtellää satuasmuuttuja Y kaavalla Y µ = = σ Koska havaot,,, ovat rppumattoma ja oudattavat ormaaljakaumaa N( µσ, ), =,, K, myös stadardodut satuasmuuttujat µ Y =, =,, K, σ ovat rppumattoma ja oudattavat stadardotua ormaaljakaumaa N(0,): Ilkka Mell (006) 65

16 Tlastollset meetelmät 4. Otokset ja otosjakaumat Y N(0,), =,, K, Edellä estetystä seuraa, että satuasmuuttuja Y o rppumattome, stadardotua ormaaljakaumaa N(0,) oudattave satuasmuuttuje Y, =,,, elösumma: Y = Y = Suoraa χ jakauma määrtelmästä seuraa, että satuasmuuttuja Y oudattaa χ jakaumaa vapausaste : Y χ ( ) Ks. mostee Todeäkösyyslasketa lukua Normaaljakaumasta johdettuja jakauma. Määrtellää yt satuasmuuttuja V kaavalla V = = σ Satuasmuuttuja V saadaa satuasmuuttujasta Y µ = = σ korvaamalla odotusarvo µ stä vastaavalla otossuureella. Satuasmuuttuja V määrtelmässä estyvä summa termt U =, =,, K, σ evät ole rppumattoma. Vodaa kutek osottaa, että V vodaa esttää rppumattome, stadardotua ormaaljakaumaa N(0,) oudattave satuasmuuttuje V, =,,, elösummaa; (ks. todstusta ormaaljakautuee otokse artmeettse keskarvo ja otosvarass s rppumattomuudelle tässä samassa kappaleessa): V = V = Suoraa χ jakauma määrtelmästä seuraa, että satuasmuuttuja V oudattaa χ jakaumaa vapausaste ( ): V χ ( ) Ks. mostee Todeäkösyyslasketa lukua Normaaljakaumasta johdettuja jakauma. Huomautuksa: Satuasmuuttuja Y oudattaa χ jakaumaa, jossa vapausastede lukumäärä o sama ku havatoje lukumäärä. Ku satuasmuuttujasta Y srrytää satuasmuuttujaa V meetetää yks vapausaste. Ilkka Mell (006) 66

17 Tlastollset meetelmät 4. Otokset ja otosjakaumat Yhde vapausastee meetys o seurausta stä, että parametr µ korvaame vastaavalla otossuureella rppumattomssa satuasmuuttujssa µ Y =, =,, K, σ luo yhde (leaarse) sde ehdo satuasmuuttuje vällle. U =, =,, K, σ Otosvarass otosjakauma: Kometteja Oletukset havatoje rppumattomuudesta, samasta jakaumasta ja ormaalsuudesta ovat välttämättömä otosvarass eksakta el tarkkaa otosjakaumaa koskevalle äärellse otoskoo tulokselle. Artmeettse keskarvo ja otosvarass rppumattomuus ja otosjakaumat: Normaaljakautuut otos Oletetaa, että havaot,,, muodostavat satuasotokse ormaaljakaumasta N(µ,σ ). Tällö havatoje artmeette keskarvo ja otosvarass = = s = ( ) = ovat satuasmuuttuja rppumattoma: Lsäks Perustelu: s ( ) s σ σ N µ, χ ( ) Oletetaa, että havaot,,, muodostavat satuasotokse ormaaljakaumasta N(µ,σ ) ja olkoo = = havatoje artmeette keskarvo ja Ilkka Mell (006) 67

18 Tlastollset meetelmät 4. Otokset ja otosjakaumat de otosvarass. s = ( ) = Otokse yhtesjakauma theysfukto vodaa krjottaa havatoje rppumattomuude ja ormaalsuude taka seuraavaa muotoo: f( x, x, K, x) = ( π) σ exp ( x ) µ σ = Määrtellää leaare muuos Y = L + Y = Y3 = M Y = L ( ) ( ) ( ) ( ) Muuos vodaa esttää matrse muodossa jossa ja matrs Y = B o ortogoaale: Y= ( Y, Y, K, Y ) = (,, K, ) L 0 L 0 B= L M M M M L ( ) ( ) ( ) ( ) B B = BB = I). Matrs B ähdää ortogoaalseks seuraavalla tavalla: Määrtellää matrs Ilkka Mell (006) 68

19 Tlastollset meetelmät 4. Otokset ja otosjakaumat L 0 0 L L 0 0 C= 3L 0 0 M M M M M M L ( ) 0 ( ) L O helppo ähdä, että matrs C rvt ovat kohtsuorassa tosaa vastaa. Matrs B saadaa matrssta C ormeeraamalla se rvt, että de ptuudeks tulee. Koska muuos Y = B o ortogoaale, muuosta vastaava Jacob determat tsesarvo =. Koska ja Koska Y = ( + + L+ ) = Y + Y + L+ Y = YY = BB = = + + L+ = ( ) + = + L+ = ( ) = ( ) = Y Y s ( µ ) = ( ) + ( µ ) = = = = ( ) + ( µ ) = = Y + L+ Y + ( Y µ ) satuasmuuttuje Y, Y,, Y yhtesjakauma theysfuktoks saadaa f( y, y, K, y ) = exp ( Y µ ) + Y + L+ Y ( π) σ σ = exp ( Y µ ) πσ σ exp Y L exp Y πσ σ πσ σ Edellä estetystä seuraa, että satuasmuuttujat Y, Y,, Y ovat rppumattoma ja ormaaljakautueta: Ilkka Mell (006) 69

20 Tlastollset meetelmät 4. Otokset ja otosjakaumat Lsäks jossa Y, Y, K, Y N(, ) Y = µσ = K Y N(0, σ ),,, σ Y ( Y ) s = Y + L+ Y = + + L σ σ Y σ N(0,), =, K, Ste olemme todstaeet, että Huomautus: s ( ) s σ σ N µ, χ ( ) Todstuksessa o sovellettu mostee Todeäkösyyslasketa luvu Satuasmuuttuje muuokset ja de jakaumat teoraa sekä luvussa Normaaljakaumasta johdettuja jakauma estettyä χ jakauma määrtelmää. Oletetaa, että havaot,,, muodostavat satuasotokse ormaaljakaumasta N(µ,σ ) ja ja olkoo = = havatoje artmeette keskarvo ja s de otosvarass. Tällö Perustelu: = ( ) = µ t= t ( ) s/ Oletetaa, että havaot,,, muodostavat ykskertase satuasotokse ormaaljakaumasta N(µ,σ ) ja olkoo Ilkka Mell (006) 70

21 Tlastollset meetelmät 4. Otokset ja otosjakaumat = = havatoje artmeette keskarvo ja s = ( ) = de otosvarass. Edellä o todettu, että σ N µ, ( ) s σ ja lsäks s χ ( ) Artmeettsta keskarvoa koskevasta jakaumatuloksesta seuraa, että µ N(0,) σ / Ste suoraa t jakauma määrtelmästä seuraa, että µ / t σ µ = = t ( ) ( ) s s/ σ Ks. mostee Todeäkösyyslasketa lukua Normaaljakaumasta johdettuja jakauma Suhteellse frekvess otosjakauma Frekvess ja suhteelle frekvess Olkoo P jok otosvaruude S alkode omasuu. Jos alkolla x o omasuus P merktää Olkoo Px ( ) { ( )} A= x SPx de otosavaruude S alkode joukko, jolla o omaísuus P. Oletetaa, että tapahtuma A todeäkösyys o Pr(A) = p jollo tapahtuma A komplemetttapahtuma A c todeäkösyys o Pr(A c ) = Pr(A) = p = q Ilkka Mell (006) 7

22 Tlastollset meetelmät 4. Otokset ja otosjakaumat Pomtaa otosavaruudesta S satuasotos, joka koko o. Olkoo A tyyppste alkode frekvess el lukumäärä otoksessa f ja olkoo pˆ = f vastaava suhteelle frekvess el osuus. Sekä frekvess f että suhteelle frekvess pˆ = f / ovat satuasmuuttuja, jode saamat arvot vahtelevat satuasest otoksesta tosee. Frekvess odotusarvo, varass ja otosjakauma Frekvessllä f o seuraava odotusarvo ja varass: E( f ) = p f = f = pq Var( ) D ( ) jossa q = p. Lsäks frekvess f oudattaa otoksessa bomjakaumaa parametre ja p = Pr(A): f B( p, ) Suhteellse frekvess odotusarvo ja varass Suhteellsella frekvessllä pˆ = f / o seuraava odotusarvo ja varass: E( pˆ ) = p pq ˆ= ˆ= Var( p) D ( p) jossa q = p. Ks. mostee Todeäkösyyslasketa luvu Dskreettejä jakauma kohtaa Beroull jakauma ja kohtaa Bomjakauma. Suhteellse frekvess pˆ = f / stadardpokkeamaa D( pˆ ) = pq kutsutaa tavallsest suhteellse frekvess keskvrheeks ja se kuvaa suhteellse frekvess otosvahtelua oma odotusarvosa p ympärllä. Suhteellse frekvess otosjakauma: Käyttäytyme otoskoo kasvaessa Koska suhteellse frekvess pˆ = f / odotusarvo o ja varass o E( pˆ ) = p pq pˆ= pˆ= Var( ) D ( ) suhteellse frekvess otosjakauma keskttyy yhä vomakkaamm tapahtuma A todeäkösyyde Pr(A) = p ympärlle, ku otoskoko kasvaa. Ilkka Mell (006) 7

23 Tlastollset meetelmät 4. Otokset ja otosjakaumat Suhteellse frekvess otosjakauma: Asymptootte jakauma Keskesestä raja arvolausee seuraa että suhteelle frekvess pˆ = f / oudattaa em. oletuste pätessä suurssa otoksssa approksmatvsest (asymptoottsest) ormaaljakaumaa parametre p ja pq/: p ˆ pq a N p, Ste stadardotu satuasmuuttuja Z = ˆp p pq oudattaa suurssa otoksssa approksmatvsest (asymptoottsest) stadardotua ormaaljakaumaa N(0,): Z a N(0,) Ks. mostee Todeäkösyyslasketa lukua Stokastka kovergesskästteet ja rajaarvolauseet. Ilkka Mell (006) 73

24 Tlastollset meetelmät 5. Estmot 5. Estmot 5.. Todeäkösyysjakauma parametrt ja de estmot 5.. Hyvä estmaattor omasuudet Tlastolle aesto koostuu tutkmukse kohteta kuvaave muuttuje havatusta arvosta. Tlastollsella malllla tarkotetaa stä todeäkösyysjakaumaa, joka ajatellaa geeroee tutkmukse kohteea oleva aesto. Koska tämä todeäkösyysjakauma parametrt ovat tavallsest tutemattoma, tlastollose aalyys eräää o osatehtävää o pyrkä estmomaa el arvomaa parametrt tutkmukse kohteea olevaa lmötä kuvavasta tlastollsesta aestosta. Kuvaamme tässä luvussa parametre estmo ogelma ylesest sekä estelemme hyvyyskrteeretä estmo ostumselle. Avasaat: Estmaatt, Estmaattor, Estmot, Estmotmeetelmä, Harha, Harhattomuus, Havato, Havatoarvo, Hyvyyskrteer, Keskelövrhe, Luottamusväl, Mmvarasssuus, Momettmeetelmä, Odotusarvo, Otos, Otosjakauma, Parametr, Pste estmot, Satuasotos, Suurmma uskottavuude meetelmä, Tarketuvuus, Tehokkuus, Tlastolle aesto, Tlastolle mall, Todeäkösyysjakauma, Tyhjetävyys, Täystehokkuus, Varass Ilkka Mell (006) 74

25 Tlastollset meetelmät 5. Estmot 5.. Todeäkösyysjakauma parametrt ja de estmot Tlastollset aestot Tlastolle aesto koostuu tutkmukse kohteta kuvaave muuttuje havatusta arvosta. Stä, että tlastollsssa tutkmusasetelmssa havatoarvoh lttyy aa epävarmuutta ta satuasuutta, seuraa seuraavat kaks sekkaa: () () Tlastollsssa tutkmusasetelmssa ajatellaa, että havatoarvot o geerout lmö, joka o luoteeltaa satuae. Tlastollse tutkmukse kohteta kuvaavat muuttujat tulktaa satuasmuuttujks ja havatoarvot tulktaa äde satuasmuuttuje realsotueks arvoks. Tlastollset mallt Tlastollse aesto tlastollsella malllla tarkotetaa de satuasmuuttuje todeäkösyysjakaumaa, joka ajatellaa geeroee havaot. Havatoarvoje ajatellaa sytyee arpomalla käyttäe arvotatodeäkösyyksä aesto malla käytetystä todeäkösyysjakaumasta saatav todeäkösyyks. Tarkastellaa jotak tutkmukse kakke mahdollste kohtede muodostama perusjouko S alkode omasuutta kuvaavaa satuasmuuttujaa. Oletetaa, että satuasmuuttuja oudattaa todeäkösyysjakaumaa, joka pstetodeäkösyys ta theysfukto f(x ; θ) rppuu parametrsta θ. Merktä: ~ f( x; θ) Satuasmuuttuja pstetodeäkösyys ta theysfukto f(x ; θ) kuvaa satuasmuuttujaa lttyve todeäkösyykse jakautumsta ja parametr θ kuvaa jotak jakauma karakterststa omasuutta. Ku tlastollsa malleja sovelletaa reaalmaalma lmötä kuvaave havatoaestoje aalysot, kohdataa tavallsest seuraavat mall parametreja koskevat ogelmat: () () Parametre arvoja e tueta ja e o estmotava el arvotava havaosta; kästtelemme tätä ogelmaa tässä luvussa. Parametre arvosta o estetty oletuksa ta vättetä, jota halutaa testata el asettaa koetteelle havatoaestosta saatua formaatota vastaa; lsätetoja: ks. lukua Tlastolle testaus. Tlastollste malle parametre estmot ja testaus muodostavat keskese osa tlastollsta päättelyä. Satuasotata Satuasotos pomtaa arpomalla havatoyksköt perusjoukosta otoksee. Arpomsessa käytettävää meetelmää kutsutaa satuasotaaks. Satuasotaassa sattuma määrää mtkä perusjouko alkosta tulevat otoksee. Ilkka Mell (006) 75

26 Tlastollset meetelmät 5. Estmot Jos havatoyksköt pomtaa perusjoukosta satuasotaalla, pätee seuraava: () () Havatoykskötä kuvaave muuttuje havatut arvot ovat satuasa sä melessä, että e vahtelevat satuasest otoksesta tosee. Kakk havatoykskötä kuvaave muuttuje havatusta arvosta lasketut tuusluvut ovat satuasa sä melessä, että e vahtelevat satuasest otoksesta tosee. Satuasotos Olkoo, =,,, satuasotos jakaumasta, joka pstetodeäkösyys ta theysfukto f(x;θ) rppuu parametrsta θ. Tällö havaot, =,,, ovat rppumattoma, dettsest jakautueta satuasmuuttuja, jolla o sama pstetodeäkösyys ta theysfukto f(x;θ):,, K, f( x; θ), =,, K, Saomme tällö, että satuasmuuttujat,,, muodostavat satuasotokse jakaumasta, joka pstetodeäkösyys ta theysfukto o f(x;θ) ja kutsumme satuasmuuttuja,,, havaoks. Otokse pommse jälkee satuasmuuttujat,,, saavat havatuks arvoksee havatoarvot x, x,, x Merktsemme tätä seuraavast: = x, = x,, = x Havatoarvot ovat ktetä lukuja, mutta e vahtelevat satuasest otoksesta tosee. Ste satuasuus lttyy satuasotaassa she, että havatoarvot vahtelevat tosstaa rppumatta ja satuasest otoksesta tosee. Satuasuus e ss lty otaa tuloksea saatuh havatoarvoh, vaa otokse pomtaa. Estmaattort ja estmaatt Oletetaa, että havaot, =,,, muodostavat satuasotokse jakaumasta f(x;θ). Oletetaa, että todeäkösyysjakauma f(x;θ) parametr θ o tutemato ja se estmomsee käytetää havatoje, =,,, (mtallsta) fuktota el (otos ) tuuslukua T = g(,,, ) Tällö fuktota T = g(,,, ) kutsutaa parametr θ estmaattorks ja fukto g havatoarvosta laskettua arvoa x, x,, x t = g( x, x,, x ) Ilkka Mell (006) 76

27 Tlastollset meetelmät 5. Estmot kutsutaa parametr θ estmaatks. Huomaa, että estmaattor T = g(,,, ) havatoarvosta x, x,, x lasketut arvot el estmaatt t = g(x, x,, x ) vahtelevat satuasest otoksesta tosee. Estmaattor otosjakauma Oletetaa, että havaot, =,,, muodostavat satuasotokse jakaumasta f(x;θ) ja olkoo T = g(,,, ) jok parametr θ estmaattor. Koska estmaattor T o satuasmuuttuja, sllä o todeäkösyysjakauma, jota kutsutaa estmaattor T otosjakaumaks. Estmaattor T otosjakauma muodostaa tlastollse mall el todeäkösyysmall estmaattor T arvoje satuaselle vahtelulle otoksesta tosee. Estmaattorede johtame Hyve estmaattorede johtame todeäkösyysjakaume tutemattomlle parametrelle o teoreettse tlastotetee keskesä ogelma. Tärkemmät estmaattorede johtamsee käytettävät meetelmät: Suurmma uskottavuude meetelmä Momettmeetelmä Ks. lukua Estmotmeetelmät. Pste estmot ja välestmot Todeäkösyysjakauma parametr arvo estmota kutsutaa use pste estmoks. Tätä ogelmaa kästellää luvussa Estmotmeetelmät. Parametr estmaatt o syytä aa lttää luottamusvälks kutsuttu väl, joka ssältää estmodu parametr todellse, mutta tutemattoma arvo tetyllä, soveltaja valttavssa olevalla todeäkösyydellä. Luottamusväl määräämstä o tapaa kutsua välestmoks. Ks. lukua Välestmot. 5.. Hyvä estmaattor omasuuksa Todeäkösyysjakauma parametrelle o tavallsest tarjolla useta vahtoehtosa estmaattoreta. Estmaattor valtaa ohjaavat hyvyyskrteert, jolla pyrtää takamaa se, että valttu estmaattor tuottaa järkevä arvoja estmotavalle parametrlle. Oletetaa, että havaot, =,,, muodostavat satuasotokse jakaumasta f(x;θ) ja olkoo T = g(,,, ) jok parametr θ estmaattor. Ilkka Mell (006) 77

28 Tlastollset meetelmät 5. Estmot Tyhjetävyys Estmaattor T o tyhjetävä parametrlle θ, jos se käyttää parametr θ arvo estmomsee kake otoksessa oleva formaato. Tässä aettu tyhjetävyyde määrtelmä e ole matemaattsest kelvolle, koska se perusteella e pystytä käytäössä toteamaa oko estmaattor tyhjetävä va e. Määrtelmä ataa kutek tyhjetävyyde kästtee takaa olevasta desta rttävä kästykse tämä estykse tarpes. Emme määrttele tyhjetävyyde kästettä täsmällsest tässä estyksessä. Harhattomuus Estmaattor T o harhato parametrlle θ, jos se odostusarvo yhtyy estmotava parametr θ arvoo: E(T) = θ Estmaattor harhattomuus merktsee stä, että estmaattor tuottaa keskmäär okea kokosa arvoja (estmaatteja) estmotavalle parametrlle. Estmaattor tuottama arvo parametrlle saattaa yksttäsessä tlateessa (tetylle otokselle) poketa paljok parametr todellsesta arvosta, mutta odotusarvo frekvesstulka mukaa estmaattor tuottamat otoskohtaset arvot parametrlle kasautuvat kutek otataa tostettaessa parametr todellse arvo ympärlle. O lmestä, että hyvä estmaattor tuottamat arvot vahtelevat otoksesta tosee va vähä parametr todelllse arvo ympärllä el hyvä estmaattor varass o pe. Tätä estmaattor omasuutta kuvataa kästteellä tehokkuus; ks. tehokkuude määrtelmää alla. Estmaattor harha Parametr θ estmaattor ˆ θ harha o Jos Bas( θˆ) = θ E( θˆ) ˆ θ o parametr θ harhato estmaattor el E( θˆ ) = θ Bas( θ ˆ) = 0 Estmaattor keskelövrhe Parametr θ estmaattor ˆ θ keskelövrhe o MSE( θˆ) = E[( θˆ θ) ] = Var( θˆ) + [Bas( θˆ)] Jos ˆ θ o parametr θ harhato estmaattor el ja ste Bas( θˆ) = θ E( θˆ) = 0 MSE( θˆ) = Var( θˆ) E( θˆ ) = θ, Estmaattora saotaa tarkaks, jos se o harhato ja lsäks se varass o pe. Ilkka Mell (006) 78

29 Tlastollset meetelmät 5. Estmot Tehokkuus Olkoot T ja T kaks parametr θ estmaattora. Estmaattor T o tehokkaamp ku estmaattor T, jos estmaattor T varass o peemp ku estmaattor T varass: Var(T ) < Var(T ) Esmerkk : Normaaljakautuee otokse artmeettse keskarvo ja medaa tehokkuus. Olkoo,,, satuasotos ormaaljakaumasta N(µ, σ ). Estmodaa jakauma odotusarvoparametr µ havatoje,,, artmeettsella keskarvolla = = Olemme todeeet luvussa Otokset ja otosjakaumat, että estmaattor o harhato odotusarvoparametrlle µ: E( ) = µ ja estmaattor varass o Var( ) σ = Vodaa osottaa, että myös havatoje,,, medaa Me o harhato odotusarvoparametrlle µ: E( Me ) = µ Se sjaa estmaattor Me varass o Koska ss π σ Var( Me) = Var( ) < Var( Me) havatoje artmeette keskarvo o ormaaljakauma odotusarvoparemetr estmaattora tehokkaamp ku havatoje medaa Me. Täystehokkuus el mmvarasssuus Estmaattor T o täystehokas el mmvarasse parametrlle θ, jos se varass Var(T) o peemp ku mkä tahasa muu estmaattor. Mmvarasssuus o omasuus, jota o harvo mahdollsta saavuttaa parametr kakke mahdollste estmaattorede joukossa. Se sjaa sopvast rajotetussa estmaattorede luokassa tämä saattaa hyv olla mahdollsta. Ilkka Mell (006) 79

30 Tlastollset meetelmät 5. Estmot Esmerkk : Normaaljakautuee otokse artmeettse keskarvo mmvarasssuus. Olkoo,,, satuasotos ormaaljakaumasta N(µ, σ ). Vodaa osottaa, että havatoje,,, artmeettse keskarvo = = varass o pe kakke odostusparametr µ harhattome estmaattorede joukossa. Ste estmaattor o mmvarasse hahattome estmaattorede luokassa. Tarketuvuus Estmaattor T o (vahvast) tarketuva parametrlle θ, jos se kovergo melke varmast koht parametr θ okeata arvoa, ku otoskoo aetaa kasvaa rajatta: lmpr( T θ ) = Lsätetoja stokastka kovergesskästtestä: Ks. mostee Todeäkösyyslasketa lukua Kovergesskästteet ja raja arvolauseet. Ilkka Mell (006) 80

31 Tlastollset meetelmät 6. Estmotmeetelmät 6. Estmotmeetelmät 6.. Todeäkösyysjakauma parametrt ja de estmot 6.. Suurmma uskottavuude meetelmä 6.3. Normaaljakauma parametre suurmma uskottavuude estmot 6.4. Ekspoettjakauma parametr suurmma uskottavuude estmot 6.5. Beroull jakauma parametr suurmma uskottavuude estmot 6.6. Momettmeetelmä 6.7. Normaaljakauma parametre momettestmot 6.8. Ekspoettjakauma parametr momettestmot 6.9. Beroull jakauma parametr momettestmot Tlastolle aesto koostuu tutkmukse kohteta kuvaave muuttuje havatusta arvosta. Tlastollse aesto tlastollsella malllla tarkotetaa de satuasmuuttuje todeäkösyysjakaumaa, joka ajatellaa geeroee havaot. Koska tämä jakauma parametrt ovat tavallsest tutemattoma e pyrtää o estmomaa el arvomaa kerättyje havatoje perusteella. Kutsumme parametr tutemattoma arvo estmomsee käytettävää havatoje fuktota ko. parametr estmaattorks ja se havatoarvosta laskettua arvoa ko. parametr estmaatks. Hyve estmaattorede johtame tlastollste malle parametrelle o teoreettse tlastotetee keskesä ogelma. Kutsumme estmaattorede johtamsee käytettyjä meetelmä estmotmeetelmks. Tässä luvussa kästellää kahta keskestä estmotmeetelmää: suurmma uskottavuude meetelmä ja momettmeetelmä. Lsäks johdamme kummallak meetelmällä ormaaljakauma, ekspoettjakauma ja Beroull jakauma parametre estmaattort. Avasaat: Artmeette keskarvo, Beroull jakauma, Ekspoettjakauma, Estmaatt, Estmaattor, Estmot, Estmotmeetelmä, Frekvess, Harha, Harhattomuus, Havato, Havatoarvo, Hyvyyskrteer, Keskelövrhe, Logartme uskottavuusfukto, Luottamusväl, Maksm, Maksmot, Momett, Momettmeetelmä, Normaaljakauma, Odotusarvo, Otos, Otosjakauma, Otosmomett, Otosvarass, Parametr, Pste estmot, Satuasotos, Suhteelle frekvess, Suurmma uskottavuude meetelmä, Tarketuvuus, Tehokkuus, Tlastolle aesto, Tlastolle mall, Todeäkösyys, Todeäkösyysjakauma, Tyhjetävyys, Uskottavuusfukto, Varass Ilkka Mell (006) 8

32 Tlastollset meetelmät 6. Estmotmeetelmät 6.. Estmot Satuasotos Olkoo, =,,, satuasotos jakaumasta, joka pstetodeäkösyys ta theysfukto f(x;θ) rppuu parametrsta θ. Tällö havaot, =,,, ovat rppumattoma, dettsest jakautueta satuasmuuttuja, jolla o sama pstetodeäkösyys ta theysfukto f(x;θ):,, K, Estmaattor ja estmaatt Oletetaa, että havaot f( x; θ), =,, K,, =,,, muodostavat satuasotokse jakaumasta f(x;θ). Oletetaa, että todeäkösyysjakauma f(x;θ) parametr θ o tutemato ja se estmomsee käytetää havatoje, =,,, (mtallsta) fuktota el (otos ) tuuslukua T = g(,,, ) Tällö fuktota T = g(,,, ) kutsutaa parametr θ estmaattorks ja fukto g havatoarvosta laskettua arvoa x, x,, x t = g( x, x,, x ) kutsutaa parametr θ estmaatks. Estmaattorede johtame Hyve estmaattorede johtame todeäkösyysjakaume tutemattomlle parametrelle o teoreettse tlastotetee keskesä ogelma. Tärkemmät estmaattorede johtamsee käytettävät meetelmät: Suurmma uskottavuude meetelmä Momettmeetelmä 6.. Suurmma uskottavuude meetelmä Uskottavuusfukto Olkoo, =,,, satuasotos jakaumasta f(x;θ), joka parametra o θ. Tällö,, K, f( x; θ), =,, K, Ilkka Mell (006) 8

33 Tlastollset meetelmät 6. Estmotmeetelmät Koska olemme olettaeet, että havaot, =,,, ovat rppumattoma ja oudattavat samaa jakaumaa f(x;θ), otokse yhtesjakauma theysfukto o jossa f( x, x, K, x ; θ) = f( x ; θ) f( x ; θ) L f( x ; θ) f( x; θ ), =,, K, o yksttäsee havatoo lttyvä pstetodeäkösyys ta theysfukto. Otokse, =,,, uskottavuusfukto L( θ; x, x, K, x ) = f( x, x, K, x ; θ) o havatoje, =,,, yhtesjakauma pstetodeäkösyys ta theysfukto f arvo psteessä x, x,, x tulkttua parametr θ arvoje fuktoks. Huomautus: Vomme olettaa, että uskottavuusfukto L ssältää kake stokastse formaato otoksesta. Suurmma uskottavuude estmaattor Olkoo t = g( x, x, K, x ) parametr θ arvo, joka maksmo otokse, =,,, uskottavuusfukto parametr θ suhtee. Huomautus: L( θ; x, x, K, x ) Uskottavuusfukto L maksm atava parametr θ arvo t o muuttuje (= havatoarvoje) x, x,, x fukto. Sjottamalla uskottavuusfukto L maksm parametr θ suhtee atavassa lausekkeessa muuttuje t = t x x K x (,,, ) x, x,, x pakalle havaot (= satuasmuuttujat),,, saadaa parametr θ suurmma uskottavuude estmaattor el SU estmaattor θ ˆ = (,,, ) g K Ilkka Mell (006) 83

34 Tlastollset meetelmät 6. Estmotmeetelmät Parametr θ suurmma uskottavuude estmaattor θ ˆ tuottaa parametrlle θ arvo, joka maksmo juur se otokse uskottavuude, joka saat el juur de havatoarvoje uskottavuue, jotka saat. Tämä lmastaa use seuraavalla (epätäsmällsellä) tavalla: Parametr θ suurmma uskottavuude estmaattor θ ˆ otoskohtae arvo maksmo todeäkösyyde saada juur se otos, joka saat. Suurmma uskottavuude estmaattor määrääme Parametr θ suurmma uskottavuude estmaattor määrätää maksmomalla uskottavuusfukto L θ x x K x ( ;,,, ) parametr θ suhtee. Kakssa sääöllsssä tapauksssa maksm löydetää merktsemällä uskottavuusfukto L(θ) dervaatta L (θ) ollaks ja ratkasemalla θ saadusta ormaalyhtälöstä L (θ) = 0 Määräämme alla seuraave jakaume parametre suurmma uskottavuude estmaattort: Normaaljakauma Ekspoettjakauma Beroull jakauma Logartme uskottavuusfukto Uskottavuusfukto maksm kaattaa tavallsest etsä maksmomalla uskottavuusfukto sjasta uskottavuusfukto logartm el logartme uskottavuusfukto Tämä johtuu seuraavsta sekosta: () () l( θ; x, x, K, x ) = log L( θ; x, x, K, x ) Koska logartm o adost mootoe fukto, logartme uskottavuusfukto ja uskottavuusfukto saavuttavat äärarvosa samassa psteessä. Logartme uskottavuusfukto o moe todeäkösyysjakaume tapauksessa muodoltaa ykskertasemp ku uskottavuusfukto. Koska olemme olettaeet, että havaot, =,,, ovat rppumattoma ja oudattavat samaa jakaumaa f(x;θ), logartme uskottavuusfukto vodaa krjottaa seuraavaa muotoo: jossa l( θ) = log L( θ) ( f x θ f x θ L f x θ ) = log ( ; ) ( ; ) ( ; ) = log f( x ; θ) + log f( x ; θ) + L+ log f( x ; θ) = l( θ ; x ) + l( θ ; x ) + L+ l( θ ; x ) l(θ ; x ) = log f(x ; θ), =,,, o havatoarvoo x lttyvä logartme uskottavuusfukto. Logartmse uskottavuusfukto summaestykse Ilkka Mell (006) 84

35 Tlastollset meetelmät 6. Estmotmeetelmät l θ = l θ x + l θ x + L+ l θ x ( ) ( ; ) ( ; ) ( ; ) maksmot o tavallsest paljo helpompaa ku uskottavuusfukto tsesä maksmot. Suurmma uskottavuude estmaattor asymptoottset omasuudet Parametr θ SU estmaattor θ ˆ e välttämättä täytä hyvä estmaattor krteeretä äärellsllä havatoje lukumäärllä. Oeks SU estmaattor θ ˆ käyttöä parametr θ estmaattora vodaa kutek perustella SU estmaattor ylesllä asymptoottslla omasuukslla: Hyv yles ehdo pätee: () SU estmaattor ˆ θ o tarketuva el lmpr( θˆ θ) = Ste SU estmaattor arvo lähestyy stokastsest parametr okeata arvoa, ku otoskoo aetaa kasvaa rajatta. Tämä merkstee stä, että SU estmaattor toteuttaa suurte lukuje la. () SU estmaattor ˆ θ o asymptoottsest ormaale. Ste SU estmaattor jakaumaa vodaa suurssa otoksssa approksmoda ormaaljakaumalla. Tämä merktsee stä, että SU estmaattor toteuttaa keskese raja arvolausee. Lsätetoja stokastka kovergesskästtestä: ks. mostee Todeäkösyyslasketa lukua Stokastka kovergesskästteet. Huomautus: SU estmaattor asymptootte ormaalsuus o tärkeä lsäperuste ormaaljakauma keskeselle asemalle tlastoteteessä Normaaljakauma parametre suurmma uskottavuude estmot Satuasmuuttuja oudattaa ormaaljakaumaa N(µ, σ ), jos se theysfukto o muotoa x µ f( x; µ, σ ) = exp, < µ <+, σ > 0 σ π σ Normaaljakauma parametrea ovat jakauma odotusarvo ja varass E( ) = µ Var( ) = σ Lsätetoja ormaaljakaumasta: Ks. mostee Todeäkösyyslasketa lukua Jatkuva jakauma. SU estmaattorede johto Olkoo,,, Ilkka Mell (006) 85

36 Tlastollset meetelmät 6. Estmotmeetelmät satuasotos ormaaljakaumasta N(µ, σ ). Tällö havaot,,, ovat rppumattoma, samaa ormaaljakaumaa N(µ, σ ) oudattava satuasmuuttuja. Ste otokse,,, uskottavuusfukto o L x x x ( µσ, ;,, K, ) = f( x ; µσ, ) f( x ; µσ, ) L f( x ; µσ, ) = σ ( π ) exp ( x ) µ σ = ja se logartme uskottavuusfukto o l x x K x ( µσ, ;,,, ) = L x x K x log ( µσ, ;,,, ) = logσ log( π ) ( µ ) x σ = Normaaljakauma N(µ,σ ) odotusarvo µ ja varass σ SU estmaattort ovat havatoje,,, artmeette keskarvo = = ja otosvarass laskettua kaavalla, jossa jakajaa o havatoje lukumäärä : Perustelu: σˆ ( ) = = Dervodaa logartme uskottavuusfukto l( µ, σ ) logσ log( π ) ( x µ ) = σ = es parametr µ suhtee ja merktää dervaatta ollaks: l ( µσ, ) µ σ = Dervaata aoa ollakohta ˆ µ = x = x = = ( x µ ) = 0 ataa logartmse uskottavuusfukto maksm parametr µ suhtee. Sjotetaa ratkasu Dervodaa fukto ˆ µ = x logartmsee uskottavuusfuktoo: l( x, σ ) logσ log( π) ( x x) = σ = lxσ (, ) parametr σ suhtee ja merktää dervaatta ollaks: Ilkka Mell (006) 86

37 Tlastollset meetelmät 6. Estmotmeetelmät l x (, σ ) 4 σ σ σ = Dervaata aoa ollakohta σˆ ( ) = + ( x x) = 0 = x x = ataa log uskottavuusfukto maksm parametr σ suhtee. Huomaa, että parametre µ ja σ suurmma uskottavuude estmaattort yhtyvät de momettestmaattoreh; lsätetoja momettmeetelmästä: ks. kappaletta Momettmeetelmä. SU estmaattorede omasuudet Normaaljakauma N(µ,σ ) odotusarvo µ SU estmaattorlla o seuraavat omasuudet: () () () (v) (v) o harhato. ja σ ˆ ovat yhdessä tyhjetävä parametrelle µ ja σ. o tehokas el mmvarasse estmaattor. o tarketuva. oudattaa ormaaljakaumaa: σ N µ, Normaaljakauma N(µ,σ ) varass σ SU estmaattorlla () () () (v) (v) σ ˆ o harhae, mutta estmaattor o harhato. ja s = ( ) ˆ = σ = σ ˆ ovat yhdessä tyhjetävä parametrelle µ ja σ. σ ˆ e ole tehokas el mmvarasse estmaattor. σ ˆ o tarketuva. ( ) s /σ oudattaa χ jakaumaa: ( ) s σ χ ( ) σ ˆ o seuraavat omasuudet: 6.4. Ekspoettjakauma parametre suurmma uskottavuude estmot Satuasmuuttuja oudattaa ekspoettjakaumaa Exp(λ), jos se theysfukto o λx f( x) = λe, x 0, λ > 0 Ilkka Mell (006) 87

38 Tlastollset meetelmät 6. Estmotmeetelmät Ekspoettjakauma aoaa parametra o λ = E( ) Lsätetoja ekspoettjakaumasta: Ks. mostee Todeäkösyyslasketa lukua Jatkuva jakauma. Su estmaattor johto Olkoo,,, satuasotos ekspoettjakaumasta Exp(λ). Tällö havaot,,, ovat rppumattoma, samaa ekspoettjakaumaa Exp(λ) oudattava satuasmuuttuja. Otokse,,, uskottavuusfukto o L( λ ; x, x, K, x ) = f( x ; λ) f( x ; λ) L f( x ; λ) = λ exp λ = ja se logartme uskottavuusfukto o l( λ ; x, x, K, x ) = x = log L( λ ; x, x, K, x ) = log( λ) λ x Ekspoettjakauma Exp(λ) parametr λ SU estmaattor o jossa ˆ λ = = = o havatoje,,, artmeette keskarvo. Perustelu: Dervodaa logartme uskottavuusfukto l( λ) = log( λ) λ x = parametr λ suhtee ja merktää dervaatta ollaks: l( λ) = x = 0 λ λ = Dervaata aoa ollakohta Ilkka Mell (006) 88

39 Tlastollset meetelmät 6. Estmotmeetelmät ˆ λ = = x x = ataa logartmse uskottavuusfukto maksm parametr λ suhtee. Huomaa, että parametr λ suurmma uksottavuude estmaattor yhtyy se momettestmaattor; lsätetoja momettmeetelmästä: ks. kappaletta Momettmeetelmä. Svuutamme tässä parametr λsuurmma uskottavuude estmaattor stokastset omasuudet Beroull jakauma parametre suurmma uskottavuude estmot Olkoo A tapahtuma, joka todeäkösyys o p: Pr(A) = p Määrtellää satuasmuuttuja seuraavast:, jos A tapahtuu = 0, jos A e tapahdu Tällö satuasmuuttuja oudattaa Beroull jakaumaa parametrlla p: jossa Ber( p) Pr(A) = p = E() Satuasmuuttuja pstetodeäkösyysfukto o f x p p x x x ( ) = ( ), = 0, Lsätetoja Beroull jakaumasta: Ks. mostee Todeäkösyyslasketa lukua Dskreettejä jakauma. SU estmaattor johto Olkoo,,, satuasotos Beroull jakaumasta Ber(p). Tällö havaot,,, ovat rppumattoma, samaa Beroull jakaumaa Ber(p) oudattava satuasmuuttuja. Otokse,,, uskottavuusfukto o L( p; x, x, K, x ) = f( x ; p) f( x ; p) L f( x ; p) Σ = p ( p) x Σx ja se logartme uskottavuusfukto o Ilkka Mell (006) 89

40 Tlastollset meetelmät 6. Estmotmeetelmät l( p; x, x, K, x ) = log L( p; x, x, K, x ) = x log( p) + ( x ) log( p) = = Beroull jakauma Ber(p) odotusarvoparametr p SU estmaattor o havatoje,,, artmeette keskarvo Perustelu: = = Dervodaa logartme uskottavuusfukto l( p) = x log( p) + ( x) log( p) = = parametr p suhtee ja merktää dervaatta ollaks: l( p) Σx Σx = = 0 p p p Dervaata aoa ollakohta pˆ = x = x = ataa logartmse uskottavuusfukto maksm. Parametr p SU estmaattor = = o kostukse kohteea oleva tapahtuma A suhteelle frekvess otoksessa, koska = = f o tapahtuma A frekvess otoksessa, sllä summa koostuu ykkösstä ja ollsta ja ykköste lukumäärä summassa o sama ku tapahtuma A estymste lukumäärä. Huomaa, että parametr p suurmma uskottavuude estmaattor yhtyy se momettestmaattor; lsätetoja momettmeetelmästä: ks. kappaletta Momettmeetelmä. SU estmaattor omasuudet Beroull jakauma Ber(p) odotusarvoparametr p SU estmaattorlla ˆp o seuraavat omasuudet: () () ˆp o harhato. ˆp o tyhjetävä. Ilkka Mell (006) 90

41 Tlastollset meetelmät 6. Estmotmeetelmät () (v) (v) ˆp o (asymptoottsest) tehokas el mmvarasse estmaattor. ˆp o tarketuva. ˆp oudattaa asymptoottsest ormaaljakaumaa: p ˆ pq a N p, 6.6. Momettmeetelmä Satuasotos Olkoo, =,,, satuasotos jakaumasta, joka pstetodeäkösyys ta theysfukto f(x;θ), joka parametra o p vektor θ = (θ, θ,, θ p ) Tällö havaot, =,,, ovat rppumattoma, dettsest jakautueta satuasmuuttuja, jolla o sama pstetodeäkösyys ta theysfukto f(x;θ): Momett,, K, f( x; θ), =,, K, Oletetaa, että jakaumalla f(x;θ) o kakk (orgo ) momett kertalukuu p saakka: Oletetaa, että momette k E( ) = α, k =,, K, p, =,, K, k ja parametre α, α,, α p θ, θ,, θ p välllä o jatkuva bjekto el käätäe ykskästtee kuvaus: α = g( θ, θ, K, θp) α = g( θ, θ, K, θp) () M αp = gp( θ, θ, K, θp) Tällö parametrt θ, θ,, θ p vodaa esttää momette α, α,, α p Ilkka Mell (006) 9

42 Tlastollset meetelmät 6. Estmotmeetelmät fuktoa: () θ = h( α, α, K, α p) θ = h( α, α, K, αp) M θp = hp( α, α, K, αp) Momettestmaattorede määrääme Estmodaa momett α, α,, α p vastaavlla otosmometella: k a =, k =,, K, p k = Sjottamalla estmaattort a, a,, a p momette α, α,, α p pakalle yo. yhtälöh (), saadaa parametre θ, θ,, θ p momettestmaattort el MM estmaattort θˆ = h ( a, a, K, ap ) θˆ = h( a, a, K, ap) M ˆ θp = hp( a, a, K, ap) Määräämme alla seuraave jakaume parametre momettestmaattort: Normaaljakauma Ekspoettjakauma Beroull jakauma Momettmeetelmä vs suurmma uskottavuude meetelmä Momettmeetelmä ja suurmma uskottavuude meetelmä tuottavat mossa tapauksssa samat estmaattort todeäkösyysjakauma parametrelle. Tämä e ole kutekaa ylesest totta. Momettmeetelmä o ästä kahdesta estmotmeetelmästä vahemp. Suurmma uskottavuude meetelmällä katsotaa hyv ylesest oleva paremmat teoreettset perustelut ku momettmeetelmällä ja sks suurmma uskottavuude meetelmä ok hyv ptkält syrjäyttäyt momettmeetelmä todeäkösyysjakaume parametre estmaattoreta johdettaessa Normaaljakauma parametre momettestmot Satuasmuuttuja oudattaa ormaaljakaumaa N(µ, σ ), jos se theysfukto o muotoa x µ f( x; µ, σ ) = exp, < µ <+, σ > 0 σ π σ Normaaljakauma parametrea ovat jakauma odotusarvo E( ) = µ Ilkka Mell (006) 9

43 Tlastollset meetelmät 6. Estmotmeetelmät ja varass Var( ) = D ( ) = σ Lsätetoja ormaaljakaumasta: Ks. mostee Todeäkösyyslasketa lukua Jatkuva jakauma. MM estmaattorede johto Määrtellää satuasmuuttuja. ja. momett kaavolla k α k = E( ), k =, Normaaljakauma parametre µ ja σ sekä momette α ja α välllä o seuraava bjekto: () () Olkoo Parametrt lausuttua momette fuktoa: µ = E( ) = α σ = Var( ) = E[( µ ) ] = E( ) µ = α α Momett lausuttua parametre fuktoa: α = E( ) = µ α = E( ) = σ + µ,,, satuasotos ormaaljakaumasta N(µ, σ ). Tällö havaot,,, ovat rppumattoma, samaa ormaaljakaumaa N(µ, σ ) oudattava satuasmuuttuja. Määrtellää havatoje,,,. ja. otosmomett kaavolla k a =, k =, k = Ste ormaaljakauma N(µ, σ ) parametre µ ja σ MM estmaattort el momettestmaattort ovat ˆ µ = a = = σˆ = = a a a = Ste odotusarvoparametr µ MM estmaattor ˆ µ = a = = = o havatoje,,, artmeette keskarvo ja varassparametr σ MM estmaattor σˆ ( ) = a a = = = m = = o havatoje,,, otosvarass laskettua kaavalla, jossa jakajaa o havatoje lukumäärä. Huomaa, että σ ˆ o sama ku havatoje. keskusmomett m. Ilkka Mell (006) 93

44 Tlastollset meetelmät 6. Estmotmeetelmät Normaaljakauma parametre µ ja σ momettestmaattort yhtyvät de suurmma uskottavuude estmaattoreh; lsätetoja suurmma uskottavuude meetelmästä: ks. kappaletta Suurmma uskottavuude meetelmä Ekspoettjakauma parametre momettestmot Satuasmuuttuja oudattaa ekspoettjakaumaa Exp(λ), jos se theysfukto o λx f( x) = λe, x 0, λ > 0 Ekspoettjakauma aoaa parametra o λ = E( ) Lsätetoja ekspoettjakaumasta: Ks. mostee Todeäkösyyslasketa lukua Jatkuva jakauma. MM estmaattor johto Määrtellää satuasmuuttuja. momett kaavalla α = E( ) Ekspoettjakauma parametr λ ja. momet α välllä o seuraava bjekto: () () Olkoo Parametr λ lausuttua momet α fuktoa: λ = = E( ) α Momett α lausuttua parametr λ fuktoa: α = E( ) = λ,,, satuasotos ekspoettjakaumasta Exp(λ). Tällö havaot,,, ovat rppumattoma, samaa ekspoettjakaumaa Exp(λ) oudattava satuasmuuttuja. Määrtellää havatoje,,,. otosmomett kaavalla a = = Ste ekspoettjakauma Exp(λ) parametr λ MM estmaattor el momettestmaattor o jossa ˆ λ = = = Ilkka Mell (006) 94