Tilastolliset menetelmät: Otokset, otosjakaumat ja estimointi. 4. Otokset ja otosjakaumat 5. Estimointi 6. Estimointimenetelmät 7.

Transkriptio

1 Tlastollset meetelmät Otokset, otosjakaumat ja estmot Tlastollset meetelmät: Otokset, otosjakaumat ja estmot 4. Otokset ja otosjakaumat 5. Estmot 6. Estmotmeetelmät 7. Välestmot Ilkka Mell 5

2 Tlastollset meetelmät Otokset, otosjakaumat ja estmot Ilkka Mell 5

3 Tlastollset meetelmät Otokset, otosjakaumat ja estmot Ssällys 4. OTOKSET JA OTOSJAKAUMAT SATUNNAISOTOS 58 TILASTOLLISET AINEISTOT 58 TILASTOLLISET MALLIT 58 SATUNNAISOTOS JA SATUNNAISOTANTA 58 SATUNNAISOTOKSEN TILASTOLLINEN MALLI OTOSTUNNUSLUVUT JA OTOSJAKAUMAT 59 OTOSTUNNUSLUVUT 59 OTOSJAKAUMA 60 OTOSJAKAUMAT: ESIMERKKEJÄ ARITMEETTISEN KESKIARVON JA OTOSVARIANSSIN OTOSJAKAUMAT 60 ARITMEETTINEN KESKIARVO JA OTOSVARIANSSI 60 ARITMEETTISEN KESKIARVON ODOTUSARVO JA VARIANSSI 6 ARITMEETTISEN KESKIARVON OTOSJAKAUMA: KÄYTTÄYTYMINEN OTOSKOON KASVAESSA 6 ARITMEETTISEN KESKIARVON OTOSJAKAUMA: NORMAALIJAKAUTUNUT OTOS 6 ARITMEETTISEN KESKIARVON OTOSJAKAUMA: ASYMPTOOTTINEN JAKAUMA 6 STANDARDOIDUN ARITMEETTISEN KESKIARVON OTOSJAKAUMA: ODOTUSARVO JA VARIANSSI 63 STANDARDOIDUN ARITMEETTISEN KESKIARVON OTOSJAKAUMA: NORMAALIJAKAUTUNUT OTOS 63 STANDARDOIDUN ARITMEETTISEN KESKIARVON OTOSJAKAUMA: ASYMPTOOTTINEN JAKAUMA 63 ARITMEETTISEN KESKIARVON OTOSJAKAUMA: KOMMENTTEJA 64 OTOSVARIANSSIN ODOTUSARVO JA VARIANSSI 64 OTOSVARIANSSIN OTOSJAKAUMA: NORMAALIJAKAUTUNUT OTOS 64 OTOSVARIANSSIN OTOSJAKAUMA: KOMMENTTEJA 67 ARITMEETTISEN KESKIARVON JA OTOSVARIANSSIN OTOSJAKAUMAT JA RIIPPUMATTOMUUS: NORMAALIJAKAUTUNUT OTOS SUHTEELLISEN FREKVENSSIN OTOSJAKAUMA 7 FREKVENSSI JA SUHTEELLINEN FREKVENSSI 7 FREKVENSSIN ODOTUSARVO, VARIANSSI JA OTOSJAKAUMA 7 SUHTEELLISEN FREKVENSSIN ODOTUSARVO JA VARIANSSI 73 SUHTEELLISEN FREKVENSSIN OTOSJAKAUMA: KÄYTTÄYTYMINEN OTOSKOON KASVAESSA 73 SUHTEELLISEN FREKVENSSIN OTOSJAKAUMA: ASYMPTOOTTINEN JAKAUMA ESTIMOINTI TODENNÄKÖISYYSJAKAUMAN PARAMETRIT JA NIIDEN ESTIMOINTI 75 TILASTOLLISET AINEISTOT 75 TILASTOLLISET MALLIT 75 SATUNNAISOTANTA 76 SATUNNAISOTOS 76 ESTIMAATTORIT JA ESTIMAATIT 76 ESTIMAATTORIN OTOSJAKAUMA 77 ESTIMAATTOREIDEN JOHTAMINEN 77 PISTE-ESTIMOINTI JA VÄLIESTIMOINTI HYVÄN ESTIMAATTORIN OMININAISUUKSIA 77 TYHJENTÄVYYS 78 HARHATTOMUUS 78 ESTIMAATTORIN HARHA 78 ESTIMAATTORIN KESKINELIÖVIRHE 79 TEHOKKUUS 79 Ilkka Mell 53

4 Tlastollset meetelmät Otokset, otosjakaumat ja estmot TÄYSTEHOKKUUS ELI MINIMIVARIANSSISUUS 80 TARKENTUVUUS ESTIMOINTIMENETELMÄT ESTIMOINTI 8 SATUNNAISOTOS 8 ESTIMAATTORI JA ESTIMAATTI 8 ESTIMAATTOREIDEN JOHTAMINEN SUURIMMAN USKOTTAVUUDEN MENETELMÄ 8 USKOTTAVUUSFUNKTIO 8 SUURIMMAN USKOTTAVUUDEN ESTIMAATTORI 83 SUURIMMAN USKOTTAVUUDEN ESTIMAATTORIN MÄÄRÄÄMINEN 84 LOGARITMINEN USKOTTAVUUSFUNKTIO 84 SUURIMMAN USKOTTAVUUDEN ESTIMAATTORIN ASYMPTOOTTISET OMINAISUUDET NORMAALIJAKAUMAN PARAMETRIEN SUURIMMAN USKOTTAVUUDEN ESTIMOINTI 85 SU-ESTIMAATTOREIDEN JOHTO 86 SU-ESTIMAATTOREIDEN OMINAISUUDET EKSPONENTTIJAKAUMAN PARAMETRIEN SUURIMMAN USKOTTAVUUDEN ESTIMOINTI 88 SU-ESTIMAATTORIN JOHTO BERNOULLI-JAKAUMAN PARAMETRIEN SUURIMMAN USKOTTAVUUDEN ESTIMOINTI 89 SU-ESTIMAATTORIN JOHTO 89 SU-ESTIMAATTORIN OMINAISUUDET MOMENTTIMENETELMÄ 9 SATUNNAISOTOS 9 MOMENTIT 9 MOMENTTIESTIMAATTOREIDEN MÄÄRÄÄMINEN 9 MOMENTTIMENETELMÄ VS SUURIMMAN USKOTTAVUUDEN MENETELMÄ NORMAALIJAKAUMAN PARAMETRIEN MOMENTTIESTIMOINTI 93 MM-ESTIMAATTOREIDEN JOHTO EKSPONENTTIJAKAUMAN PARAMETRIEN MOMENTTIESTIMOINTI 94 MM-ESTIMAATTORIN JOHTO BERNOULLI-JAKAUMAN PARAMETRIEN MOMENTTIESTIMOINTI 95 MM-ESTIMAATTORIN JOHTO VÄLIESTIMOINTI TODENNÄKÖISYYSJAKAUMAN PARAMETRIT JA NIIDEN ESTIMOINTI 98 SATUNNAISOTOS 98 ESTIMAATTORI JA ESTIMAATTI 98 ESTIMAATTOREIDEN JOHTAMINEN 98 PISTE-ESTIMOINTI JA VÄLIESTIMOINTI LUOTTAMUSVÄLIT 99 LUOTTAMUSVÄLIN MÄÄRÄÄMINEN 99 LUOTTAMUSTASON JA -VÄLIN FREKVENSSITULKINTA 00 JOHTOPÄÄTÖKSET LUOTTAMUSVÄLISTÄ 00 LUOTTAMUSVÄLIT: ESIMERKKEJÄ NORMAALIJAKAUMAN ODOTUSARVON LUOTTAMUSVÄLI, KUN JAKAUMAN VARIANSSI ON TUNNETTU 0 OTOS NORMAALIJAKAUMASTA 0 NORMAALIJAKAUMAN PARAMETRIEN ESTIMOINTI 0 ODOTUSARVON LUOTTAMUSVÄLIN KONSTRUOINTI 0 Ilkka Mell 54

5 Tlastollset meetelmät Otokset, otosjakaumat ja estmot LUOTTAMUSVÄLIN OMINAISUUDET 04 LUOTTAMUSVÄLIN FREKVENSSITULKINTA 04 JOHTOPÄÄTÖKSET LUOTTAMUSVÄLISTÄ 04 VAATIMUKSET LUOTTAMUSVÄLILLE 05 OTOSKOON MÄÄRÄÄMINEN NORMAALIJAKAUMAN ODOTUSARVON LUOTTAMUSVÄLI, KUN JAKAUMAN VARIANSSI EI OLE TUNNETTU 06 OTOS NORMAALIJAKAUMASTA 06 NORMAALIJAKAUMAN PARAMETRIEN ESTIMOINTI 06 ODOTUSARVON LUOTTAMUSVÄLIN KONSTRUOINTI 06 LUOTTAMUSVÄLIN OMINAISUUDET 09 LUOTTAMUSVÄLIN FREKVENSSITULKINTA 0 JOHTOPÄÄTÖKSET LUOTTAMUSVÄLISTÄ 0 VAATIMUKSET LUOTTAMUSVÄLILLE 0 OTOSKOON MÄÄRÄÄMINEN NORMAALIJAKAUMAN ODOTUSARVON LUOTTAMUSVÄLIN MÄÄRÄÄMINEN: ESIMERKKI 7.5. NORMAALIJAKAUMAN VARIANSSIN LUOTTAMUSVÄLI 4 OTOS NORMAALIJAKAUMASTA 4 NORMAALIJAKAUMAN PARAMETRIEN ESTIMOINTI 4 VARIANSSIN LUOTTAMUSVÄLIN KONSTRUOINTI 4 LUOTTAMUSVÄLIN OMINAISUUDET 6 LUOTTAMUSVÄLIN FREKVENSSITULKINTA 6 JOHTOPÄÄTÖKSET LUOTTAMUSVÄLISTÄ 7 VAATIMUKSET LUOTTAMUSVÄLILLE BERNOULLI-JAKAUMAN ODOTUSARVON LUOTTAMUSVÄLI 7 BERNOULLI-JAKAUMA 7 OTOS BERNOULLI-JAKAUMASTA 8 BERNOULLI-JAKAUMAN ODOTUSARVOPARAMETRIN ESTIMOINTI 8 BERNOULLI-JAKAUMAN ODOTUSARVOPARAMETRIN LUOTTAMUSVÄLI 8 LUOTTAMUSVÄLIN OMINAISUUDET LUOTTAMUSVÄLIN FREKVENSSITULKINTA JOHTOPÄÄTÖKSET LUOTTAMUSVÄLISTÄ VAATIMUKSET LUOTTAMUSVÄLILLE OTOSKOON MÄÄRÄÄMINEN Ilkka Mell 55

6 Tlastollset meetelmät Otokset, otosjakaumat ja estmot Ilkka Mell 56

7 Tlastollset meetelmät 4. Otokset ja otosjakaumat 4. Otokset ja otosjakaumat 4.. Satuasotos 4.. Otostuusluvut ja otosjakaumat 4.3. Artmeettse keskarvo ja otosvarass otosjakaumat 4.4. Suhteellse frekvess otosjakauma Tlastolle aesto koostuu tutkmukse kohteta kuvaave muuttuje havatusta arvosta. Tlastollsssa tutkmusasetelmssa havatoarvoh lttyy aa epävarmuutta ja satuasuutta. Ste havatoarvoje vodaa ajatella sytyee jok satuaslmö geeroma. Tällö o luotevaa tulkta tutkmukse kohteta kuvaavat muuttujat satuasmuuttujks. Tlastollse aesto tlastollsella malllla tarkotetaa äde satuasmuuttuje todeäkösyysjakaumaa. Vomme ajatella, että havatoarvoh lttyvä satuasuus o seurausta seuraa stä, että havatoarvot o saatu arpomalla käyttäe arvotatodeäkösyyksä todeäkösyyksä stä todeäkösyysjakaumasta, joka o valttu havatoarvoje vahtelua kuvaavaks tlastollseks mallks. Koska havatoarvot ste vahtelevat satuasest arvotakerrasta tosee, myös kakk havatoarvosta johdetut suureet kute otostuusluvut vahtelevat satuasest arvotakerrasta tosee. Tarkastelemme tässä luvussa tlastollsa aestoja kuvaave tuuslukuje el otossuurede todeäkösyysjakauma el otosjakauma. Tarkastelu kohteea ovat ertysest artmeettse keskarvo ja otosvarass sekä suhteellse frekvess otosjakaumat. Avasaat: Artmeette keskarvo, Havato, Havatoarvo, Keskee raja-arvolause, χ -jakauma, Normaaljakauma, Otos, Otosjakauma, Otostuusluku, Otosvarass, Rppumattomuus, Satuasotos, Suhteelle frekvess, t-jakauma, Tlastolle aesto, Tlastolle mall, Todeäkösyysjakauma Ilkka Mell 57

8 Tlastollset meetelmät 4. Otokset ja otosjakaumat 4.. Satuasotos Tlastollset aestot Tlastolle aesto koostuu tutkmukse kohteta kuvaave muuttuje havatusta arvosta. Tlastollsssa tutkmusasetelmssa havatoarvoh lttyy aa epävarmuutta ja satuasuutta. Sks o luotevaa olettaa, että havatoarvot ovat sytyeet jok satuaslmö geeroma. Tutkmukse kohteta kuvaavat muuttujat vodaa tällö tulkta satuasmuuttujks ja havatoarvot vodaa tulkta äde satuasmuuttuje realsotueks arvoks. Tlastollset mallt Tlastollse aesto tlastollsella malllla tarkotetaa de satuasmuuttuje todeäkösyysjakaumaa, joka oletetaa geeroee havatoarvot. Havatoarvoje vodaa ajatella sytyee arpomalla käyttäe arvotatodeäkösyyksä havatoarvoje vahtelua kuvaavaks mallks valtusta todeäkösyysjakaumasta saatava todeäkösyyksä. Ku tlastollsta malla sovelletaa jotak reaalmaalma lmötä kuvaava havatoaesto aalysot, kohdataa tavallsest seuraavat mall parametreja koskevat ogelmat: () Parametre arvoja e tueta ja sks parametre arvot o pyrttävä estmomaa el arvomaa käytettävssä oleve havatoje perusteella; lsätetoja: ks. lukua Estmot. () Parametre arvosta o estetty oletuksa ta vättetä, jode pätevyyttä halutaa testata tlastollsest el asettaa koetteelle havatoaestosta saatua formaatota vastaa; lsätetoja: ks. lukua Tlastolle testaus. Tlastollste malle parametre estmot ja testaus muodostavat keskese osa tlastollsta päättelyä. Satuasotos ja satuasotata Satuasotos pomtaa arpomalla havatoyksköt perusjoukosta otoksee. Arpomsessa käytettävää meetelmää kutsutaa tlastoteteessä satuasotaaks. Satuasotaassa sattuma määrää mtkä perusjouko alkosta saadaa otoksee. Lsätetoja otatameetelmstä: ks. lukua Tlastollste aestoje kerääme ja mttaame. Satuasotaa käyttämsestä havatoyksköde pommsee perusjoukosta o kaks seurausta: () Havatoykskötä kuvaavat muuttujat vodaa tulkta satuasmuuttujks, koska de arvot vahtelevat satuasest otoksesta tosee. () Kakk havatoykskötä kuvaave muuttuje havatusta arvosta lasketut suureet vodaa tulkta satuasmuuttujks, koska de arvot vahtelevat satuasest otoksesta tosee. Olkoot,,, rppumattoma ja dettsest jakautueta satuasmuuttuja, jode pstetodeäkösyys- ta theysfukto o f(x):,, K, f( x), =,, K, Ilkka Mell 58

9 Tlastollset meetelmät 4. Otokset ja otosjakaumat Saomme tällö, että satuasmuuttujat,,, muodostavat satuasotokse jakaumasta, joka pstetodeäkösyys- ta theysfukto o f(x) ja kutsumme satuasmuuttuja,,, havaoks. Otokse pommse jälkee satuasmuuttujat,,, saavat havatuks arvoksee havatoarvot x, x,, x Merktsemme tätä seuraavast: = x, = x,, = x O syytä huomata, että havatoarvot ovat ktetä lukuja, mutta e vahtelevat satuasest otoksesta tosee. Vomme ajatella, että havatoarvoh lttyvä satuasuus johtuu otokse pomtatavasta, so. satuasuus johtuu stä, että otokse pomassa o käytetty arvotaa. Satuasotokse tlastolle mall Oletetaa, että,,, havaot muodostavat satuasotokse jakaumasta, joka pstetodeäkösyys- ta theysfukto o f(x). Satuasmuuttuje,,, yhtesjakauma muodostaa tlastollse mall havatoarvoje satuaselle vahtelulle otoksesta tosee. Koska satuasmuuttujat,,, o oletettu rppumattomks, de yhtesjakauma o muotoa f ( x, x, K, x ) = f( x ) f( x ) L f( x ) jossa f( x ), =,, K, 4.. Otostuusluvut ja otosjakaumat Otostuusluvut Oletetaa, että havaot,,, muodostavat satuasotokse jakaumasta, joka pstetodeäkösyys- ta theysfukto o f(x) ja olkoo T = g(,,, ) jok satuasmuuttuje,,, (mtalle) fukto. Satuasmuuttujaa T kutsutaa (otos-) tuusluvuks. Oletetaa, että otokse pommse jälkee satuasmuuttujat,,, saavat havatuks arvoksee havatoarvot x, x,, x : = x, = x,, = x Ilkka Mell 59

10 Tlastollset meetelmät 4. Otokset ja otosjakaumat Tällö tuusluku T = g(,,, ) saa havatuks arvoksee t fukto g arvo psteessä (x, x,, x ): Otosjakauma Oletetaa, että havaot t = g(x, x,, x ),,, muodostavat satuasotokse, joka pstetodeäkösyys- ta theysfukto o f(x) ja olkoo T = g(,,, ) jok otostuusluku. Koska tuusluku T o satuasmuuttuja, sllä o todeäkösyysjakauma, jota kutsutaa tuusluvu T otosjakaumaks. Tuusluvu T otosjakauma muodostaa tlastollse mall el todeäkösyysmall tuusluvu T arvoje satuaselle vahtelulle otoksesta tosee. Huomautus: Otosjakauma o tavallsest epäoperatoaale sä melessä, että se rppuu tutemattomsta parametresta. Otostuuslukuje otosjakaume johtame o kutek teoreettsest tärkeää, koska llä o keskee rool todeäkösyysjakaume parametreja koskevassa estmot- ja testteorassa. Otosjakaumat: Esmerkkejä Tutkmme alla seuraava otosjakauma: Artmeettse keskarvo ja otosvarass otosjakaumat Suhteellse frekvess otosjakauma 4.3. Artmeettse keskarvo ja otosvarass otosjakaumat Artmeette keskarvo ja otosvarass Oletetaa, että havaot,,, muodostavat satuasotokse jakaumasta, joka odotusarvo o μ ja varass o σ. Tällö havaot,,, ovat rppumattoma satuasmuuttuja, jolla kaklla o sama odotusarvo ja varass:,, K, E( ) = μ, =,, K, Var( ) = D ( ) = σ, =,, K, Otokse,,, omasuuksa vodaa kuvata havatoarvoje artmeettsella keskarvolla ja varasslla: Määrtellää havatoje,,, artmeette keskarvo kaavalla = = Ilkka Mell 60

11 Tlastollset meetelmät 4. Otokset ja otosjakaumat ja havatoje,,, otosvarass kaavalla s = ( ) = Sekä artmeette keskarvo että otosvarass s ovat satuasmuuttuja, jode saamat arvot vahtelevat satuasest otoksesta tosee. Artmeettse keskarvo odotusarvo ja varass Oletetaa, että havaot,,, muodostavat satuasotokse jakaumasta, joka odotusarvo o μ ja varass o σ. Tällö havatoje,,, artmeettsella keskarvolla = = o seuraava odotusarvo ja varass: E( ) = μ σ = = Var( ) D ( ) Perustelu: Olkoot,,, rppumattoma satuasmuuttuja, jolle E( ) = μ, =,, K, Var( ) = σ, =,, K, Odotusarvo yleste omasuukse perusteella pätee (myös lma rppumattomuusoletusta): E( ) = E E( ) = = μ = μ = μ = = = Varass yleste omasuukse perusteella pätee (koska satuasmuuttujat,,, o oletettu rppumattomks): σ Var( ) = Var Var( ) = = σ = σ = = = = Artmeettse keskarvo stadardpokkeamaa D( ) = σ kutsutaa tavallsest keskarvo keskvrheeks ja se kuvaa artmeettse keskarvo otosvahtelua oma odotusarvosa μ ympärllä. Ilkka Mell 6

12 Tlastollset meetelmät 4. Otokset ja otosjakaumat Artmeettse keskarvo otosjakauma: Käyttäytyme otoskoo kasvaessa Koska artmeettse keskarvo odotusarvo o ja varass o E( ) = μ σ = = Var( ) D ( ) artmeettse keskarvo otosjakauma keskttyy yhä vomakkaamm havatoje yhtese odotusarvo μ ympärlle, ku otoskoko kasvaa. Artmeettse keskarvo otosjakauma: Normaaljakautuut otos Oletetaa, että havaot,,, muodostavat satuasotokse ormaaljakaumasta N(μ,σ ). Tällö havatoje,,, artmeette keskarvo oudattaa eksaktst el tarkast (äärellsssä otoksssa) ormaaljakaumaa parametre μ ja σ / : σ N μ, Perustelu: Olkoo,,, otos ormaaljakaumasta N( μ, σ ) Koska oletukse mukaa havaot,,, ovat rppumattoma, ja = μ σ N(, ) σ = N μ, = Ykstyskohdat: Ks. todstusta ormaaljakautuee otokse artmeettse keskarvo ja otosvarass s rppumattomuudelle tässä kappaleessa sekä myös mostee Todeäkösyyslasketa lukuja Jatkuva jakauma, Moulotteset satuasmuuttujat ja todeäkösyysjakaumat sekä Satuasmuuttuje muuokset ja de jakaumat. Artmeettse keskarvo otosjakauma: Asymptootte jakauma Oletetaa, että havaot,,, muodostavat satuasotokse jakaumasta, joka odotusarvo o μ ja varass o σ. Ilkka Mell 6

13 Tlastollset meetelmät 4. Otokset ja otosjakaumat Tällö keskesestä raja-arvolauseesta seuraa, että havatoje artmeette keskarvo oudattaa suurssa otoksssa approksmatvsest (asymptoottsest) ormaaljakaumaa parametre μ ja σ / : σ a N μ, Keskee raja-arvolause: ks. mostee Todeäkösyyslasketa lukua Jatkuva jakauma ta lukua Stokastka kovergesskästteet ja raja-arvolauseet. Stadardodu artmeettse keskarvo otosjakauma: Odotusarvo ja varass Koska E( ) = μ σ = = Var( ) D ( ) stadardodu satuasmuuttuja E( ) μ Z = = D( ) σ odotusarvo ja varass ovat E(Z) = 0 Var(Z) = Stadardodu artmeettse keskarvo otosjakauma: Normaaljakautuut otos Oletetaa, että havaot,,, muodostavat satuasotokse ormaaljakaumasta N(μ,σ ). Tällö stadardotu satuasmuuttuja E( ) μ Z = = D( ) σ oudattaa eksaktst el tarkast (äärellsssä otoksssa) stadardotua ormaaljakaumaa N(0,): Z ~N( 0,) Stadardodu artmeettse keskarvo otosjakauma: Asymptootte jakauma Oletetaa, että havaot,,, muodostavat satuasotokse jakaumasta, joka odotusarvo o μ ja varass o σ. Tällö keskesestä raja-arvolauseesta seuraa, että stadardotu satuasmuuttuja E( ) μ Z = = D( ) σ Ilkka Mell 63

14 Tlastollset meetelmät 4. Otokset ja otosjakaumat oudattaa suurssa otoksssa approksmatvsest (asymptoottsest) stadardotua ormaaljakaumaa N(0,): Z ~N( 0,) Keskee raja-arvolause: ks. mostee Todeäkösyyslasketa lukua Jatkuva jakauma ta lukua Stokastka kovergesskästteet ja raja-arvolauseet. Artmeettse keskarvo otosjakauma: Kommetteja Oletukset havatoje rppumattomuudesta, samasta jakaumasta ja ormaalsuudesta ovat välttämättömä artmeettse keskarvo eksakta el tarkkaa otosjakaumaa koskevalle äärellse otoskoo tulokselle. Artmeettse keskarvo otosjakaumaa koskevat asymptoottset tulokset seuraavat keskesestä raja-arvolauseesta; ks. mostee Todeäkösyyslasketa lukua Jatkuva jakauma ta lukua Kovergesskästteet ja raja-arvolauseet. Artmeettse keskarvo otosjakaumaa koskeva asymptootte tulos pätee sopv lsäehdo myös mossa sellasssa tlatessa, jossa havatoje rppumattomuutta ja samaa jakaumaa koskevat oletukset evät päde. Otosvarass odotusarvo ja varass Oletetaa, että havaot,,, muodostavat satuasotokse jakaumasta, joka odotusarvo o μ ja varass o σ. Tällö havatoje,,, otosvarasslla s = ( ) = o seuraava odotusarvo: E(s ) = σ Jos lsäks vodaa olettaa, että havaot,,, oudattavat ormaaljakaumaa N(μ,σ ), otosvarass s varass o 4 Var( s ) = D ( s ) = σ Ste otosvarass s keskvrhe o ormaalse otokse tapauksessa D( s ) = σ Otosvarass otosjakauma: Normaaljakautuut otos Oletetaa, että havaot,,, muodostavat satuasotokse ormaaljakaumasta N(μ,σ ) ja olkoo s havatoje,,, otosvarass. Ilkka Mell 64

15 Tlastollset meetelmät 4. Otokset ja otosjakaumat Määrtellää satuasmuuttujat ja Y μ = = σ ( ) s V = = = σ σ Tällö satuasmuuttuja Y oudattaa χ -jakaumaa vapausaste : Y χ ( ) ja satuasmuuttuja V = ( )s /σ oudattaa χ -jakaumaa vapausaste ( ): Huomautus: V ( ) s σ = χ ( ) Satuasmuuttuja V o saatu satuasmuuttujasta Y korvaamalla parametr μ stä vastaavalla otossuureella. Perustelu: Olkoo,,, otos ormaaljakaumasta Olkoo N( μ, σ ) = = havatoje,,, artmeette keskarvo ja s = ( ) = de otosvarass. Määrtellää satuasmuuttuja Y kaavalla μ = = σ Y Koska havaot,,, ovat rppumattoma ja oudattavat ormaaljakaumaa N( μσ, ), =,, K, myös stadardodut satuasmuuttujat μ Y =, =,, K, σ ovat rppumattoma ja oudattavat stadardotua ormaaljakaumaa N(0,): Ilkka Mell 65

16 Tlastollset meetelmät 4. Otokset ja otosjakaumat Y N(0,), =,, K, Edellä estetystä seuraa, että satuasmuuttuja Y o rppumattome, stadardotua ormaaljakaumaa N(0,) oudattave satuasmuuttuje Y, =,,, elösumma: Y = Y = Ste χ -jakauma määrtelmästä seuraa, että satuasmuuttuja Y oudattaa χ -jakaumaa vapausaste : Y χ ( ) Ks. mostee Todeäkösyyslasketa lukua Normaaljakaumasta johdettuja jakauma. Määrtellää yt satuasmuuttuja V kaavalla = = σ V Satuasmuuttuja V saadaa satuasmuuttujasta μ = = σ Y korvaamalla odotusarvo μ stä vastaavalla otossuureella. Satuasmuuttuja V määrtelmässä estyvä summa termt U =, =,, K, σ evät ole rppumattoma. Tämä ähdää stä, että U = ( ) = 0 = σ = σ = = σ = = = Vodaa kutek osottaa, että V vodaa esttää rppumattome, stadardotua ormaaljakaumaa N(0,) oudattave satuasmuuttuje V, =,,, elösummaa; (ks. todstusta ormaaljakautuee otokse artmeettse keskarvo ja otosvarass s rppumattomuudelle tässä kappaleessa): V = V = Ste χ -jakauma määrtelmästä seuraa, että satuasmuuttuja V oudattaa χ -jakaumaa vapausaste ( ): V χ ( ) Ks. mostee Todeäkösyyslasketa lukua Normaaljakaumasta johdettuja jakauma. Ilkka Mell 66

17 Tlastollset meetelmät 4. Otokset ja otosjakaumat Huomautuksa: Satuasmuuttuja Y oudattaa χ -jakaumaa, jossa vapausastede lukumäärä o sama ku havatoje lukumäärä. Ku satuasmuuttujasta Y srrytää satuasmuuttujaa V, meetetää yks vapausaste. Yhde vapausastee meetys o seuraa stä, että parametr μ korvaame vastaavalla otossuureella rppumattomssa satuasmuuttujssa μ Y =, =,, K, σ luo yhde (leaarse) sde-ehdo satuasmuuttuje U =, =,, K, σ vällle. Otosvarass otosjakauma: Kommetteja Oletukset havatoje rppumattomuudesta, samasta jakaumasta ja ormaalsuudesta ovat välttämättömä otosvarass eksakta el tarkkaa otosjakaumaa koskevalle äärellse otoskoo tulokselle. Artmeettse keskarvo ja otosvarass otosjakaumat ja rppumattomuus: Normaaljakautuut otos Oletetaa, että havaot,,, muodostavat satuasotokse ormaaljakaumasta N(μ,σ ). Tällö havatoje artmeette keskarvo ja otosvarass = = s = ( ) = ovat satuasmuuttuja rppumattoma: Lsäks s σ N μ, ( ) s χ ( ) σ Ilkka Mell 67

18 Tlastollset meetelmät 4. Otokset ja otosjakaumat Perustelu: Oletetaa, että havaot,,, muodostavat satuasotokse ormaaljakaumasta N(μ,σ ) ja olkoo = = havatoje artmeette keskarvo ja s = ( ) = de otosvarass. Otokse yhtesjakauma theysfukto vodaa krjottaa havatoje rppumattomuude ja ormaalsuude taka seuraavaa muotoo: f( x, x, K, x) = ( π) σ exp ( x ) μ σ = Määrtellää leaare muuos Y = L + Y = Y3 = M Y = L ( ) ( ) ( ) ( ) Muuos vodaa esttää matrse muodossa Y= B jossa Y = ( Y, Y, K, Y ) = (,, K, ) ja -matrs Ilkka Mell 68

19 Tlastollset meetelmät 4. Otokset ja otosjakaumat L 0 L 0 B = L M M M M L ( ) ( ) ( ) ( ) o ortogoaale: B B = BB = I Matrs B ähdää ortogoaalseks seuraavalla tavalla: Määrtellää -matrs L 0 0 L L 0 0 C = 3 L 0 0 M M M M M M L ( ) 0 ( ) L O helppo ähdä, että matrs C rvt (ja myös sarakkeet) ovat kohtsuorassa tosaa vastaa. Matrs B saadaa matrssta C ormeeraamalla se rvvektort, että de ptuudeks tulee =. Koska muuos Y= B o ortogoaale, muuosta vastaava Jacob determat tsesarvo =. Koska ja Y = ( + + L + ) = Y + Y + L+ Y = YY = BB = = + + L+ = ( ) + = + L + = ( ) = ( ) = Y Y s Ilkka Mell 69

20 Tlastollset meetelmät 4. Otokset ja otosjakaumat Koska ( μ) = ( ) + ( μ) = = = = ( ) + ( μ) = = Y + L+ Y + ( Y μ) satuasmuuttuje Y, Y,, Y yhtesjakauma theysfuktoks saadaa f( y, y, K, y) = exp ( ) Y μ Y Y ( π) σ σ + + L+ = exp ( Y μ) πσ σ exp Y L exp Y πσ σ πσ σ Edellä estetystä seuraa, että satuasmuuttujat Y, Y,, Y ovat rppumattoma ja ormaaljakautueta: Lsäks jossa Y, Y, K, Y N( μ, σ ) Y = Y N(0, σ ), =, K, σ Y ( Y ) s = Y + L+ Y = + L + σ σ Y N(0,), =, K, σ Ste olemme todstaeet, että Huomautus: s σ N μ, ( ) s χ ( ) σ Todstuksessa o käytetty hyväks satuasmuuttuje muuoste jakaume teoraa mostee Todeäkösyyslasketa luvusta Satuasmuuttuje muuokset ja de jakaumat sekä luvussa Normaaljakaumasta johdettuja jakauma estettyä χ -jakauma määrtelmää. Ilkka Mell 70

21 Tlastollset meetelmät 4. Otokset ja otosjakaumat Oletetaa, että havaot,,, muodostavat satuasotokse ormaaljakaumasta N(μ,σ ) ja ja olkoo = = havatoje artmeette keskarvo ja s = ( ) = de otosvarass. Tällö μ t = t( ) s/ Perustelu: Oletetaa, että havaot,,, muodostavat ykskertase satuasotokse ormaaljakaumasta N(μ,σ ) ja olkoo = = havatoje artmeette keskarvo ja s = ( ) = de otosvarass. Edellä o todettu, että σ N μ, ( ) s χ ( ) σ ja lsäks s Artmeettsta keskarvoa koskevasta jakaumatuloksesta seuraa, että μ N(0,) σ / Ilkka Mell 7

22 Tlastollset meetelmät 4. Otokset ja otosjakaumat Ste t-jakauma määrtelmästä seuraa, että μ / t σ μ = = t( ) ( ) s s/ σ Ks. mostee Todeäkösyyslasketa lukua Normaaljakaumasta johdettuja jakauma Suhteellse frekvess otosjakauma Frekvess ja suhteelle frekvess Olkoo P jok otosavaruude S alkode omasuus. Jos alkolla x o omasuus P merktää Px ( ) Olkoo { ( )} A = x S P x de otosavaruude S alkode joukko, jolla o omasuus P. Oletetaa, että tapahtuma A todeäkösyys o Pr(A) = p jollo tapahtuma A komplemetttapahtuma A c todeäkösyys o Pr(A c ) = Pr(A) = p = q Pomtaa otosavaruudesta S satuasotos, joka koko o. Olkoo A-tyyppste alkode frekvess el lukumäärä otoksessa f ja olkoo f pˆ = vastaava suhteelle frekvess el osuus. Sekä frekvess f että suhteelle frekvess pˆ = f / ovat satuasmuuttuja, jode saamat arvot vahtelevat satuasest otoksesta tosee. Frekvess odotusarvo, varass ja otosjakauma Frekvessllä f o seuraava odotusarvo ja varass: E( f ) = p f = f = pq Var( ) D ( ) jossa q = p. Lsäks frekvess f oudattaa otoksessa bomjakaumaa parametre ja p = Pr(A): f B( p, ) Ks. mostee Todeäkösyyslasketa luvu Dskreettejä jakauma kappaleta Beroulljakauma ja Bomjakauma. Ilkka Mell 7

23 Tlastollset meetelmät 4. Otokset ja otosjakaumat Suhteellse frekvess odotusarvo ja varass Suhteellsella frekvessllä pˆ = f / o seuraava odotusarvo ja varass: ˆ E( ) p = p pˆ pq = pˆ = Var( ) D ( ) jossa q = p. Ks. mostee Todeäkösyyslasketa luvu Dskreettejä jakauma kappaleta Beroull-jakauma ja Bomjakauma. Suhteellse frekvess pˆ = f / stadardpokkeamaa D( pˆ ) = pq kutsutaa tavallsest suhteellse frekvess keskvrheeks ja se kuvaa suhteellse frekvess otosvahtelua oma odotusarvosa p ympärllä. Suhteellse frekvess otosjakauma: Käyttäytyme otoskoo kasvaessa Koska suhteellse frekvess pˆ = f / odotusarvo o ja varass o ˆ E( ) p = p pˆ pq = pˆ = Var( ) D ( ) suhteellse frekvess otosjakauma keskttyy yhä vomakkaamm tapahtuma A todeäkösyyde Pr(A) = p ympärlle, ku otoskoko kasvaa. Suhteellse frekvess otosjakauma: Asymptootte jakauma Keskesestä raja-arvolausee seuraa että suhteelle frekvess pˆ = f / oudattaa em. oletuste pätessä suurssa otoksssa approksmatvsest (asymptoottsest) ormaaljakaumaa parametre p ja pq/: p pq ˆ a N p, Ste stadardotu satuasmuuttuja ˆp p Z = pq oudattaa suurssa otoksssa approksmatvsest (asymptoottsest) stadardotua ormaaljakaumaa N(0,): Z a N(0,) Ks. mostee Todeäkösyyslasketa lukua Stokastka kovergesskästteet ja rajaarvolauseet. Ilkka Mell 73

24 Tlastollset meetelmät 5. Estmot 5. Estmot 5.. Todeäkösyysjakauma parametrt ja de estmot 5.. Hyvä estmaattor omasuudet Tlastolle aesto koostuu tutkmukse kohteta kuvaave muuttuje havatusta arvosta. Tlastollsssa tutkmusasetelmssa havatoarvoh lttyy aa epävarmuutta ta satuasuutta. Havatoaesto tlastollsella malllla tarkotetaa todeäkösyysjakaumaa, joka oletetaa geeroee tutkmukse kohteea oleva havatoaesto. Koska tutkmukse kohteea olevaa lmötä kuvaava tlastollse aesto mallks valtu todeäkösyysjakauma parametre arvot ovat tavallsest tutemattoma, tlastollse aalyys eräs osatehtävstä o estmoda el arvoda parametre arvot käytettävssä oleve havatoje perusteella. Kuvaamme tässä luvussa parametre estmo ogelma ylesest sekä esttelemme krteeretä estmo ostumselle. Avasaat: Estmaatt, Estmaattor, Estmot, Estmotmeetelmä, Harha, Harhattomuus, Havato, Havatoarvo, Hyvyyskrteer, Keskelövrhe, Luottamusväl, Mmvarasssuus, Momettmeetelmä, Odotusarvo, Otos, Otosjakauma, Parametr, Pste-estmot, Satuasotos, Suurmma uskottavuude meetelmä, Tarketuvuus, Tehokkuus, Tlastolle aesto, Tlastolle mall, Todeäkösyysjakauma, Tyhjetävyys, Täystehokkuus, Varass Ilkka Mell 74

25 Tlastollset meetelmät 5. Estmot 5.. Todeäkösyysjakauma parametrt ja de estmot Tlastollset aestot Tlastolle aesto koostuu tutkmukse kohteta kuvaave muuttuje havatusta arvosta. Stä, että tlastollsssa tutkmusasetelmssa havatoarvoh lttyy aa epävarmuutta ta satuasuutta, o kaks seurausta: () Tlastollsssa tutkmusasetelmssa vodaa ajatella, että havatoarvot o geerout lmö, joka o luoteeltaa satuae. () Tlastollse tutkmukse kohteta kuvaavat muuttujat vodaa tulkta satuasmuuttujks ja havatoarvot vodaa tulkta äde satuasmuuttuje realsotueks arvoks. Tlastollset mallt Tlastollse aesto tlastollsella malllla tarkotetaa de satuasmuuttuje todeäkösyysjakaumaa, joka oletetaa geeroee havaot. Havatoarvoje vodaa ajatella sytyee arpomalla käyttäe arvotatodeäkösyyksä havatoarvoje vahtelua kuuvavaks mallks valtusta todeäkösyysjakaumasta saatava todeäkösyyksä. Tarkastellaa jotak tutkmukse kakke mahdollste kohtede muodostama perusjouko S alkode omasuutta kuvaavaa satuasmuuttujaa. Oletetaa, että satuasmuuttuja oudattaa todeäkösyysjakaumaa, joka pstetodeäkösyys- ta theysfukto f(x;θ) rppuu parametrsta θ. Merktä: ~ f( x; θ ) Satuasmuuttuja pstetodeäkösyys- ta theysfukto f(x;θ) kuvaa satuasmuuttujaa todeäkösyysjakauma todeäkösyysmassa jakautumsta ja parametr θ kuvaa jotak jakauma karakterststa prrettä. Ku tlastollsa malleja sovelletaa reaalmaalma lmötä kuvaave havatoaestoje aalysot, kohdataa tavallsest seuraavat mall parametreja koskevat ogelmat: () Parametre arvoja e tueta ja sks parametre arvot pyrtää estmomaa el arvomaa käytettävssä oleve havatoje perusteella; ks. tämä luvu lsäks lukuja Estmotmeetelmät ja Välestmot. () Mall parametre arvosta o estetty oletuksa ta vättetä, jode pätevyyttä halutaa testata tlastollsest el asettaa koetteelle havatoaestosta saatua formaatota vastaa; lsätetoja: ks. lukua Tlastolle testaus. Tlastollste malle parametre estmot ja testaus muodostavat keskese osa tlastollsta päättelyä. Ilkka Mell 75

26 Tlastollset meetelmät 5. Estmot Satuasotata Satuasotos pomtaa arpomalla havatoyksköt perusjoukosta otoksee. Arpomsessa käytettävää meetelmää kutsutaa satuasotaaks; lsätetoja otatameetelmstä: ks. lukua Tlastollste aestoje kerääme ja mttaame. Satuasotaassa sattuma määrää mtkä perusjouko alkosta tulevat otoksee. Jos havatoyksköt pomtaa perusjoukosta satuasotaalla, pätee seuraava: () Havatoykskötä kuvaave muuttuje havatut arvot ovat satuasa sä melessä, että e vahtelevat satuasest otoksesta tosee. () Kakk havatoykskötä kuvaave muuttuje havatusta arvosta lasketut tuusluvut ovat satuasa sä melessä, että e vahtelevat satuasest otoksesta tosee. Satuasotos Olkoo, =,,, satuasotos jakaumasta, joka pstetodeäkösyys- ta theysfukto f(x;θ) rppuu parametrsta θ. Tällö havaot, =,,, ovat rppumattoma, dettsest jakautueta satuasmuuttuja, jolla o sama pstetodeäkösyys- ta theysfukto f(x;θ):,, K, f( x; θ ), =,, K, Otokse pommse jälkee satuasmuuttujat,,, saavat havatuks arvoksee havatoarvot x, x,, x Merktsemme tätä seuraavast: = x, = x,, = x Havatoarvot ovat ktetä lukuja, mutta e vahtelevat satuasest otoksesta tosee. Ste satuasuus havatoarvossa lttyy she, että havatoarvot vahtelevat satuasest otoksesta tosee. Ste vomme ajatella, että satuasuus havatoarvossa lttyy she, että otokse pomassa o käytetty satuasotataa, so. arvotaa. Estmaattort ja estmaatt Oletetaa, että havaot, =,,, muodostavat satuasotokse jakaumasta f(x;θ). Oletetaa, että todeäkösyysjakauma f(x;θ) parametr θ o tutemato ja se estmomsee käytetää havatoje, =,,, (mtallsta) fuktota el (otos-) tuuslukua T = g(,,, ) Tällö fuktota T = g(,,, ) kutsutaa parametr θ estmaattorks ja fukto g havatoarvosta x, x,, x Ilkka Mell 76

27 Tlastollset meetelmät 5. Estmot laskettua arvoa t = g( x, x,, x ) kutsutaa parametr θ estmaatks. Estmaattor T = g(,,, ) o satuasmuuttuja, joka havatoarvosta x, x,, x lasketut arvot el estmaatt t = g(x, x,, x ) vahtelevat satuasest otoksesta tosee. Estmaattor otosjakauma Oletetaa, että havaot, =,,, muodostavat satuasotokse jakaumasta f(x;θ) ja olkoo T = g(,,, ) jok parametr θ estmaattor. Koska estmaattor T o satuasmuuttuja, sllä o todeäkösyysjakauma, jota kutsutaa estmaattor T otosjakaumaks. Estmaattor T otosjakauma muodostaa tlastollse mall el todeäkösyysmall estmaattor T arvoje satuaselle vahtelulle otoksesta tosee. Estmaattorede johtame Hyve estmaattorede johtame todeäkösyysjakaume parametrelle o teoreettse tlastotetee keskesä ogelma. Tärkemmät estmaattorede johtamsee käytettävät meetelmät: Suurmma uskottavuude meetelmä Momettmeetelmä Ks. lukua Estmotmeetelmät. Pste-estmot ja välestmot Arvo atamsta todeäkösyysjakauma parametrlle kutsutaa use pste-estmoks. Psteestmot perustuu estmaattorede käyttöö; ks. lukua Estmotmeetelmät. Parametr o se arvo (= estmaat) lsäks aa syytä lttää luottamusvälks kutsuttu väl, joka ssältää estmodu parametr todellse, mutta tutemattoma arvo tetyllä, soveltaja valttavssa olevalla todeäkösyydellä. Luottamusväl määräämstä parametrlle kutsutaa välestmoks; ks. lukua Välestmot. 5.. Hyvä estmaattor omasuuksa Todeäkösyysjakauma parametrelle o tavallsest tarjolla useta vahtoehtosa estmaattoreta. Estmaattor valtaa ohjaavat hyvyyskrteert, jolla pyrtää takamaa se, että valttu estmaattor tuottaa järkevä arvoja estmotavalle parametrlle. Oletetaa, että havaot, =,,, muodostavat satuasotokse jakaumasta f(x;θ) ja olkoo T = g(,,, ) Ilkka Mell 77

28 Tlastollset meetelmät 5. Estmot jok parametr θ estmaattor. Tyhjetävyys Estmaattor (tuusluku) T o tyhjetävä parametrlle θ, jos se käyttää parametr θ arvo estmomsee kake otoksessa oleva formaato. Esmerkk : Normaaljakauma parametre tyhjetävät estmaattort. Olkoo,,, satuasotos ormaaljakaumasta N(μ, σ ). Vodaa osottaa, että havatoje summa = ja elösumma = ovat yhdessä tyhjetävä parametrelle μ ja σ. Tämä merktsee stä, että havatoarvoje summa ja elösumma ssältävät kake se formaato otoksesta, mkä vaadtaa parametre μ ja σ estmomsee, ts. havatoarvoja tseää e tarvtse tutea parametreja μ ja σ estmotaessa, havatoarvoje summa ja elösumma tuteme rttää. Tässä aettu tyhjetävyyde määrtelmä e ole matemaattsest kelvolle, koska se perusteella e pysty käytäössä toteamaa oko estmaattor tyhjetävä va e. Määrtelmä ataa kutek tyhjetävyyde kästtee takaa olevasta deasta rttävä kästykse tämä estykse tarpes. Emme määrttele tyhjetävyyde kästettä täsmällsest tässä estyksessä. Harhattomuus Estmaattor (tuusluku) T o harhato parametrlle θ, jos se odotusarvo yhtyy estmotava parametr θ arvoo: E(T) = θ Estmaattor harhattomuus merktsee stä, että estmaattor tuottaa keskmäär okea kokosa arvoja (estmaatteja) estmotavalle parametrlle. Estmaattor tuottama arvo parametrlle saattaa yksttäsessä tlateessa (tetylle otokselle) poketa paljok parametr todellsesta arvosta, mutta odotusarvo frekvesstulka mukaa estmaattor tuottamat otoskohtaset arvot parametrlle kasautuvat kutek otataa tostettaessa parametr todellse arvo ympärlle. O lmestä, että hyvä estmaattor tuottamat arvot vahtelevat otoksesta tosee va vähä parametr todellse arvo ympärllä el hyvä estmaattor varass o pe. Tätä estmaattor omasuutta kuvataa kästteellä tehokkuus; ks. tehokkuude määrtelmää alla. Estmaattor harha Parametr θ estmaattor ˆ θ harha o Bas( ˆ θ) = θ E( ˆ θ) Jos ˆ θ o parametr θ harhato estmaattor el Ilkka Mell 78

29 Tlastollset meetelmät 5. Estmot E( ˆ θ) = θ ˆ Bas( ) 0 θ = Estmaattor keskelövrhe Parametr θ estmaattor ˆ θ keskelövrhe o MSE( ˆ θ) = E[( ˆ θ θ) ] = Var( ˆ θ) + [Bas( ˆ θ)] Jos ˆ θ o parametr θ harhato estmaattor el ja ste Bas( ˆ θ) = θ E( ˆ θ) = 0 MSE( ˆ θ) = Var( ˆ θ) E( ˆ θ) = θ, Estmaattora saotaa tarkaks, jos se o harhato ja lsäks se varass o pe. Tehokkuus Olkoot T ja T kaks parametr θ estmaattora. Estmaattor T o tehokkaamp ku estmaattor T, jos estmaattor T varass o peemp ku estmaattor T varass: Var(T ) < Var(T ) Esmerkk : Normaaljakautuee otokse artmeettse keskarvo ja medaa tehokkuus. Olkoo,,, satuasotos ormaaljakaumasta N(μ, σ ). Estmodaa jakauma odotusarvoparametr μ havatoje,,, artmeettsella keskarvolla = = Olemme todeeet luvussa Otokset ja otosjakaumat, että estmaattor o harhato odotusarvoparametrlle μ: E( ) = μ ja estmaattor varass o Var( ) σ = Vodaa osottaa, että myös havatoje,,, medaa Me o harhato odotusarvoparametrlle μ: E( Me) = μ Ilkka Mell 79

30 Tlastollset meetelmät 5. Estmot Se sjaa estmaattor Me varass o Koska ss π σ Var( Me) = Var( ) < Var( Me) havatoje artmeette keskarvo o ormaaljakauma odotusarvoparemetr estmaattora tehokkaamp ku havatoje medaa Me. Täystehokkuus el mmvarasssuus Estmaattor T o täystehokas el mmvarasse parametrlle θ, jos se varass Var(T) o peemp ku mkä tahasa muu estmaattor. Mmvarasssuus o omasuus, jota o harvo mahdollsta saavuttaa parametr kakke mahdollste estmaattorede joukossa. Se sjaa sopvast rajotetussa estmaattorede luokassa tämä saattaa hyv olla mahdollsta. Esmerkk 3: Normaaljakautuee otokse artmeettse keskarvo mmvarasssuus. Olkoo,,, satuasotos ormaaljakaumasta N(μ, σ ). Vodaa osottaa, että havatoje,,, artmeettse keskarvo = = varass o pe kakke odotusparametr μ harhattome estmaattorede joukossa. Ste estmaattor o mmvarasse harhattome estmaattorede luokassa. Tarketuvuus Estmaattor T o (vahvast) tarketuva parametrlle θ, jos se kovergo melke varmast koht parametr θ okeata arvoa, ku otoskoo aetaa kasvaa rajatta: lm Pr( T θ ) = Lsätetoja tarketuvuudesta: Ks. mostee Todeäkösyyslasketa lukua Stokastka kovergesskästteet ja raja-arvolauseet. Ilkka Mell 80

31 Tlastollset meetelmät 6. Estmotmeetelmät 6. Estmotmeetelmät 6.. Todeäkösyysjakauma parametrt ja de estmot 6.. Suurmma uskottavuude meetelmä 6.3. Normaaljakauma parametre suurmma uskottavuude estmot 6.4. Ekspoettjakauma parametr suurmma uskottavuude estmot 6.5. Beroull-jakauma parametr suurmma uskottavuude estmot 6.6. Momettmeetelmä 6.7. Normaaljakauma parametre momettestmot 6.8. Ekspoettjakauma parametr momettestmot 6.9. Beroull-jakauma parametr momettestmot Tlastolle aesto koostuu tutkmukse kohteta kuvaave muuttuje havatusta arvosta. Tlastollsssa tutkmusasetelmssa havatoarvoh lttyy epävarmuutta ta satuasuutta. Havatoaesto tlastollsella malllla tarkotetaa todeäkösyysjakaumaa, joka oletetaa geeroee tutkmukse kohteea oleva havatoaesto. Koska jakauma parametre arvot ovat tavallsest tutemattoma, e o pyrttävä estmomaa el arvomaa käytettävssä oleve havatoje perusteella. Kutsumme parametr tutemattoma arvo estmomsee käytettävää havatoje fuktota ko. parametr estmaattorks ja se havatoarvosta laskettua arvoa ko. parametr estmaatks. Hyve estmaattorede johtame tlastollste malle parametrelle o teoreettse tlastotetee keskesä ogelma. Kutsumme estmaattorede johtamsee käytettyjä meetelmä estmotmeetelmks. Tässä luvussa kästellää kahta keskestä estmotmeetelmää: suurmma uskottavuude meetelmää ja momettmeetelmää. Johdamme kummallak meetelmällä ormaaljakauma, ekspoettjakauma ja Beroull-jakauma parametre estmaattort. Avasaat: Artmeette keskarvo, Beroull-jakauma, Ekspoettjakauma, Estmaatt, Estmaattor, Estmot, Estmotmeetelmä, Frekvess, Harha, Harhattomuus, Havato, Havatoarvo, Hyvyyskrteer, Keskelövrhe, Logartme uskottavuusfukto, Luottamusväl, Maksm, Maksmot, Momett, Momettmeetelmä, Normaaljakauma, Odotusarvo, Otos, Otosjakauma, Otosmomett, Otosvarass, Parametr, Pste-estmot, Satuasotos, Suhteelle frekvess, Suurmma uskottavuude meetelmä, Tarketuvuus, Tehokkuus, Tlastolle aesto, Tlastolle mall, Todeäkösyys, Todeäkösyysjakauma, Tyhjetävyys, Uskottavuusfukto, Varass Ilkka Mell 8

32 Tlastollset meetelmät 6. Estmotmeetelmät 6.. Estmot Satuasotos Olkoo, =,,, satuasotos jakaumasta, joka pstetodeäkösyys- ta theysfukto f(x;θ) rppuu parametrsta θ. Tällö havaot, =,,, ovat rppumattoma, dettsest jakautueta satuasmuuttuja, jolla o sama pstetodeäkösyys- ta theysfukto f(x;θ):,, K, f( x; θ ), =,, K, Estmaattor ja estmaatt Oletetaa, että havaot, =,,, muodostavat satuasotokse jakaumasta f(x;θ). Oletetaa, että todeäkösyysjakauma f(x;θ) parametr θ o tutemato ja se estmomsee käytetää havatoje, =,,, (mtallsta) fuktota el (otos-) tuuslukua T = g(,,, ) Tällö fuktota T = g(,,, ) kutsutaa parametr θ estmaattorks ja fukto g havatoarvosta x, x,, x laskettua arvoa t = g( x, x,, x ) kutsutaa parametr θ estmaatks. Estmaattorede johtame Hyve estmaattorede johtame todeäkösyysjakaume tutemattomlle parametrelle o teoreettse tlastotetee keskesä ogelma. Tärkemmät estmaattorede johtamsee käytettävät meetelmät: Suurmma uskottavuude meetelmä Momettmeetelmä 6.. Suurmma uskottavuude meetelmä Uskottavuusfukto Olkoo, =,,, satuasotos jakaumasta f(x;θ), joka parametra o θ. Tällö,, K, f( x; θ ), =,, K, Ilkka Mell 8

33 Tlastollset meetelmät 6. Estmotmeetelmät Koska olemme olettaeet, että havaot, =,,, ovat rppumattoma ja oudattavat samaa jakaumaa f(x;θ), otokse yhtesjakauma theysfukto o f( x, x, K, x ; θ) = f( x; θ) f( x ; θ) L f( x ; θ) jossa f ( x; θ ), =,, K, o yksttäsee havatoo lttyvä pstetodeäkösyys- ta theysfukto. Otokse, =,,, uskottavuusfukto L( θ; x, x, K, x ) = f( x, x, K, x ; θ) o havatoje, =,,, yhtesjakauma pstetodeäkösyys- ta theysfukto f arvo psteessä x, x,, x tulkttua parametr θ arvoje fuktoks. Huomautus: Vomme olettaa, että uskottavuusfukto L ssältää kake stokastse formaato otoksesta. Suurmma uskottavuude estmaattor Olkoo t = g( x, x, K, x ) parametr θ arvo, joka maksmo otokse, =,,, uskottavuusfukto L( θ; x, x, K, x ) parametr θ suhtee. Huomautus: Uskottavuusfukto L maksm atava parametr θ arvo t o muuttuje (= havatoarvoje) x, x,, x fukto. Sjottamalla uskottavuusfukto L maksm parametr θ suhtee atavassa lausekkeessa t = t( x, x, K, x ) muuttuje x, x,, x pakalle havaot (= satuasmuuttujat),,, saadaa parametr θ suurmma uskottavuude estmaattor el SU-estmaattor ˆ θ = g(,, K, ) Ilkka Mell 83

34 Tlastollset meetelmät 6. Estmotmeetelmät Parametr θ suurmma uskottavuude estmaattor ˆ θ tuottaa parametrlle θ arvo, joka maksmo juur se otokse uskottavuude, joka saat el juur de havatoarvoje uskottavuude, jotka todella saat. Tämä lmastaa use seuraavalla (jossak määr epätäsmällsellä) tavalla: Vomme ajatella, että parametr θ suurmma uskottavuude estmaattor ˆ θ otoskohtae arvo maksmo todeäkösyyde saada juur se otos, joka saat. Suurmma uskottavuude estmaattor määrääme Parametr θ suurmma uskottavuude estmaattor määrätää maksmomalla uskottavuusfukto L( θ; x, x, K, x ) parametr θ suhtee. Kakssa sääöllsssä tapauksssa maksm löydetää merktsemällä uskottavuusfukto L(θ) dervaatta L (θ) ollaks ja ratkasemalla θ saadusta ormaalyhtälöstä L (θ) = 0 Määräämme alla seuraave jakaume parametre suurmma uskottavuude estmaattort: Normaaljakauma Ekspoettjakauma Beroull-jakauma Logartme uskottavuusfukto Uskottavuusfukto maksm kaattaa tavallsest etsä maksmomalla uskottavuusfukto sjasta uskottavuusfukto logartm el logartme uskottavuusfukto l( θ; x, x, K, x ) = log L( θ; x, x, K, x ) Tämä johtuu seuraavsta sekosta: () Koska logartm o adost mootoe fukto, logartme uskottavuusfukto ja uskottavuusfukto saavuttavat äärarvosa samassa psteessä. () Logartme uskottavuusfukto o moe todeäkösyysjakaume tapauksessa muodoltaa ykskertasemp ku uskottavuusfukto. Koska olemme olettaeet, että havaot, =,,, ovat rppumattoma ja oudattavat samaa jakaumaa f(x;θ), logartme uskottavuusfukto vodaa krjottaa seuraavaa muotoo: l( θ) = log L( θ) = log ( f( x; θ) f( x ; θ) L f( x ; θ) ) = log f( x; θ) + log f( x ; θ) + L+ log f( x ; θ) = l( θ ; x) + l( θ ; x) + L+ l( θ ; x ) jossa l(θ ; x ) = log f(x ; θ), =,,, o havatoarvoo x lttyvä logartme uskottavuusfukto. Logartmse uskottavuusfukto summaestykse Ilkka Mell 84

35 Tlastollset meetelmät 6. Estmotmeetelmät ( θ) = ( θ ; ) + ( θ ; ) + + ( θ ; ) l l x l x L l x maksmot o mossa tlatessa helpompaa ku uskottavuusfukto tsesä maksmot. Suurmma uskottavuude estmaattor asymptoottset omasuudet Parametr θ SU-estmaattor ˆ θ e välttämättä täytä hyvä estmaattor krteeretä äärellsllä havatoje lukumäärllä. Oeks SU-estmaattor ˆ θ käyttöä parametr θ estmaattora vodaa kutek perustella SU-estmaattor ylesllä asymptoottslla omasuukslla: Hyv yles ehdo pätee: () SU-estmaattor ˆ θ o tarketuva el lm Pr( ˆ θ θ) = Ste SU-estmaattor arvo lähestyy (melke varmast) parametr okeata arvoa, ku otoskoo aetaa kasvaa rajatta. Tämä merktsee stä, että SU-estmaattor toteuttaa (vahva) suurte lukuje la. () SU-estmaattor ˆ θ o asymptoottsest ormaale. Ste SU-estmaattor jakaumaa vodaa suurssa otoksssa approksmoda ormaaljakaumalla. Tämä merktsee stä, että SU-estmaattor toteuttaa keskese raja-arvolausee. Lsätetoja stokastka kovergesskästtestä: ks. mostee Todeäkösyyslasketa lukua Stokastka kovergesskästteet ja raja-arvolauseet. Huomautus: SU-estmaattor asymptootte ormaalsuus o tärkeä lsäperuste ormaaljakauma keskeselle asemalle tlastoteteessä Normaaljakauma parametre suurmma uskottavuude estmot Satuasmuuttuja oudattaa ormaaljakaumaa N(μ, σ ), jos se theysfukto o muotoa x μ f( x; μσ, ) = exp, < μ<+, σ> 0 σ π σ Normaaljakauma parametrea ovat jakauma odotusarvo ja varass E( ) = μ Var( ) = σ Lsätetoja ormaaljakaumasta: Ks. mostee Todeäkösyyslasketa lukua Jatkuva jakauma. Ilkka Mell 85

36 Tlastollset meetelmät 6. Estmotmeetelmät SU-estmaattorede johto Olkoo,,, satuasotos ormaaljakaumasta N(μ, σ ). Tällö havaot,,, ovat rppumattoma, samaa ormaaljakaumaa N(μ, σ ) oudattava satuasmuuttuja. Ste otokse,,, uskottavuusfukto o L( μσ, ; x, x, K, x ) = f( x; μ, σ ) f( x ; μ, σ ) L f( x ; μ, σ ) = σ ( π) exp ( x ) μ σ = ja se logartme uskottavuusfukto o l x x x ( μσ, ;,, K, ) = log L( μσ, ; x, x, K, x ) = logσ log( π) ( x ) μ σ = Normaaljakauma N(μ,σ ) odotusarvo μ ja varass σ SU-estmaattort ovat havatoje,,, artmeette keskarvo = = ja otosvarass laskettua kaavalla, jossa jakajaa o havatoje lukumäärä : ˆ σ = ( ) Perustelu: = Dervodaa logartme uskottavuusfukto l( μ, σ ) logσ log( π) ( x μ) = σ = es parametr μ suhtee ja merktää dervaatta ollaks: l( μσ, ) = ( x ) 0 μ = μ σ = Dervaata aoa ollakohta ˆ μ = x = x = ataa logartmse uskottavuusfukto maksm parametr μ suhtee. Ilkka Mell 86

37 Tlastollset meetelmät 6. Estmotmeetelmät Sjotetaa ratkasu ˆ μ = x logartmsee uskottavuusfuktoo: lx (, σ ) logσ log( π) ( x x) = σ = Dervodaa fukto lxσ (, ) parametr σ suhtee ja merktää dervaatta ollaks: lx (, σ ) = + ( ) 0 4 x x = σ σ σ = Dervaata aoa ollakohta ˆ σ = ( x x) = ataa log-uskottavuusfukto maksm parametr σ suhtee. Huomaa, että parametre μ ja σ suurmma uskottavuude estmaattort yhtyvät de momettestmaattoreh; lsätetoja momettmeetelmästä: ks. kappaletta Momettmeetelmä. SU-estmaattorede omasuudet Normaaljakauma N(μ,σ ) odotusarvo μ SU-estmaattorlla o seuraavat omasuudet: () () () (v) (v) o harhato. ja ˆ σ ovat yhdessä tyhjetävä parametrelle μ ja σ. o tehokas el mmvarasse estmaattor. o tarketuva. oudattaa ormaaljakaumaa: σ N μ, Normaaljakauma N(μ,σ ) varass σ SU-estmaattorlla ˆ σ o seuraavat omasuudet: () () () (v) (v) ˆ σ o harhae, mutta estmaattor s = ( ) ˆ = σ = o harhato. ja ˆ σ ovat yhdessä tyhjetävä parametrelle μ ja σ. ˆ σ e ole tehokas el mmvarasse estmaattor. ˆ σ o tarketuva. ( ) s /σ oudattaa χ -jakaumaa: ( ) s σ χ ( ) Ilkka Mell 87

38 Tlastollset meetelmät 6. Estmotmeetelmät 6.4. Ekspoettjakauma parametre suurmma uskottavuude estmot Satuasmuuttuja oudattaa ekspoettjakaumaa Exp(λ), jos se theysfukto o λx f( x) = λe, x 0, λ > 0 Ekspoettjakauma aoaa parametra o λ = E( ) Lsätetoja ekspoettjakaumasta: Ks. mostee Todeäkösyyslasketa lukua Jatkuva jakauma. Su-estmaattor johto Olkoo,,, satuasotos ekspoettjakaumasta Exp(λ). Tällö havaot,,, ovat rppumattoma, samaa ekspoettjakaumaa Exp(λ) oudattava satuasmuuttuja. Otokse,,, uskottavuusfukto o L( λ ; x, x, K, x ) = f( x; λ) f( x ; λ) L f( x ; λ) = λ exp λ x = ja se logartme uskottavuusfukto o l( λ ; x, x, K, x ) = log L( λ ; x, x, K, x ) = log( λ) λ x Ekspoettjakauma Exp(λ) parametr λ SU-estmaattor o ˆ λ = jossa = = = o havatoje,,, artmeette keskarvo. Perustelu: Dervodaa logartme uskottavuusfukto l( λ) = log( λ) λ x = parametr λ suhtee ja merktää dervaatta ollaks: Ilkka Mell 88

39 Tlastollset meetelmät 6. Estmotmeetelmät l( λ) = x = 0 λ λ = Dervaata aoa ollakohta ˆ λ = = x x = ataa logartmse uskottavuusfukto maksm parametr λ suhtee. Huomaa, että parametr λ suurmma uksottavuude estmaattor yhtyy se momettestmaattor; lsätetoja momettmeetelmästä: ks. kappaletta Momettmeetelmä. Svuutamme parametr λ suurmma uskottavuude estmaattor stokastset omasuudet tässä estyksessä Beroull-jakauma parametre suurmma uskottavuude estmot Olkoo A tapahtuma, joka todeäkösyys o p: Pr(A) = p Määrtellää satuasmuuttuja seuraavast:, jos A tapahtuu = 0, jos A e tapahdu Tällö satuasmuuttuja oudattaa Beroull-jakaumaa parametrlla p: Ber( p) jossa Pr(A) = p = E() Satuasmuuttuja pstetodeäkösyysfukto o f x p p x x x ( ) = ( ), = 0, Lsätetoja Beroull-jakaumasta: Ks. mostee Todeäkösyyslasketa lukua Dskreettejä jakauma. SU-estmaattor johto Olkoo,,, satuasotos Beroull-jakaumasta Ber(p). Tällö havaot,,, ovat rppumattoma, samaa Beroull-jakaumaa Ber(p) oudattava satuasmuuttuja. Ilkka Mell 89

40 Tlastollset meetelmät 6. Estmotmeetelmät Otokse,,, uskottavuusfukto o L( p; x, x, K, x ) = f ( x; p) f( x ; p) L f( x ; p) Σx Σx = p ( p) ja se logartme uskottavuusfukto o l( p; x, x, K, x ) = log L( p; x, x, K, x ) = x log( p) + ( x )log( p) = = Beroull-jakauma Ber(p) odotusarvoparametr p SU-estmaattor o havatoje,,, artmeette keskarvo Perustelu: = = Dervodaa logartme uskottavuusfukto l( p) = x log( p) + ( x )log( p) = = parametr p suhtee ja merktää dervaatta ollaks: l( p) Σx Σx = = 0 p p p Dervaata aoa ollakohta pˆ = x = x = ataa logartmse uskottavuusfukto maksm. Parametr p SU-estmaattor = = o kostukse kohteea oleva tapahtuma A suhteelle frekvess otoksessa, koska = = f o tapahtuma A frekvess otoksessa, sllä summa koostuu ykkösstä ja ollsta ja ykköste lukumäärä summassa o sama ku tapahtuma A estymste lukumäärä. Ilkka Mell 90

41 Tlastollset meetelmät 6. Estmotmeetelmät Huomaa, että parametr p suurmma uskottavuude estmaattor yhtyy se momettestmaattor; lsätetoja momettmeetelmästä: ks. kappaletta Momettmeetelmä. SU-estmaattor omasuudet Beroull-jakauma Ber(p) odotusarvoparametr p SU-estmaattorlla ˆp o seuraavat omasuudet: () ˆp o harhato. () () (v) (v) ˆp o tyhjetävä. ˆp o (asymptoottsest) tehokas el mmvarasse estmaattor. ˆp o tarketuva. ˆp oudattaa asymptoottsest ormaaljakaumaa: p pq ˆ a N p, 6.6. Momettmeetelmä Satuasotos Olkoo, =,,, satuasotos jakaumasta, joka pstetodeäkösyys- ta theysfukto f(x;θ), joka parametra o p-vektor θ = (θ, θ,, θ p ) Tällö havaot, =,,, ovat rppumattoma, dettsest jakautueta satuasmuuttuja, jolla o sama pstetodeäkösyys- ta theysfukto f(x;θ):,, K, f( x; θ ), =,, K, Momett Oletetaa, että jakaumalla f(x;θ) o kakk (orgo-) momett kertalukuu p saakka: Oletetaa, että momette k E( ) = α, k =,, K, p, =,, K, k ja parametre α, α,, α p θ, θ,, θ p välllä o jatkuva bjekto el käätäe ykskästtee kuvaus: Ilkka Mell 9

42 Tlastollset meetelmät 6. Estmotmeetelmät α = g( θ, θ, K, θp ) α = g( θ, θ, K, θp ) () M αp = g p( θ, θ, K, θp) Tällö parametrt θ, θ,, θ p vodaa esttää momette fuktoa: () α, α,, α p θ = h( α, α, K, αp ) θ = h( α, α, K, αp ) M θp = hp( α, α, K, αp) Momettestmaattorede määrääme Estmodaa momett α, α,, α p vastaavlla otosmometella: k ak =, k =,, K, p = Sjottamalla estmaattort a, a,, a p momette α, α,, α p pakalleyhtälöh (), saadaa parametre θ, θ,, θ p momettestmaattort el MM-estmaattort ˆ θ = h( a, a, K, ap ) ˆ θ = h( a, a, K, ap ) M ˆ θ p = hp( a, a, K, ap) Määräämme alla seuraave jakaume parametre momettestmaattort: Normaaljakauma Ekspoettjakauma Beroull-jakauma Momettmeetelmä vs suurmma uskottavuude meetelmä Momettmeetelmä ja suurmma uskottavuude meetelmä tuottavat mossa tapauksssa samat estmaattort todeäkösyysjakauma parametrelle. Tämä e ole kutekaa ylesest totta. Momettmeetelmä o ästä kahdesta estmotmeetelmästä vahemp. Suurmma uskottavuude meetelmällä katsotaa hyv ylesest oleva paremmat teoreettset perustelut ku momettmeetelmällä ja sks suurmma uskottavuude meetelmä ok hyv ptkält Ilkka Mell 9

43 Tlastollset meetelmät 6. Estmotmeetelmät syrjäyttäyt momettmeetelmä todeäkösyysjakaume parametre estmaattoreta johdettaessa Normaaljakauma parametre momettestmot Satuasmuuttuja oudattaa ormaaljakaumaa N(μ, σ ), jos se theysfukto o muotoa x μ f( x; μσ, ) = exp, < μ<+, σ> 0 σ π σ Normaaljakauma parametrea ovat jakauma odotusarvo ja varass E( ) = μ Var( ) = D ( ) = σ Lsätetoja ormaaljakaumasta: Ks. mostee Todeäkösyyslasketa lukua Jatkuva jakauma. MM-estmaattorede johto Määrtellää satuasmuuttuja. ja. momett kaavolla k α k = E( ), k =, Normaaljakauma parametre μ ja σ sekä momette α ja α välllä o seuraava bjekto: () Parametrt lausuttua momette fuktoa: () Olkoo μ = E( ) = α σ μ μ α α Momett lausuttua parametre fuktoa: = Var( ) = E[( ) ] = E( ) = α = E( ) = μ α = E( ) = σ + μ,,, satuasotos ormaaljakaumasta N(μ, σ ). Tällö havaot,,, ovat rppumattoma, samaa ormaaljakaumaa N(μ, σ ) oudattava satuasmuuttuja. Määrtellää havatoje,,,. ja. otosmomett kaavolla k a =, k =, k = Ste ormaaljakauma N(μ, σ ) parametre μ ja σ MM-estmaattort el momettestmaattort saadaa seuraavlla kaavolla: Ilkka Mell 93