Osa 2: Otokset, otosjakaumat ja estimointi

Transkriptio

1 Ilkka Melli Tilastolliset meetelmät Osa 2: Otokset, otosjakaumat ja estimoiti Estimoitimeetelmät TKK (c) Ilkka Melli (2007)

2 Estimoitimeetelmät >> Todeäköisyysjakaumie parametrie estimoiti Suurimma uskottavuude meetelmä Normaalijakauma parametrie estimoiti Ekspoettijakauma parametrie estimoiti Beroulli-jakauma parametrie estimoiti Momettimeetelmä Normaalijakauma parametrie estimoiti Ekspoettijakauma parametrie estimoiti Beroulli-jakauma parametrie estimoiti TKK (c) Ilkka Melli (2007) 2

3 Todeäköisyysjakaumie parametrie estimoiti Todeäköisyysjakaumat tilastolliste aieistoje kuvaajia Tilastollie aieisto koostuu tutkimukse kohteita kuvaavie muuttujie havaituista arvoista. Tilastollisissa tutkimusasetelmissa havaitoarvoihi liittyy aia epävarmuutta ja satuaisuutta. Tilastollisissa tutkimusasetelmissa tutkimukse kohteita kuvaavat muuttujat tulkitaa satuaismuuttujiksi, jotka geeroivat muuttujie havaitut arvot. Havaitoarvot geeroieide satuaismuuttujie todeäköisyysjakauma muodostaa tilastollise malli sille satuaisilmiölle, jota havaiot koskevat. TKK (c) Ilkka Melli (2007) 3

4 Todeäköisyysjakaumie parametrie estimoiti Todeäköisyysjakaumie parametrit /2 Tarkastellaa jotaki tutkimukse kaikkie mahdolliste kohteide muodostama perusjouko S alkioide omiaisuutta kuvaavaa satuaismuuttujaa X. Oletetaa, että satuaismuuttuja X oudattaa todeäköisyysjakaumaa, joka pistetodeäköisyys-tai tiheysfuktio f(x ; θ) riippuu parametrista θ. Merkitä: X ~ f( x; θ ) TKK (c) Ilkka Melli (2007) 4

5 Todeäköisyysjakaumie parametrie estimoiti Todeäköisyysjakaumie parametrit 2/2 Satuaismuuttuja X pistetodeäköisyys- tai tiheysfuktio f(x ; θ) kuvaa satuaismuuttuja X todeäköisyysjakaumaa ja parametri θ kuvaa jotaki jakauma karakteristista omiaisuutta. Koska parametri θ arvoa ei yleesä tueta, tilastollise tutkimukse tärkeimpiä osatehtäviä o estimoida eli arvioida tutemattomalle parametrille θ sopiva arvo jakaumasta f(x ; θ) poimitu otokse perusteella. TKK (c) Ilkka Melli (2007) 5

6 Todeäköisyysjakaumie parametrie estimoiti Yksikertaie satuaisotos Olkoo X, X 2,, X (yksikertaie) satuaisotos jakaumasta, joka pistetodeäköisyys- tai tiheysfuktio f(x ; θ) riippuu parametrista θ. Tällöi havaiot X, X 2,, X ovat riippumattomia, idettisesti jakautueita satuaismuuttujia, joilla o sama pistetodeäköisyys- tai tiheysfuktio f(x ; θ): X, X2,, X X ~ f( x; θ ), i =,2,, i TKK (c) Ilkka Melli (2007) 6

7 Todeäköisyysjakaumie parametrie estimoiti Havaiot ja havaitoarvot Oletetaa, että satuaismuuttujat (havaiot) X, X 2,, X saavat poimitussa otoksessa havaituiksi arvoiksee luvut x, x 2,, x Havaitoarvot x, x 2,, x vaihtelevat satuaisesti otoksesta toisee jakaumasta f(x ; θ) saatavi todeäköisyyksi. TKK (c) Ilkka Melli (2007) 7

8 Todeäköisyysjakaumie parametrie estimoiti Estimaattorit ja estimaatit /2 Oletetaa, että todeäköisyysjakauma f(x ; θ) parametri θ estimoimisee käytetää satuaismuuttujie X, X 2,, X fuktiota eli tuuslukua T = g(x, X 2,, X ) Tällöi fuktiota T = g(x, X 2,, X ) kutsutaa parametri θ estimaattoriksi ja havaitoarvoista x, x 2,, x laskettua fuktio g arvoa t = g(x, x 2,, x ) kutsutaa parametri θ estimaatiksi. TKK (c) Ilkka Melli (2007) 8

9 Todeäköisyysjakaumie parametrie estimoiti Estimaattorit ja estimaatit 2/2 Olkoo T = g(x, X 2,, X ) jakauma f(x ; θ) parametri θ estimaattori. Tällöi estimaattori T havaitoarvoista x, x 2,, x laskettu arvo eli estimaatti t = g(x, x 2,, x ) o satuaismuuttuja T arvo realisaatio otoksessa. TKK (c) Ilkka Melli (2007) 9

10 Todeäköisyysjakaumie parametrie estimoiti Estimaattoreide johtamie Hyvie estimaattoreide johtamie todeäköisyysjakaumie tutemattomille parametreille o teoreettise tilastotietee keskeisiä ogelmia. Tässä luvussa esitellää seuraavat estimaattoreide johtamisee käytettävät meetelmät: Suurimma uskottavuude meetelmä Momettimeetelmä Suurimma uskottavuude meetelmä o tärkei estimoitimeetelmä, koska sillä o ii vakka teoreettie perusta. TKK (c) Ilkka Melli (2007) 0

11 Todeäköisyysjakaumie parametrie estimoiti Piste-estimoiti ja väliestimoiti Todeäköisyysjakauma parametri arvo estimoitia kutsutaa usei piste-estimoiiksi. Parametri estimaattii o aia syytä liittää luottamusväliksi kutsuttu väli, joka sisältää estimoidu parametri todellise, mutta tutemattoma arvo tietyllä, soveltaja valittavissa olevalla todeäköisyydellä. Luottamusväli määräämistä kutsutaa väliestimoiiksi; ks. lukua Väliestimoiti. TKK (c) Ilkka Melli (2007)

12 Estimoitimeetelmät Todeäköisyysjakaumie parametrie estimoiti >> Suurimma uskottavuude meetelmä Normaalijakauma parametrie estimoiti Ekspoettijakauma parametrie estimoiti Beroulli-jakauma parametrie estimoiti Momettimeetelmä Normaalijakauma parametrie estimoiti Ekspoettijakauma parametrie estimoiti Beroulli-jakauma parametrie estimoiti TKK (c) Ilkka Melli (2007) 2

13 Suurimma uskottavuude meetelmä Uskottavuusfuktio /2 Olkoo X, X 2,, X yksikertaie satuaisotos jakaumasta f(x ; θ), joka parametria o θ. Koska havaiot X, X 2,, X o oletettu tässä riippumattomiksi, iide yhteisjakauma pistetodeäköisyys- tai tiheysfuktio o f( x, x2,, x ; θ) = f( x; θ) f( x2 ; θ) f( x ; θ) jossa f( xi ; θ ), i =,2,, o havaitoo X i liittyvä pistetodeäköisyys- tai tiheysfuktio. TKK (c) Ilkka Melli (2007) 3

14 Suurimma uskottavuude meetelmä Uskottavuusfuktio 2/2 Otokse X, X 2,, X uskottavuusfuktio L( θ ; x, x2,, x) = f( x, x2,, x ; θ) o havaitoje X, X 2,, X yhteisjakauma pistetodeäköisyys- tai tiheysfuktio f arvo pisteessä x, x 2,, x tulkittua parametri θ arvoje fuktioksi. Huomautus: Uskottavuusfuktio L sisältää kaike iformaatio otoksesta. TKK (c) Ilkka Melli (2007) 4

15 Suurimma uskottavuude meetelmä Suurimma uskottavuude estimaattori /2 Olkoo t = g( x, x2,, x ) parametri θ arvo, joka maksimoi uskottavuusfuktio L( θ ; x, x2,, x ) parametri θ suhtee. Huomautus: Uskottavuusfuktio L maksimi atava parametri θ arvo t o muuttujie X, X 2,, X havaittuje arvoje x, x 2,, x fuktio. TKK (c) Ilkka Melli (2007) 5

16 Suurimma uskottavuude meetelmä Suurimma uskottavuude estimaattori 2/2 Sijoittamalla uskottavuusfuktio L maksimi parametri θ suhtee atavassa lausekkeessa t = g( x, x2,, x ) muuttujie x, x 2,, x paikalle havaiot (satuaismuuttujat) X, X 2,, X saadaa parametri θ suurimma uskottavuude estimaattori eli SU-estimaattori ˆ θ = g( X, X2,, X ) TKK (c) Ilkka Melli (2007) 6

17 Suurimma uskottavuude meetelmä Kommetteja Parametri θ suurimma uskottavuude estimaattori θˆ tuottaa parametrille θ arvo, joka maksimoi poimitu otokse eli saatuje havaitoarvoje uskottavuude ( todeäköisyyde). Parametri θ suurimma uskottavuude estimaattori θˆ otoskohtaie arvo maksimoi todeäköisyyde saada juuri se otos, joka o saatu. TKK (c) Ilkka Melli (2007) 7

18 Suurimma uskottavuude meetelmä SU-estimaattori määräämie /2 Parametri θ suurimma uskottavuude estimaattori määrätää maksimoimalla uskottavuusfuktio L( θ) = L( θ ; x, x2,, x ) parametri θ suhtee. Kaikissa sääöllisissä tapauksissa maksimi löydetää merkitsemällä uskottavuusfuktio L(θ) derivaatta L (θ) ollaksi ja ratkaisemalla θ saadusta ormaaliyhtälöstä L (θ) = 0 TKK (c) Ilkka Melli (2007) 8

19 Suurimma uskottavuude meetelmä SU-estimaattori määräämie 2/2 Jos parametri θ arvo t = g( x, x2,, x ) tuottaa uskottavuusfuktio L(θ) maksimi, parametri θ suurimma uskottavuude estimaattori o ˆ θ = g( X, X2,, X ) jossa X, X 2,, X o yksikertaie satuaisotos siitä jakaumasta, joho uskottavuusfuktio L(θ) liittyy. TKK (c) Ilkka Melli (2007) 9

20 Suurimma uskottavuude meetelmä Logaritmie uskottavuusfuktio /3 Uskottavuusfuktio maksimi kaattaa tavallisesti etsiä maksimoimalla uskottavuusfuktio sijasta logaritmie uskottavuusfuktio (uskottavuusfuktio logaritmi) l( θ) = log L( θ) Tämä johtuu seuraavista seikoista: (i) Logaritmie uskottavuusfuktio ja uskottavuusfuktio saavuttavat ääriarvosa samassa pisteessä, koska logaritmi o aidosti mootoie fuktio. (ii) Logaritmie uskottavuusfuktio o moie todeäköisyysjakaumie tapauksessa uskottavuusfuktiota yksikertaisempi muodoltaa. TKK (c) Ilkka Melli (2007) 20

21 Suurimma uskottavuude meetelmä Logaritmie uskottavuusfuktio 2/3 Koska havaiot X, X 2,, X o tässä oletettu riippumattomiksi, logaritmie uskottavuusfuktio voidaa kirjoittaa seuraavaa muotoo: l( θ) = log L( θ) = log f( x ; θ) f( x ; θ) f( x ; θ) ( ) 2 = log f( x ; θ) + log f( x ; θ) + + log f( x ; θ) 2 = l( θ ; x) + l( θ ; x2) + + l( θ ; x ) jossa l(θ ; x i ) = log f(x i ; θ), i =, 2,, o havaitoarvoo x i liittyvä logaritmie uskottavuusfuktio. TKK (c) Ilkka Melli (2007) 2

22 Suurimma uskottavuude meetelmä Logaritmie uskottavuusfuktio 3/3 Logaritmise uskottavuusfuktio summaesitykse l( θ) = l( θ ; x) + l( θ ; x2) + + l( θ ; x ) maksimoiti o usei ratkaisevasti helpompaa kui uskottavuusfuktio itsesä maksimoiti. TKK (c) Ilkka Melli (2007) 22

23 Suurimma uskottavuude meetelmä SU-estimaattori omiaisuudet Olkoo X, X 2,, X yksikertaie satuaisotos jakaumasta f (x ; θ), joka parametria o θ. Olkoo θˆ parametri θ suurimma uskottavuude eli SU-estimaattori. Hyvä estimaattori o tyhjetävä, harhato, tehokas ja tarketuva (ks. lukua Estimoiti). SU-estimaattori ei välttämättä täytä yhtäkää hyvä estimaattori kriteeriä, jote suurimma uskottavuude meetelmää käytettäessä o aia eriksee varmistettava tuloksea saadu estimaattori hyvyys. TKK (c) Ilkka Melli (2007) 23

24 Suurimma uskottavuude meetelmä SU-estimaattori asymptoottiset omiaisuudet /3 Jos parametri θ SU-estimaattoriθˆ ei täytä hyvä estimaattori kriteereitä äärellisillä havaitoje lukumäärillä, SU-estimaattoriθˆ valitaa parametri θ estimaattoriksi voidaa usei perustella SUestimaattori yleisillä asymptoottisilla omiaisuuksilla: (i) SU-estimaattori θˆ o tarketuva eli Pr( ˆ θ θ) =, ku + (ii) SU-estimaattori θˆ o asymptoottisesti ormaalie. TKK (c) Ilkka Melli (2007) 24

25 Suurimma uskottavuude meetelmä SU-estimaattori asymptoottiset omiaisuudet 2/3 SU-estimaattori tarketuvuus merkitsee sitä, että SUestimaattori toteuttaa suurte lukuje lai (ks. moistee Todeäköisyyslasketa lukua Stokastiika kvergessikäsitteet ja raja-arvolauseet). Suurte lukuje lai mukaa SU-estimaattori arvo lähestyy stokastisesti parametri oikeata arvoa, ku otoskoko kasvaa. TKK (c) Ilkka Melli (2007) 25

26 Suurimma uskottavuude meetelmä SU-estimaattori asymptoottiset omiaisuudet 3/3 SU-estimaattori asymptoottie ormaalisuus merkitsee sitä, että SU-estimaattori toteuttaa keskeise raja-arvolausee (ks. kalvokokoelma Johdatus todeäköisyyslasketaa lukua Kovergessikäsitteet ja raja-arvolauseet). SU-estimaattori asymptoottie ormaalisuus merkitsee sitä, että SU-estimaattori jakaumaa voidaa suurissa otoksissa approksimoida ormaalijakaumalla. Se, että SU-estimaattori o erittäi yleiste ehtoje pätiessä asymptoottisesti ormaalie, o tärkeä lisäperuste ormaalijakauma keskeiselle asemalle tilastotieteessä. TKK (c) Ilkka Melli (2007) 26

27 Suurimma uskottavuude meetelmä Suurimma uskottavuude meetelmä vs momettimeetelmä Suurimma uskottavuude meetelmä ei tuota todeäköisyysjakauma parametreille välttämättä samoja estimaattoreita kui s. momettimeetelmä. Moissa alkeellisissa tilateissa molemmilla meetelmillä kuiteki saadaa samat estimaattorit. Suurimma uskottavuude meetelmä o hyvi pitkälti syrjäyttäyt momettimeetelmä todeäköisyysjakaumie parametrie estimaattoreita johdettaessa. Suurimma uskottavuude meetelmä suosituimmuusasemaa perustuu se momettimeetelmää vakempaa teoreettisee perustaa. TKK (c) Ilkka Melli (2007) 27

28 Suurimma uskottavuude meetelmä Esimerkkejä /2 Olkoo X, X 2,, X yksikertaie satuaisotos jakaumasta f(x ; θ). Tarkastellaa seuraavie jakaumie parametrie SU-estimoitia eli estimoitia suurimma uskottavuude meetelmällä (ks. moistee Todeäköisyyslasketa lukuja Diskreettejä jakaumia ja Jatkuvia jakaumia): Normaalijakauma Ekspoettijakauma Beroulli-jakauma TKK (c) Ilkka Melli (2007) 28

29 Suurimma uskottavuude meetelmä Esimerkkejä 2/2 Huomautuksia: Normaalijakauma, ekspoettijakauma ja Beroulli-jakauma parametrie estimoitia momettimeetelmällä tarkastellaa seuraavassa kohdassa. Normaalijakauma, ekspoettijakauma ja Beroulli-jakauma tapauksessa suurimma uskottavuude meetelmä ja momettimeetelmä tuottavat jakaumie parametreille samat estimaattorit. TKK (c) Ilkka Melli (2007) 29

30 Normaalijakauma parametrie estimoiti SU-meetelmällä Normaalijakauma ja se parametroiti Satuaismuuttuja X oudattaa ormaalijakaumaa N(µ, σ 2 ), jos se tiheysfuktio o 2 2 x µ f( x; µσ, ) = exp σ 2π 2 σ < µ < +, σ > 0 Normaalijakauma parametreia ovat jakauma odotusarvo E( X ) = µ ja variassi Var( X ) 2 = σ TKK (c) Ilkka Melli (2007) 30

31 Normaalijakauma parametrie estimoiti SU-meetelmällä Otos ormaalijakaumasta Olkoo X, X 2,, X yksikertaie satuaisotos ormaalijakaumasta N(µ, σ 2 ) Tällöi havaiot X, X 2,, X ovat riippumattomia, samaa ormaalijakaumaa N(µ, σ 2 ) oudattavia satuaismuuttujia. TKK (c) Ilkka Melli (2007) 3

32 Normaalijakauma parametrie estimoiti SU-meetelmällä Normaalijakautuee otokse uskottavuusfuktio ja log-uskottavuusfuktio Otokse X, X 2,, X uskottavuusfuktio o 2 L( µσ, ; x, x,, x ) = µ σ 2 µ σ µ σ f( x ;, ) f( x ;, ) f( x ;, ) 2 2 = σ (2 π ) exp ( x 2 i µ ) 2σ i= Otokse X, X 2,, X logaritmie uskottavuusfuktio o 2 l( µσ, ; x, x,, x ) = 2 2 log L( µσ, ; x, x2,, x ) 2 2 logσ log(2 π ) ( x ) 2 i µ 2 2 2σ i = = TKK (c) Ilkka Melli (2007) 32

33 Normaalijakauma parametrie estimoiti SU-meetelmällä Normaalijakauma parametrie SU-estimaattorit Normaalijakauma N(µ, σ 2 ) odotusarvo µ ja variassi σ 2 SU-estimaattorit eli suurimma uskottavuude estimaattorit ovat havaitoje X, X 2,, X aritmeettie keskiarvo ˆ µ = Xi = i= X ja otosvariassi ˆ σ = ( Xi X) 2 2 i= Huomautus: Parametrie µ ja σ 2 SU-estimaattorit yhtyvät iide momettiestimaattoreihi. TKK (c) Ilkka Melli (2007) 33

34 Normaalijakauma parametrie estimoiti SU-meetelmällä SU-estimaattoreide johto /2 Derivoidaa logaritmie uskottavuusfuktio l( µ, σ ) logσ log(2 π ) ( x µ ) = 2 i 2 2 2σ i = esi parametri µ suhtee ja merkitää derivaatta ollaksi: 2 l( µσ, ) = ( ) 0 2 xi µ = µ σ i = Derivaata aioa ollakohta ˆ µ = xi = x i= ataa log-uskottavuusfuktio maksimi parametri µ suhtee. TKK (c) Ilkka Melli (2007) 34

35 Normaalijakauma parametrie estimoiti SU-meetelmällä SU-estimaattoreide johto 2/2 Sijoitetaa ratkaisu µ = x logaritmisee uskottavuusfuktioo: lx (, σ ) = logσ log(2 π) ( x ) 2 i x σ i = 2 Derivoidaa fuktio lxσ (, ) parametri σ 2 suhtee ja merkitää derivaatta ollaksi: 2 l( µσ, ) = + ( ) xi x = σ 2σ 2σ i = Derivaata aioa ollakohta ˆ σ ( ) 2 2 = xi x i= ataa log-uskottavuusfuktio maksimi parametri σ 2 suhtee. TKK (c) Ilkka Melli (2007) 35

36 Normaalijakauma parametrie estimoiti SU-meetelmällä SU-estimaattoreide omiaisuudet /2 Normaalijakauma N(µ, σ 2 ) odotusarvo µ SU-estimaattorilla ˆµ o seuraavat omiaisuudet: (i) ˆµ o harhato. 2 (ii) ˆµ ja σˆ ovat yhdessä tyhjetäviä parametreille µ ja σ 2. (iii) ˆµ o tehokas eli miimivariassie estimaattori. (iv) ˆµ o tarketuva. (v) ˆµ oudattaa ormaalijakaumaa: 2 σ ˆ~N µ µ, TKK (c) Ilkka Melli (2007) 36

37 Normaalijakauma parametrie estimoiti SU-meetelmällä SU-estimaattoreide omiaisuudet 2/2 Normaalijakauma N(µ, σ 2 ) variassi σ 2 2 SU-estimaattorilla σˆ o seuraavat omiaisuudet: 2 (i) σˆ o harhaie, mutta estimaattori s = ˆ σ = ( Xi X) i= o harhato. 2 (ii) ˆµ ja σˆ ovat yhdessä tyhjetäviä parametreille µ ja σ 2. 2 (iii) σˆ ei ole tehokas eli miimivariassie estimaattori. 2 (iv) σˆ o tarketuva. (v) ( ) s 2 /σ 2 oudattaa χ 2 -jakaumaa: 2 ( ) s 2 χ ( ) 2 σ TKK (c) Ilkka Melli (2007) 37

38 Ekspoettijakauma parametrie estimoiti SU-meetelmällä Ekspoettijakauma ja se parametroiti Satuaismuuttuja X oudattaa ekspoettijakaumaa Exp(λ), jos se tiheysfuktio o f( x; λ) = λexp( λx), x 0, λ > 0 Ekspoettijakauma aioa parametri λ = E( X ) voidaa tulkita sopivat ehdot toteuttavassa jootapahtumassa. tapahtuma odotusajaksi tai tapahtumaitesiteetiksi. TKK (c) Ilkka Melli (2007) 38

39 Ekspoettijakauma parametrie estimoiti SU-meetelmällä Otos ekspoettijakaumasta Olkoo X, X 2,, X yksikertaie satuaisotos ekspoettijakaumasta Exp(λ) Tällöi havaiot X, X 2,, X ovat riippumattomia, samaa ekspoettijakaumaa Exp(λ) oudattavia satuaismuuttujia. TKK (c) Ilkka Melli (2007) 39

40 Ekspoettijakauma parametrie estimoiti SU-meetelmällä Ekspoettijakautuee otokse uskottavuusfuktio ja log-uskottavuusfuktio Otokse X, X 2,, X uskottavuusfuktio o L( λ ; x, x2,, x ) = f( x ; λ) f( x ; λ) f( x ; λ) 2 = λ exp λ xi i= Otokse X, X 2,, X logaritmie uskottavuusfuktio o l( λ ; x, x2,, x ) = log L( λ ; x, x,, x ) 2 = log( λ) λ x i= i TKK (c) Ilkka Melli (2007) 40

41 Ekspoettijakauma parametrie estimoiti SU-meetelmällä Ekspoettijakauma parametri SU-estimaattori Ekspoettijakauma Exp(λ) parametri λ SU-estimaattori eli suurimma uskottavuude estimaattori o ˆ λ = X jossa X Xi i = = o havaitoje X, X 2,, X aritmeettie keskiarvo. Huomautuksia: Parametri λ SU-estimaattori yhtyy se momettiestimaattorii. Estimaattori ˆλ omiaisuudet sivuutetaa. TKK (c) Ilkka Melli (2007) 4

42 Ekspoettijakauma parametrie estimoiti SU-meetelmällä SU-estimaattori johto Derivoidaa logaritmie uskottavuusfuktio l( λ) = log( λ) λ x i= parametri λ suhtee ja merkitää derivaatta ollaksi: l( λ) = xi = 0 λ λ i= Derivaata aioa ollakohta ˆ λ = = x xi i= i ataa log-uskottavuusfuktio maksimi parametri λ suhtee. TKK (c) Ilkka Melli (2007) 42

43 Beroulli-jakauma parametrie estimoiti SU-meetelmällä Beroulli-jakauma ja se parametroiti Olkoo A tapahtuma, joka todeäköisyys o p: Pr(A) = p Määritellää satuaismuuttuja X seuraavasti:, jos A tapahtuu X = 0, jos A ei tapahdu Satuaismuuttuja X oudattaa Beroulli-jakaumaa Ber(p) ja se pistetodeäköisyysfuktio o x x f( x; p) = p ( p), x= 0,;0< p< Beroulli-jakauma aioa parametri p yhtyy jakauma odotusarvoo: p = E(X) TKK (c) Ilkka Melli (2007) 43

44 Beroulli-jakauma parametrie estimoiti SU-meetelmällä Otos Beroulli-jakaumasta Olkoo X, X 2,, X yksikertaie satuaisotos Beroulli-jakaumasta Ber(p) Tällöi havaiot X, X 2,, X ovat riippumattomia, samaa Beroulli-jakaumaa Ber(p) oudattavia satuaismuuttujia. TKK (c) Ilkka Melli (2007) 44

45 Beroulli-jakauma parametrie estimoiti SU-meetelmällä Beroulli-jakautuee otokse uskottavuusfuktio ja log-uskottavuusfuktio Otokse X, X 2,, X uskottavuusfuktio o L( p; x, x2,, x ) = f( x ; p) f( x ; p) f( x ; p) 2 Σx Σx i = p ( p) i Otokse X, X 2,, X logaritmie uskottavuusfuktio o l( p; x, x2,, x ) = log L( p; x, x,, x ) 2 = i + i i= i= x log( p) ( x )log( p) TKK (c) Ilkka Melli (2007) 45

46 Beroulli-jakauma parametrie estimoiti SU-meetelmällä Beroulli-jakauma odotusarvoparametri SU-estimaattori /2 Beroulli-jakauma Ber(p) odotusarvoparametri p SU-estimaattori eli suurimma uskottavuude estimaattori o havaitoje X, X 2,, X aritmeettie keskiarvo pˆ = Xi = X i = Huomautus: Parametri p SU-estimaattori yhtyy se momettiestimaattorii. TKK (c) Ilkka Melli (2007) 46

47 Beroulli-jakauma parametrie estimoiti SU-meetelmällä Beroulli-jakauma odotusarvoparametri SU-estimaattori 2/2 Koska ii X i i=, jos A tapahtuu = 0, jos A ei tapahdu X i = f jossa f o tapahtuma A frekvessi otoksessa. Site Beroulli-jakauma odotusarvoparametri p suurimma uskottavuude estimaattori f pˆ = Xi = i= o tapahtuma A suhteellie frekvessi otoksessa. TKK (c) Ilkka Melli (2007) 47

48 Beroulli-jakauma parametrie estimoiti SU-meetelmällä SU-estimaattori johto Derivoidaa logaritmie uskottavuusfuktio l( p) = x log( p) + ( x )log( p) i i= i= parametri p suhtee ja merkitää derivaatta ollaksi: l( p) Σxi Σxi = = 0 p p p Derivaata aioa ollakohta pˆ = x = x i = i ataa uskottavuusfuktio maksimi. i TKK (c) Ilkka Melli (2007) 48

49 Beroulli-jakauma parametrie estimoiti SU-meetelmällä SU-estimaattori omiaisuudet Beroulli-jakauma Ber(p) odotusarvoparametri p SU-estimaattorilla ˆp o seuraavat omiaisuudet: (i) ˆp o harhato. (ii) ˆp o tyhjetävä. (iii) ˆp o tehokas eli miimivariassie estimaattori. (iv) ˆp o tarketuva. (v) ˆp oudattaa asymptoottisesti ormaalijakaumaa: p( p) pˆ~ a N p, TKK (c) Ilkka Melli (2007) 49

50 Estimoitimeetelmät Todeäköisyysjakaumie parametrie estimoiti Suurimma uskottavuude meetelmä Normaalijakauma parametrie estimoiti Ekspoettijakauma parametrie estimoiti Beroulli-jakauma parametrie estimoiti >> Momettimeetelmä Normaalijakauma parametrie estimoiti Ekspoettijakauma parametrie estimoiti Beroulli-jakauma parametrie estimoiti TKK (c) Ilkka Melli (2007) 50

51 Momettimeetelmä Mometit Olkoo X, X 2,, X yksikertaie satuaisotos jakaumasta f(x ; θ), joka parametria o p-vektori θ = (θ, θ 2,, θ p ) Oletetaa, että jakaumalla f(x ; θ) o kaikki (origo-) mometit α k kertalukuu p saakka (ks. moistee Todeäköisyyslasketa lukua Jakaumie tuusluvut): k E( X ) = α, k =, 2,, p, i =, 2,, i k TKK (c) Ilkka Melli (2007) 5

52 Momettimeetelmä Parametrie ja momettie yhteys /2 Oletetaa, että momettie α, α 2,, α p ja parametrie θ, θ 2,, θ p välillä o jatkuva bijektio eli käätäe yksikäsitteie kuvaus: α = g( θ, θ2,, θp ) α2 = g2( θ, θ2,, θp ) () αp = g p( θ, θ2,, θp) TKK (c) Ilkka Melli (2007) 52

53 Momettimeetelmä Parametrie ja momettie yhteys 2/2 Tällöi parametrit θ, θ 2,, θ p voidaa esittää momettie α, α 2,, α p fuktioia: θ = h( α, α2,, αp ) θ2 = h2( α, α2,, αp ) (2) θp = hp( α, α2,, αp) TKK (c) Ilkka Melli (2007) 53

54 Momettimeetelmä Momettiestimaattorit Estimoidaa mometit α, α 2,, α p vastaavilla otosmometeilla (ks. lukua Tilastolliste aieistoje kuvaamie): a k k Xi i = = Sijoittamalla estimaattorit a, a 2,, a p momettie α, α 2,, α p paikalle yhtälöihi (2), saadaa parametrie θ, θ 2,, θ p momettiestimaattorit eli MM-estimaattorit ˆ θ = h( a, a2,, ap ) ˆ (3) θ2 = h2( a, a2,, ap ) ˆ θ p = hp( a, a2,, ap) TKK (c) Ilkka Melli (2007) 54

55 Momettimeetelmä Kommetteja Moet todeäköisyysjakaumat o parametroitu jakauma (origo-) mometeilla tai keskusmometeilla: (i) Jos jakauma parametreia o jakauma (origo-) mometteja, vastaavat otosmometit ovat ko. parametrie momettiestimaattoreita. (ii) Jos jakauma parametreia o jakauma keskusmometteja, vastaavat otoskeskusmometit ovat ko. parametrie momettiestimaattoreita. TKK (c) Ilkka Melli (2007) 55

56 Momettimeetelmä Momettiestimaattoreide omiaisuudet Olkoo X, X 2,, X yksikertaie satuaisotos jakaumasta f X (x ; θ), joka parametria o θ. Olkoo θˆ parametri θ momettiestimaattori eli MMestimaattori. Hyvä estimaattori o harhato, tyhjetävä, tehokas ja tarketuva (ks. lukua Estimoiti). MM-estimaattori ei välttämättä täytä yhtäkää hyvä estimaattori kriteeriä, jote momettimeetelmää käytettäessä o aia eriksee varmistettava tuloksea saadu estimaattori hyvyys. TKK (c) Ilkka Melli (2007) 56

57 Momettimeetelmä Momettimeetelmä vs suurimma uskottavuude meetelmä Momettimeetelmä ei tuota todeäköisyysjakauma parametreille välttämättä samoja estimaattoreita kui suurimma uskottavuude meetelmä. Moissa alkeellisissa tilateissa molemmilla meetelmillä saadaa kuiteki samat estimaattorit. Momettimeetelmä o meetelmistä vahempi ja se perustuu aiivii aalogia-periaatteesee: Teoreettiset mometit voidaa estimoida vastaavilla otossuureilla. Suurimma uskottavuude meetelmä o hyvi pitkälti syrjäyttäyt momettimeetelmä todeäköisyysjakaumie parametrie estimaattoreita johdettaessa. TKK (c) Ilkka Melli (2007) 57

58 Momettimeetelmä Esimerkkejä /2 Olkoo X, X 2,, X yksikertaie satuaisotos jakaumasta f(x ; θ), joka parametria o θ. Tarkastellaa seuraavie jakaumie parametrie MM-estimoitia eli estimoitia momettimeetelmällä (ks. moistee Todeäköisyyslasketa lukuja Diskreettejä jakaumia ja Jatkuvia jakaumia): Normaalijakauma Ekspoettijakauma Beroulli-jakauma TKK (c) Ilkka Melli (2007) 58

59 Momettimeetelmä Esimerkkejä 2/2 Huomautuksia: Normaalijakauma, ekspoettijakauma ja Beroulli-jakauma parametrie estimoitia suurimma uskottavuude meetelmällä o tarkasteltu edellisessä kohdassa. Normaalijakauma, ekspoettijakauma ja Beroulli-jakauma tapauksessa momettimeetelmä ja suurimma uskottavuude meetelmä tuottavat jakaumie parametreille samat estimaattorit. Estimaattoreide omiaisuuksia o käsitelty suurimma uskottavuude meetelmä soveltamise yhteydessä. TKK (c) Ilkka Melli (2007) 59

60 Normaalijakauma parametrie estimoiti momettimeetelmällä Normaalijakauma ja se parametroiti Satuaismuuttuja X oudattaa ormaalijakaumaa N(µ, σ 2 ), jos se tiheysfuktio o 2 2 x µ f( x; µσ, ) = exp σ 2π 2 σ < µ < +, σ > 0 Normaalijakauma parametreia ovat jakauma odotusarvo E( X ) = µ ja variassi Var( X ) 2 = σ TKK (c) Ilkka Melli (2007) 60

61 Normaalijakauma parametrie estimoiti momettimeetelmällä Normaalijakauma parametrie ja momettie yhteys Määritellää satuaismuuttuja X. ja 2. mometti kaavalla k α k = E( X ), k =,2 Normaalijakauma parametrie µ ja σ 2 sekä momettie α ja α 2 välillä o seuraava bijektio: (i) Parametrit lausuttuia momettie fuktioia: µ = E( X ) = α σ = Var( X) = E[( X µ ) ] = E( X ) µ = α2 α (ii) Mometit lausuttuia parametrie fuktioia: α = E( X ) = µ α2 = E( X ) = σ + µ TKK (c) Ilkka Melli (2007) 6

62 Normaalijakauma parametrie estimoiti momettimeetelmällä Otos ormaalijakaumasta Olkoo X, X 2,, X yksikertaie satuaisotos ormaalijakaumasta N(µ, σ 2 ) Tällöi havaiot X, X 2,, X ovat riippumattomia, samaa ormaalijakaumaa N(µ, σ 2 ) oudattavia satuaismuuttujia. TKK (c) Ilkka Melli (2007) 62

63 Normaalijakauma parametrie estimoiti momettimeetelmällä Normaalijakauma parametrie momettiestimaattorit /2 Määritellää havaitoje X, X 2,, X. ja 2. otosmometti kaavalla k ak = Xi, k =,2 i = Site ormaalijakauma N(µ, σ 2 ) parametrie µ ja σ 2 MM-estimaattorit eli momettiestimaattorit ovat ˆ µ = a = Xi i= ˆ σ = a2 a = Xi a i= TKK (c) Ilkka Melli (2007) 63

64 Normaalijakauma parametrie estimoiti momettimeetelmällä Normaalijakauma parametrie momettiestimaattorit 2/2 Odotusarvo µ momettiestimaattori ˆ µ = a = Xi = X i= o havaitoje X, X 2,, X aritmeettie keskiarvo. Variassi σ 2 momettiestimaattori ˆ σ = a2 a = Xi X = ( Xi X) = m2 i= i= o havaitoje X, X 2,, X otosvariassi eli 2. keskusmometti. TKK (c) Ilkka Melli (2007) 64

65 Ekspoettijakauma parametrie estimoiti momettimeetelmällä Ekspoettijakauma ja se parametroiti Satuaismuuttuja X oudattaa ekspoettijakaumaa Exp(λ), jos se tiheysfuktio o f ( x; λ) = λexp( λx), x 0, λ > 0 Ekspoettijakauma aioa parametri λ = E( X ) voidaa tulkita sopivat ehdot toteuttavassa jootapahtumassa. tapahtuma odotusajaksi tai tapahtumaitesiteetiksi. TKK (c) Ilkka Melli (2007) 65

66 Ekspoettijakauma parametrie estimoiti momettimeetelmällä Ekspoettijakauma parametri ja. mometi yhteys Määritellää satuaismuuttuja X. mometti kaavalla α = E( X ) Ekspoettijakauma parametri λ ja. mometi α välillä o seuraava bijektio: (i) Parametri λ lausuttua mometi α fuktioa: λ = = E( X ) α (ii) Mometti α lausuttua parametri λ fuktioa: α = E( X ) = λ TKK (c) Ilkka Melli (2007) 66

67 Ekspoettijakauma parametrie estimoiti momettimeetelmällä Otos ekspoettijakaumasta Olkoo X, X 2,, X yksikertaie satuaisotos ekspoettijakaumasta Exp(λ) Tällöi havaiot X, X 2,, X ovat riippumattomia, samaa ekspoettijakaumaa Exp(λ) oudattavia satuaismuuttujia. TKK (c) Ilkka Melli (2007) 67

68 Ekspoettijakauma parametrie estimoiti momettimeetelmällä Ekspoettijakauma parametri momettiestimaattori Määritellää havaitoje X, X 2,, X. otosmometti kaavalla a Xi i = = Site ekspoettijakauma Exp(λ) parametri λ MM-estimaattori eli momettiestimaattori o ˆ λ = = a X jossa X = a o havaitoje X, X 2,, X aritmeettie keskiarvo. TKK (c) Ilkka Melli (2007) 68

69 Beroulli-jakauma parametrie estimoiti momettimeetelmällä Beroulli-jakauma ja se parametroiti Olkoo A tapahtuma, joka todeäköisyys o p: Pr(A) = p Määritellää satuaismuuttuja X seuraavasti:, jos A tapahtuu X = 0, jos A ei tapahdu Satuaismuuttuja X oudattaa Beroulli-jakaumaa Ber(p) ja se pistetodeäköisyysfuktio o x x f ( xp ; ) = p( p), x= 0,;0< p< Beroulli-jakauma aioa parametri p yhtyy jakauma odotusarvoo: p = E(X) TKK (c) Ilkka Melli (2007) 69

70 Beroulli-jakauma parametrie estimoiti momettimeetelmällä Beroulli-jakauma odotusarvoparametri ja. mometi yhteys Määritellää satuaismuuttuja X. mometti kaavalla α = E( X ) Beroulli-jakauma odotusarvoparametri p ja. mometi α välillä o seuraava bijektio: (i) Parametri p lausuttua mometi α fuktioa: p = E(X) = α (ii) Mometti α lausuttua parametri p fuktioa: α = E(X) = p TKK (c) Ilkka Melli (2007) 70

71 Beroulli-jakauma parametrie estimoiti momettimeetelmällä Otos Beroulli-jakaumasta Olkoo X, X 2,, X yksikertaie satuaisotos Beroulli-jakaumasta Ber(p) Tällöi havaiot X, X 2,, X ovat riippumattomia, samaa Beroulli-jakaumaa Ber(p) oudattavia satuaismuuttujia. TKK (c) Ilkka Melli (2007) 7

72 Beroulli-jakauma parametrie estimoiti momettimeetelmällä Beroulli-jakauma odotusarvoparametri momettiestimaattori /2 Määritellää havaitoje X, X 2,, X. otosmometti kaavalla a Xi i = = Site Beroulli-jakauma Ber(p) odotusarvoparametri p MM-estimaattori eli momettiestimaattori o ˆp = a = X jossa X = a o havaitoje X, X 2,, X aritmeettie keskiarvo. TKK (c) Ilkka Melli (2007) 72

73 Beroulli-jakauma parametrie estimoiti momettimeetelmällä Beroulli-jakauma odotusarvoparametri momettiestimaattori 2/2 Koska ii X i i=, jos A tapahtuu = 0, jos A ei tapahdu X i = f jossa f o tapahtuma A frekvessi otoksessa. Site Beroulli-jakauma odotusarvoparametri p momettiestimaattori f pˆ = Xi = i= o tapahtuma A suhteellie frekvessi otoksessa. TKK (c) Ilkka Melli (2007) 73