Johdatus tilastotieteeseen Estimointimenetelmät. TKK (c) Ilkka Mellin (2005) 1

Transkriptio

1 Johdatus tilastotieteesee Estimoitimeetelmät TKK (c) Ilkka Melli (2005) 1

2 Estimoitimeetelmät Todeäköisyysjakaumie parametrie estimoiti Momettimeetelmä Normaalijakauma parametrie estimoiti Ekspoettijakauma parametrie estimoiti Beroulli-jakauma parametrie estimoiti Suurimma uskottavuude meetelmä Normaalijakauma parametrie estimoiti Ekspoettijakauma parametrie estimoiti Beroulli-jakauma parametrie estimoiti TKK (c) Ilkka Melli (2005) 2

3 Estimoitimeetelmät: Mitä opimme? 1/3 Tilastollise tutkimukse tavoitteea o tehdä johtopäätöksiä prosesseista, jotka geeroivat reaalimaailma ilmiöitä koskevia havaitoja. Tavoitteesee pyritää raketamalla tilastollie malli sille prosessille, joka o geeroiut tutkimukse kohteea olevaa ilmiötä koskevat havaiot. Koska tilastollisissa tutkimusasetelmissa havaitoihi liittyy aia satuaisuutta tai epävarmuutta, tilastolliset mallit ovat luoteeltaa todeäköisyysmalleja. Tilastollie malli o täysi määrätty, jos havaitoje todeäköisyysjakauma tuetaa. TKK (c) Ilkka Melli (2005) 3

4 Estimoitimeetelmät: Mitä opimme? 2/3 Havaitoje todeäköisyysjakauma määräävät jakauma karakteristisia omiaisuuksia kuvaavat parametrit, joide arvoja ei sovellustilateessa yleesä tueta. Jos jakauma tutemattomille parametreille ei löydetä hyviä estimaatteja eli arvioita, jakaumaa ei voida käyttää mallia sille prosessille, joka o geeroiut tutkimukse kohteea olevaa ilmiötä koskevat havaiot. Tilastollise tutkimukse tärkeimpiä osatehtäviä o estimoida eli arvioida havaiot geeroiee prosessi mallia käytettävä todeäköisyysjakauma tutemattomat parametrit ilmiötä koskevie havaitoje perusteella. TKK (c) Ilkka Melli (2005) 4

5 Estimoitimeetelmät: Mitä opimme? 3/3 Havaitoje fuktiota, joka tuottaa estimaatteja eli arvioita todeäköisyysjakauma tutemattoma parametri todelliselle arvolle, kutsutaa parametri estimaattoriksi. Tilastotietee tärkeimpiä osatehtäviä o hyvie estimaattoreide johtamie todeäköisyysjakauma parametreille. Parametrie estimaattoreide johtamisee käytetää tavallisesti joko suurimma uskottavuude meetelmää tai momettimeetelmää. Todeäköisyysjakauma tutemattomie parametrie arvoje määräämistä kutsutaa tavallisesti piste-estimoiiksi. Todeäköisyysjakauma parametri estimaattii o aia syytä liittää luottamusväliksi kutsuttu väli, joka sisältää parametri todellise arvo, tietyllä, soveltaja valittavissa olevalla todeäköisyydellä. Ks. lukua Väliestimoiti. TKK (c) Ilkka Melli (2005) 5

6 Estimoitimeetelmät: Esitiedot Esitiedot: ks. seuraavia lukuja: Tilastolliste aieistoje keräämie ja mittaamie Tilastolliste aieistoje kuvaamie Otos ja otosjakaumat Estimoiti Tarvitset esitietoja myös seuraavista kalvokokoelma Johdatus todeäköisyyslasketaa luvuista: Satuaismuuttujat ja todeäköisyysjakaumat Jakaumie tuusluvut Diskreettejä jakaumia Jatkuvia jakaumia TKK (c) Ilkka Melli (2005) 6

7 Estimoitimeetelmät: Lisätiedot Luottamusvälie määräämistä todeäköisyysjakaumie parametreille käsitellää luvussa Väliestimoiti Todeäköisyysjakaumie parametreja koskevie tilastolliste hypoteesie testaamista käsitellää luvuissa Tilastolliset testit Testit suhdeasteikollisille muuttujille Jakaumaoletuksie testaamista käsitellää luvussa Yhteesopivuude, homogeeisuude ja riippumattomuude testaamie TKK (c) Ilkka Melli (2005) 7

8 Estimoitimeetelmät >> Todeäköisyysjakaumie parametrie estimoiti Momettimeetelmä Normaalijakauma parametrie estimoiti Ekspoettijakauma parametrie estimoiti Beroulli-jakauma parametrie estimoiti Suurimma uskottavuude meetelmä Normaalijakauma parametrie estimoiti Ekspoettijakauma parametrie estimoiti Beroulli-jakauma parametrie estimoiti TKK (c) Ilkka Melli (2005) 8

9 Todeäköisyysjakaumie parametrie estimoiti Avaisaat Estimaatti Estimaattori Estimoiti Havaito Havaitoarvo Otosjakauma Parametri Tilastollie aieisto Tilastollie malli Todeäköisyysjakauma Yksikertaie satuaisotos TKK (c) Ilkka Melli (2005) 9

10 Todeäköisyysjakaumie parametrie estimoiti Todeäköisyysjakaumat tilastolliste aieistoje kuvaajia Tilastollie aieisto koostuu tutkimukse kohteita kuvaavie muuttujie havaituista arvoista. Tilastollisissa tutkimusasetelmissa havaitoarvoihi liittyy aia epävarmuutta ja satuaisuutta. Tilastollisissa tutkimusasetelmissa tutkimukse kohteita kuvaavat muuttujat tulkitaa satuaismuuttujiksi, jotka geeroivat muuttujie havaitut arvot. Tilastollisella mallilla tarkoitetaa havaitoarvot geeroieide satuaismuuttujie todeäköisyysjakaumaa. TKK (c) Ilkka Melli (2005) 10

11 Todeäköisyysjakaumie parametrie estimoiti Todeäköisyysjakaumie parametrit 1/2 Tarkastellaa jotaki tutkimukse kaikkie mahdolliste kohteide muodostama perusjouko S alkioide omiaisuutta kuvaavaa satuaismuuttujaa X. Oletetaa, että satuaismuuttuja X oudattaa todeäköisyysjakaumaa, joka pistetodeäköisyys-tai tiheysfuktio f(x ; θ) riippuu parametrista θ. Merkitä: X ~ f( x; θ ) TKK (c) Ilkka Melli (2005) 11

12 Todeäköisyysjakaumie parametrie estimoiti Todeäköisyysjakaumie parametrit 2/2 Satuaismuuttuja X pistetodeäköisyys- tai tiheysfuktio f(x ; θ) kuvaa satuaismuuttuja X todeäköisyysjakaumaa ja parametri θ kuvaa jotaki jakauma karakteristista omiaisuutta. Koska parametri θ arvoa ei yleesä tueta, tilastollise tutkimukse tärkeimpiä osatehtäviä o estimoida eli arvioida tutemattomalle parametrille θ sopiva arvo jakaumasta f(x ; θ) poimitu otokse perusteella. TKK (c) Ilkka Melli (2005) 12

13 Todeäköisyysjakaumie parametrie estimoiti Yksikertaie satuaisotos Olkoo X 1, X 2,, X yksikertaie satuaisotos jakaumasta, joka pistetodeäköisyys- tai tiheysfuktio f(x ; θ) riippuu parametrista θ. Tällöi havaiot X 1, X 2,, X ovat riippumattomia, idettisesti jakautueita satuaismuuttujia, joilla o sama pistetodeäköisyys- tai tiheysfuktio f(x ; θ): X1, X2,, X X ~ f( x; θ ), i = 1,2,, i TKK (c) Ilkka Melli (2005) 13

14 Todeäköisyysjakaumie parametrie estimoiti Havaiot ja havaitoarvot Oletetaa, että satuaismuuttujat (havaiot) X 1, X 2,, X saavat poimitussa otoksessa havaituiksi arvoiksee luvut x 1, x 2,, x Havaitoarvot x 1, x 2,, x vaihtelevat satuaisesti otoksesta toisee jakaumasta f(x ; θ) saatavi todeäköisyyksi. TKK (c) Ilkka Melli (2005) 14

15 Todeäköisyysjakaumie parametrie estimoiti Estimaattorit ja estimaatit 1/2 Oletetaa, että todeäköisyysjakauma f(x ; θ) parametri θ estimoimisee käytetää satuaismuuttujie X 1, X 2,, X fuktiota eli tuuslukua T = g(x 1, X 2,, X ) Tällöi fuktiota T = g(x 1, X 2,, X ) kutsutaa parametri θ estimaattoriksi ja havaitoarvoista x 1, x 2,, x laskettua fuktio g arvoa t = g(x 1, x 2,, x ) kutsutaa parametri θ estimaatiksi. TKK (c) Ilkka Melli (2005) 15

16 Todeäköisyysjakaumie parametrie estimoiti Estimaattorit ja estimaatit 2/2 Olkoo T = g(x 1, X 2,, X ) jakauma f(x ; θ) parametri θ estimaattori. Tällöi estimaattori T havaitoarvoista x 1, x 2,, x laskettu arvo eli estimaatti t = g(x 1, x 2,, x ) o satuaismuuttuja T arvo realisaatio otoksessa. TKK (c) Ilkka Melli (2005) 16

17 Todeäköisyysjakaumie parametrie estimoiti Estimaattoreide johtamie Hyvie estimaattoreide johtamie todeäköisyysjakaumie tutemattomille parametreille o teoreettise tilastotietee keskeisiä ogelmia. Tässä luvussa esitellää seuraavat estimaattoreide johtamisee käytettävät meetelmät: Momettimeetelmä Suurimma uskottavuude meetelmä Estimoitimeetelmistä tärkei o suurimma uskottavuude meetelmä, mutta seuraavassa käsitellää esi momettimeetelmää. TKK (c) Ilkka Melli (2005) 17

18 Todeäköisyysjakaumie parametrie estimoiti Piste-estimoiti ja väliestimoiti Todeäköisyysjakauma parametri arvo estimoitia kutsutaa usei piste-estimoiiksi. Parametri estimaattii o aia syytä liittää luottamusväliksi kutsuttu väli, joka sisältää estimoidu parametri todellise, mutta tutemattoma arvo tietyllä, soveltaja valittavissa olevalla todeäköisyydellä. Luottamusväli määräämistä kutsutaa väliestimoiiksi; ks. lukua Väliestimoiti. TKK (c) Ilkka Melli (2005) 18

19 Estimoitimeetelmät Todeäköisyysjakaumie parametrie estimoiti >> Momettimeetelmä Normaalijakauma parametrie estimoiti Ekspoettijakauma parametrie estimoiti Beroulli-jakauma parametrie estimoiti Suurimma uskottavuude meetelmä Normaalijakauma parametrie estimoiti Ekspoettijakauma parametrie estimoiti Beroulli-jakauma parametrie estimoiti TKK (c) Ilkka Melli (2005) 19

20 Momettimeetelmä Avaisaat Beroulli-jakauma Ekspoettijakauma Momettiestimaattori Momettimeetelmä Normaalijakauma TKK (c) Ilkka Melli (2005) 20

21 Momettimeetelmä Mometit Olkoo X 1, X 2,, X yksikertaie satuaisotos jakaumasta f(x ; θ), joka parametria o p-vektori θ = (θ 1, θ 2,, θ p ) Oletetaa, että jakaumalla f(x ; θ) o kaikki (origo-) mometit kertalukuu p saakka (ks. kalvokokoelma Johdatus todeäköisyyslasketaa lukua Jakaumie tuusluvut): k E( X ) = α, k = 1,2,, p, i = 1,2,, i k TKK (c) Ilkka Melli (2005) 21

22 Momettimeetelmä Parametrie ja momettie yhteys 1/2 Oletetaa, että momettie α 1, α 2,, α p ja parametrie θ 1, θ 2,, θ p välillä o jatkuva bijektio eli käätäe yksikäsitteie kuvaus: α1 = g1( θ1, θ2,, θp ) α2 = g2( θ1, θ2,, θp ) (1) αp = g p( θ1, θ2,, θp) TKK (c) Ilkka Melli (2005) 22

23 Momettimeetelmä Parametrie ja momettie yhteys 2/2 Tällöi parametrit θ 1, θ 2,, θ p voidaa esittää momettie α 1, α 2,, α p fuktioia: θ1 = h1( α1, α2,, αp ) θ2 = h2( α1, α2,, αp ) (2) θp = hp( α1, α2,, αp) TKK (c) Ilkka Melli (2005) 23

24 Momettimeetelmä Momettiestimaattorit Estimoidaa mometit α 1, α 2,, α p vastaavilla otosmometeilla (ks. lukua Tilastolliste aieistoje kuvaamie): a k 1 k Xi i = 1 = Sijoittamalla estimaattorit a 1, a 2,, a p momettie α 1, α 2,, α p paikalle yhtälöihi (2), saadaa parametrie θ 1, θ 2,, θ p momettiestimaattorit eli MM-estimaattorit θˆ 1 = h1( a1, a2,, ap ) ˆ (3) θ2 = h2( a1, a2,, ap ) ˆ θ p = hp( a1, a2,, ap) TKK (c) Ilkka Melli (2005) 24

25 Momettimeetelmä Kommetteja Moet todeäköisyysjakaumat o parametroitu jakauma (origo-) mometeilla tai keskusmometeilla: (i) Jos jakauma parametreia o jakauma (origo-) mometteja, vastaavat otosmometit ovat ko. parametrie momettiestimaattoreita. (ii) Jos jakauma parametreia o jakauma keskusmometteja, vastaavat otoskeskusmometit ovat ko. parametrie momettiestimaattoreita. TKK (c) Ilkka Melli (2005) 25

26 Momettimeetelmä Momettiestimaattoreide omiaisuudet Olkoo X 1, X 2,, X yksikertaie satuaisotos jakaumasta f X (x ; θ), joka parametria o θ. Olkoo θˆ parametri θ momettiestimaattori eli MMestimaattori. Hyvä estimaattori o harhato, tyhjetävä, tehokas ja tarketuva (ks. lukua Estimoiti). MM-estimaattori θˆ ei välttämättä täytä hyvä estimaattori kriteereitä, jote momettimeetelmää käytettäessä o aia eriksee varmistettava tuloksea saadu estimaattori hyvyys. TKK (c) Ilkka Melli (2005) 26

27 Momettimeetelmä Momettimeetelmä vs suurimma uskottavuude meetelmä Momettimeetelmä ei tuota todeäköisyysjakauma parametreille välttämättä samoja estimaattoreita kui suurimma uskottavuude meetelmä. Moissa alkeellisissa tilateissa molemmilla meetelmillä saadaa kuiteki samat estimaattorit. Momettimeetelmä o meetelmistä vahempi ja se taustalla o aiivi aalogia-periaate: Teoreettiset mometit estimoidaa vastaavilla otossuureilla. Suurimma uskottavuude meetelmä o hyvi pitkälti syrjäyttäyt momettimeetelmä todeäköisyysjakaumie parametrie estimaattoreita johdettaessa. TKK (c) Ilkka Melli (2005) 27

28 Momettimeetelmä Esimerkkejä 1/2 Olkoo X 1, X 2,, X yksikertaie satuaisotos jakaumasta f(x ; θ), joka parametria o θ. Tarkastellaa seuraavie jakaumie parametrie MM-estimoitia eli estimoitia momettimeetelmällä (ks. kalvokokoelma Johdatus todeäköisyyslasketaa lukuja Diskreettejä jakaumia ja Jatkuvia jakaumia): Normaalijakauma Ekspoettijakauma Beroulli-jakauma TKK (c) Ilkka Melli (2005) 28

29 Momettimeetelmä Esimerkkejä 2/2 Huomautuksia: Normaalijakauma, ekspoettijakauma ja Beroulli-jakauma parametrie estimoitia suurimma uskottavuude meetelmällä tarkastellaa myöhemmi tässä esityksessä. Normaalijakauma, ekspoettijakauma ja Beroulli-jakauma tapauksessa momettimeetelmä ja suurimma uskottavuude meetelmä tuottavat jakaumie parametreille samat estimaattorit. Estimaattoreide omiaisuuksia käsitellää suurimma uskottavuude meetelmä soveltamise yhteydessä. TKK (c) Ilkka Melli (2005) 29

30 Normaalijakauma parametrie estimoiti momettimeetelmällä Normaalijakauma ja se parametroiti Satuaismuuttuja X oudattaa ormaalijakaumaa N(µ, σ 2 ), jos se tiheysfuktio o x µ f( x; µσ, ) = exp σ 2π 2 σ < µ < +, σ > 0 Normaalijakauma parametreia ovat jakauma odotusarvo E( X ) = µ ja variassi Var( X ) = σ 2 TKK (c) Ilkka Melli (2005) 30

31 Normaalijakauma parametrie estimoiti momettimeetelmällä Normaalijakauma parametrie ja momettie yhteys Määritellää satuaismuuttuja X 1. ja 2. mometti kaavalla k α k = E( X ), k = 1,2 Normaalijakauma parametrie µ ja σ 2 sekä momettie α 1 ja α 2 välillä o seuraava bijektio: (i) Parametrit lausuttuia momettie fuktioia: µ = E( X ) = α σ = Var( X) = E[( X µ ) ] = E( X ) µ = α2 α1 (ii) Mometit lausuttuia parametrie fuktioia: α 1 = E( X ) = µ α2 = E( X ) = σ + µ TKK (c) Ilkka Melli (2005) 31

32 Normaalijakauma parametrie estimoiti momettimeetelmällä Otos ormaalijakaumasta Olkoo X 1, X 2,, X yksikertaie satuaisotos ormaalijakaumasta N(µ, σ 2 ) Tällöi havaiot X 1, X 2,, X ovat riippumattomia, samaa ormaalijakaumaa N(µ, σ 2 ) oudattavia satuaismuuttujia. TKK (c) Ilkka Melli (2005) 32

33 Normaalijakauma parametrie estimoiti momettimeetelmällä Normaalijakauma parametrie momettiestimaattorit 1/2 Määritellää havaitoje X 1, X 2,, X 1. ja 2. otosmometti kaavalla 1 k ak = Xi, k = 1,2 i = 1 Site ormaalijakauma N(µ, σ 2 ) parametrie µ ja σ 2 MM-estimaattorit eli momettiestimaattorit ovat 1 ˆ µ = a1 = Xi i= σˆ = a 2 a = 1 Xi a1 i= 1 TKK (c) Ilkka Melli (2005) 33

34 Normaalijakauma parametrie estimoiti momettimeetelmällä Normaalijakauma parametrie momettiestimaattorit 2/2 Odotusarvo µ momettiestimaattori 1 ˆ µ = a1 = Xi = X i= 1 o havaitoje X 1, X 2,, X aritmeettie keskiarvo. Variassi σ 2 momettiestimaattori σˆ = a2 a1 = Xi X = ( Xi X) = m2 i= 1 i= 1 o havaitoje X 1, X 2,, X otosvariassi eli 2. keskusmometti. TKK (c) Ilkka Melli (2005) 34

35 Ekspoettijakauma parametrie estimoiti momettimeetelmällä Ekspoettijakauma ja se parametroiti Satuaismuuttuja X oudattaa ekspoettijakaumaa Exp(λ), jos se tiheysfuktio o f ( x; λ) = λexp( λx), x 0, λ > 0 Ekspoettijakauma aioa parametri λ = 1 E( X ) voidaa tulkita sopivat ehdot toteuttavassa jootapahtumassa 1. tapahtuma odotusajaksi tai tapahtumaitesiteetiksi. TKK (c) Ilkka Melli (2005) 35

36 Ekspoettijakauma parametrie estimoiti momettimeetelmällä Ekspoettijakauma parametri ja 1. mometi yhteys Määritellää satuaismuuttuja X 1. mometti kaavalla α 1 = E( X ) Ekspoettijakauma parametri λ ja 1. mometi α 1 välillä o seuraava bijektio: (i) Parametri λ lausuttua mometi α 1 fuktioa: 1 1 λ = = E( X ) α 1 (ii) Mometti α 1 lausuttua parametri λ fuktioa: 1 α1 = E( X ) = λ TKK (c) Ilkka Melli (2005) 36

37 Ekspoettijakauma parametrie estimoiti momettimeetelmällä Otos ekspoettijakaumasta Olkoo X 1, X 2,, X yksikertaie satuaisotos ekspoettijakaumasta Exp(λ) Tällöi havaiot X 1, X 2,, X ovat riippumattomia, samaa ekspoettijakaumaa Exp(λ) oudattavia satuaismuuttujia. TKK (c) Ilkka Melli (2005) 37

38 Ekspoettijakauma parametrie estimoiti momettimeetelmällä Ekspoettijakauma parametri momettiestimaattori Määritellää havaitoje X 1, X 2,, X 1. otosmometti kaavalla a 1 1 Xi i = 1 = Site ekspoettijakauma Exp(λ) parametri λ MM-estimaattori eli momettiestimaattori o ˆ 1 1 λ = = a X 1 jossa X = a 1 o havaitoje X 1, X 2,, X aritmeettie keskiarvo. TKK (c) Ilkka Melli (2005) 38

39 Beroulli-jakauma parametrie estimoiti momettimeetelmällä Beroulli-jakauma ja se parametroiti Olkoo A tapahtuma, joka todeäköisyys o p: Pr(A) = p Määritellää satuaismuuttuja X seuraavasti: 1, jos A tapahtuu X = 0, jos A ei tapahdu Satuaismuuttuja X oudattaa Beroulli-jakaumaa Ber(p) ja se pistetodeäköisyysfuktio o x 1 x f ( xp ; ) = p(1 p), x= 0,1;0< p< 1 Beroulli-jakauma aioa parametri p yhtyy jakauma odotusarvoo: p = E(X) TKK (c) Ilkka Melli (2005) 39

40 Beroulli-jakauma parametrie estimoiti momettimeetelmällä Beroulli-jakauma odotusarvoparametri ja 1. mometi yhteys Määritellää satuaismuuttuja X 1. mometti kaavalla α 1 = E( X ) Beroulli-jakauma odotusarvoparametri p ja 1. mometi α 1 välillä o seuraava bijektio: (i) Parametri p lausuttua mometi α 1 fuktioa: p = E(X) = α 1 (ii) Mometti α 1 lausuttua parametri p fuktioa: α 1 = E(X) = p TKK (c) Ilkka Melli (2005) 40

41 Beroulli-jakauma parametrie estimoiti momettimeetelmällä Otos Beroulli-jakaumasta Olkoo X 1, X 2,, X yksikertaie satuaisotos Beroulli-jakaumasta Ber(p) Tällöi havaiot X 1, X 2,, X ovat riippumattomia, samaa Beroulli-jakaumaa Ber(p) oudattavia satuaismuuttujia. TKK (c) Ilkka Melli (2005) 41

42 Beroulli-jakauma parametrie estimoiti momettimeetelmällä Beroulli-jakauma odotusarvoparametri momettiestimaattori 1/2 Määritellää havaitoje X 1, X 2,, X 1. otosmometti kaavalla a 1 1 Xi i = 1 = Site Beroulli-jakauma Ber(p) odotusarvoparametri p MM-estimaattori eli momettiestimaattori o ˆp = a1 = X jossa X = a 1 o havaitoje X 1, X 2,, X aritmeettie keskiarvo. TKK (c) Ilkka Melli (2005) 42

43 Beroulli-jakauma parametrie estimoiti momettimeetelmällä Beroulli-jakauma odotusarvoparametri momettiestimaattori 2/2 Koska ii X i i= 1 1, jos A tapahtuu = 0, jos A ei tapahdu X i = f jossa f o tapahtuma A frekvessi otoksessa. Site Beroulli-jakauma odotusarvoparametri p momettiestimaattori 1 f pˆ = Xi = i= 1 o tapahtuma A suhteellie frekvessi otoksessa. TKK (c) Ilkka Melli (2005) 43

44 Estimoitimeetelmät Todeäköisyysjakaumie parametrie estimoiti Momettimeetelmä Normaalijakauma parametrie estimoiti Ekspoettijakauma parametrie estimoiti Beroulli-jakauma parametrie estimoiti >> Suurimma uskottavuude meetelmä Normaalijakauma parametrie estimoiti Ekspoettijakauma parametrie estimoiti Beroulli-jakauma parametrie estimoiti TKK (c) Ilkka Melli (2005) 44

45 Suurimma uskottavuude meetelmä Avaisaat Beroulli-jakauma Ekspoettijakauma Normaalijakauma Suurimma uskottavuude estimaattori Suurimma uskottavuude meetelmä TKK (c) Ilkka Melli (2005) 45

46 Suurimma uskottavuude meetelmä Uskottavuusfuktio 1/2 Olkoo X 1, X 2,, X yksikertaie satuaisotos jakaumasta f(x ; θ), joka parametria o θ. Koska havaiot X 1, X 2,, X o oletettu tässä riippumattomiksi, iide yhteisjakauma pistetodeäköisyys- tai tiheysfuktio o f ( x1, x2,, x ; θ ) = f( x1; θ) f( x2 ; θ) f( x ; θ) jossa f ( xi ; θ ), i = 1,2,, o havaitoo X i liittyvä pistetodeäköisyys- tai tiheysfuktio. TKK (c) Ilkka Melli (2005) 46

47 Suurimma uskottavuude meetelmä Uskottavuusfuktio 2/2 Otokse X 1, X 2,, X uskottavuusfuktio L( θ ; x, x,, x ) = f( x, x,, x ; θ) o havaitoje X 1, X 2,, X yhteisjakauma pistetodeäköisyys- tai tiheysfuktio f arvo pisteessä x 1, x 2,, x tulkittua parametri θ arvoje fuktioksi. Huomautus: Uskottavuusfuktio L sisältää kaike iformaatio otoksesta. TKK (c) Ilkka Melli (2005) 47

48 Suurimma uskottavuude meetelmä Suurimma uskottavuude estimaattori 1/2 Olkoo t = g( x1, x2,, x ) parametri θ arvo, joka maksimoi uskottavuusfuktio L( θ ; x1, x2,, x ) parametri θ suhtee. Huomautus: Uskottavuusfuktio L maksimi atava parametri θ arvo t o muuttujie (havaitoarvoje) x 1, x 2,, x fuktio. TKK (c) Ilkka Melli (2005) 48

49 Suurimma uskottavuude meetelmä Suurimma uskottavuude estimaattori 2/2 Sijoittamalla uskottavuusfuktio L maksimi parametri θ suhtee atavassa lausekkeessa t = g( x1, x2,, x ) muuttujie x 1, x 2,, x paikalle havaiot X 1, X 2,, X saadaa parametri θ suurimma uskottavuude estimaattori eli SU-estimaattori θ ˆ = g( X1, X2,, X ) TKK (c) Ilkka Melli (2005) 49

50 Suurimma uskottavuude meetelmä Kommetteja Parametri θ suurimma uskottavuude estimaattori θˆ tuottaa parametrille θ arvo, joka maksimoi poimitu otokse eli saatuje havaitoarvoje uskottavuude (todeäköisyyde). Parametri θ suurimma uskottavuude estimaattori θˆ otoskohtaie arvo maksimoi todeäköisyyde saada juuri se otos, joka o saatu. TKK (c) Ilkka Melli (2005) 50

51 Suurimma uskottavuude meetelmä SU-estimaattori määräämie 1/2 Parametri θ suurimma uskottavuude estimaattori määrätää maksimoimalla uskottavuusfuktio L( θ) = L( θ ; x1, x2,, x ) parametri θ suhtee. Kaikissa sääöllisissä tapauksissa maksimi löydetää merkitsemällä uskottavuusfuktio L(θ) derivaatta L (θ) ollaksi ja ratkaisemalla θ saadusta ormaaliyhtälöstä L (θ) = 0 TKK (c) Ilkka Melli (2005) 51

52 Suurimma uskottavuude meetelmä SU-estimaattori määräämie 2/2 Jos parametri θ arvo t = g( x1, x2,, x ) tuottaa uskottavuusfuktio L(θ) maksimi, parametri θ suurimma uskottavuude estimaattori o θ ˆ = g( X1, X2,, X ) jossa X 1, X 2,, X o yksikertaie satuaisotos siitä jakaumasta, joho uskottavuusfuktio L(θ) liittyy. TKK (c) Ilkka Melli (2005) 52

53 Suurimma uskottavuude meetelmä Logaritmie uskottavuusfuktio 1/3 Uskottavuusfuktio maksimi kaattaa tavallisesti etsiä maksimoimalla uskottavuusfuktio sijasta logaritmista uskottavuusfuktiota (uskottavuusfuktio logaritmia) l( θ) = log L( θ) Tämä johtuu seuraavista seikoista: (i) Logaritmie uskottavuusfuktio ja uskottavuusfuktio saavuttavat ääriarvosa samassa pisteessä, koska logaritmi o aidosti mootoie fuktio. (ii) Logaritmie uskottavuusfuktio o moie todeäköisyysjakaumie tapauksessa uskottavuusfuktiota yksikertaisempi muodoltaa. TKK (c) Ilkka Melli (2005) 53

54 Suurimma uskottavuude meetelmä Logaritmie uskottavuusfuktio 2/3 Koska havaiot X 1, X 2,, X oletettii tässä riippumattomiksi, logaritmie uskottavuusfuktio voidaa kirjoittaa seuraavaa muotoo: l( θ) = log L( θ) = log f( x ; θ) f( x ; θ) f( x ; θ) ( ) 1 2 = log f( x ; θ) + log f( x ; θ) + + log f( x ; θ) 1 2 = l( θ ; x1) + l( θ ; x2) + + l( θ ; x ) jossa l(θ ; x i ) = log f(x i ; θ), i = 1, 2,, o havaitoarvoo x i liittyvä logaritmie uskottavuusfuktio. TKK (c) Ilkka Melli (2005) 54

55 Suurimma uskottavuude meetelmä Logaritmie uskottavuusfuktio 3/3 Logaritmise uskottavuusfuktio summaesitykse l( θ) = l( θ ; x1) + l( θ ; x2) + + l( θ ; x ) maksimoiti o usei ratkaisevasti helpompaa kui uskottavuusfuktio maksimoiti. TKK (c) Ilkka Melli (2005) 55

56 Suurimma uskottavuude meetelmä SU-estimaattori omiaisuudet Olkoo X 1, X 2,, X yksikertaie satuaisotos jakaumasta f (x ; θ), joka parametria o θ. Olkoo θˆ parametri θ suurimma uskottavuude eli SU-estimaattori. Hyvä estimaattori o harhato, tyhjetävä, tehokas ja tarketuva (ks. lukua Estimoiti). SU-estimaattori θˆ ei välttämättä täytä hyvä estimaattori kriteereitä, jote suurimma uskottavuude meetelmää käytettäessä o aia eriksee varmistettava tuloksea saadu estimaattori hyvyys. TKK (c) Ilkka Melli (2005) 56

57 Suurimma uskottavuude meetelmä SU-estimaattori asymptoottiset omiaisuudet 1/3 Jos parametri θ SU-estimaattori θˆ ei täytä hyvä estimaattori kriteereitä äärellisillä havaitoje lukumäärillä, SU-estimaattori θˆ käyttöä parametri θ estimaattoria voidaa perustella SU-estimaattori yleisillä asymptoottisilla omiaisuuksilla: (i) SU-estimaattori θˆ o tarketuva eli Pr( θˆ θ) = 1, ku + (ii) SU-estimaattori θˆ o asymptoottisesti ormaalie. TKK (c) Ilkka Melli (2005) 57

58 Suurimma uskottavuude meetelmä SU-estimaattori asymptoottiset omiaisuudet 2/3 SU-estimaattori tarketuvuus merkitsee sitä, että SUestimaattori toteuttaa suurte lukuje lai (ks. kalvokokoelma Johdatus todeäköisyyslasketaa lukua Kovergessikäsitteet ja raja-arvolauseet). Suurte lukuje lai mukaa SU-estimaattori arvo lähestyy stokastisesti parametri oikeata arvoa, ku otoskoko kasvaa. TKK (c) Ilkka Melli (2005) 58

59 Suurimma uskottavuude meetelmä SU-estimaattori asymptoottiset omiaisuudet 3/3 SU-estimaattori asymptoottie ormaalisuus merkitsee sitä, että SU-estimaattori toteuttaa keskeise raja-arvolausee (ks. kalvokokoelma Johdatus todeäköisyyslasketaa lukua Kovergessikäsitteet ja raja-arvolauseet). SU-estimaattori asymptoottie ormaalisuus merkitsee sitä, että SU-estimaattori jakaumaa voidaa suurissa otoksissa approksimoida ormaalijakaumalla. Se, että SU-estimaattori o erittäi yleiste ehtoje pätiessä asymptoottisesti ormaalie, o tärkeä lisäperuste ormaalijakauma keskeiselle asemalle tilastotieteessä. TKK (c) Ilkka Melli (2005) 59

60 Suurimma uskottavuude meetelmä Suurimma uskottavuude meetelmä vs momettimeetelmä Suurimma uskottavuude meetelmä ei tuota todeäköisyysjakauma parametreille välttämättä samoja estimaattoreita kui momettimeetelmä. Moissa alkeellisissa tilateissa molemmilla meetelmillä saadaa kuiteki samat estimaattorit. Suurimma uskottavuude meetelmä o hyvi pitkälti syrjäyttäyt momettimeetelmä todeäköisyysjakaumie parametrie estimaattoreita johdettaessa. Suurimma uskottavuude meetelmä suosituimmuusasemaa perustuu se momettimeetelmää vakempaa teoreettisee perustaa. TKK (c) Ilkka Melli (2005) 60

61 Suurimma uskottavuude meetelmä Esimerkkejä 1/2 Olkoo X 1, X 2,, X yksikertaie satuaisotos jakaumasta f(x ; θ). Tarkastellaa seuraavie jakaumie parametrie SU-estimoitia eli estimoitia suurimma uskottavuude meetelmällä (ks. kalvokokoelma Johdatus todeäköisyyslasketaa lukuja Diskreettejä jakaumia ja Jatkuvia jakaumia): Normaalijakauma Ekspoettijakauma Beroulli-jakauma TKK (c) Ilkka Melli (2005) 61

62 Suurimma uskottavuude meetelmä Esimerkkejä 2/2 Huomautuksia: Normaalijakauma, ekspoettijakauma ja Beroulli-jakauma parametrie estimoitia momettimeetelmällä o tarkasteltu aikaisemmi tässä esityksessä. Normaalijakauma, ekspoettijakauma ja Beroulli-jakauma tapauksessa suurimma uskottavuude meetelmä ja momettimeetelmä tuottavat jakaumie parametreille samat estimaattorit. TKK (c) Ilkka Melli (2005) 62

63 Normaalijakauma parametrie estimoiti SU-meetelmällä Normaalijakauma ja se parametroiti Satuaismuuttuja X oudattaa ormaalijakaumaa N(µ, σ 2 ), jos se tiheysfuktio o x µ f( x; µσ, ) = exp σ 2π 2 σ < µ < +, σ > 0 Normaalijakauma parametreia ovat jakauma odotusarvo E( X ) = µ ja variassi Var( X ) = σ 2 TKK (c) Ilkka Melli (2005) 63

64 Normaalijakauma parametrie estimoiti SU-meetelmällä Otos ormaalijakaumasta Olkoo X 1, X 2,, X yksikertaie satuaisotos ormaalijakaumasta N(µ, σ 2 ) Tällöi havaiot X 1, X 2,, X ovat riippumattomia, samaa ormaalijakaumaa N(µ, σ 2 ) oudattavia satuaismuuttujia. TKK (c) Ilkka Melli (2005) 64

65 Normaalijakauma parametrie estimoiti SU-meetelmällä Normaalijakautuee otokse uskottavuusfuktio ja log-uskottavuusfuktio Otokse X 1, X 2,, X uskottavuusfuktio o 2 L( µσ, ; x, x,, x ) µ σ 2 µ σ µ σ = f( x ;, ) f( x ;, ) f( x ;, ) = σ (2 π ) exp ( x 2 i µ ) 2σ i= 1 Otokse X 1, X 2,, X logaritmie uskottavuusfuktio o 2 l( µσ, ; x, x,, x ) = log L( µσ, ; x1, x2,, x) logσ log(2 π ) ( x ) 2 i µ 2 2 2σ i = 1 = TKK (c) Ilkka Melli (2005) 65

66 Normaalijakauma parametrie estimoiti SU-meetelmällä Normaalijakauma parametrie SU-estimaattorit Normaalijakauma N(µ, σ 2 ) odotusarvo µ ja variassi σ 2 SU-estimaattorit eli suurimma uskottavuude estimaattorit ovat havaitoje X 1, X 2,, X aritmeettie keskiarvo ˆ µ 1 = X i = i= 1 X ja otosvariassi 1 σˆ = ( X i X ) 2 2 i= 1 Huomautus: Parametrie µ ja σ 2 SU-estimaattorit yhtyvät iide momettiestimaattoreihi. TKK (c) Ilkka Melli (2005) 66

67 Normaalijakauma parametrie estimoiti SU-meetelmällä SU-estimaattoreide johto 1/2 Derivoidaa logaritmie uskottavuusfuktio 1 1 l( µ, σ ) logσ log(2 π ) ( x µ ) = 2 i 2 2 2σ i = 1 esi parametri µ suhtee ja merkitää derivaatta ollaksi: 2 l( µσ, ) 1 = ( ) 0 2 xi µ = µ σ i = 1 Derivaata aioa ollakohta 1 ˆ µ = xi = x i= 1 ataa log-uskottavuusfuktio maksimi parametri µ suhtee. TKK (c) Ilkka Melli (2005) 67

68 Normaalijakauma parametrie estimoiti SU-meetelmällä SU-estimaattoreide johto 2/2 Sijoitetaa ratkaisu µ = x logaritmisee uskottavuusfuktioo: lx (, σ ) = logσ log(2 π) ( x ) 2 i x σ i = 1 2 Derivoidaa fuktio lxσ (, ) parametri σ 2 suhtee ja merkitää derivaatta ollaksi: 2 l( µσ, ) 1 = + ( ) xi x = σ 2σ 2σ i = 1 Derivaata aioa ollakohta 1 σˆ ( ) 2 2 = xi x i= 1 ataa log-uskottavuusfuktio maksimi parametri σ 2 suhtee. TKK (c) Ilkka Melli (2005) 68

69 Normaalijakauma parametrie estimoiti SU-meetelmällä SU-estimaattoreide omiaisuudet 1/2 Normaalijakauma N(µ, σ 2 ) odotusarvo µ SU-estimaattorilla ˆµ o seuraavat omiaisuudet: (i) ˆµ o harhato. 2 (ii) ˆµ ja σˆ ovat yhdessä tyhjetäviä parametreille µ ja σ 2. (iii) ˆµ o tehokas eli miimivariassie estimaattori. (iv) ˆµ o tarketuva. (v) ˆµ oudattaa ormaalijakaumaa: 2 σ ˆ~N µ µ, TKK (c) Ilkka Melli (2005) 69

70 Normaalijakauma parametrie estimoiti SU-meetelmällä SU-estimaattoreide omiaisuudet 2/2 Normaalijakauma N(µ, σ 2 ) variassi σ 2 2 SU-estimaattorilla σˆ o seuraavat omiaisuudet: 2 (i) σˆ o harhaie, mutta estimaattori s = σˆ = ( Xi X) 1 1 i= 1 o harhato. 2 (ii) ˆµ ja σˆ ovat yhdessä tyhjetäviä parametreille µ ja σ 2. 2 (iii) σˆ ei ole tehokas eli miimivariassie estimaattori. 2 (iv) σˆ o tarketuva. (v) ( 1) s 2 /σ 2 oudattaa χ 2 -jakaumaa: 2 ( 1) s 2 χ ( 1) 2 σ TKK (c) Ilkka Melli (2005) 70

71 Ekspoettijakauma parametrie estimoiti SU-meetelmällä Ekspoettijakauma ja se parametroiti Satuaismuuttuja X oudattaa ekspoettijakaumaa Exp(λ), jos se tiheysfuktio o f ( x; λ) = λexp( λx), x 0, λ > 0 Ekspoettijakauma aioa parametri λ = 1 E( ) X voidaa tulkita sopivat ehdot toteuttavassa jootapahtumassa 1. tapahtuma odotusajaksi tai tapahtumaitesiteetiksi. TKK (c) Ilkka Melli (2005) 71

72 Ekspoettijakauma parametrie estimoiti SU-meetelmällä Otos ekspoettijakaumasta Olkoo X 1, X 2,, X yksikertaie satuaisotos ekspoettijakaumasta Exp(λ) Tällöi havaiot X 1, X 2,, X ovat riippumattomia, samaa ekspoettijakaumaa Exp(λ) oudattavia satuaismuuttujia. TKK (c) Ilkka Melli (2005) 72

73 Ekspoettijakauma parametrie estimoiti SU-meetelmällä Ekspoettijakautuee otokse uskottavuusfuktio ja log-uskottavuusfuktio Otokse X 1, X 2,, X uskottavuusfuktio o L( λ ; x1, x2,, x ) = f( x ; λ) f( x ; λ) f( x ; λ) 1 2 = λ exp λ xi i= 1 Otokse X 1, X 2,, X logaritmie uskottavuusfuktio o l( λ ; x1, x2,, x ) = log L( λ ; x, x,, x ) 1 2 = log( λ) λ x i= 1 i TKK (c) Ilkka Melli (2005) 73

74 Ekspoettijakauma parametrie estimoiti SU-meetelmällä Ekspoettijakauma parametri SU-estimaattori Ekspoettijakauma Exp(λ) parametri λ SU-estimaattori eli suurimma uskottavuude estimaattori o ˆ 1 λ = X jossa X 1 X i i = 1 = o havaitoje X 1, X 2,, X aritmeettie keskiarvo. Huomautuksia: Parametri λ SU-estimaattori yhtyy se momettiestimaattorii. Estimaattori ˆλ omiaisuudet sivuutetaa. TKK (c) Ilkka Melli (2005) 74

75 Ekspoettijakauma parametrie estimoiti SU-meetelmällä SU-estimaattori johto Derivoidaa logaritmie uskottavuusfuktio l( λ) = log( λ) λ x i= 1 parametri λ suhtee ja merkitää derivaatta ollaksi: l( λ) = xi = 0 λ λ i= 1 Derivaata aioa ollakohta ˆ 1 1 λ = = 1 x xi i= 1 i ataa log-uskottavuusfuktio maksimi parametri λ suhtee. TKK (c) Ilkka Melli (2005) 75

76 Beroulli-jakauma parametrie estimoiti SU-meetelmällä Beroulli-jakauma ja se parametroiti Olkoo A tapahtuma, joka todeäköisyys o p: Pr(A) = p Määritellää satuaismuuttuja X seuraavasti: 1, jos A tapahtuu X = 0, jos A ei tapahdu Satuaismuuttuja X oudattaa Beroulli-jakaumaa Ber(p) ja se pistetodeäköisyysfuktio o x 1 x f ( xp ; ) = p(1 p), x= 0,1;0< p< 1 Beroulli-jakauma aioa parametri p yhtyy jakauma odotusarvoo: p = E(X) TKK (c) Ilkka Melli (2005) 76

77 Beroulli-jakauma parametrie estimoiti SU-meetelmällä Otos Beroulli-jakaumasta Olkoo X 1, X 2,, X yksikertaie satuaisotos Beroulli-jakaumasta Ber(p) Tällöi havaiot X 1, X 2,, X ovat riippumattomia, samaa Beroulli-jakaumaa Ber(p) oudattavia satuaismuuttujia. TKK (c) Ilkka Melli (2005) 77

78 Beroulli-jakauma parametrie estimoiti SU-meetelmällä Beroulli-jakautuee otokse uskottavuusfuktio ja log-uskottavuusfuktio Otokse X 1, X 2,, X uskottavuusfuktio o L( p; x1, x2,, x ) = f ( x ; p) f( x ; p) f( x ; p) 1 2 Σx Σx i = p (1 p) i Otokse X 1, X 2,, X logaritmie uskottavuusfuktio o l( p; x1, x2,, x ) = log L( p; x, x,, x ) 1 2 = i + i i= 1 i= 1 x log( p) ( x )log(1 p) TKK (c) Ilkka Melli (2005) 78

79 Beroulli-jakauma parametrie estimoiti SU-meetelmällä Beroulli-jakauma odotusarvoparametri SU-estimaattori 1/2 Beroulli-jakauma Ber(p) odotusarvoparametri p SU-estimaattori eli suurimma uskottavuude estimaattori o havaitoje X 1, X 2,, X aritmeettie keskiarvo 1 pˆ = Xi = X i = 1 Huomautus: Parametri p SU-estimaattori yhtyy se momettiestimaattorii. TKK (c) Ilkka Melli (2005) 79

80 Beroulli-jakauma parametrie estimoiti SU-meetelmällä Beroulli-jakauma odotusarvoparametri SU-estimaattori 2/2 Koska ii X i i= 1 1, jos A tapahtuu = 0, jos A ei tapahdu X i = f jossa f o tapahtuma A frekvessi otoksessa. Site Beroulli-jakauma odotusarvoparametri p suurimma uskottavuude estimaattori 1 f pˆ = Xi = i= 1 o tapahtuma A suhteellie frekvessi otoksessa. TKK (c) Ilkka Melli (2005) 80

81 Beroulli-jakauma parametrie estimoiti SU-meetelmällä SU-estimaattori johto Derivoidaa logaritmie uskottavuusfuktio l( p) = x log( p) + ( x )log(1 p) i i= 1 i= 1 parametri p suhtee ja merkitää derivaatta ollaksi: l( p) Σxi Σxi = = 0 p p 1 p Derivaata aioa ollakohta 1 pˆ = x = x i = 1 i ataa uskottavuusfuktio maksimi. i TKK (c) Ilkka Melli (2005) 81

82 Beroulli-jakauma parametrie estimoiti SU-meetelmällä SU-estimaattori omiaisuudet Beroulli-jakauma Ber(p) odotusarvoparametri p SU-estimaattorilla ˆp o seuraavat omiaisuudet: (i) ˆp o harhato. (ii) ˆp o tyhjetävä. (iii) ˆp o tehokas eli miimivariassie estimaattori. (iv) ˆp o tarketuva. (v) ˆp oudattaa asymptoottisesti ormaalijakaumaa: p(1 p) pˆ ~ a N p, TKK (c) Ilkka Melli (2005) 82