MS-A0502 Todennäköisyyslaskennan ja tilastotieteen peruskurssi

Transkriptio

1 MS-A0502 Todennäköisyyslaskennan ja tilastotieteen peruskurssi 4A Parametrien estimointi Lasse Leskelä Matematiikan ja systeemianalyysin laitos Perustieteiden korkeakoulu Aalto-yliopisto Syksy 2016, periodi II

2 Sisältö Tilastollinen päättely Parametriset tilastolliset jakaumat Suurimman uskottavuuden estimaattorit Estimaattorien ominaisuuksia

3 Tilastollinen päättely Tavoitteena tehdä päätelmiä havaitun datan pohjalta. 1. Valitaan tilanteeseen sopiva stokastinen malli 2. Sovitetaan malli havaittuun dataan (estimoidaan mallin parametrit) 3. Lasketaan sovitetusta mallista tarvittavat tunnusluvut 4. Tehdään johtopäätökset Johtopäätökset ovat yleensä (valistuneita) arvauksia: Mikä on kirahvin todellinen paino, kun kolmen punnituksen tulokset olivat 1250 kg, 1300 kg, 1360 kg? Kannattaako espoolaisten enemmistö Espoon pysymistä itsenäisenä, kun mielipidekyselyssä 509 tuhannesta kannatti itsenäisyyttä? Pysyykö raakaöljyn hinta vuoden loppuun alle 60 USD/barreli?

4 Sisältö Tilastollinen päättely Parametriset tilastolliset jakaumat Suurimman uskottavuuden estimaattorit Estimaattorien ominaisuuksia

5 Tuntemattoman jakauman parametrit Tarkastellaan tuntematonta datalähdettä, jonka tutkittavan suureen jakauma f (x) tunnetaan parametreja vaille. Esim. (yksi tuntematon parametri): Bernoullijakauma: f p (0) = 1 p, f p (1) = p Eksponenttijakauma: f λ (x) = λe λx, x > 0 Esim. (2 tuntematonta parametria): Välin [a, b] tasajakauma: f (a,b) (x) = 1 b a Normaalijakauma: f (µ,σ 2 )(x) = 1 (x µ)2 e 2σ 2 2πσ 2 Mikä on havaitun datan x = (x 1,..., x n ) perusteella paras arvaus tuntemattoman parametrin arvoksi?

6 Parametrien estimointi Tarkastellaan tuntematonta datalähdettä, jonka tutkittavan suureen jakauma on f θ (x), parametri θ tuntematon Datalähteestä on saatu havainnot x 1,..., x n. Parametrin θ: estimaatti on datan x = (x 1,..., x n ) pohjalta laskettu arvaus ˆθ = g(x) estimaattori on funktio (x 1,..., x n ) g(x 1,..., x n ), joka kuvaa datan estimaatiksi Tietyn parametrin estimaattoriksi ei yleensä ole yksikäsitteistä parasta valintaa.

7 Esimerkki: Viallisten osuus Tuotantolinja tuottaa komponentteja, joista osuus p on viallisia, toisistaan riippumattomasti. Kun tarkastettiin 200 komponettia, havaittiin 22 viallista. Määritä estimaatti tuntemattoman parameterin p arvolle. Intuitiivisesti luonteva estimaatti on ˆp = = 11% Onko tämä paras estimaatti? Onko muita luonnollisia vaihtoehtoja?

8 Esimerkki: Diskreetin tasajakauman parametri Vieraan vallan sotilaskoneissa on sarjanumerot 1, 2, 3,..., N. Tiedustelijat ovat havainneet kolmen sotilaskoneen sarjanumerot x 1 = 63, x 2 = 17, x 3 = 203. Määritä havaintojen x = (x 1, x 2, x 3 ) pohjalta estimaatti sotilaskoneiden lukumäärälle N. Tiedustelutietoa tuottava datalähde noudattaa tasajakaumaa f 1,N (k) = { 1 N, k = 1,..., N, 0, muuten. Mikä on luonteva estimaattori ˆN(x) parametrille N?

9 Sisältö Tilastollinen päättely Parametriset tilastolliset jakaumat Suurimman uskottavuuden estimaattorit Estimaattorien ominaisuuksia

10 Uskottavuusfunktio [engl. likelihood function] Datalähteen stokastinen malli: X = (X 1,..., X n ), jonka komponentit f θ -jakautuneet ja toisistaan riippumattomat. Mallin ennustama todennäköisyys havaita (likimain) arvot x = (x 1,..., x n ) on diskreetille jakaumalle P(X 1 = x 1,..., X n = x n ) = f θ (x 1 ) f θ (x n ) ja jatkuvalle jakaumalle P(X 1 = x 1 ± ɛ/2,..., X n = x n ± ɛ/2) = ɛ n f θ (x 1 ) f θ (x n ). Uskottavuusfunktio θ f θ (x 1 ) f θ (x n ) kertoo f θ -mallin ennustaman todennäköisyyden havaita (likimain) sama data, mitä oikeasti havaittiin.

11 Suurimman uskottavuuden estimaatti [engl. maximum likelihood estimate] Uskottavuusfunktio θ f θ (x 1 ) f θ (x n ) kertoo f θ -mallin ennustaman todennäköisyyden havaita (likimain) sama data, mitä oikeasti havaittiin. Mitä suurempi uskottavuusfunktion arvo on pisteessä θ, sen uskottavampana voidaan pitää oletusta, että havaittu data on peräisin f θ -jakautuneesta datalähteestä. Parametrin θ suurimman uskottavuuden estimaatti ˆθ = ˆθ(x) on parametrin arvo, joka maksimoi uskottavuusfunktion.

12 Esimerkki: Viallisten osuuden estimointi Tuotantolinja tuottaa komponentteja, joista osuus p on viallisia, toisistaan riippumattomasti. Kun tarkastettiin 200 komponettia, havaittiin 22 viallista. Määritä suurimman uskottavuuden estimaatti tuntemattoman parameterin p arvolle. Kun tarkastetaan n = 200 komponentin erä, noudattaa viallisten komponenttien lukumäärä N jakaumaa ( ) n f (k p) = P(N = k p) = p k (1 p) n k, k = 0, 1,..., 200 k Millä parametrin p arvolla uskottavuusfunktio ( ) 200 f (22 p) = p 22 (1 p) saavuttaa suurimman arvonsa?

13 Esimerkki: Viallisten osuuden estimointi f (22 p) = ( ) 200 p 22 (1 p) maksimoituu silloin, kun l(p) = log f (22 p) maksimoituu: ( ) 200 l(p) = log f (22 p) = log + 22 log p log(1 p) 22 l (p) = 22 1 p p l (p) = 22 1 p (1 p) 2 0 l(p):n maksimi löytyy derivaatan nollakohdasta: l (p) = 0 22 p = p p =

14 Binomijakauman tn-parametrin SU-estimointi Fakta Bin(n, p)-jakauman tunteattoman parametrin p suurimman uskottavuuden estimaatti havaitun datapisteen k suhteen on ˆp = k n. Todistus. Toista edellinen laskelma korvaamalla 200 n ja 22 k.

15 Normaalijakauman parametrien SU-estimaatit Normaalijakauman tiheysfunktio f (µ,σ) (t) = 1 (t µ)2 e 2σ 2 2πσ 2 on parametreja µ ja σ vaille tunnettu. Fakta Normaalijakauman parametrien (µ, σ) suurimman uskottavuuden estimaatit datajoukolle x = (x 1,..., x n ) ovat m(x) = 1 n x i ja σ(x) = 1 n (x i m(x)) n n 2 i=1 eli datajoukon x keskiarvo ja keskihajonta. i=1

16 Sisältö Tilastollinen päättely Parametriset tilastolliset jakaumat Suurimman uskottavuuden estimaattorit Estimaattorien ominaisuuksia

17 Harhaton estimaattori [engl. unbiased estimator] Jakauman f θ parametrin θ estimaattori ˆθ(x) on harhaton, jos f θ -jakaumaa vastaavalle stokastiselle mallille X = (X 1,..., X n ) pätee E ˆθ(X ) = θ. Tulkinta: Jos tuntematon datalähde todella noudattaa f θ -jakaumaa, ja datalähteestä tehdään n riippumatonta havaintoa ja lasketaan estimaatti harhattomalla estimaattorilla, ja jos sama toistettaisiin monta kertaa, niin toistojen keskiarvo on lähellä oikeaa parametria.

18 Esimerkki: Viallisten osuus Kun n on tunnettu, on Bin(n, p)-jakauman tuntemattoman parametrin p suurimman uskottavuuden estimaattori ˆp(k) = k n. Jos N on Bin(n, p)-jakaumaa noudattava satunnaismuuttuja, niin ( ) N E (ˆp(N)) = E = 1 n n E(N) = 1 np = p. n Näin ollen funktio k ˆp(k) on parametrin p harhaton estimaattori.

19 Esim: Normaalijakauman odotusarvon SU-estimaattori Normaalijakauman odotusarvoparametrin µ suurimman uskottavuuden estimaattori on m(x) = 1 n n x i. i=1 Stokastiselle mallille X = (X 1,..., X n ) ( ) 1 n E[m(X )] = E X i n i=1 = µ, joten funktio x m(x) on parametrin µ harhaton estimaattori.

20 Esim: Normaalijakauman varianssin SU-estimaattori Normaalijakauman varianssiparametrin σ 2 suurimman uskottavuuden estimaattori on σ 2 (x) = 1 n n (x i m(x)) 2. i=1 Stokastiselle mallille X = (X 1,..., X n ) ( ) E[σ 2 1 n (X )] = E (X i m(x ) 2 n i=1 = = n 1 n σ2, joten σ 2 (x) on harhainen. Varianssiparametrin harhaton estimaattori on otosvarianssi s 2 (x) = 1 n 1 n (x i m(x)) 2. i=1 Suurilla n arvoilla näissä ei ole merkitsevää eroa.

21 Seuraavalla kerralla puhutaan luottamusväleistä...