MS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi

Transkriptio

1 MS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi Viikko 4 Tilastollisen aineiston kuvaileminen, mallintaminen ja estimointi Lasse Leskelä, Heikki Seppälä Matematiikan ja systeemianalyysin laitos Perustieteiden korkeakoulu Aalto-yliopisto Syksy 2015

2 Sisältö Johdanto Tilastollisen aineiston kuvaileminen Tilastokokeen stokastinen malli Normaalijakauman parametrien estimointi Bernoullijakauman parametrin estimointi Suurimman uskottavuuden estimaattori

4 Mitä tilastotiede on? Tilastotiede soveltaa sekä kehittää metodeja ja malleja, joita voidaan käyttää tutkiatteassa reaalimaailman satunnaisilmiöitä. Menetelmät ja mallit perustuvat todennäköisyysteorian lainalaisuuksiin. Tilastotiedettä voidaan soveltaa aina, kun saatavilla on kvantifioitavaa aineistoa. Mikä tahansa aineistojoukko, joka kuvaa jotakin reaalimaailman imiötä on potentiaalinen tilastotieteen tutkimuskohde.

5 Tilastollinen aineisto Populaatio on joukko, joka sisältää kaikki mahdolliset tilastollisen kokeen kohteet. Yksikkö on populaation alkio. Havainto on havaittu arvo, joka liitetään yksikköön. Tilastollinen aineisto on kaikista havainnoista koostuva kokoelma. Esim: Tutkitaan suomalaisten pituuksia ja mitataan sitä varten 2000 satunnaisesti valittua suomalaista. Silloin Populaatio on kaikki suomalaiset. Yksikkö on kuka tahansa suomalainen. Havainto on kenen tahansa mitatun suomalaisen pituus. Tilastollinen aineisto koostuu kaikista mitatuista pituuksista.

6 Yleiskatsaus Aineiston kuvailemiseen käytettäviä menetelmiä: Kuvaajat Tunnusluvut (esim. keskiarvo, varianssi, kovarianssi) Tilastolliset mallit Tilastolliseen päättelyyn käytettäviä menetelmiä Tilastolliset mallit Tilastollinen estimointi Tilastollinen testaus

8 Tilastollinen aineisto Tilastollisen kokeen aineisto kerätään yleensä taulukkoon eli aineistokehikkoon, jonka rivit vastaavat tilastollisen kokeen havaintoja sarakkeet vastaavat tilastollisen kokeen muuttujia Muuttujat voivat olla laadullisia tai määrällisiä laadullisen muuttujan arvot jaotellaan luokkiin (esim. aurinkoista, sateista, pilvistä ) määrällisen muuttujan arvot ovat lukuja

9 Tilastollinen aineisto Hav. X 1 X 2 X m 1 X 1,1 X 1,2 X 1,m 2 X 2,1 X 2,2 X 1,m 3 X 3,1 X 3,2 X 1,m n X n,1 X n,2 X n,m Taulukko : Aineistokehikko, jossa on n havaintoa ja m muuttujaa.

10 Laadullinen muuttuja Arvot jaotellaan luokkiin, jotka usein numeroidaan kokonaisluvuilla. Esim. Miten kuljet työmatkat? 1 = Bussilla 2 = Polkupyörällä 3 = Muulla tavoin Huom Numeroidun laadullisen muuttujan keskiarvo ei yleensä tarkoita mitään. Numeroidun laadullisen muuttujan mediaanilla voi olla merkitys, mikäli arvot voidaan järjestää.

11 Esimerkki: Laadullinen muuttuja Hav. Matkustustapa 1 Bussi 2 Joku muu 3 Joku muu 4 Bussi 5 Polkupyörä Taulukko : Aineistokehikko, jossa on 5 havaintoa ja muuttuja matkustutapa. Muuttujan keskiarvo olisi 1 ( ) = 2, 5 mutta tässä ei ole järkeä, koska muuten bussin ja jonkun muun keskiarvo olisi polkupyörä.

12 Määrällinen muuttuja Määrällinen muuttuja saa arvoja reaalilukujen osajoukossa. Määrällinen muuttuja voidaan muuntaa laadulliseksi jakamalla arvot luokkiin. Esim Satunnaisesti valitun suomalaisen työssäkäyvän työaika (min/vrk) on määrällinen muuttuja, joka saa arvoja joukossa [0, 1440]. Tämä voidaan jakaa luokkiin esim. L 1 = (0, 60] L 2 = (60, 120]... L 24 = (1380, 1440]

13 Esimerkki: Määrällinen aineisto Hav. Aika (min/päivä) Ryhmä L L L L L8 Taulukko : Aineistokehikko, jossa on 5 havaintoa ja määrällinen muuttuja aika. Viimeisessä sarakkeessa on luokitellut arvot. Näiden viiden havainnon keskiarvo on 1 ( ) = 485.2, 5 joka on noin 8 tuntia 5 minuuttia.

14 Esimerkki: Isien ja poikien pituudet I P I P I P I P I P I P I P I P I P I P I P I P I P I P I P I P I P I P I P I P Taulukko : 1000 havaintoparia Pearsonin isä-poika pituusaineistosta.

15 Height Son Father

16 Density Histogram of Fathers Height

17 Histogram of Sons Density Height

18 Määrällisen muuttujan tunnuslukuja Keskiarvo (eli otoskeskiarvo) n m(x) = 1 n i=1 x i Otosvarianssi s 2 (x) = 1 n 1 n (x i m(x)) 2 i=1 Otoskeskihajonta s(x) = s 2 (x) Huom Yo. luvut lasketaan suoraan havaitusta aineistosta, joten niillä ei ole mitään tekemistä minkään todennäköisyysjakauman kanssa. R: mean(x), var(x), sd(x)

19 Järjestystunnuslukuja Järjestetyn muuttujan (määrällinen tai järjestetty laadullinen) havainnoista x = (x 1,..., x n ), voidaan laskea tason p (0, 1) kvantiili Q(p): Q(0.25) on alakvartiili Q(0.5) on mediaani Q(0.75) on yläkvartiili Tällöin 25 % havainnoista on alakvartiilin alapuolella Puolet havainnoista sijaitsee mediaanin alapuolella 25 % havainnoista on yläkvartiilin yläpuolella R: quantile(x,p), summary(x), median(x)

21 Tilastokokeen stokastinen malli Otantatutkimus Tutkittavan muuttujan arvo havaitaan n:n alkion osajoukossa ja halutaan päätellä tutkittavan muuttujan (tuntematon) jakauma f (x) koko populaatiossa. Stokastinen malli Tilastokokeen tulosta mallinnetaan satunnaisvektorilla (X 1,..., X n ), jonka alkiot ovat riippumattomat ja noudattavat (tuntematonta) jakaumaa f (x). Stokastinen malli on tarkka, kun: Havaitut alkiot on valittu tasaisen satunnaisesti ja riippumattomasti. Havaittujen alkioiden lukumäärä on pieni suhteessa perusjoukon kokoon.

22 Tilastokokeen stokastisen mallin soveltaminen Ongelma Otantatutkimuksessa on havaittu muuttujan arvot (x 1,..., x n ). Miten voidaan havainnoista päätellä tutkittavan muuttujan (tuntematon) jakauma koko populaatiossa? Ratkaisu Tehdään arvaus, että tuntematon jakauma on f (x). Jos arvaus on (likimain) oikea, niin otannan tulosta voidaan (likimain) mallintaa satunnaisvektorilla (X 1,..., X n ), jonka alkiot ovat riippumattomat ja noudattavat jakaumaa f (x). Stokastiikan menetelmillä johdetaan tn, että (X 1,..., X n ) saa (likimain) arvon (x 1,..., x n ). Jos saatu tn 0, hylätään arvaus todennäköisin syin.

23 Aineiston ja stokastisen mallin tunnusluvut Stokastiikan menetelmillä johdetaan tn, että (X 1,..., X n ) saa (likimain) arvon (x 1,..., x n ). Lasketaan tunnusluku g(x 1,..., x n ) aineistosta Tutkitaan, millä tn:llä satunnaisluku g(x 1,..., X n ) on likimain g(x 1,..., x n ) Tunnusluku on funktio g : R n R. Esim Keskiarvo m(x) = 1 n n i=1 x i Otosvarianssi s 2 (x) = 1 n 1 n i=1 (x i m(x))

24 Aineiston ja stokastisen mallin keskiarvot Havainnot (x 1,..., x n ) Stokastinen malli (X 1,..., X n ) n n m(x) = 1 n i=1 x i m(x ) = 1 n i=1 X i E(m(x)) = m(x) Var(m(x)) = 0 E(m(X )) = Var(m(X )) = 1 n σ2 = 1 n x f (dx) = µ (x µ) 2 f (x)dx. Huom Stokastisen mallin keskiarvo on satunnaisluku, jonka odotusarvo on µ ja varianssi σ 2 /n.

25 Aineiston ja stokastisen mallin otosvarianssit Havaittu aineisto (x 1,..., x n ) s 2 (x) = 1 n 1 n (x i m(x)) 2 i=1 E(s 2 (x)) = s 2 (x) Var(s 2 (x)) = 0 Stokastinen malli (X 1,..., X n ) s 2 (X ) = 1 n 1 E(s 2 (X )) = σ 2 = n (X i m(x )) 2 i=1 Var(s 2 (X )) =... (x µ) 2 f (x)dx.

26 Stokastisen mallin sopivuus aineistoon Kun on havaittu aineisto (x 1,..., x n ) ja arvattu jakauma f (x), Miten lasketaan tn, että m(x ) m(x)? Miten lasketaan tn, että s 2 (X ) s 2 (x)? Tulee selvittää stokastista mallia vastaavien tunnuslukujen m(x ) ja s 2 (X ) jakaumat

27 Stokastisen mallin tunnusluvun jakauma Fakta Kun satunnaisvektorin (X 1,..., X n ) komponentit ovat riippumattomat ja noudattavat jakaumaa f (x), niin tunnusluvun g(x 1,..., X n ) jakauma saadaan kaavasta Pr(a < g(x 1,..., X n ) < b) = f (u 1 ) f (u n ) du 1 du n, g 1 (a,b) missä g 1 (a, b) = {u R n : g(u) (a, b)}. Huom (Arvattu) tiheysfunktio f (x) määrää tunnusluvun jakauman Vastaava kaava pätee diskreeteille jakaumille, kun integraalit vaihdetaan summiksi ja tiheydet pistetodennäköisyyksiksi. Yo. kaava on monissa käytännön tilanteissa hyödytön, koska moniulotteinen integraali on vaikea laskea.

28 Normaalijakautuneen mallin tunnusluvut Fakta Kun satunnaisvektorin (X 1,..., X n ) komponentit ovat riippumattomat ja noudattavat N(µ, σ 2 )-jakaumaa, niin Keskiarvo m(x ) = 1 n noudattaa N(µ, σ 2 /n)-jakaumaa. Normalisoitu otosvarianssi n 1 σ 2 s2 (X ) = n i=1 X i n ( Xi m(x ) i=1 noudattaa χ 2 (n 1)-jakaumaa ( khii toiseen ) R: pnorm(x,mu,sigma), pchisq(x,n-1) σ ) 2

29 Esim. Isien pituudet: Keskiarvo On väitetty, että 1900-luvun alussa isien pituudet (cm) noudattavat N(µ, σ 2 )-jakaumaa, missä µ = 171 ja σ = 7. Pearsonin keräämälle n = 1078 havainnon otokselle x = (x 1,..., x n ) m(x) = 171.9, s 2 (x) = 48.75, s(x) = Jos väite ok, niin m(x ) N(µ, σ1 2), missä σ 1 = σ/ n = ( m(x ) µ Pr(m(X ) > m(x)) = Pr > m(x) µ ) σ 1 σ 1 ( ) m(x) µ = 1 pnorm = Väite voidaan siis hylätä todennäköisin syin. R: pnorm(x) σ 1

30 Esim. Isien pituudet: Keskiarvo On väitetty, että 1900-luvun alussa isien pituudet (cm) noudattavat N(µ, σ 2 )-jakaumaa, missä µ = 171 ja σ = 7. Pearsonin keräämälle n = 1078 havainnon otokselle x = (x 1,..., x n ) m(x) = 171.9, s 2 (x) = 48.75, s(x) = Jos väite ok, niin n 1 σ s 2 (X ) χ 2 (n 1), jolloin 2 ( n 1 Pr(s 2 (X ) s 2 (x)) = Pr σ 2 s 2 (X ) n 1 σ 2 = pchisq ( n 1 σ 2 s 2 (x), n 1 Väitettä ei siis voida hylätä todennäköisin syin. R: pchisq(x,n-1) ) s 2 (x) ) 0.458

32 Normaalijakauman parametrien estimointi Havaittu määrällisen muuttujan arvot x = (x 1,..., x n ). Pohjaoletus: Havainnot ovat riippumattomien N(µ, σ 2 )-jakautuneiden satunnaismuuttujien realisaatioita. Miten estimoidaan tuntemattomat parametrit µ ja σ 2 aineistosta? Estimaattoreina käytetään yleensä keskiarvoa ja otosvarianssia: m(x ) = 1 n n i=1 X i ja s 2 (X ) = 1 n 1 n (X i m(x )) 2. i=1 Jos pohjaoletus pätee, niin E(m(X )) = µ ja E(s 2 (X )) = σ 2. Näin ollen m(x ) ja s 2 (X ) ovat parametrien µ ja σ 2 harhattomat estimaattorit.

33 Miten estimoidaan normaalijakauman N(µ, σ 2 ) odotusarvoparametri µ ja sille luottamusväli?

34 Normaalijakauman t-testisuure Stokastinen malli Satunnaisvektori X = (X 1,..., X n ), jolla riippumattomat N(µ, σ 2 )-jakautuneet komponentit m(x ) = 1 n n i=1 X i s 2 (X ) = 1 n n 1 i=1 (X i m(x )) 2 Fakta N(µ, σ 2 )-jakautuneen stokastisen mallin t-testisuure t(x ) = m(x ) µ s(x )/ n noudattaa Studentin t-jakaumaa vapausastein n 1.

35 Studentin t-jakauma Jatkuva satunnaisluku X noudattaa Studentin t-jakaumaa vapausastein n, jos sillä on tiheysfunktio muotoa f (x) = c (1 + x 2 n ) n+1 2. Studentin t-jakauma on symmetrinen: Kaikilla x > 0 pätee 1 F (x) = Pr(X > x) = Pr(X < x) = F ( x) Pr( X > x) = 2 Pr(X > x) Tiheysfunktio ja kertymäfunktio R:llä: dt(x, n) ja pt(x, n)

36 Studentin t-jakauma t distributions f(x) x Kuva : Studentin t-jakaumia vapausastein n = 1 (sininen), n = 2 (vihreä), n = 5 (punainen)ja n = (musta).

37 Normaalijakauman odotusarvon luottamusväli Fakta Jos satunnaisvektorilla X = (X 1,..., X n ) on riippumattomat N(µ, σ 2 )-jakautuneet komponentit, niin satunnaisväli ( ) s(x ) s(x ) m(x ) t 1 α/2, m(x ) + t n 1 α/2 n peittää parametrin µ tn:llä 1 α, missä t 1 α/2 = qt(1 α/2, n 1) on n 1 vapausasteen Studentin t-jakauman tason 1 α/2 kvantiili.

38 Normaalijakauman odotusarvon luottamusväli: Tulkinta Havaittu määrällisen muuttujan arvot x = (x 1,..., x n ). Aineistosta laskettu luottamustason 1 α luottamusväli on ( ) s(x) s(x) m(x) t 1 α/2, m(x) + t n 1 α/2 n Pohjaoletus: Havainnot ovat riippumattomien N(µ, σ 2 )-jakautuneiden satunnaismuuttujien realisaatioita. Tulkinta: Aineistosta laskettu estimaatti ˆµ = m(x) aina kuuluu yo. välille Tuntematon parametri µ joko kuuluu tai ei kuulu yo. välille Jos pohjaoletus pätee, niin satunnainen väli ( ) s(x ) s(x ) m(x ) t 1 α/2, m(x ) + t n 1 α/2 n peittää tuntemattoman parametrin µ tn:llä 1 α.

39 Miten estimoidaan normaalijakauman N(µ, σ 2 ) varianssiparametri σ 2 ja sille luottamusväli?

40 Normaalijakauman varianssin χ 2 -testisuure Stokastinen malli Satunnaisvektori X = (X 1,..., X n ), jolla riippumattomat N(µ, σ 2 )-jakautuneet komponentit m(x ) = 1 n n i=1 X i s 2 (X ) = 1 n n 1 i=1 (X i m(x )) 2 Fakta Stokastiseen malliin perustuva testisuure χ 2 (X ) = (n 1)s2 (X ) σ 2 noudattaa χ 2 -jakaumaa vapausastein n 1.

41 Khii toiseen -jakauma Jatkuva satunnaisluku X 0 noudattaa χ 2 -jakaumaa vapausastein n, jos sillä on tiheysfunktio muotoa { c x n 2 1 e x/2, x > 0, f (x) = 0, x 0. χ 2 -jakauma ei ole symmetrinen: F (x) = 0 kaikilla x < 0. Tiheysfunktio ja kertymäfunktio R:llä: dchisq(x, n) ja pchisq(x, n)

42 χ 2 -jakauma Chi squared distribution f(x) x Kuva : χ 2 -jakaumien tiheysfunktioita vapausastein n = 1 (musta), n = 2 (punainen), n = 3 (vihreä) and n = 5 (sininen).

43 Normaalijakauman varianssin luottamusväli Stokastinen malli Satunnaisvektori X = (X 1,..., X n ), jolla riippumattomat N(µ, σ 2 )-jakautuneet komponentit Fakta Satunnaisväli ( (n 1)s 2 (X ) c 1 α/2, (n 1)s 2 ) (X ) c α/2 peittää parametrin σ 2 tn:llä 1 α, missä c 1 α/2 = qchisq(1 α/2, n 1), c α/2 = qchisq(α/2, n 1), ovat n 1 vapausasteen χ 2 -jakauman tasojen 1 α/2 ja α/2 kvantiilit.

44 Normaalijakauman varianssin luottamusväli: Tulkinta Havaittu määrällisen muuttujan arvot x = (x 1,..., x n ). Aineistosta laskettu luottamustason 1 α varianssin luottamusväli on ( (n 1)s 2 (x) (n 1)s 2 ) (x), c 1 α/2 c α/2 Pohjaoletus: Havainnot ovat riippumattomien N(µ, σ 2 )-jakautuneiden satunnaismuuttujien realisaatioita. Tulkinta: Aineistosta laskettu estimaatti ˆσ 2 = s 2 (x) aina kuuluu yo. välille Tuntematon parametri σ 2 joko kuuluu tai ei kuulu yo. välille Jos pohjaoletus pätee, niin satunnainen väli ( (n 1)s 2 (X ) c 1 α/2, (n 1)s 2 (X ) c α/2 peittää tuntemattoman parametrin σ 2 tn:llä 1 α. )

45 Normaalijakauman parametrien estimointi Yhteenveto Tuntemattomien parametrien µ ja σ 2 :n piste-estimaatit: m(x) = 1 n n i=1 x i ja s 2 (x) = 1 n 1 n (x i m(x)) 2. i=1 Aineistosta laskettu luottamustason 1 α luottamusväli µ:lle: ( ) s(x) s(x) m(x) t 1 α/2, m(x) + t n 1 α/2 n Aineistosta laskettu luottamustason 1 α luottamusväli σ 2 :lle: ( (n 1)s 2 (x) (n 1)s 2 ) (x), c 1 α/2 c α/2 Luottamuskertoimet: t 1 α/2 = qt(1 α/2, n 1), c 1 α/2 = qchisq(1 α/2, n 1), c α/2 = qchisq(α/2, n 1).

47 Bernoullijakauman parametrin estimointi Tehdään n riippumatonta otosta palauttaen suuresta perusjoukosta. Merkitään { 1, jos alkio i kuuluu joukkoon A, X i = 0, muuten Halutaan estimoida osajoukon A alkioiden suhteellinen osuus p koko perusjoukon alkioista. Käytetään estimaattoria ˆp(X ) = 1 n n X i = i=1 lkm(havaitut alkiot joukossa A) n Tämä on tuntemattoman parameterin p harhaton estimaattori, sillä E(ˆp(X )) = p.

48 Bernoullijakauman testisuure Stokastinen malli Satunnaisvektori X = (X 1,..., X n ), jolla riippumattomat Ber(p)-jakautuneet komponentit Kun n on suuri ja p ei ole kovin lähellä nollaa tai ykköstä, niin stokastisen mallin pohjalta määritelty testisuure ˆp(X ) p ˆp(X )(1 ˆp(X ))/n noudattaa likimain N(0, 1)-jakaumaa.

49 Bernoullijakauman luottamusväli Stokastinen malli Satunnaisvektori X = (X 1,..., X n ), jolla riippumattomat Ber(p)-jakautuneet komponentit Kun n on suuri ja p ei ole kovin lähellä nollaa tai ykköstä, niin satunnainen väli ( ) ˆp(X )(1 ˆp(X )) ˆp(X )(1 ˆp(X )) ˆp(X ) z, ˆp(X ) + z n n peittää parametrin p likimain todennäköisyydellä 1 α, missä z = qnorm(1 α/2) on N(0, 1) jakauman tason 1 α/2 tason kvantiili.

51 Suurimman uskottavuuden function Oletetaan, että on kerätty havainnot x = (x 1, x 2,..., x n ) satunnaismuuttujista X 1, X 2,..., X n, joilla on yhteistiheysfunktio f (x; θ), missä θ on jakauman parametri. Havaintoihin liittyvä Suurimman uskottavuuden funktio on L(θ) = f (x 1,..., x n ; θ), joka on parametrin θ funktio, kun havainnot x = (x 1,..., x n ) on kiinnitetty. Huom Jos X 1, X 2,..., X n ovat riippumattomia, niin L(θ) = f (x; θ) = n f i (x i ; θ), missä f i (x i ; θ) on satunnaismuuttujan X i tiheysfunktio kaikilla i = 1,..., n. i=1

52 Suurimman uskottavuuden estimaattori Oletetaan, että X 1,..., X n ovat riippumattomia satunnaismuuttujia. Suurimman uskottavuuden estimaattori ˆΘ = ˆΘ(X 1,..., X n ) on satunnaismuuttuja, jolle ˆΘ = argmax θ f (X 1,..., X n ; θ) f (X 1,..., X n ; ˆΘ) = max f (X 1,..., X n ; θ). θ Kun havainnot x 1,..., x n on tehty, voidaan laskea suurimman uskottavuuden estimaatti ˆθ. joka toteuttaa yhtälön ˆθ = ˆΘ(x 1,..., x n ), L(ˆθ) = f (x 1,..., x n ; ˆθ) = max f (x 1,..., x n ; θ). θ

53 Suurimman uskottavuuden estimaatin etsiminen Suurimman uskottavuuden estimaatti ˆθ on usein jokin seuraavista: Funktion L epäjatkuvuuspiste Funktion L määrittelyoukon reunapiste Piste, jossa funktion L derivaatta on 0. Sen sijaan, että maksimoidaan L, on usein helpompaa maksimoida logaritminen uskottavuusfunktio l(θ) = log(l(θ)), sillä logaritmi muuntaa tulot summiksi ja derivoinit on siten helpompaa. Tämän maksimointi on yhtäpitävää funktion L maksimoinnin kanssa, sillä L on ei-negatiivinen ja logaritmi on aidosti kasvava välillä (0, ).

54 Suurimman uskottavuuden estimaattori normaalijakaumalle Olkoot x 1,..., x n reaalisaatioita riippumattomista N(µ, σ 2 )-jakautuneista satunnaismuuttujista X 1,..., X n, eli X i :n tiheysfunktio on f (x i ; µ, σ 2 ) = 1 ( σ 2π exp 1 ( ) xi µ 2 ) 2 σ kaikilla i ja joillekin µ (, ), σ > 0. Huom Normaalijakaumalle parametri θ on kaksiulotteinen vektori θ = (µ, σ 2 ).

55 ... Suurimman uskottavuuden estimaattori normaalijakaumalle Uskottavuusfunktio annetulle x = (x 1,..., x n ) on L(µ, σ 2 ) = f (x 1 ; µ, σ 2 )f (x 2 ; µ, σ 2 ) f (x n ; µ, σ 2 ) ( 1 = exp 1 n ) σ n (2π) n 2 2σ 2 (x i µ) 2 ja log-uskottavuusfunktio on l(µ, σ 2 ) = log L(µ, σ 2 ) i=1 = n 2 log(σ2 ) n 2 log(2π) 1 2σ 2 n (x i µ) 2 i=1

56 Uskottavuusfunktion maksimin etsiminen l(µ, σ 2 ) = n 2 log(σ2 ) n 2 log(2π) 1 2σ 2 n (x i µ) 2 (1) Derivoidaan µ:n suhteen ja asetetaan derivaatta nollaksi: 0 =: µ l(µ, σ2 ) = 1 n σ 2 (x i µ). Nyt saadaan ratkaistuksi ˆµ = 1 n n i=1 x i = m(x). (2) Korvataan µ arolla ˆµ = m(x) funktiossa l: l(m(x), σ 2 ) = n 2 log(σ2 ) n 2 log(2π) 1 n 2σ 2 (x i m(x)) 2. (3) Derivoidaan σ 2 :n suhteen ja asetetaan derivaatta nollaksi: 0 =: σ 2 l(µ, σ2 ; x) = n 2σ n 2σ 4 (x i m(x)) 2. i=1 i=1 i=1 i=1 Ratkaisu: ˆσ 2 = 1 n n i=1 (x i m(x)) 2 = n 1 n s2 (x).

57 Suurimman uskottavuuden estimaattori normaalijakaumalle Parametrin µ SU-estimaattori muuttujille (X 1,..., X n ) ˆM = m(x ) = 1 n n i=1 X i on harhaton, tehokas (sillä on pienein varianssi harhattomien estimaattoreiden joukossa) ja johdonmukainen (ˆµ µ). N ( ) µ, σ2 n -jakautunut Parametrin σ 2 SU-estimaattori ˆΣ 2 = 1 n n (X i m(x )) 2 on i=1 harhainen: E(Σ 2 ) = n 1 n σ2, mutta johdonmukainen. on χ 2 (n 1)-jakautunut. n ˆΣ 2 σ 2

58 Huom Estimaattori on satunnaismuuttuja ja estimaatti on estimaattorin realisaatio. Estimaatti ei ole satunnainen. Tilastotieteen kirjallisuudessa näitä ei aina ole selkeästi eroteltu, koska oletuksena on, että analysoidaan jotakin aineistoa, eli taustalla olevien satunnaismuuttujien X 1,..., X n havaittuja realisaatioita x 1,..., x n.

59 Ensi viikolla aiheena tilastollinen hypoteesin testaus...

60 Aineistolähteet Luentokalvot pohjautuvat osittain kurssin edellisten vuosien (Ilkka Mellin, Milla Kibble, Juuso Liesiö) luentokalvoihin. Esityksessä käytetyt kuvat Guinness-tuoppi: Image courtesy of Sami Keinänen Wikimedia Commons.