2. Uskottavuus ja informaatio

Transkriptio

1 2. Uskottavuus ja informaatio Viimeksi käsittelimme uskottavuusfunktioita, log-uskottavuusfunktioita ja su-estimaatteja Seuraavaksi tarkastelemme parametrin muunnoksia ja kuinka su-estimaatit käyttäytyvät muunnoksissa Sitten rupeamme miettimään, miten aineiston koon kasvun mukanaan tuoma lisätieto voidaan ymmärtää erilaisten informaation käsitteiden avulla.

2 2.3 Su-estimaatin invarianssiominaisuus Toisinaan on tarpeellista parametroida tarkasteltava tilastollinen malli f Y (y; θ) uudelleen jollakin toisella parametrilla φ, joka voi olla esimerkiksi tulkinnallisesti luontevampi kuin parametri θ Su-estimaatin invarianssiominaisuus tarkoittaa, että su-estimaatti käyttäytyy mukavasti parametrin muunnoissa

3 2.3.1 Uudelleenparametrisointi Tarkastellaan tilastollista mallia y f Y (y; θ), θ Ω R d. Tarkastellaan toista tilastollista mallia y fy (y; φ), φ Ω eri parametriavaruudella Ω R d missä g : Ω Ω on bijektio. f Y (y; φ) = f Y(y; g 1 (φ)) Uskottavuusfunktiolla tällöin vastaavuus L (φ) = L(g 1 (φ)), φ Ω

4 2.3.1 Uudelleenparametrisointi Lause Olkoon f Y (y; θ) tilastollinen malli ja Ω sen parametriavaruus. Olkoon g : Ω Ω bijektio. Jos θ on parametrin θ Ω su-estimaatti, niin parametrin φ = g(θ) su-estimaatti on g( θ).

5 2.3.2 kestoikämalli Esimerkissä johdettiin kestoikiä kuvaava malli Y 1,..., Y n Exp(λ) sen uudelleenparametrointi µ = 1/λ. Monisteen tehtävä 2.3:n mukaan λ = 1/y Uudelleenparametrisointilauseen avulla µ = y (otoskeskiarvo). Huom. tämä saatiin siis ilmaiseksi, mitään ei tarvinnut laskea (paitsi tehtävä 2.3. :)

6 2.3.3 Esimerkki: toistopyydysotanta Halutaan estimoida järvessä elävien kalojen kokonaislukumäärä ν pyydystetään, merkitään ja palautetaan takaisin m kalaa merkittyjen kalojen sekoituttua kunnolla, pyydystetään n kalaa ja lasketaan niistä merkittyjen lukumäärä k tätä menetelmää nimitetään toistopyydystysotannaksi (engl. capture-recapture sampling).

7 2.3.3 Esimerkki: toistopyydysotanta Oletus: n on pieni verrattuna kokonaismäärään ν Tällöin voidaan olettaa, että aineistoa k vastaava sm K Bin(n, m/ν) = Bin(n, θ) Tämä on tuttu lamppuesimerkki, joten θ = k/n. Nyt uudelleenparametrisointilauseella ν = m/ θ = mn/k.

8 2.3.4 Parametrin muunnoksen su-estimaatti Invarianssiominaisuus oli todella mukava Entä jos kuvaus g ei olekaan bijektio? Mikä menee pieleen vai meneekö mikään? Osoittautuu, että voimme varsin hyvin laajentaa invarianssiominaisuuden myös muille funktioille, joten sovimme, että g( θ) on parametrin g(θ) su-estimaatti

9 2.3.5 Esimerkki: normaalimallin su-estimaatteja Laskimme esimerkissä normaalimallin (Y 1,..., Y n N(µ, σ 2 ) ) su-estimaatit µ = y = 1 n n y i, i=1 σ 2 = 1 n n (y i y) 2. i=1 Toisen momentin EYi 2 = µ 2 + σ 2 su-estimaatti on äskeisen sopimuksen mukaan µ 2 + σ 2 = 1 n 2 y 2 i. Todennäköisyyden p = P(Y i > 0) su-estimaatti on vastaavasti p = Φ( µ/ σ) missä Φ on standardinormaalijakauman kertymäfunktio

10 2.4 Informaation käsite, tapaus d = 1 Tässä luvussa esittelemme kaksi informaation käsitettä Aluksi esittelemme aineistosta y havaitun informaation j Seuraavaksi esittelemme odotetun informaation eli Fisherin informaation Pohdimme myös hieman mallien vertailua odotetun informaation avulla.

11 2.4.1 Rikkinäiset lamput ja informaatio Tarkastellaan taas mallia Y 1,..., Y n B(θ) aineistoa y = (y 1,..., y n ) vastaa log-uskottavuusfunktio l(θ) = k log θ + (n k) log(1 θ) kun k = y y n ja su-estimaatti on θ = k/n. Kuinka otoskoko n vaikuttaa päättelyyn ja kuinka tätä lisätietoa voitaisiin mitata? Tarkastellaan normitettua log-uskottavuusfunktiota l 0 (θ) = l(θ) l( θ)

12 2.4.1 Rikkinäiset lamput ja informaatio

24 Käytös su-estimaatin lähellä Taylorin kehitelmä kertoo l(θ; y) l( θ; y) + l ( θ; y)(θ θ) l ( θ; y)(θ θ) 2 Koska aina l ( θ; y) = 0, θ = 1 10 ja tässä l n ( θ; y) = θ(1 θ) Siispä l 0 (θ) 50n 2 9 (θ θ)

25 2.4.2 Havaitun informaation määritelmä Edellisen esimerkin motivoimana määrittelemme havaitun informaation käsitteen. Tarkastelemme tilastollista mallia f Y (y; θ), θ Ω R Oletus: log-uskottavuusfunktio l on kahdesti derivoituva Määritelmä Aineistosta y havaittu informaatio on j(θ; y) = l (θ; y), θ Ω. Huom. Pääasiassa kiinnitetään huomiota havaittuun informaatioon vain su-pisteessä θ.

26 2.4.3 Esimerkki: normaalimallin havaittu informaatio Tarkastellaan taas Y 1,..., Y n N(µ, σ0 2) kun varianssi σ0 2 > 0 on tunnettu sen log-uskottavuusfunktio on l(µ) = n 2σ0 2 (y µ) 2 ja siispä havaittu informaatio on j(µ; y) = l (µ; y) = n σ 2 0 informaatio kasvaa, kun n kasvaa ja vähenee kun varianssi kasvaa

27 log-uskottavuusfunktion normaaliapproksimaatio normaalimallin normitettu log-uskottavuusfunktio on toisen asteen polynomi l 0 (µ) = 1 2j(µ; y)(y µ)2 yleisemmin voimassa olevaa approksimaatiota l 0 (θ) 1 2 j(θ; y)( θ θ) 2 nimitetäänkin tämän takia log-uskottavuusfunktion normaaliapproksimaatioksi Tätä käytämme myöhemmin asymptoottisen päättelyn teorian kehittelyssä.

28 2.4.4 Fisherin informaatio Määritelmä Fisherin informaatio on odotettu informaatio eli odotusarvo ι(θ) = E θ j(θ; Y) = E θ ( l (θ; Y)), θ Ω. Fisherin informaation toistokoetulkinta on siis havaittujen informaatioiden keskiarvo toistetussa aineistonkeruussa. Havaittu informaatio riippuu aina aineistosta y, mutta Fisherin informaatio vain tilastollisesta mallista.

29 2.4.5 Fisherin informaatio lampputoistokokeessa Tarkastellaan taas mallia Y 1,..., Y n B(θ) Aineistosta havaittu informaatio on j(θ; y) = l (θ; y) = k θ 2 + n k (1 θ) 2 havaittu informaatio su-estimaatissa θ = k/n, kun k = y y n, on j( θ; y) = n θ(1 θ) Koska K Bin(n, θ), niin EK = nθ ja Fisherin informaatio ι(θ) = Ej(θ; Y) = n θ(1 θ).

30 Fisherin informaatio ja mallien vertailu Fisherin informaatiolla on varsin syvällinen rooli päättelyn teoriassa (tästä lisää myöhemmin, mutta se tulee vastaan kaikkialla :) Koska Fisherin informaatio ι(θ) on laskettavissa jo ennen kuin aineistonkeruuta on edes suoritettu, voi sitä käyttää myös koesuunnittelun apuna

31 informaatio ja mallien vertailu Eräästä geenistä on olemassa alleelit r ja R, jolloin populaatio jakautuu genotyyppeihin rr, rr ja RR Hardyn Weinbergin laki: suhteelliset osuudet θ 2, 2θ(1 θ) ja (1 θ) 2 kaksi vaihtoehtoista koeasetelmaa parametrin θ (0, 1) estimointiin Koetapa A Poimitaan n yksilön otos ja testataan kunkin genotyyppi. Aineisto y = (y 1, y 2, y 3 ) kunkin genotyypin lukumäärä. Koetapa B Poimitaan 3n yksilön otos (halvempi testi) Aineisto k = genotyypin rr lkm

32 informaatio ja mallien vertailu Kumpaa koejärjestelyistä (A vai B) kannattaisi tutkimuksessa käyttää? Fisherin informaatio kertoo vastauksen :) joten lasketaan kumpaankin malliin liittyvä Fisherin informaatio ι A (θ) ja ι B (θ)

33 Koejärjestelyn A Fisherin informaatio aineistoa vastaava satunnaisvektori Y = (Y 1, Y 2, Y 3 ) noudattaa multinomijakaumaa P(Y 1 = y 1, Y 2 = y 2, Y 3 = y 3 ) = c(y)θ 2y 1+y 2 (1 θ) 2y 3+y 2 Siispä log-uskottavuusfunktio on l A (θ) = (2y 1 + y 2 ) log θ + (2y 3 + y 2 ) log(1 θ) ja Fisherin informaatio ι A (θ) = E( l A (θ)) = = 2n θ(1 θ)

34 Koejärjestelyn B Fisherin informaatio aineistoa k havaitaan satunnaismuuttuja K Bin(3n, θ 2 ). Siispä log-uskottavuusfunktio on l B (θ) = 2k log θ + (3n k) ( log(1 + θ) + log(1 θ) ). ja Fisherin informaatio ι B (θ) = E( l B (θ)) = = 12n (1 θ)(1 + θ)

35 Koejärjestelyjen Fisherin informaatiot kuvana

38 2.5 Pistemäärä ja säännölliset mallit, kun d = 1 log-uskottavuusfunktion ensimmäisellä derivaatalla, ns. pistemäärällä, on syvällisempikin teoreettinen merkitys Esittelemme pistemäärän jälkeen säännölliset mallit ja sitten todistamme pistemäärän ja Fisherin informaation välisen yhteyden

39 2.5.1 Pistemääräfunktio Tarkastellaan mallia f Y (y; θ), parametriavaruus on Ω R (avoin väli tyypillisesti) Oletus: uskottavuusfunktio L derivoituva Ω:ssa kaikilla y Määritelmä Aineistoon y liittyvä pistemäärä tai pistemääräfunktio (engl. score, score function) on log-uskottavuusfunktion ensimmäinen derivaatta l (θ) = l (θ; y) = θf Y (y; θ) f Y (y; θ).

40 2.5.2 Säännölliset mallit Määritelmä Jatkuva malli f Y (y; θ) on säännöllinen, jos SEOV: a) jakauman kantaja (tai alusta) A = { y ; f Y (y; θ) > 0 } ei riipu parametrista θ b) θ f Y (y; θ) on kaksi kertaa jatkuvasti derivoituva jokaisella y, c) kun T = t(y) on tunnusluku ja E θ T on olemassa θ, pätee θ E θt = t(y) θ f Y(y; θ)dy A d) ja 2 E θ 2 θ 1 = 2 f θ 2 Y (y; θ)dy A

41 2.5.2 Säännölliset mallit Määritelmä Diskreetti malli f Y (y; θ) on säännöllinen, jos SEOV: a) jakauman kantaja (tai alusta) A = { y ; f Y (y; θ) > 0 } ei riipu parametrista θ b) θ f Y (y; θ) on kaksi kertaa jatkuvasti derivoituva jokaisella y, c) kun T = t(y) on tunnusluku ja E θ T on olemassa θ, pätee θ E θt = A t(y) θ f Y(y; θ) d) ja 2 θ 2 E θ 1 = A 2 θ 2 f Y (y; θ)

42 2.5.2 Säännöllisistä malliesta kurssilla yleensä oletetaan, että tarkasteltavat mallit ovat riittävän säännöllisiä säännöllisiä malleja: eksponenttiperheen jakaumiin pohjautuvat mallit: mm. Bernoulli-, binomi-, Poisson-, normaali-, gamma- ja eksponenttijakaumat ei-säännöllinen malli: esimerkiksi otos jakaumasta Tas(0, θ) kun t(y) = 1, niin c) ja d) kertovat että uskottavuusfunktion ensimmäisen sekä toisen derivaatan integraalit häviävät

43 2.5.3 Pistemäärän odotusarvosta ja varianssista Apulause Olkoon f Y (y; θ) säännöllinen tilastollinen malli ja l sen log-uskottavuusfunktio. Tällöin a) pistemäärää vastaavan sm l (θ; Y) odotusarvo on nolla, E θ ( l (θ; Y) ) = 0 b) ja toinen momentti (nyt varianssi) on Fisherin informaatio E θ (l (θ; Y) 2 ) = var θ l (θ; Y) = ι(θ).

44 Fisherin informaation määritelmästä Usein Fisherin informaatio määritellään kuten apulauseen b)-kohdassa eli ι(θ) = var θ l (θ; Y) Käytännön laskuissa kurssin määritelmä ι(θ) = E θ l (θ; Y) johtaa usein helpompiin laskuihin. Tulos ι(θ) = var θ l (θ; Y) on tärkeä teoreettisesti (palaamme tähän myöhemmin)

45 2.6 Informaatio ja pistemäärä, kun d > 1 Olemme tutustuneet käsitteisiin kun d = 1, eli θ = θ Lisätään isompaa silmään ja esitellään sama kun d > 1 eli θ = (θ 1,..., θ d )

46 2.6.1 Informaatiokäsitteet Tarkastelemme tilastollista mallia f Y (y; θ), θ Ω R d Oletus: vektorimuuttujan log-uskottavuusfunktio l(θ) on kahdesti jatkuvasti derivoituva Määritelmä Aineistosta y havaittu informaatio on d d -matriisi (eli vanha tuttu Hessen matriisi 1) ( ) ( ) j(θ; y) = j a,b (θ; y) = 2 a,b θ a θ b l(θ; y) a,b kun θ Ω.

47 2.6.1 Informaatiokäsitteet Kun aineistosta havaittu informaatio on määritelty, on Fisherin informaatio helppo määritellä Määritelmä Fisherin informaatio on odotettu informaatio eli d d-odotusarvomatriisi ( ( ) ι(θ) = E θ j(θ; Y) = ι a,b (θ) )a,b = E 2 θ θ a θ b l(θ; Y) kun θ Ω. Huom Sekä havaittu informaatio j että Fisherin informaatio ι ovat symmetrisiä matriiseja a,b

48 2.6.2 Parametrien ortogonaalisuus Määritelmä Jos θ voidaan jakaa osiin φ ja λ ja ι a,b (θ) = 0, θ Ω aina kun θ a kuuluu osaan φ ja θ b kuuluu osaa λ, niin osia φ ja λ sanotaan ortogonaalisiksi Ääritapauksessa, kun ι(θ) on diagonaalimatriisi ovat kaikki parametrin osat ortogonaalisia. Ortogonaalisuus on hyödyllistä: päätelmät toisesta osasta eivät vaikuta toisen osan päätelmiin (eräässä mielessä)

49 2.6.3 Esimerkki: informaatio normaalimallissa Normaalimallissa Y 1,..., Y n N(µ, σ 2 ) Normaalimallin log-uskottavuusfunktion määräsimme aiemmin l(θ) = n 2 log(σ2 ) 1 2σ 2 ( (n 1)s 2 + n(y µ) 2)

50 2.6.3 Esimerkki: informaatio normaalimallissa havaittu informaatio j(µ, σ 2 ; y) = ( n/σ 2 n(µ y)/σ 4 ) n(µ y)/σ 4 n/2σ 4 + ( (n 1)s 2 + n(µ y) 2) /σ 6 Fisherin informaatio puolestaan on ( ) ι(µ, σ 2 n/σ 2 0 ) = 0 n/2σ 4 (vertaa tätä havaittuun informaatioon su-pisteessä!) parametrit µ ja σ 2 ovat siis ortogonaaliset

51 2.6.4 Pistemäärä ja säännölliset mallit Pistemäärän yleistäminen on suoraviivaista :) Määritelmä Aineistoon y liittyvä pistemäärä(funktio) on log-uskottavuusfunktion gradientti ( ) l(θ) = θ 1 l(θ; y),..., θ d l(θ; y).

52 2.6.4 Pistemäärä ja säännölliset mallit Säännöliset mallit yleistetään samalla suoraviivaisella periaatteella Fisherin informaation ja pistemäärän yhteyskin voidaan säännöllisille malleille yleistää vastaavasti tilanteeseen d > 1 tiedetään siis että pistemäärän odotusarvovektori on nollavektori E θ l(θ; Y) = 0 ja vastaavasti Fisherin informaatio on pistemäärän kovarianssimatriisi Cov θ ( l(θ; Y) ) = ι(θ)

53 Ortogonaalisuus ja korreloimattomuus Koska Fisherin informaatio vastasi pistemäärän kovarianssimatriisia, niin parametrin komponettien ortogonaalisuus voidana ymmärtää vastaavien pistemäärän komponenttien korreloimattomuutena

54 Ensi viikolla Tähän mennessä olemme tarkastelleet estimointia su-estimoinnin kautta. Ensi viikolla rupeamme mietimään kysymyksiä: a) Millaisia muita menetelmiä on konstruoida estimaatteja? b) Mitä tarkoittaa, että estimaatti on hyvä? Millä kriteereillä estimaattien hyvyyttä mitataan? Mikä on optimaalinen estimaatti? c) Onko su-menetelmä hyvä tai jopa optimaalinen estimointimenetelmä?

55 3.2.1 Määritelmät Tarkastellaan tilastollista mallia f Y (y; θ), jonka parametriavaruus on Ω R d. Määritelmä Funktion g(θ) estimaattori T = t(y) on harhaton (engl. unbiased), jos on voimassa E θ T = g(θ) kaikilla θ Ω. Muutoin T on harhainen (engl. biased) ja sen harha (engl. bias) on on nollasta eroava jollain θ Θ. b(θ) = E θ T g(θ)