2. Uskottavuus ja informaatio Viimeksi käsittelimme uskottavuusfunktioita, log-uskottavuusfunktioita ja su-estimaatteja Seuraavaksi tarkastelemme parametrin muunnoksia ja kuinka su-estimaatit käyttäytyvät muunnoksissa Sitten rupeamme miettimään, miten aineiston koon kasvun mukanaan tuoma lisätieto voidaan ymmärtää erilaisten informaation käsitteiden avulla.
2.3 Su-estimaatin invarianssiominaisuus Toisinaan on tarpeellista parametroida tarkasteltava tilastollinen malli f Y (y; θ) uudelleen jollakin toisella parametrilla φ, joka voi olla esimerkiksi tulkinnallisesti luontevampi kuin parametri θ Su-estimaatin invarianssiominaisuus tarkoittaa, että su-estimaatti käyttäytyy mukavasti parametrin muunnoissa
2.3.1 Uudelleenparametrisointi Tarkastellaan tilastollista mallia y f Y (y; θ), θ Ω R d. Tarkastellaan toista tilastollista mallia y fy (y; φ), φ Ω eri parametriavaruudella Ω R d missä g : Ω Ω on bijektio. f Y (y; φ) = f Y(y; g 1 (φ)) Uskottavuusfunktiolla tällöin vastaavuus L (φ) = L(g 1 (φ)), φ Ω
2.3.1 Uudelleenparametrisointi Lause Olkoon f Y (y; θ) tilastollinen malli ja Ω sen parametriavaruus. Olkoon g : Ω Ω bijektio. Jos θ on parametrin θ Ω su-estimaatti, niin parametrin φ = g(θ) su-estimaatti on g( θ).
2.3.2 kestoikämalli Esimerkissä 1.2.2 johdettiin kestoikiä kuvaava malli Y 1,..., Y n Exp(λ) sen uudelleenparametrointi µ = 1/λ. Monisteen tehtävä 2.3:n mukaan λ = 1/y Uudelleenparametrisointilauseen avulla µ = y (otoskeskiarvo). Huom. tämä saatiin siis ilmaiseksi, mitään ei tarvinnut laskea (paitsi tehtävä 2.3. :)
2.3.3 Esimerkki: toistopyydysotanta Halutaan estimoida järvessä elävien kalojen kokonaislukumäärä ν pyydystetään, merkitään ja palautetaan takaisin m kalaa merkittyjen kalojen sekoituttua kunnolla, pyydystetään n kalaa ja lasketaan niistä merkittyjen lukumäärä k tätä menetelmää nimitetään toistopyydystysotannaksi (engl. capture-recapture sampling).
2.3.3 Esimerkki: toistopyydysotanta Oletus: n on pieni verrattuna kokonaismäärään ν Tällöin voidaan olettaa, että aineistoa k vastaava sm K Bin(n, m/ν) = Bin(n, θ) Tämä on tuttu lamppuesimerkki, joten θ = k/n. Nyt uudelleenparametrisointilauseella ν = m/ θ = mn/k.
2.3.4 Parametrin muunnoksen su-estimaatti Invarianssiominaisuus oli todella mukava Entä jos kuvaus g ei olekaan bijektio? Mikä menee pieleen vai meneekö mikään? Osoittautuu, että voimme varsin hyvin laajentaa invarianssiominaisuuden myös muille funktioille, joten sovimme, että g( θ) on parametrin g(θ) su-estimaatti
2.3.5 Esimerkki: normaalimallin su-estimaatteja Laskimme esimerkissä 2.2.6. normaalimallin (Y 1,..., Y n N(µ, σ 2 ) ) su-estimaatit µ = y = 1 n n y i, i=1 σ 2 = 1 n n (y i y) 2. i=1 Toisen momentin EYi 2 = µ 2 + σ 2 su-estimaatti on äskeisen sopimuksen mukaan µ 2 + σ 2 = 1 n 2 y 2 i. Todennäköisyyden p = P(Y i > 0) su-estimaatti on vastaavasti p = Φ( µ/ σ) missä Φ on standardinormaalijakauman kertymäfunktio
2.4 Informaation käsite, tapaus d = 1 Tässä luvussa esittelemme kaksi informaation käsitettä Aluksi esittelemme aineistosta y havaitun informaation j Seuraavaksi esittelemme odotetun informaation eli Fisherin informaation Pohdimme myös hieman mallien vertailua odotetun informaation avulla.
2.4.1 Rikkinäiset lamput ja informaatio Tarkastellaan taas mallia Y 1,..., Y n B(θ) aineistoa y = (y 1,..., y n ) vastaa log-uskottavuusfunktio l(θ) = k log θ + (n k) log(1 θ) kun k = y 1 + + y n ja su-estimaatti on θ = k/n. Kuinka otoskoko n vaikuttaa päättelyyn ja kuinka tätä lisätietoa voitaisiin mitata? Tarkastellaan normitettua log-uskottavuusfunktiota l 0 (θ) = l(θ) l( θ)
2.4.1 Rikkinäiset lamput ja informaatio
2.4.1 Rikkinäiset lamput ja informaatio
2.4.1 Rikkinäiset lamput ja informaatio
2.4.1 Rikkinäiset lamput ja informaatio
2.4.1 Rikkinäiset lamput ja informaatio
2.4.1 Rikkinäiset lamput ja informaatio
2.4.1 Rikkinäiset lamput ja informaatio
2.4.1 Rikkinäiset lamput ja informaatio
2.4.1 Rikkinäiset lamput ja informaatio
2.4.1 Rikkinäiset lamput ja informaatio
2.4.1 Rikkinäiset lamput ja informaatio
2.4.1 Rikkinäiset lamput ja informaatio
Käytös su-estimaatin lähellä Taylorin kehitelmä kertoo l(θ; y) l( θ; y) + l ( θ; y)(θ θ) + 1 2 l ( θ; y)(θ θ) 2 Koska aina l ( θ; y) = 0, θ = 1 10 ja tässä l n ( θ; y) = θ(1 θ) Siispä l 0 (θ) 50n 2 9 (θ θ)
2.4.2 Havaitun informaation määritelmä Edellisen esimerkin motivoimana määrittelemme havaitun informaation käsitteen. Tarkastelemme tilastollista mallia f Y (y; θ), θ Ω R Oletus: log-uskottavuusfunktio l on kahdesti derivoituva Määritelmä Aineistosta y havaittu informaatio on j(θ; y) = l (θ; y), θ Ω. Huom. Pääasiassa kiinnitetään huomiota havaittuun informaatioon vain su-pisteessä θ.
2.4.3 Esimerkki: normaalimallin havaittu informaatio Tarkastellaan taas Y 1,..., Y n N(µ, σ0 2) kun varianssi σ0 2 > 0 on tunnettu sen log-uskottavuusfunktio on l(µ) = n 2σ0 2 (y µ) 2 ja siispä havaittu informaatio on j(µ; y) = l (µ; y) = n σ 2 0 informaatio kasvaa, kun n kasvaa ja vähenee kun varianssi kasvaa
log-uskottavuusfunktion normaaliapproksimaatio normaalimallin normitettu log-uskottavuusfunktio on toisen asteen polynomi l 0 (µ) = 1 2j(µ; y)(y µ)2 yleisemmin voimassa olevaa approksimaatiota l 0 (θ) 1 2 j(θ; y)( θ θ) 2 nimitetäänkin tämän takia log-uskottavuusfunktion normaaliapproksimaatioksi Tätä käytämme myöhemmin asymptoottisen päättelyn teorian kehittelyssä.
2.4.4 Fisherin informaatio Määritelmä Fisherin informaatio on odotettu informaatio eli odotusarvo ι(θ) = E θ j(θ; Y) = E θ ( l (θ; Y)), θ Ω. Fisherin informaation toistokoetulkinta on siis havaittujen informaatioiden keskiarvo toistetussa aineistonkeruussa. Havaittu informaatio riippuu aina aineistosta y, mutta Fisherin informaatio vain tilastollisesta mallista.
2.4.5 Fisherin informaatio lampputoistokokeessa Tarkastellaan taas mallia Y 1,..., Y n B(θ) Aineistosta havaittu informaatio on j(θ; y) = l (θ; y) = k θ 2 + n k (1 θ) 2 havaittu informaatio su-estimaatissa θ = k/n, kun k = y 1 + + y n, on j( θ; y) = n θ(1 θ) Koska K Bin(n, θ), niin EK = nθ ja Fisherin informaatio ι(θ) = Ej(θ; Y) = n θ(1 θ).
Fisherin informaatio ja mallien vertailu Fisherin informaatiolla on varsin syvällinen rooli päättelyn teoriassa (tästä lisää myöhemmin, mutta se tulee vastaan kaikkialla :) Koska Fisherin informaatio ι(θ) on laskettavissa jo ennen kuin aineistonkeruuta on edes suoritettu, voi sitä käyttää myös koesuunnittelun apuna
2.4.6. informaatio ja mallien vertailu Eräästä geenistä on olemassa alleelit r ja R, jolloin populaatio jakautuu genotyyppeihin rr, rr ja RR Hardyn Weinbergin laki: suhteelliset osuudet θ 2, 2θ(1 θ) ja (1 θ) 2 kaksi vaihtoehtoista koeasetelmaa parametrin θ (0, 1) estimointiin Koetapa A Poimitaan n yksilön otos ja testataan kunkin genotyyppi. Aineisto y = (y 1, y 2, y 3 ) kunkin genotyypin lukumäärä. Koetapa B Poimitaan 3n yksilön otos (halvempi testi) Aineisto k = genotyypin rr lkm
2.4.6. informaatio ja mallien vertailu Kumpaa koejärjestelyistä (A vai B) kannattaisi tutkimuksessa käyttää? Fisherin informaatio kertoo vastauksen :) joten lasketaan kumpaankin malliin liittyvä Fisherin informaatio ι A (θ) ja ι B (θ)
Koejärjestelyn A Fisherin informaatio aineistoa vastaava satunnaisvektori Y = (Y 1, Y 2, Y 3 ) noudattaa multinomijakaumaa P(Y 1 = y 1, Y 2 = y 2, Y 3 = y 3 ) = c(y)θ 2y 1+y 2 (1 θ) 2y 3+y 2 Siispä log-uskottavuusfunktio on l A (θ) = (2y 1 + y 2 ) log θ + (2y 3 + y 2 ) log(1 θ) ja Fisherin informaatio ι A (θ) = E( l A (θ)) = = 2n θ(1 θ)
Koejärjestelyn B Fisherin informaatio aineistoa k havaitaan satunnaismuuttuja K Bin(3n, θ 2 ). Siispä log-uskottavuusfunktio on l B (θ) = 2k log θ + (3n k) ( log(1 + θ) + log(1 θ) ). ja Fisherin informaatio ι B (θ) = E( l B (θ)) = = 12n (1 θ)(1 + θ)
Koejärjestelyjen Fisherin informaatiot kuvana
Koejärjestelyjen Fisherin informaatiot kuvana
Koejärjestelyjen Fisherin informaatiot kuvana
2.5 Pistemäärä ja säännölliset mallit, kun d = 1 log-uskottavuusfunktion ensimmäisellä derivaatalla, ns. pistemäärällä, on syvällisempikin teoreettinen merkitys Esittelemme pistemäärän jälkeen säännölliset mallit ja sitten todistamme pistemäärän ja Fisherin informaation välisen yhteyden
2.5.1 Pistemääräfunktio Tarkastellaan mallia f Y (y; θ), parametriavaruus on Ω R (avoin väli tyypillisesti) Oletus: uskottavuusfunktio L derivoituva Ω:ssa kaikilla y Määritelmä Aineistoon y liittyvä pistemäärä tai pistemääräfunktio (engl. score, score function) on log-uskottavuusfunktion ensimmäinen derivaatta l (θ) = l (θ; y) = θf Y (y; θ) f Y (y; θ).
2.5.2 Säännölliset mallit Määritelmä Jatkuva malli f Y (y; θ) on säännöllinen, jos SEOV: a) jakauman kantaja (tai alusta) A = { y ; f Y (y; θ) > 0 } ei riipu parametrista θ b) θ f Y (y; θ) on kaksi kertaa jatkuvasti derivoituva jokaisella y, c) kun T = t(y) on tunnusluku ja E θ T on olemassa θ, pätee θ E θt = t(y) θ f Y(y; θ)dy A d) ja 2 E θ 2 θ 1 = 2 f θ 2 Y (y; θ)dy A
2.5.2 Säännölliset mallit Määritelmä Diskreetti malli f Y (y; θ) on säännöllinen, jos SEOV: a) jakauman kantaja (tai alusta) A = { y ; f Y (y; θ) > 0 } ei riipu parametrista θ b) θ f Y (y; θ) on kaksi kertaa jatkuvasti derivoituva jokaisella y, c) kun T = t(y) on tunnusluku ja E θ T on olemassa θ, pätee θ E θt = A t(y) θ f Y(y; θ) d) ja 2 θ 2 E θ 1 = A 2 θ 2 f Y (y; θ)
2.5.2 Säännöllisistä malliesta kurssilla yleensä oletetaan, että tarkasteltavat mallit ovat riittävän säännöllisiä säännöllisiä malleja: eksponenttiperheen jakaumiin pohjautuvat mallit: mm. Bernoulli-, binomi-, Poisson-, normaali-, gamma- ja eksponenttijakaumat ei-säännöllinen malli: esimerkiksi otos jakaumasta Tas(0, θ) kun t(y) = 1, niin c) ja d) kertovat että uskottavuusfunktion ensimmäisen sekä toisen derivaatan integraalit häviävät
2.5.3 Pistemäärän odotusarvosta ja varianssista Apulause Olkoon f Y (y; θ) säännöllinen tilastollinen malli ja l sen log-uskottavuusfunktio. Tällöin a) pistemäärää vastaavan sm l (θ; Y) odotusarvo on nolla, E θ ( l (θ; Y) ) = 0 b) ja toinen momentti (nyt varianssi) on Fisherin informaatio E θ (l (θ; Y) 2 ) = var θ l (θ; Y) = ι(θ).
Fisherin informaation määritelmästä Usein Fisherin informaatio määritellään kuten apulauseen b)-kohdassa eli ι(θ) = var θ l (θ; Y) Käytännön laskuissa kurssin määritelmä ι(θ) = E θ l (θ; Y) johtaa usein helpompiin laskuihin. Tulos ι(θ) = var θ l (θ; Y) on tärkeä teoreettisesti (palaamme tähän myöhemmin)
2.6 Informaatio ja pistemäärä, kun d > 1 Olemme tutustuneet käsitteisiin kun d = 1, eli θ = θ Lisätään isompaa silmään ja esitellään sama kun d > 1 eli θ = (θ 1,..., θ d )
2.6.1 Informaatiokäsitteet Tarkastelemme tilastollista mallia f Y (y; θ), θ Ω R d Oletus: vektorimuuttujan log-uskottavuusfunktio l(θ) on kahdesti jatkuvasti derivoituva Määritelmä Aineistosta y havaittu informaatio on d d -matriisi (eli vanha tuttu Hessen matriisi 1) ( ) ( ) j(θ; y) = j a,b (θ; y) = 2 a,b θ a θ b l(θ; y) a,b kun θ Ω.
2.6.1 Informaatiokäsitteet Kun aineistosta havaittu informaatio on määritelty, on Fisherin informaatio helppo määritellä Määritelmä Fisherin informaatio on odotettu informaatio eli d d-odotusarvomatriisi ( ( ) ι(θ) = E θ j(θ; Y) = ι a,b (θ) )a,b = E 2 θ θ a θ b l(θ; Y) kun θ Ω. Huom Sekä havaittu informaatio j että Fisherin informaatio ι ovat symmetrisiä matriiseja a,b
2.6.2 Parametrien ortogonaalisuus Määritelmä Jos θ voidaan jakaa osiin φ ja λ ja ι a,b (θ) = 0, θ Ω aina kun θ a kuuluu osaan φ ja θ b kuuluu osaa λ, niin osia φ ja λ sanotaan ortogonaalisiksi Ääritapauksessa, kun ι(θ) on diagonaalimatriisi ovat kaikki parametrin osat ortogonaalisia. Ortogonaalisuus on hyödyllistä: päätelmät toisesta osasta eivät vaikuta toisen osan päätelmiin (eräässä mielessä)
2.6.3 Esimerkki: informaatio normaalimallissa Normaalimallissa Y 1,..., Y n N(µ, σ 2 ) Normaalimallin log-uskottavuusfunktion määräsimme aiemmin l(θ) = n 2 log(σ2 ) 1 2σ 2 ( (n 1)s 2 + n(y µ) 2)
2.6.3 Esimerkki: informaatio normaalimallissa havaittu informaatio j(µ, σ 2 ; y) = ( n/σ 2 n(µ y)/σ 4 ) n(µ y)/σ 4 n/2σ 4 + ( (n 1)s 2 + n(µ y) 2) /σ 6 Fisherin informaatio puolestaan on ( ) ι(µ, σ 2 n/σ 2 0 ) = 0 n/2σ 4 (vertaa tätä havaittuun informaatioon su-pisteessä!) parametrit µ ja σ 2 ovat siis ortogonaaliset
2.6.4 Pistemäärä ja säännölliset mallit Pistemäärän yleistäminen on suoraviivaista :) Määritelmä Aineistoon y liittyvä pistemäärä(funktio) on log-uskottavuusfunktion gradientti ( ) l(θ) = θ 1 l(θ; y),..., θ d l(θ; y).
2.6.4 Pistemäärä ja säännölliset mallit Säännöliset mallit yleistetään samalla suoraviivaisella periaatteella Fisherin informaation ja pistemäärän yhteyskin voidaan säännöllisille malleille yleistää vastaavasti tilanteeseen d > 1 tiedetään siis että pistemäärän odotusarvovektori on nollavektori E θ l(θ; Y) = 0 ja vastaavasti Fisherin informaatio on pistemäärän kovarianssimatriisi Cov θ ( l(θ; Y) ) = ι(θ)
Ortogonaalisuus ja korreloimattomuus Koska Fisherin informaatio vastasi pistemäärän kovarianssimatriisia, niin parametrin komponettien ortogonaalisuus voidana ymmärtää vastaavien pistemäärän komponenttien korreloimattomuutena
Ensi viikolla Tähän mennessä olemme tarkastelleet estimointia su-estimoinnin kautta. Ensi viikolla rupeamme mietimään kysymyksiä: a) Millaisia muita menetelmiä on konstruoida estimaatteja? b) Mitä tarkoittaa, että estimaatti on hyvä? Millä kriteereillä estimaattien hyvyyttä mitataan? Mikä on optimaalinen estimaatti? c) Onko su-menetelmä hyvä tai jopa optimaalinen estimointimenetelmä?
3.2.1 Määritelmät Tarkastellaan tilastollista mallia f Y (y; θ), jonka parametriavaruus on Ω R d. Määritelmä Funktion g(θ) estimaattori T = t(y) on harhaton (engl. unbiased), jos on voimassa E θ T = g(θ) kaikilla θ Ω. Muutoin T on harhainen (engl. biased) ja sen harha (engl. bias) on on nollasta eroava jollain θ Θ. b(θ) = E θ T g(θ)