Tilastollinen päättely II, kevät 07 Harjoitus A Heikki Korpela 3. tammikuuta 07 Tehtävä. (Monisteen tehtävä.3 Olkoot Y,..., Y n Exp(λ. Kirjoita vastaava tilastollisen mallin lauseke (ytf. Muodosta sitten aineistoa y (y,..., y n vastaavat uskottavuus- ja loguskottavuusfunktio sekä määritä parametrin λ suurimman uskottavuuden estimaatti ˆλ. Vastaus: Parametriavaruus on (0,. Kiinnitetään n N +. Riippumattomuuden nojalla. f Y (y; λ λ exp( λy i λ n exp( λy i λ n exp( λny, josta L(λ; y λ n exp( λny l(λ; y log (λ n exp( λny log (λ n + log (exp( λny n log λ nλy l (λ n λ ny λ y > 0 λ > y 0 < λ < y ˆλ y y Tehtävä. (Monisteen tehtävä. Olkoot Y,..., Y n Exp(λ. Laske havaittu informaatio j(ˆλ; y, Fisherin informaatio i(λ ja odotusarvo E θ ( l (λ; Y..
Vastaus: j(λ l (λ nλ j(ˆλ l (ˆλ nˆλ n ( y ny i(λ E Y;λ [nλ nλ nλ vakio, kun n, λ kiinnitetty E λ λ, var λ λ var[l (λ; Y E λ (l (λ; Y [E λ (l (λ; Y E λ (l (λ; Y var[l (λ; Y + [E λ (l (λ; Y eksponenttijakauma varianssin laskukaava i(λ + [E λ (l (λ; Y i(λ var[l (λ; Y i(λ + [ Eλ λ ny l (λ; Y n λ ny i(λ + λ ney n, nλ vakioita, kun n, λ kiinnitetty i(λ + λ n E λ λ λ i(λ nλ E λ (l (λ; Y var[l (λ; Y + [E λ (l (λ; Y var λ ny + 0 vaihtoehtoinen tapa [E λ(l (λ; Y 0 kuten yllä var λ ny l (λ; Y n λ ny var [ ny var(c + ax var(ax, kun c n λ vakio var Y var(ax a var(x, kun a vakio var ny var nλ λ X, Z var(x + Z var X + var Z var λ λ Tehtävä 3. (Monisteen tehtävä.3 Tarkastellaan mallia, jossa havaintoja vastaavat satunnaismuuttujat Y,..., Y n ovat riippumattomat. Mallin parametri on yksiulotteinen θ. Totea, että mallin havaittu informaatio ja Fisherin informaatio ovat j(θ; y j (θ; y + + j n (θ; y n ja i(θ i (θ + + i n (θ, 3. jossa j k (θ; y k on pelkästään yhteen havaintoon y k perustuva havaittu informaatio ja i k (θ E(j k (θ; Y k on vastaava Fisherin informaatio. Miten tulkitset tämän tuloksen?
Vastaus: Muodostetaan yhteistiheysfunktio riippumattomuutta käyttäen: f Y (y; θ f Yi (y i ; θ, josta saadaan uskottavuus- ja log-uskottavuusfunktiot: L(θ; y f Yi (y i ; θ l(θ; y log f Yi (y i ; θ log f Yi (y i ; θ log l i (θ; y i Voidaan olettaa, että malli on siinä mielessä järkevästi määritelty, että tiheysfunktio saa nollaa suurempia arvoja vain mahdollisilla tapahtumilla. Toisin sanoen millään havaitulla aineiston yksilöllä y i ei f Yi (y i ; θ saa arvoa nolla. (Jos saataisiin tällaisia havaintoja, olisi mallia varmaankin syytä muokata! Lisäksi, jotta voimme mielekkäästi puhua havaitusta ja Fisherin informaatiosta (määritelmä.4., on oletettava, että yhteistiheysfunktio on kahdesti derivoituva. Alla olevasta nähdään, että tämä pätee jos ja vain jos kunkin satunnaismuuttujan tiheysfunktio on kahdesti derivoituva. Koska lisäksi derivaatta on lineaarinen operaattori, saadaan l (θ; y l (θ; y f Y i (y i ; θ f Yi (y i ; θ f (y i ; θf Yi (y i ; θ f (y i ; θ f Yi (y i ; θ j i (θ; y Edelleen, koska myös odotusarvo on lineaarinen operaattori, [ E [ l f Y (θ; Y E i ( ; θf Yi ( ; θ f Y i ( ; θ f Yi ( ; θ E f ( ; θf Yi ( ; θ f ( ; θ f Yi ( ; θ i i (θ Tulokselle voidaan antaa esimerkiksi seuraava tulkinta: jos satunnaismuuttujat voidaan olettaa riippumattomiksi, yhden satunnaismuuttujan lisääminen malliin (siis lisäaineiston hankkiminen ja mahdollisesti mallin spesifioiminen tuottaa lisäinformaatiota (rajahyötyä tismalleen kyseisen satunnaismuuttujan tuoman lisäinformaation verran. Jos mallin laajentamisesta saatava hyöty voidaan kvantifioida samassa mitassa kuin siitä koituva kustannus, voidaan optimaalinen koeasetelma ratkaista yhtälöstä MC MR, missä MC on rajakustannus ja MR on rajahyöty. Tehtävä 4. Olkoot Y,..., Y n. Kukin noudattaa jakaumaa, jonka tiheysfunktio on f(y; θ θ(θ + y θ ( y, kun 0 < y < ja nolla muutoin. Lisäksi θ > 0. Kyseessä on itse asiassa TN-kurssilta tuttu betajakauma Beta(θ,. a Määritä suurimman uskottavuuden estimaatti parametrille θ. 3
b Laske havaittu informaatio j(θ; y. 4. Vastaus: c Laske Fisherin informaatio i(θ. a Riippumattomuuden nojalla f Y (y; θ l(θ; y log θ(θ + y θ i ( y i θ(θ + y θ i ( y i log ( θ(θ + y θ i ( y i log θ + log(θ + + (θ log y i + log( y i n(log θ + log(θ + + (θ log y i + log( y i, } {{ } nz } {{ } c(y Tästä θ + + θ + z(θ(θ + θ(θ + l (θ; y n θ + n θ + + nz θ + θ + + z > 0 > 0 zθ + (z + θ + > 0 θ(θ + zθ + (z + θ + > 0, θ > 0 Lisäksi huomioimalla jakaumaoletus saadaan logaritmien keskiarvolle negatiivinen etumerkki, eli osoittajaa kuvaava paraabeli aukeaa alaspäin: i : 0 < y i < log y i < 0 z n log y i < 0 Koska lisäksi derivaatan arvo lähestyttäessä nollaa oikealta puolelta kasvaa rajatta ( rajaarvo on plus ääretön, n θ + n θ + + θ 0 + nz n + n n z, voidaan päätellä, että SU-estimaatti löytyy osoittajan oikeanpuolimmaisesta nollakohdasta. Toinen vaihtoehto olisi tarkistaa toisen nollakohdan merkki: z + 4 > 4 z + 4 > 0 z + 4 + z > 0 z + 4 z > 0 z < 0 z z z + 4 z < 0 4
Siis l (θ; y > 0 0 < θ < (z + (z + 4z 0 < θ < z z + 4 0 < θ < ( z z 4 ( z + z + 4 0 < θ < z 4z + 4 z 4 ( z + z + 4 0 < θ < z + 4 z ˆθ θ > 0 Vaihtoehtoinen esitys SU-estimaatille: ˆθ z z + 4 z z z + 4 z z + z + 4 z ( + 4z + z z z b l (θ; y n θ n (θ + j(θ; y l (θ; y n θ + n (θ + c i(θ E θ [j(θ; y E θ θ + n (θ + ( n θ + (θ + vakion odotusarvo Jos hetkeksi ajatellaan informaatiota n:n funktiona, termi ( θ + (θ+ kuvaa vakioista rajahyötyä, joka saadaan kasvattamalla n:ää, kun θ on kiinteä. Havaitaan, että jos θ on nollan ja ykkösen välissä, informaatio kasvaa melko nopeasti n:n kasvaessa (ensimmäinen termi on ykköstä suurempi. Vastaavasti, mitä suurempi θ on, sitä vähemmän lisäinformaatiota saadaan otoskokoa kasvattamalla. 5