HY, MTL / Matemaattisten tieteiden kandiohjelma Todennäköisyyslaskenta IIb, syksy 017 Harjoitus 5 Ratkaisuehdotuksia Tehtäväsarja I 1. Jatketaan luentojen esimerkkiä 8.3. Oletetaan kuten esimerkissä X Y BinY, θ) Y Poiλ) Laske yhteisjakaumasta X :n reunajakauman ptnf ja osoita, että se on Poiλθ)- jakauman ptnf. a) Kun x 0, 1,,... on kiinteä, näytä että f X x) θ x e λ yx λ y y! ) y 1 θ) y x x b) Vaihda summamuuttuja y summamuuttujaksi z y x ja päättele, että kun x 0, 1,,... on kiinteä, niin ja päättele väite tästä. f X x) λθ)x x! Ratkaisu: Oletuksista Y Poiλ) ja X Y BinY, θ) seuraa, että f Y y) λ λy e, kun y > 0, ja f y! X Y x y) ) y x θ x 1 θ) y x, kun 0 x y. Täten yhteispistetodennäköisyysfunktio ) λ λy y f X,Y x, y) f Y y)f X Y x y) e θ x 1 θ) y x, y! x kun 0 x y x, y N). Reunapistetodennäköisyysfunktio f X x) f X,Y x, y) y0 ) λ λy y e θ x 1 θ) y x yx y! x θ x e λ λ y ) y 1 θ) y x y! x yx θ x e λθ e λ1 θ) λ x λ y x yx y! e λθ λx θ x x! yx λθ λθ)x e x! λθ λθ)x e, x! z0 λ1 θ) λ1 θ))y x e y x)! λ1 θ) λ1 θ))z e z! y! 1 θ)y x x! y x)!
missä viimeisin summa on Poiλ1 θ))-jakauman pistetodennäköisyyksien summana 1. Täten X Poiλθ).. Näytä laskemalla, että kahden satunnaisvektorin kovarianssi voidaan myös saada laskettua kaavalla covx, Y) EXY ) EXEY ) Ratkaisu: covx, Y) E[X EX)Y EY) ] E[X EX)Y EY) )] E[XY XEY) EX)Y + EX)EY) ] E[XY ] E[XEY) ] E[EX)Y ] + E[EX)EY) ] E[XY ] E[X]EY) EX)E[Y ] + EX)EY) E[XY ] EX)EY) EX)EY) + EX)EY) E[XY ] EX)EY) E[XY ] EX)EY ) Seuraava tehtävä liittyy Lauseeseen 9.. kovarianssimatriisin ominaisuuksista 3. Olkoon X sm, Y Y 1, Y ) sv ja olkoon sv Z Y 1, Y, X). Sv:n Z odotusarvovektori on 1 EZ 3 ja sv:n Z kovarianssimatriisi CovZ) on jokin seuraavista matriiseista 9 3 8 4, 3 4 1 3 1 3 1 4 4, 1 4 6 Mikä matriiseista on CovZ)? Perustele. 4 1 4 7 4, 1 4 1 4. 3 Ratkaisu: Matriiseista ensimmäinen ei voi olla Z :n kovarianssimatriisi, koska kolmannen komponentin X varianssi olisi tällöin 1 eli negatiivinen. Varianssi on aina epänegatiivinen.) Matriiseista toinen ei myöskään voi olla kovarianssimatriisi, sillä se ei ole symmetrinen. Kovarianssimatriisi on aina symmetrinen.) Matriiseista kolmas ei voi olla kovarianssimatriisi, sillä se ei ole positiivisesti semidefiniitti. Nimittäin esimerkiksi 4 1 1 1 1 1 4 7 4 1 8 < 0. 1 4 1 1 Kovarianssimatriisi on aina positiivisesti semidefiniitti.) Siis 4 CovZ). 3
4. Jatkoa tehtävään 3. Laske tai lue suoraan): a) varx), b) CovY), c) covx, Y), d) satunnaisvektorin Y, X) kovarianssimatriisi sekä e) vary 3X 10) Ratkaisu: a) varx) 3 4 b) CovY) c) covx, Y) [ ] d) Cov ) Y X 3 e) vary 3X 10) vary 3X) vary )+ 3) varx)+ 3) covy, X) + 9 3 6 17 Seuraavan tehtävän ajatus on se, että Choleskyn hajotelman avulla voidaan saadaan sellainen lineaarikuvaus, että jos U on standardinormaalijakautunut satunnaisvektori, niin AU on multinormaalijakautunut satunnaisvektori jonka kovarianssimatriisi on C. ) 4 5. Choleskyn hajotelma.) Olkoon C kaksiulotteisen satunnaisvektorin 10 Z X, Y ) kovarianssimatriisi. Etsi alakolmiomatriisi A, jolle AA C. Opastus: Alakolmiomatriisi on muotoa ) a11 0 A a 1 a Kirjoitamalla matriisitulon auki saat neljä yhtälöä, joista ovat samoja. Ratkaise näistä tuntemattomat a 11, a 1 ja a. Ratkaisu: Etsitään opastuksen mukaisesti luvut a 11, a 1 ja a siten, että matriisille A [ a 11 0 a 1 a ] pätee AA a11 0 a11 0 a11 0 a11 a 1 a 11 a 11 a 1 a 1 a a 1 a a 1 a 0 a a 11 a 1 a 1 + a Saadaan siis yhtälöt a 11 4 a 11 a 1 a 1 + a 10, jonka erääksi ei ainoa!) ratkaisuksi saadaan ratkomalla yhtälöitä järjestyksessä ylimmästä alimpaan, ja tarkistaen lopuksi) a 11 a 1 1 a 3. Siis eräs halutunlainen alakolmiomatriisi on 0 A. 1 3 4 C. 10
Seuraava tehtävä on esimerkki lineaarisesta mittausongelmasta ja Bayes-päättelystä, kun havaitaan satunnaivektori Y ja haluttaisiin sen perusteella päätellä, miten kiinnostuksen kohde X on jakautunut, kun on havaittu Y y. 6. Tarkastellaan seuraavaa mallia Y AX + Z jossa sv X N0, I ) ja sv Z N0, I ) sekä X Z. Matriisi A puolestaan on A a) Laske ehdollinen momenttiemäfunktio ) 3 1 M Z Xx) t) E expt Z) X x ) Opaste: päättele ehdollisen odotusarvon määritelmän ja riippumattomuuden avulla että M Z Xx) M Z ja käytä luentojen tietoa normaalijakauman momenttiemäfunktiosta). b) Laske ehdollinen momenttiemäfunktio M Y Xx) t) E expt Y) X x ) Opaste: exponenttifunktio kuvaa yhteenlaskun kertolaskuksi. Tämän jälkeen jotain voi viedä ulos ehdollisesta odotusarvosta.) c) Määrää ehdollinen tiheys f Y X. Opaste: momenttiemäfunktio ja kohta b) d) Määrää ehdollinen tiheys f X Y. Opaste: kohta c) ja Bayesin kaava) Ratkaisu: a) Riippumattomuuden X Z vuoksi satunnaisvektorin Z ehdollinen jakauma f Z X x) on sama kuin satunnaisvektorin Z jakauma f Z.), sillä kaikilla z R pätee f Z X z x) f Z,Xz,x) f X f Zz)f X x) x) f X f x) Z z). Siten ehdollisen odotusarvon määritelmän mukaan M Z Xx) t) E expt Z) X x ) ) 1 E expt Z) M Z t) exp t t, b) missä viimeisessä vaiheessa käytetään tietoa standardinormaalijakauman momenttiemäfunktiosta. M Y Xx) t) E expt Y) X x ) E expt AX + Z)) X x ) E expt AX + t Z)) X x ) E expt AX) expt Z) X x ) expt Ax)E expt Z) X x ) ) 1 expt Ax) exp t t exp t Ax + 1 ) t t
c) Ehdollinen momenttiemäfunktio M Y Xx) t) exp t Ax + 1 ) t t exp t Ax) + 1 ) t I t on normaalijakauman N Ax, I ) momenttiemäfunktio, joten Y:n ehdollinen jakauma ehdolla X x on kyseinen normaalijakauma ja siis ehdollinen tiheys f Y X y x) π) / deti )) 1/ exp 1 ) y Ax) I 1 y Ax) π) 1 exp 1 ) y Ax) y Ax) d) Ehdollinen tiheys f X Y x y) f X,Yx, y) f Y y) f Xx)f Y X y x) f Y y) f X x)f Y X y x) exp 1 ) x x exp 1 ) y Ax) y Ax) exp 1 x x + y Ax) y Ax) )) exp 1 x x + y Ax) )y Ax) )) exp 1 x x + y y y Ax) Ax) y + Ax) Ax )) exp 1 ) y y exp 1 x I x Ax) y + x A Ax )) exp 1 x I + A A)x x A y) )). Edellä viimeisessä vaiheessa saatiin x I x + x A Ax x I + x A A)x x I + A A)x käyttämällä kahteen kertaan matriisien) osittelulakia. Normaalijakautuneen sv:n Ö N µ, Σ) tiheysfunktio f Ö ö) exp 1 ) ö µ) Σ 1 ö µ) exp 1 ö Σ 1 ö öσ 1 µ µ Σ 1 ö + µ Σ 1 µ )) exp 1 ö Σ 1 ö ö Σ 1 µ µ Σ 1 ) ö )) exp 1 ö Σ 1 ö ö Σ 1 µ) Σ 1 µ) ö )) exp 1 ö Σ 1 ö ö Σ 1 µ) )). Vertaamalla näitä kahta huomataan, että ne vastaavat toisiaan, kun Σ 1 I + A A ja Σ 1 µ A y. Ensimmäisestä yhtälöstä saadaan Σ I + A A) 1 1 1 0 3 3 + 1 6 8 14 8 7 4 0 1 1 1 8 14 1 0 8 6 1 ja 10 4 3 7 4 3 1 toisesta µ ΣA y 1 y 10 4 3 1 1 y. 10 1
Merkitään ja Σ 1 10 µ y 1 10 [ 7 ] 4 4 3 1 y. 1 Nyt siis ehdollinen tiheysfunktio f X Y x y) ja normaalijakaumaa N µ y, Σ) noudattavan sv:n tiheysfunktio ovat mahdollisesti vakiota vaille samat. Koska kuitenkin molemmat ovat tiheysfunktioita ja integroituvat 1:ksi, niin myös vakioiden täytyy olla samat. Siis ehdollinen tiheysfunktio f X Y x y) on normaalijakauman N µ y, Σ) tiheysfunktio f X Y x y) π) / detσ)) 1/ exp 1 ) x µ y) Σ 1 x µ y ) π) 1 0 1/ exp 1 5 π exp 1 x 1 10 ) 1 6 8 y x 1 1 8 14 10 x 1 10 ) 1 6 8 y x 1 1 8 14 10 y) 1 1 y) 1. 1