10 Moniulotteinen normaalijakauma

Transkriptio

1 10 Moniulotteinen normaalijakauma Tässä luvussa tarkastellaan normaalijakauman moniulotteista yleistystä eli moniulotteista (eli monimuuttujaista) normaalijakaumaa (engl. multivariate normal distribution). Sitä kutsutaan myös multinormaalijakaumaksi. Tutustumme tähän sovelluksissa usein esiintyvään moniulotteiseen jakaumaan. Näemme kuinka moniulotteisia jakaumia käsitellään vektori- ja matriisimerkinnöillä.

2 10.1 Standardinormaalijakauma N n (0, I ) Määritelmä 10.1 Sv:lla U = (U 1,..., U n ) on n-ulotteinen standardinormaalijakauma eli normaalijakauma N n (0, I ) täsmälleen silloin, kun sen komponentit ovat riippumattomia N(0, 1)-jakaumaa noudattavia satunnaismuuttujia.

3 Standardinormaalijakauman N n (0, I ) ominaisuuksia Satunnaisvektorin U N n (0, I ) tf on f U (u) = n f Ui (u i ) = i=1 n i=1 1 2π e 1 2 u2 i = (2π) n/2 exp( 1 2 (u u 2 n)) (10.1) = (2π) n/2 exp( 1 2 u u). Sv:n U odotusarvovektori on n-dimensionen nollavektori, ja sen kovarianssimatriisi on dimensiota n n oleva yksikkömatriisi EU = 0 n, Cov U = I n n = I n. (10.2)

4 Standardinormaalijakauman momenttiemäfunktio Satunnaisvektorin U N n (0, I ) momenttiemäfunktio on ( n ) M U (t) = E exp(t U) = E exp(t i U i ) = = n E exp(t i U i ) i=1 i=1 (U 1,..., U n riippumattomia) n e 1 2 t2 i (U i N(0, 1)) i=1 = exp( 1 2 t t). (10.3)

5 Standardinormaalijakautuneen vektorin affiini muunnos Määritellään sv X kaavalla X = AU + µ, (10.4) jossa A on m n-vakiomatriisi, µ R m on vakiovektori, ja U N n (0, I n ). Tällöin EX = µ, Cov X = A I n A = AA. (10.5) Merkitään Σ = Cov X = AA. Sv:n X momenttiemäfunktio saadaan helpolla laskulla: M X (t) = E exp(t X) = E exp(t (AU + µ)) = exp(t µ) M U (A t) = exp(t µ t AA t) = exp(t µ t Σt) (10.8)

6 Voidaanko edellistä laskua käyttää yleisen multinormaalijakauman määritelmänä? Multinormaalijakauma voidaan määritellä edellisen laskun avulla, mikäli mielivaltainen kovarianssimatriisi Σ ensin osataan esittää tulona AA. Eräs (eikä suinkaan ainoa) mahdollisuus on ns. Choleskyn hajotelma (engl. Cholesky decomposition). Choleskyn hajotelmassa mielivaltainen symmetrinen ja positiivisesti semidefiniitti matriisi Σ esitetään tulona Σ = LL, (10.6) jossa L on alakolmiomatriisi. (Alakolmiomatriisi on neliömatriisi, jonka kaikki yläkolmion alkiot ovat nollia.) Choleskyn hajotelma on saatavilla matriisilaskennan ohjelmakirjastoissa (ja tyypillisesti ohjelmat palauttavat jälkimmäisen tekijän eli yläkolmiomatriisin L ).

7 10.2 Yleinen multinormaalijakauma Määritelmä 10.2 Sv:lla X on multinormaalijakauma, jos sillä on sama jakauma kuin satunnaisvektorilla AU + µ (10.7) jossa A on m n-vakiomatriisi, µ R m on vakiovektori, ja U N n (0, I n ) jollakin n. Määritelmästä sekä kaavoista (10.5) ja (10.8) seuraa, että EX = µ, Σ = Cov X = AA, M X (t) = exp(t µ t Σt) Yksiulotteinen N(µ, σ 2 ) on tästä erikoistapaus, sillä X N(µ, σ 2 ) (X = µ + σu, U N(0, 1)).

8 Lause 10.1 Määritelmästä 10.2 seuraa, että EX = µ ja Cov X = AA. Sv:n X jakauma riippuu vain sen odotusarvovektorista ja kovarianssimatriisista, ei esitysdimensiosta n eikä esitysmatriisin A muista ominaisuuksista. Kääntäen, jos µ R m on vakiovektori ja Σ R m m on positiivisesti semidefiniitti matriisi, niin on olemassa sv X, jolla on multinormaalijakauma odotusarvovektorilla µ ja kovarianssimatriisilla Σ. Todistus perustuu momenttiemäfunktion käyttöön sekä siihen tietoon, että matriisille Σ löytyy hajotelma Σ = AA.

9 Merkintä N m (µ, Σ) Tästä lähtien multinormaalijakaumaa merkitään tunnuksella N m (µ, Σ), jossa µ on jakauman odotusarvo ja Σ sen kovarianssimatriisi. Alaindeksi m voidaan jättää pois, jos satunnaisvektorin X dimensiosta ei tarvitse pitää kirjaa.

10 Multinormaalijakauman N m (µ, Σ) simulointi Määritelmä on samalla simulointiresepti. Jos Σ on annettu symmetrinen ja positiivisesti semidefiniitti matriisi, niin ensin etsitään hajotelma (esim. Choleskyn hajotelma) Σ = AA. Tämän jälkeen simuloidaan (riippumattomasti) m arvoa (u 1,..., u m ) yksiulotteisesta jakaumasta N(0, 1). Lopuksi lasketaan x = Au + µ, jossa u = (u 1,..., u n ). Tuloksena on yksi simuloitu vektori jakaumasta N m (µ, Σ). Reseptiä toistamalla saadaan simuloitua arvoja riippumattomista tätä jakaumaa noudattavista satunnaisvektoreista.

11 10.3 Affiinin muunnoksen jakauma Lause 10.2 (Multinormaalisuus säilyy affiinissa muunnoksessa) Olkoon X N m (µ, Σ), ja olkoon B R p m vakiomatriisi ja b R p vakiovektori. Tällöin BX + b N p (Bµ + b, BΣB ). Todistus: Käytetään esitystä (10.7): BX + b d = B(AU + µ) + b = (BA)U + (Bµ + b). Määritelmän 10.2 mukaan sv:lla BX + b on multinormaalijakauma. Lisäksi E(BX + b) = BEX + b = Bµ + b, Cov(BX + b) = BΣB.

12 Normaalijakauman reunajakaumat Jos määritellään i:s yksikkövektori e i siten, että sen i:s koordinaatti on yksi ja muut koordinaatit ovat nollia, niin X i = e i X. Jos sv Y koostuu sv:n X komponenteista (X i1,..., X ik ), niin Y saadaan kertomalla sv:a X vasemmalta vakiomatriisilla, jonka j:s vaakarivi on e ij, X i1 Y =. = e i 1. X. X ik e i k Koska Y on affiini muunnos (peräti lineaarinen muunnos) sv:sta X, niin Yllä on multinormaalijakauma. Multinormaalijakauman kaikki reunajakaumat ovat multinormaalisia.

13 Reunajakauman parametrit Satunnaisvektorin Y = (X i1,..., X ik ) jakauman parametrit voidaan tietenkin laskea lauseen 10.2 avulla. Ne saa helpommin selville poimimalla asiaankuuluvan osa X:n jakauman parametreista, sillä EY = EX i1. µ i1 =., EX ik µ ik (Cov Y)(p, q) = (Cov Y) p,q = cov(x ip, X iq ) = Σ(i p, i q ) = Σ ip,i q

14 10.4 Tiheysfunktio Lause 10.3 (Multinormaalijakauman tiheysfunktio) Jos Σ on symmetrinen ja positiivisesti definiitti matriisi, niin jakaumalla N m (µ, Σ) on tiheysfunktio ( ) f (x) = (2π) m/2 (det(σ)) 1/2 exp 1 2 (x µ) Σ 1 (x µ). Todistus onnistuu muuttujanvaihtokaavalla, kun käytetään säännöllistä m m esitysmatriisia A, jolle Σ = A A ja jonka avulla konstruoidaan X N m (µ, Σ) muodossa X = A U + µ, U N m (0, I ) (10.9)

15 Huomautuksia tiheysfunktiosta Multinormaalijakaumalla N m (µ, Σ) on tiheysfunktio täsmälleen silloin, kun Σ on positiivisesti definiitti. Jos Σ on pelkästään positiivisesti semidefiniitti, mutta ei positiivisesti definiitti, niin (lause 9.2) X :llä ei voi olla tiheysfunktiota. Myös tällainen singulaarinen multinormaalijakauma on tärkeä jakauma sovelluksissa. Lineaaristen mallien yhteydessä toisaalta sovitevektorin jakauma ja toisaalta residuaalivektorin eli jäännösvektorin jakauma ovat kumpikin singulaarisia multinormaalijakaumia.

16 10.5 Tiheysfunktion tasa-arvopinnat Moniulotteisen normaalijakauman tiheysfunktion (10.9) tasa-arvopinnat ovat m-ulotteisia ellipsoideja. Tämä nähtäisiin soveltamalla kovarianssimatriisiin ominaisarvohajotelmaa (ks. moniste)

17 10.6 Korreloimattomuus ja riippumattomuus Riippumattomat satunnaisvektorit X Y eivät korreloi, sillä cov(x, Y) = E ( X EX)(Y EY) ) = E ( X EX ) E ( (Y EY) ) = 0. Yleisesti ottaen korreloimattomuudesta ei seuraa riippumattomuus. Jos komponenteista X ja Y yhdistetyn satunnaisvektorin (X, Y) yhteisjakauma on multinormaalinen, niin tässä tapauksessa korreloimattomuudesta seuraa riippumattomuus.

18 Satunnaisvektorin kokoaminen osista Kirjataan myöhempää käyttöä varten, minkälaiset ovat osavektorien X = (X 1,..., X k ) ja Y = (Y 1,..., Y m ) multinormaalijakaumien parametrit, jos yhdistetty vektori (X, Y) noudattaa multinormaalijakaumaa N(µ, Σ). Odotusarvovektori µ koostuu osista ( ) µx µ = EZ = = µ Y ( ) EX, (10.13) EY

19 Ositettu kovarianssimatriisi Satunnaisvektorin Z = (X, Y) kovarianssimatriisi Σ = Cov Z voidaan myös osittaa vastaavasti, sillä se on cov(x 1, X 1 )... cov(x 1, X k ) cov(x 1, Y 1 )... cov(x 1, Y m).... cov(x k, X 1 )... cov(x k, X k ) cov(x k, Y 1 )... cov(x k, Y m) cov(y 1, X 1 )... cov(y 1, X k ) cov(y 1, Y 1 )... cov(y 1, Y m).... cov(y m, X 1 )... cov(y m, X k ) cov(y m, Y 1 )... cov(y m, Y m) ( ) ΣXX Σ = XY = Σ YX Σ YY Tällöin reunajakaumat ovat ( cov(x, X) cov(x, Y) cov(y, X) cov(y, Y) ) (10.14) X N(µ X, Σ XX ), Y N(µ Y, Σ YY ). (10.15)

20 Normaaliselle yhteisjakaumalle korreloimattomuus ja riippumattomuus ovat samoja asioita Lause 10.4 Jos vektorilla (X, Y) on multinormaalijakauma, niin X Y cov(x, Y) = 0. Todistuksessa tarvitaan satunnaisvektorin (X, Y) momenttiemäfunktiota, ja lausetta 9.6.

21 Varoitus: normaalisuus ei ole automaattista Jos oletetaan multinormaaliset reunajakaumat X N(µ X, Σ XX ), Y N(µ Y, Σ YY ), niin yhdistetyn vektorin (X, Y) jakauma ei välttämättä ole multinormaalinen. Edes lisäehto cov(x, Y) = 0 ei auta asiaa.

22 Riippumattomien normaalijakautuneitten vektoreitten yhteisjakauma on normaalinen Lause 10.5 Jos X N(µ X, Σ XX ), Y N(µ Y, Σ YY ), ja X Y, niin vektori (X, Y) noudattaa multinormaalijakaumaa N(µ, Σ), jossa jakauman parametrit ovat ( ) ( ) µx ΣXX 0 µ =, Σ =. µ Y 0 Σ YY Todistus sujuu helposti momenttiemäfunktion avulla.

23 Esimerkki monimutkaisemmasta tilanteesta, jossa yhteisjakauman nähdään olevan normaalinen Olkoot X Y ja X N(µ X, Σ XX ), Y N(µ Y, Σ YY ), ja olkoot A sekä B vakiomatriiseja siten, että vektorit A X ja B Y ovat samanpituisia. Tällöin satunnaisvektorilla Z = A X + B Y on multinormaalijakauma, sillä A X + B Y = ( A B ) ( ) X Y

24 Esimerkki jatkuu Satunnaisvektorin Z = A X + B Y jakauman parametrit saadaan helpoimmin selville laskemalla suoraan vektorin odotusarvo ja kovarianssimatriisi, EZ = E(A X + B Y) = A µ X + B µ Y Cov Z = Cov(A X) + Cov(B Y) = A Σ XX A + B Σ YY B Kovarianssin laskussa käytettiin riippumattomuutta sekä esimerkkiä 9.1 X Y A X B Y

25 10.7 Ehdolliset jakaumat Lause 10.6 Olkoon (X, Y) N(µ, Σ), ja käytetään odotusarvovektorille µ ositusta (10.13), ja kovarianssimatriisille Σ ositusta (10.14). Jos osamatriisi Σ XX on säännollinen, niin sv:n Y jakauma ehdolla X = x on multinormaalinen, ja ehdollisen jakauman parametrit ovat Y (X = x) N(µ Y +Σ YX Σ 1 XX (x µ X ), Σ YY Σ YX Σ 1 XX Σ XY ). Huomaa, että ehdollinen odotusarvo E ( Y X = x ) on argumentin x affiini funktio, ja että ehdollisen jakauman kovarianssimatriisi ei riipu pisteestä x. Todistus käydään läpi taululla.

26 10.8 Kaksiulotteinen normaalijakauma Tarkastellaan kaksiulotteisen normaalijakauman (X, Y ) N(µ, Σ) ominaisuuksia. Olkoon 1 < ρ = corr(x, Y ) < 1, ja merkitään jakauman parametrien komponentteja seuraavasti, ( ) ( ) µx σ 2 µ =, Σ = X ρσ X σ Y. µ Y ρσ X σ Y Tämän jakauman ominaisuudet (reunajakaumat, ytf, ehdolliset jakaumat jne.) saadaan selville erikoistapauksina n-ulotteisen tapauksen kaavoista. σ 2 Y

27 Joitakin tuloksia Reunajakaumat ovat X N(µ X, σ 2 X ), Y N(µ Y, σ 2 Y ). Ehdolliset jakaumat ovat Y (X = x) N(µ Y + ρ σ Y σ X (x µ X ), (1 ρ 2 )σ 2 Y ), X (Y = y) N(µ X + ρ σ X σ Y (y µ Y ), (1 ρ 2 )σ 2 X ).

28 10.9 Normaalijakauman otoskeskiarvon ja otosvarianssin yhteisjakauma Tarkastellaan sm:ia X 1,..., X n. Niiden otoskeskiarvo X ja otosvarianssi S 2 määritellään kaavoilla X = 1 n n i=1 X i, S 2 = 1 n 1 n (X i X ) 2. (10.17) i=1 Jos sm:t X i ovat riippumattomia, ja niillä on yhteinen odotusarvo µ ja yhteinen varianssi σ 2, niin helpohkoilla laskuilla voidaan näyttää, että E X = µ, ES 2 = σ 2. Ts. otoskeskiarvo ja otosvarianssi ovat vastaavien populaatioparametrien µ ja σ 2 harhattomia estimaattoreita.

29 Satunnaisotos normaalijakaumasta N(µ, σ 2 ) Oletetaan tästä lähtien, että sm:t X 1,..., X n ovat riippumattomia, ja niillä kaikilla on normaalijakauma N(µ, σ 2 ). Tällöin vektorilla (X 1,..., X n ) on multinormaalijakauma N n (m, Σ) parametreilla µ m =. = µ 1, jossa 1 = (1,..., 1) R n, µ Σ = σ 2 I n.

30 Alustavia huomioita Tämän jakson päätavoite on johtaa vektorin ( X, S 2 ) yhteisjakauma. Otoskeskiarvon reunajakauma on helppo johtaa, nimittäin X N(µ, 1 n σ2 ), sillä X on multinormaalijakautuneen vektorin X = (X 1,..., X n ) lineaarimuunnos, ja osaamme laskea sm:n X odotusarvon ja varianssin. Pian nähdään, että otosvarianssilla S 2 on sopivan skaalauksen jälkeen khiin neliön jakauma vapausasteluvulla n 1.

31 Huomio khiin neliön jakaumasta Olkoon satunnaisvektorilla Z on k-ulotteinen standardinormaalijakauma, ts. Z N k (0, I ). Sen pituuden neliöllä Z 2 = Z Z on khiin neliön jakauma vapausasteluvulla k, sillä Z 2 = Z Z = k i=1 Z 2 i, jossa Z i N(0, 1) riippumattomasti. Koska EZ 2 i = 1, niin E Z 2 = k.

32 Otoskeskiarvon ja -varianssin yhteisjakauma satunnaisotokselle normaalijakaumasta Lause 10.7 Olkoot X 1,..., X n N(µ, σ 2 ). Tällöin a) X N(µ, σ 2 /n), b) (n 1)S 2 /σ 2 χ 2 n 1, joten ES 2 = σ 2, c) X S 2. Todistuksesta: Kohta a todistettiin jo. Sen jälkeen todistetaan riippumattomuus (kohta c) ja lopuksi otosvarianssin reunajakauma (kohta b).

33 Riippumattomuuden X S 2 todistuksen idea (c-kohta) Otoskeskiarvo X ja jäännösvektori (residuaalivektori) R X 1 X R =. X n X saadaan normaalijakautuneesta vektorista X = (X 1,..., X n ) tietyllä lineaarisella muunnoksella. X ja R osoitetaan riippumattomiksi tarkistamalla, että ne ovat korreloimattomia. Riippumattomuus X S 2 seuraa siitä, että S 2 voidaan laskea muunnoksena jäännösvektorista: S 2 = 1 n 1 R 2.

34 Todistuksen avainkaavoja (c-kohta) Määritellään n-komponenttinen vektori u kaavalla u = 1 n 1, jolloin u on ykkösvektori 1 normitettuna yksikkövektoriksi. Otoskeskiarvo voidaan esittää kaavalla X = 1 n 1 X = 1 n u X. Tästä X 1 = ( 1 n u X) n u = uu X R = X X 1 = X uu X = (I n uu )X

35 Miksi otosvarianssille tulee skaalauksen jälkeen khiin neliön jakauma (b-kohta) Välivaiheiden jälkeen skaalattu otosvarianssi (eli skaalattu jäännösvektorin pituuden neliö) saadaan ilmaistua kaavalla n 1 σ 2 S 2 = 1 σ 2 R 2 = Z 2, jossa Z N n 1 (0, I n 1 ). Mihin yksi vapausaste katoaa? Vastaus: Se kuluu odotusarvon µ estimointiin otoskeskiarvolla X.

36 Keskeinen idea (b-kohdan todistus) Määritellään n n neliömatriisi Q siten, että sen ensimmäinen pystyrivi on u. Muut matriisin Q pystyrivit v 1,..., v n 1 valitaan siten, että matriisin Q pystyrivit muodostavat yhdessä R n :n ortonormeeratun kannan. (Gramin-Shmidtin ortogonalisointi.) Tällöin Q Q = I n, ja koska Q on neliömatriisi, niin se on ortogonaalinen matriisi, eli Q 1 = Q. Kun käytetään Q:n ositusta Q = ( u V ) jossa n (n 1)-matriisin V pystyrivit ovat v 1,..., v n 1, niin I n = QQ = uu + VV. Tämän takia R = (I n uu )X = VV X.

37 t-jakauman määritelmä taas kerran t-jakauma vapausasteluvulla ν määritellään siten, että se on sm:n Z Y /ν jakauma, kun Z N(0, 1), Y χ 2 ν ja Z Y.

38 Tunnusluvun ( X, S 2 ) yhteisjakaumasta t-jakaumaan Satunnaismuuttuja X µ N(0, 1 n σ2 ), joten X µ σ/ n N(0, 1). Jos tuntemattoman keskihajontaparametrin σ tilalle sijoitetaan sen otosestimaatti, saadaan ns. t-testisuure T = X µ S/ n. Tämä t-testisuure voidaan esittää yhtäpitävästi kaavalla T = ( X µ)/(σ/ n) S 2 /σ 2. Tästä nähdään, että T :llä on t-jakauma n 1 vapausasteella.

39 Jakson 10.9 lopuksi Edeltävä tarkastelu saataisiin vähällä vaivalla yleistettyä kattamaan vastaava tarkastelu yleisessä lineaarisessa mallissa. Siellä varianssiparametrin harhaton estimaattori ja sovitevektori ovat riippumattomia. Sopivasti skaalattuna varianssiparametrin estimaattorilla on khiin neliön jakauma vapausasteluvulla n p, jossa p on (lineaarisesti riippumattomien) kertoimien lukumäärä. Äskeisessä lauseessa tuntemattomia kertoimia oli yksi, µ, joten p = 1. (Myös varianssiparametri on tuntematon, mutta sitä ei lasketa lineaarisen mallin kertoimeksi). Tarkemmin tätä asiaa käsitellään kurssilla Lineaariset mallit.