10 Moniulotteinen normaalijakauma

Samankaltaiset tiedostot
10 Moniulotteinen normaalijakauma

1. Jatketaan luentojen esimerkkiä 8.3. Oletetaan kuten esimerkissä X Y Bin(Y, θ) Y Poi(λ) λ y. f X (x) (λθ)x

Ilkka Mellin Todennäköisyyslaskenta Osa 3: Todennäköisyysjakaumia Moniulotteisia todennäköisyysjakaumia

Moniulotteisia todennäköisyysjakaumia

Johdatus todennäköisyyslaskentaan Moniulotteisia todennäköisyysjakaumia. TKK (c) Ilkka Mellin (2005) 1

Sallitut apuvälineet: MAOL-taulukot, kirjoitusvälineet, laskin sekä itse laadittu, A4-kokoinen lunttilappu. f(x, y) = k x y, kun 0 < y < x < 1,

Moniulotteisia todennäköisyysjakaumia. Moniulotteisia todennäköisyysjakaumia. Moniulotteisia todennäköisyysjakaumia: Mitä opimme?

Yleistä tietoa kokeesta

2. Multinormaalijakauma

Todennäköisyyslaskennan ja tilastotieteen peruskurssi Esimerkkikokoelma 3

4.0.2 Kuinka hyvä ennuste on?

Mat Sovellettu todennäköisyyslasku A. Moniulotteiset jakaumat. Avainsanat:

Todennäköisyyslaskun kertaus. Vilkkumaa / Kuusinen 1

Matemaattisten tieteiden kandiohjelma / MTL Todennäköisyyslaskenta IIb Kurssikoe (kesto 2h 30 min)

9 Moniulotteinen jakauma

Sallitut apuvälineet: kirjoitusvälineet, laskin sekä käsinkirjoitettu, A4-kokoinen lunttilappu ja MAOL taulukkokirjaa

Lause 4.2. Lineearinen pienimmän keskineliövirheen estimaattoi on lineaarinen projektio.

031021P Tilastomatematiikka (5 op) viikko 7

Moniulotteiset satunnaismuuttujat ja jakaumat

0 3 y4 dy = 3 y. 15x 2 ydx = 15. f Y (y) = 5y 4 1{0 y 1}.

Johdatus tilastotieteeseen Testit suhdeasteikollisille muuttujille. TKK (c) Ilkka Mellin (2004) 1

8.1 Ehdolliset jakaumat

Epäyhtälöt ovat yksi matemaatikon voimakkaimmista

Olkoon R S otosavaruuksien R ja S karteesinen tulo: Satunnaismuuttujien X ja Y järjestetty pari (X, Y) määrittelee kaksiulotteisen satunnaismuuttujan:

Ilkka Mellin (2008) 1/5

3.1 Kaksiulotteinen satunnaisvektori ja sen jakauma

7 Kaksiulotteinen jakauma

3 Yleistä estimointiteoriaa. Olemme perehtuneet jo piste-estimointiin su-estimoinnin kautta Tässä luvussa tarkastellaan piste-estimointiin yleisemmin

Tilastollinen päättömyys, kevät 2017 Harjoitus 6B

MS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi. Viikko 3. Kaksiulotteiset satunnaismuuttujat

Satunnaismuuttujien muunnokset ja niiden jakaumat

Johdatus todennäköisyyslaskentaan Satunnaismuuttujien muunnokset ja niiden jakaumat. TKK (c) Ilkka Mellin (2004) 1

Sovellettu todennäköisyyslaskenta B

MS-A0502 Todennäköisyyslaskennan ja tilastotieteen peruskurssi

Tilastomatematiikka Kevät 2008

3.1 Kaksiulotteinen satunnaisvektori ja sen jakauma

7 Kaksiulotteinen jakauma

Johdatus todennäköisyyslaskentaan Moniulotteiset satunnaismuuttujat ja todennäköisyysjakaumat. TKK (c) Ilkka Mellin (2005) 1

Johdatus tilastotieteeseen Testit suhdeasteikollisille muuttujille. TKK (c) Ilkka Mellin (2005) 1

4.2.2 Uskottavuusfunktio f Y (y 0 X = x)

Tilastollinen aineisto Luottamusväli

Ilkka Mellin Todennäköisyyslaskenta Osa 2: Satunnaismuuttujat ja todennäköisyysjakaumat Moniulotteiset satunnaismuuttujat ja jakaumat

Johdatus todennäköisyyslaskentaan Momenttiemäfunktio ja karakteristinen funktio. TKK (c) Ilkka Mellin (2005) 1

Luku 1. Yhden selittäjän lineaarinen regressio. 1.1 Regressiomalli

Estimointi. Vilkkumaa / Kuusinen 1

Kannan vektorit siis virittävät aliavaruuden, ja lisäksi kanta on vapaa. Lauseesta 7.6 saadaan seuraava hyvin käyttökelpoinen tulos:

P (X B) = f X (x)dx. xf X (x)dx. g(x)f X (x)dx.

8.1 Ehdolliset jakaumat

Testejä suhdeasteikollisille muuttujille

Odotusarvo. Odotusarvon ominaisuuksia Satunnaismuuttujien ominaisuuksia 61

2. Teoriaharjoitukset

Tässä luvussa mietimme, kuinka paljon aineistossa on tarpeellista tietoa Sivuamme kysymyksiä:

Jos nyt on saatu havaintoarvot Ü ½ Ü Ò niin suurimman uskottavuuden

3.6 Su-estimaattorien asymptotiikka

8. Muita stokastisia malleja 8.1 Epölineaariset mallit ARCH ja GARCH

Vapaus. Määritelmä. jos c 1 v 1 + c 2 v c k v k = 0 joillakin c 1,..., c k R, niin c 1 = 0, c 2 = 0,..., c k = 0.

2 exp( 2u), kun u > 0 f U (u) = v = 3 + u 3v + uv = u. f V (v) dv = f U (u) du du f V (v) = f U (u) dv = f U (h(v)) h (v) = f U 1 v (1 v) 2

Sovellettu todennäköisyyslaskenta B

Osa 2: Otokset, otosjakaumat ja estimointi

Todennäköisyyslaskenta, syksy Petri Koistinen Matematiikan ja tilastotieteen laitos Helsingin yliopisto

Ratkaisuehdotukset LH 7 / vko 47

MS-A0503 Todennäköisyyslaskennan ja tilastotieteen peruskurssi

Ilkka Mellin Todennäköisyyslaskenta. Osa 2: Satunnaismuuttujat ja todennäköisyysjakaumat. Momenttiemäfunktio ja karakteristinen funktio

805306A Johdatus monimuuttujamenetelmiin, 5 op

Estimointi populaation tuntemattoman parametrin arviointia otossuureen avulla Otossuure satunnaisotoksen avulla määritelty funktio

4. Todennäköisyyslaskennan kertausta

Johdatus todennäköisyyslaskentaan Normaalijakaumasta johdettuja jakaumia. TKK (c) Ilkka Mellin (2005) 1

3 Yleistä estimointiteoriaa. Olemme perehtuneet jo piste-estimointiin su-estimoinnin kautta Tässä luvussa tarkastellaan piste-estimointiin yleisemmin

Lineaariset mollit, kl 2017, Harjoitus 1

1. Kuusisivuista noppaa heitetään, kunnes saadaan silmäluku 5 tai 6. Olkoon X niiden heittojen lukumäärä, joilla tuli 1, 2, 3 tai 4.

Tilastollisen analyysin perusteet Luento 6: Korrelaatio ja riippuvuus tilastotieteessä

Todennäköisyyslaskun kertaus. Heliövaara 1

Keskihajonta ja korrelaatio

Todennäköisyyden ominaisuuksia

Johdatus regressioanalyysiin

Johdatus tilastotieteeseen Väliestimointi. TKK (c) Ilkka Mellin (2005) 1

Sovellettu todennäköisyyslaskenta B

Sovellettu todennäköisyyslaskenta B

(1.1) Ae j = a k,j e k.

Maximum likelihood-estimointi Alkeet

Inversio-ongelmien laskennallinen peruskurssi Luento 7

Monimuuttujamallit ja multinormaalijakauma

11 Raja-arvolauseita ja approksimaatioita

MTTTP5, luento Luottamusväli, määritelmä

MTTTP5, luento Otossuureita ja niiden jakaumia (jatkuu)

805306A Johdatus monimuuttujamenetelmiin, 5 op

Koska ovat negatiiviset. Keskihajontoja ei pystytä laskemaan mutta pätee ¾.

Sovellettu todennäköisyyslaskenta B

2. Uskottavuus ja informaatio

2. Keskiarvojen vartailua

4.1 Diskreetin satunnaismuuttujan odotusarvo

Neliömatriisi A on ortogonaalinen (eli ortogonaalimatriisi), jos sen alkiot ovat reaalisia ja

Generointi yksinkertaisista diskreeteistä jakaumista

Tilastotieteen kertaus. Kuusinen/Heliövaara 1

x = y x i = y i i = 1, 2; x + y = (x 1 + y 1, x 2 + y 2 ); x y = (x 1 y 1, x 2 + y 2 );

riippumattomia ja noudattavat samaa jakaumaa.

Inversio-ongelmien laskennallinen peruskurssi Luento 2

Väliestimointi (jatkoa) Heliövaara 1

Kertausluento. Tilastollinen päättely II - 2. kurssikoe

Ilkka Mellin Tilastolliset menetelmät. Osa 4: Lineaarinen regressioanalyysi. Yleinen lineaarinen malli. TKK (c) Ilkka Mellin (2007) 1

Transkriptio:

10 Moniulotteinen normaalijakauma Tässä luvussa tarkastellaan normaalijakauman moniulotteista yleistystä eli moniulotteista (eli monimuuttujaista) normaalijakaumaa (engl. multivariate normal distribution). Sitä kutsutaan myös multinormaalijakaumaksi. Tutustumme tähän sovelluksissa usein esiintyvään moniulotteiseen jakaumaan. Näemme kuinka moniulotteisia jakaumia käsitellään vektori- ja matriisimerkinnöillä.

10.1 Standardinormaalijakauma N n (0, I ) Määritelmä 10.1 Sv:lla U = (U 1,..., U n ) on n-ulotteinen standardinormaalijakauma eli normaalijakauma N n (0, I ) täsmälleen silloin, kun sen komponentit ovat riippumattomia N(0, 1)-jakaumaa noudattavia satunnaismuuttujia.

10.1 Standard normal distribution N n (0, I ) Definition Random vector U = (U 1,..., U n ) has n-dimensional standard multivariate normal or N n (0, I ) distribution exactly when its components are independent standard normal random variables U i N(0, 1).

Standardinormaalijakauman N n (0, I ) ominaisuuksia Satunnaisvektorin U N n (0, I ) tf on f U (u) = n f Ui (u i ) = i=1 n i=1 1 2π e 1 2 u2 i = (2π) n/2 exp( 1 2 (u2 1 + + u 2 n)) (10.1) = (2π) n/2 exp( 1 2 u u). Sv:n U odotusarvovektori on n-dimensionen nollavektori, ja sen kovarianssimatriisi on dimensiota n n oleva yksikkömatriisi EU = 0 n, Cov U = I n n = I n. (10.2)

Standardinormaalijakauman momenttiemäfunktio Satunnaisvektorin U N n (0, I ) momenttiemäfunktio on ( n ) M U (t) = E exp(t U) = E exp(t i U i ) = = n E exp(t i U i ) i=1 i=1 (U 1,..., U n riippumattomia) n e 1 2 t2 i (U i N(0, 1)) i=1 = exp( 1 2 t t). (10.3)

Standardinormaalijakautuneen vektorin affiini muunnos Määritellään sv X kaavalla X = AU + µ, (10.4) jossa A on m n-vakiomatriisi, µ R m on vakiovektori, ja U N n ( 0, I n ). Tällöin EX = µ, Cov X = A I n A = AA. (10.5) Merkitään Σ = Cov X = AA. Sv:n X momenttiemäfunktio saadaan helpolla laskulla: M X (t) = E exp(t X) = E exp(t (AU + µ)) = exp(t µ) M U (A t) = exp(t µ + 1 2 t AA t) = exp(t µ + 1 2 t Σt) (10.8)

Voidaanko edellistä laskua käyttää yleisen multinormaalijakauman määritelmänä? Multinormaalijakauma voidaan määritellä edellisen laskun avulla, mikäli mielivaltainen kovarianssimatriisi Σ ensin osataan esittää tulona AA. Eräs (eikä suinkaan ainoa) mahdollisuus on ns. Choleskyn hajotelma (engl. Cholesky decomposition). Choleskyn hajotelmassa mielivaltainen symmetrinen ja positiivisesti semidefiniitti matriisi Σ esitetään tulona Σ = LL, (10.6) jossa L on alakolmiomatriisi. (Alakolmiomatriisi on neliömatriisi, jonka kaikki yläkolmion alkiot ovat nollia.) Choleskyn hajotelma on saatavilla matriisilaskennan ohjelmakirjastoissa (ja tyypillisesti ohjelmat palauttavat jälkimmäisen tekijän eli yläkolmiomatriisin L ).

10.2 Yleinen multinormaalijakauma Määritelmä 10.2 Sv:lla X on multinormaalijakauma, jos sillä on sama jakauma kuin satunnaisvektorilla AU + µ (10.7) jossa A on m n-vakiomatriisi, µ R m on vakiovektori, ja U N n (0, I n ) jollakin n. Määritelmästä sekä kaavoista (10.5) ja (10.8) seuraa, että EX = µ, Σ = Cov X = AA, M X (t) = exp(t µ + 1 2 t Σt) Yksiulotteinen N(µ, σ 2 ) on tästä erikoistapaus, sillä X N(µ, σ 2 ) (X = µ + σu, U N(0, 1)).

10.2 General multivariate normal distribution Definition Random vector X has multivariate normal distribution, if it is identically distributed as a random vector AU + µ (10.7) where A is m n constant matrix, µ R m is a constant vector and U N n (0, I n ) for some n. From the definition and the formulae (10.5) and (10.8) it follows that EX = µ, Σ = Cov X = AA, M X (t) = exp(t µ + 1 2 t Σt)

Lause 10.1 Määritelmästä 10.2 seuraa, että EX = µ ja Cov X = AA. Sv:n X jakauma riippuu vain sen odotusarvovektorista ja kovarianssimatriisista, ei esitysdimensiosta n eikä esitysmatriisin A muista ominaisuuksista. Kääntäen, jos µ R m on vakiovektori ja Σ R m m on positiivisesti semidefiniitti matriisi, niin on olemassa sv X, jolla on multinormaalijakauma odotusarvovektorilla µ ja kovarianssimatriisilla Σ. Todistus perustuu momenttiemäfunktion käyttöön sekä siihen tietoon, että matriisille Σ löytyy hajotelma Σ = AA.

Theorem From the definition 10.2 it follows that EX = µ and Cov X = AA. Moreover, the distribution of the random vector X only depends on the mean vector and the covariance matrix, and not on the dimension n nor the other properties of the matrix A appearing in the definition. Conversely, if µ R m is a constant vector and Σ R m m is positive semidefinite matrix, then there is a random vector X, with multivariate normal distribution with mean vector µ and covariance matrix Σ. Proof is based on the moment genereting function and the fact that the matrix Σ has a decomposition Σ = AA.

Merkintä N m (µ, Σ) Tästä lähtien multinormaalijakaumaa merkitään tunnuksella N m (µ, Σ), jossa µ on jakauman odotusarvo ja Σ sen kovarianssimatriisi. Alaindeksi m voidaan jättää pois, jos satunnaisvektorin X dimensiosta ei tarvitse pitää kirjaa.

Multinormaalijakauman N m (µ, Σ) simulointi Määritelmä on samalla simulointiresepti. Jos Σ on annettu symmetrinen ja positiivisesti semidefiniitti matriisi, niin ensin etsitään hajotelma (esim. Choleskyn hajotelma) Σ = AA. Tämän jälkeen simuloidaan (riippumattomasti) m arvoa (u 1,..., u m ) yksiulotteisesta jakaumasta N(0, 1). Lopuksi lasketaan x = A ũ + µ, jossa ũ = (u1,..., u n ). Tuloksena on yksi simuloitu vektori jakaumasta N m (µ, Σ). Reseptiä toistamalla saadaan simuloitua arvoja riippumattomista tätä jakaumaa noudattavista satunnaisvektoreista.

10.3 Affiinin muunnoksen jakauma Lause 10.2 (Multinormaalisuus säilyy affiinissa muunnoksessa) Olkoon X N m (µ, Σ), ja olkoon B R p m vakiomatriisi ja b Rp vakiovektori. Tällöin BX + b N p (Bµ + b, BΣB ). Todistus: Käytetään esitystä (10.7): BX + b d = B(AU + µ) + b = (BA)U + (Bµ + b). Määritelmän 10.2 mukaan sv:lla BX + b on multinormaalijakauma. Lisäksi E(BX + b) = BEX + b = Bµ + b, Cov(BX + b) = BΣB.

10.3 The distribution of affine transformation (of X) Theorem (Multinormality is preserved in affine transformations) Let X N m (µ, Σ), and let B R p m be a constant matrix and b Rp a constant vector. Then BX + b N p (Bµ + b, BΣB ). Proof: We use the representation (10.7): BX + b d = B(AU + µ) + b = (BA)U + (Bµ + b). By definition 10.2 the random vector BX + b has multivariate normal distribution. Moreover, E(BX + b) = BEX + b = Bµ + b, Cov(BX + b) = BΣB.

Normaalijakauman reunajakaumat Jos määritellään i:s yksikkövektori ẽi siten, että sen i:s koordinaatti on yksi ja muut koordinaatit ovat nollia, niin X i = ẽ i X. Jos sv Y koostuu sv:n X komponenteista (X i1,..., X ik ), niin Y saadaan kertomalla sv:a X vasemmalta vakiomatriisilla, jonka j:s vaakarivi on ẽij, X i1 Y =. = ẽ i 1. X. X ik ẽ i k Koska Y on affiini muunnos (peräti lineaarinen muunnos) sv:sta X, niin Yllä on multinormaalijakauma. Multinormaalijakauman kaikki reunajakaumat ovat multinormaalisia.

Reunajakauman parametrit Satunnaisvektorin Y = (X i1,..., X ik ) jakauman parametrit voidaan tietenkin laskea lauseen 10.2 avulla. Ne saa helpommin selville poimimalla asiaankuuluvan osa X:n jakauman parametreista, sillä EY = EX i1. µ i1 =., EX ik µ ik (Cov Y)(p, q) = (Cov Y) p,q = cov(x ip, X iq ) = Σ(i p, i q ) = Σ ip,i q

10.4 Tiheysfunktio Lause 10.3 (Multinormaalijakauman tiheysfunktio) Jos Σ on symmetrinen ja positiivisesti definiitti matriisi, niin jakaumalla N m (µ, Σ) on tiheysfunktio ( ) f ( x) = (2π) m/2 (det(σ)) 1/2 exp 1 2 ( x µ) Σ 1 ( x µ). Todistus onnistuu muuttujanvaihtokaavalla, kun käytetään säännöllistä m m esitysmatriisia A, jolle Σ = A A ja jonka avulla konstruoidaan X N m (µ, Σ) muodossa X = A U + µ, U N m (0, I ) (10.9)

10.4 Density function Theorem (The density function of multivariate normal distribution) If Σ is symmetric and positive definite matrix, then the distribution N m (µ, Σ) has a density function ( ) f ( x) = (2π) m/2 (det(σ)) 1/2 exp 1 2 ( x µ) Σ 1 ( x µ). (10.9) Proof can be done with change of variables formula, when we use a regular m m representation matrix A, such that Σ = A A. Then we construct X N m (µ, Σ) in a form X = A U + µ, U N m (0, I ) which gives the claim with change of variables.

Huomautuksia tiheysfunktiosta Multinormaalijakaumalla N m (µ, Σ) on tiheysfunktio täsmälleen silloin, kun Σ on positiivisesti definiitti. Jos Σ on pelkästään positiivisesti semidefiniitti, mutta ei positiivisesti definiitti, niin (lause 9.2) X :llä ei voi olla tiheysfunktiota. Myös tällainen singulaarinen multinormaalijakauma on tärkeä jakauma sovelluksissa. Lineaaristen mallien yhteydessä toisaalta sovitevektorin jakauma ja toisaalta residuaalivektorin eli jäännösvektorin jakauma ovat kumpikin singulaarisia multinormaalijakaumia.

10.5 Tiheysfunktion tasa-arvopinnat Moniulotteisen normaalijakauman tiheysfunktion (10.9) tasa-arvopinnat ovat m-ulotteisia ellipsoideja. Tämä nähtäisiin soveltamalla kovarianssimatriisiin ominaisarvohajotelmaa (ks. moniste). 4 2 0 2 4 2 0 2 4

10.6 Korreloimattomuus ja riippumattomuus Riippumattomat satunnaisvektorit X Y eivät korreloi, sillä cov(x, Y) = E ( X EX)(Y EY) ) = E ( X EX ) E ( (Y EY) ) = 0. Yleisesti ottaen korreloimattomuudesta ei seuraa riippumattomuus. Jos komponenteista X ja Y yhdistetyn satunnaisvektorin (X, Y) yhteisjakauma on multinormaalinen, niin tässä tapauksessa korreloimattomuudesta seuraa riippumattomuus.

Satunnaisvektorin kokoaminen osista Kirjataan myöhempää käyttöä varten, minkälaiset ovat osavektorien X = (X 1,..., X k ) ja Y = (Y 1,..., Y m ) multinormaalijakaumien parametrit, jos yhdistetty vektori (X, Y) noudattaa multinormaalijakaumaa N(µ, Σ). Odotusarvovektori µ koostuu osista ( ) µx µ = EZ = = µ Y ( ) EX, (10.13) EY

Ositettu kovarianssimatriisi Satunnaisvektorin Z = (X, Y) kovarianssimatriisi Σ = Cov Z voidaan myös osittaa vastaavasti, sillä se on cov(x 1, X 1 )... cov(x 1, X k ) cov(x 1, Y 1 )... cov(x 1, Y m).... cov(x k, X 1 )... cov(x k, X k ) cov(x k, Y 1 )... cov(x k, Y m) cov(y 1, X 1 )... cov(y 1, X k ) cov(y 1, Y 1 )... cov(y 1, Y m).... cov(y m, X 1 )... cov(y m, X k ) cov(y m, Y 1 )... cov(y m, Y m) ( ) ΣXX Σ = XY = Σ YX Σ YY Tällöin reunajakaumat ovat ( cov(x, X) cov(x, Y) cov(y, X) cov(y, Y) ) (10.14) X N(µ X, Σ XX ), Y N(µ Y, Σ YY ). (10.15)

Normaaliselle yhteisjakaumalle korreloimattomuus ja riippumattomuus ovat samoja asioita Lause 10.4 Jos vektorilla (X, Y) on multinormaalijakauma, niin X Y cov(x, Y) = 0. Todistuksessa tarvitaan satunnaisvektorin (X, Y) momenttiemäfunktiota, ja lausetta 9.6.

For normal joint distribution the uncorrelatedness and independence are the same thing Theorem If the random vector (X, Y) is multivariate normal, then X Y cov(x, Y) = 0. Proof needs the moment genereting function of random vector (X, Y) and the theorem 9.6.

Varoitus: normaalisuus ei ole automaattista Jos oletetaan multinormaaliset reunajakaumat X N(µ X, Σ XX ), Y N(µ Y, Σ YY ), niin yhdistetyn vektorin (X, Y) jakauma ei välttämättä ole multinormaalinen. Edes lisäehto cov(x, Y) = 0 ei auta asiaa.

Riippumattomien normaalijakautuneitten vektoreitten yhteisjakauma on normaalinen Lause 10.5 Jos X N(µ X, Σ XX ), Y N(µ Y, Σ YY ), ja X Y, niin vektori (X, Y) noudattaa multinormaalijakaumaa N( µ, Σ), jossa jakauman parametrit ovat ( ) ( ) µx ΣXX 0 µ =, Σ =. 0 Σ YY µ Y Todistus sujuu helposti momenttiemäfunktion avulla.

The joint distribution of independent normally distributed vectors is normal Theorem If X N(µ X, Σ XX ), Y N(µ Y, Σ YY ), and X Y, the the vector (X, Y) has a multivariate normal distribution N( µ, Σ), with parameters ( ) ( ) µx ΣXX 0 µ =, Σ =. 0 Σ YY µ Y Proof follows easily with moment generating function.

Esimerkki monimutkaisemmasta tilanteesta, jossa yhteisjakauman nähdään olevan normaalinen Olkoot X Y ja X N(µ X, Σ XX ), Y N(µ Y, Σ YY ), ja olkoot A sekä B vakiomatriiseja siten, että vektorit A X ja B Y ovat samanpituisia. Tällöin satunnaisvektorilla Z = A X + B Y on multinormaalijakauma, sillä A X + B Y = ( A B ) ( ) X Y

Esimerkki jatkuu Satunnaisvektorin Z = A X + B Y jakauman parametrit saadaan helpoimmin selville laskemalla suoraan vektorin odotusarvo ja kovarianssimatriisi, EZ = E(A X + B Y) = A µ X + B µ Y Cov Z = Cov(A X) + Cov(B Y) = A Σ XX A + B Σ YY B Kovarianssin laskussa käytettiin riippumattomuutta sekä esimerkkiä 9.1 X Y A X B Y

10.7 Ehdolliset jakaumat Lause 10.6 Olkoon (X, Y) N(µ, Σ), ja käytetään odotusarvovektorille µ ositusta (10.13), ja kovarianssimatriisille Σ ositusta (10.14). Jos osamatriisi Σ XX on säännollinen, niin sv:n Y jakauma ehdolla X = x on multinormaalinen, ja ehdollisen jakauman parametrit ovat Y (X = x) N(µ Y +Σ YX Σ 1 XX ( x µ X ), Σ YY Σ YX Σ 1 XX Σ XY ). Huomaa, että ehdollinen odotusarvo E ( Y X = x ) on argumentin x affiini funktio, ja että ehdollisen jakauman kovarianssimatriisi ei riipu pisteestä x. Todistus käydään läpi taululla.

10.7 Conditional distributions Theorem Let (X, Y) N(µ, Σ), and use the partition (10.13) for the mean vector µ and the partition (10.14) for the covariance matrix Σ. If the matrix Σ XX is regular, then the distribution of random vector Y given X = x is multivariate normal and the parameters of the conditional distribution are Y (X = x) N(µ Y +Σ YX Σ 1 XX ( x µ X ), Σ YY Σ YX Σ 1 XX Σ XY ). Note that the conditional mean E ( Y X = x ) is an affine function of the argument x, and that the covariance matrix of the conditional distribution does not depend on the point x.

10.8 Kaksiulotteinen normaalijakauma Tarkastellaan kaksiulotteisen normaalijakauman (X, Y ) N(µ, Σ) ominaisuuksia. Olkoon 1 < ρ = corr(x, Y ) < 1, ja merkitään jakauman parametrien komponentteja seuraavasti, ( ) ( ) µx σ 2 µ =, Σ = X ρσ X σ Y. µ Y ρσ X σ Y Tämän jakauman ominaisuudet (reunajakaumat, ytf, ehdolliset jakaumat jne.) saadaan selville erikoistapauksina n-ulotteisen tapauksen kaavoista. σ 2 Y

Joitakin tuloksia Reunajakaumat ovat X N(µ X, σ 2 X ), Y N(µ Y, σ 2 Y ). Ehdolliset jakaumat ovat Y (X = x) N(µ Y + ρ σ Y σ X (x µ X ), (1 ρ 2 )σ 2 Y ), X (Y = y) N(µ X + ρ σ X σ Y (y µ Y ), (1 ρ 2 )σ 2 X ).

10.9 Normaalijakauman otoskeskiarvon ja otosvarianssin yhteisjakauma Tarkastellaan sm:ia X 1,..., X n. Niiden otoskeskiarvo X ja otosvarianssi S 2 määritellään kaavoilla X = 1 n n i=1 X i, S 2 = 1 n 1 n (X i X ) 2. (10.17) i=1 Jos sm:t X i ovat riippumattomia, ja niillä on yhteinen odotusarvo µ ja yhteinen varianssi σ 2, niin helpohkoilla laskuilla voidaan näyttää, että E X = µ, ES 2 = σ 2. Ts. otoskeskiarvo ja otosvarianssi ovat vastaavien populaatioparametrien µ ja σ 2 harhattomia estimaattoreita.

Satunnaisotos normaalijakaumasta N(µ, σ 2 ) Oletetaan tästä lähtien, että sm:t X 1,..., X n ovat riippumattomia, ja niillä kaikilla on normaalijakauma N(µ, σ 2 ). Tällöin vektorilla (X 1,..., X n ) on multinormaalijakauma N n (m, Σ) parametreilla µ m =. = µ 1, jossa 1 = (1,..., 1) R n, µ Σ = σ 2 I n.

Alustavia huomioita Tämän jakson päätavoite on johtaa vektorin ( X, S 2 ) yhteisjakauma. Otoskeskiarvon reunajakauma on helppo johtaa, nimittäin X N(µ, 1 n σ2 ), sillä X on multinormaalijakautuneen vektorin X = (X 1,..., X n ) lineaarimuunnos, ja osaamme laskea sm:n X odotusarvon ja varianssin. Pian nähdään, että otosvarianssilla S 2 on sopivan skaalauksen jälkeen khiin neliön jakauma vapausasteluvulla n 1.

Huomio khiin neliön jakaumasta Olkoon satunnaisvektorilla Z on k-ulotteinen standardinormaalijakauma, ts. Z N k ( 0, I ). Sen pituuden neliöllä Z 2 = Z Z on khiin neliön jakauma vapausasteluvulla k, sillä Z 2 = Z Z = k i=1 Z 2 i, jossa Z i N(0, 1) riippumattomasti. Koska EZ 2 i = 1, niin E Z 2 = k.

Otoskeskiarvon ja -varianssin yhteisjakauma satunnaisotokselle normaalijakaumasta Lause 10.7 Olkoot X 1,..., X n N(µ, σ 2 ). Tällöin a) X N(µ, σ 2 /n), b) (n 1)S 2 /σ 2 χ 2 n 1, joten ES 2 = σ 2, c) X S 2. Todistuksesta: Kohta a todistettiin jo. Sen jälkeen todistetaan riippumattomuus (kohta c) ja lopuksi otosvarianssin reunajakauma (kohta b).

The joint distribution of sample mean and sample variance from the normal distribution Theorem Let X 1,..., X n N(µ, σ 2 ). Then a) X N(µ, σ 2 /n), b) (n 1)S 2 /σ 2 χ 2 n 1, so ES 2 = σ 2, c) X S 2.

Riippumattomuuden X S 2 todistuksen idea (c-kohta) Otoskeskiarvo X ja jäännösvektori (residuaalivektori) R X 1 X R =. X n X saadaan normaalijakautuneesta vektorista X = (X 1,..., X n ) tietyllä lineaarisella muunnoksella. X ja R osoitetaan riippumattomiksi tarkistamalla, että ne ovat korreloimattomia. Riippumattomuus X S 2 seuraa siitä, että S 2 voidaan laskea muunnoksena jäännösvektorista: S 2 = 1 n 1 R 2.

Todistuksen avainkaavoja (c-kohta) Määritellään n-komponenttinen vektori u kaavalla u = 1 n 1, jolloin u on ykkösvektori 1 normitettuna yksikkövektoriksi. Otoskeskiarvo voidaan esittää kaavalla X = 1 n 1 X = 1 n u X. Tästä X 1 = ( 1 n u X) n u = uu X R = X X 1 = X uu X = (I n uu )X

Miksi otosvarianssille tulee skaalauksen jälkeen khiin neliön jakauma (b-kohta) Välivaiheiden jälkeen skaalattu otosvarianssi (eli skaalattu jäännösvektorin pituuden neliö) saadaan ilmaistua kaavalla n 1 σ 2 S 2 = 1 σ 2 R 2 = Z 2, jossa Z N n 1 ( 0, I n 1 ). Mihin yksi vapausaste katoaa? Vastaus: Se kuluu odotusarvon µ estimointiin otoskeskiarvolla X.

Keskeinen idea (b-kohdan todistus) Määritellään n n neliömatriisi Q siten, että sen ensimmäinen pystyrivi on u. Muut matriisin Q pystyrivit ṽ 1,..., ṽ n 1 valitaan siten, että matriisin Q pystyrivit muodostavat yhdessä R n :n ortonormeeratun kannan. (Gramin-Shmidtin ortogonalisointi.) Tällöin Q Q = I n, ja koska Q on neliömatriisi, niin se on ortogonaalinen matriisi, eli Q 1 = Q. Kun käytetään Q:n ositusta Q = ( u V ) jossa n (n 1)-matriisin V pystyrivit ovat ṽ 1,..., ṽ n 1, niin I n = QQ = uu + VV. Tämän takia R = (I n uu )X = VV X.

t-jakauman määritelmä taas kerran t-jakauma vapausasteluvulla ν määritellään siten, että se on sm:n Z Y /ν jakauma, kun Z N(0, 1), Y χ 2 ν ja Z Y.

Tunnusluvun ( X, S 2 ) yhteisjakaumasta t-jakaumaan Satunnaismuuttuja X µ N(0, 1 n σ2 ), joten X µ σ/ n N(0, 1). Jos tuntemattoman keskihajontaparametrin σ tilalle sijoitetaan sen otosestimaatti, saadaan ns. t-testisuure T = X µ S/ n. Tämä t-testisuure voidaan esittää yhtäpitävästi kaavalla T = ( X µ)/(σ/ n) S 2 /σ 2. Tästä nähdään, että T :llä on t-jakauma n 1 vapausasteella.

Jakson 10.9 lopuksi Edeltävä tarkastelu saataisiin vähällä vaivalla yleistettyä kattamaan vastaava tarkastelu yleisessä lineaarisessa mallissa. Siellä varianssiparametrin harhaton estimaattori ja sovitevektori ovat riippumattomia. Sopivasti skaalattuna varianssiparametrin estimaattorilla on khiin neliön jakauma vapausasteluvulla n p, jossa p on (lineaarisesti riippumattomien) kertoimien lukumäärä. Äskeisessä lauseessa tuntemattomia kertoimia oli yksi, µ, joten p = 1. (Myös varianssiparametri on tuntematon, mutta sitä ei lasketa lineaarisen mallin kertoimeksi). Tarkemmin tätä asiaa käsitellään kurssilla Lineaariset mallit.