Monimuuttujamenetelmät: Multinormaalijakauma. Ilkka Mellin. 1. Multinormaalijakauma ja sen ominaisuudet

Transkriptio

1 Momuuttumeetelmät Multormaalkauma Momuuttumeetelmät: Multormaalkauma Ilkka Mell. Multormaalkauma se omasuudet.. Multormaalkauma.. Multormaalkauma omasuudet.3. Multormaalkauma ehdollset kaumat.4. -ulottee ormaalkauma. Multormaalkaumasta johdetut kaumat.. χ -, F- t-kaumat.. Nelömuotoje kaumat.3. Mahalaobs-etäsyys se kauma 3. Multormaalkauma arametre estmot 3.. Johdato 3.. Multormaale otos se uskottavuusfukto 3.3. Multormaalkauma arametre suurmma uskottavuude estmaattort 3.4. Multormaalkauma arametre suurmma uskottavuude estmaattorede kaumat 4. Multormaalkaumaa koskeva testejä 4.. Johdato 4.. Multormaale otos se arametre suurmma uskottavuude estmot 4.3. Test odotusarvolle 4.4. Kahde otokse test odotusarvolle 4.6. Kahde otokse test kovarassmatrselle 4.6. Test rumattomuudelle TKK Ilkka Mell (007) /0

2 Momuuttumeetelmät Multormaalkauma Momuuttumeetelmät: Multormaalkauma. Multormaalkauma se omasuudet.. Multormaalkauma TIHEYSFUNKTIO TIHEYSFUNKTION OMINAISUUDET.. Multormaalkauma omasuudet MULTINORMAALIJAKAUMAN KARAKTERISOINTI MULTINORMAALIJAKAUMAN KARAKTERISTINEN FUNKTIO MULTINORMAALIJAKAUMAN KARAKTERISOINTI MUUTTUJIEN VAIHTO KORRELOIMATTOMUUS JA RIIPPUMATTOMUUS REUNAJAKAUMAT.3. Multormaalkauma ehdollset kaumat EHDOLLISET JAKAUMAT REGRESSIOFUNKTIOT OSITTAISKOVARIANSSIT OSITTAISKORRELAATIOT KOVARIANSSIMATRIISIN DETERMINANTTI JA OSITTAISKOVARIANSSIMATRIISI VARIANSSIN MINIMOINTI JA REGRESSIOFUNKTIOT KORRELAATION MAKSIMOINTI JA REGRESSIOFUNKTIOT YHTEISKORRELAATIOKERROIN YHTEISKORRELAATIOKERTOIMEN OMINAISUUDET.4. -ulottee ormaalkauma -ULOTTEISEN NORMAALIJAKAUMAN TIHEYSFUNKTIO -ULOTTEISEN NORMAALIJAKAUMAN PARAMETROINTI -ULOTTEISEN NORMAALIJAKAUMAN TIHEYSFUNKTION OMINAISUUDET REUNAJAKAUMAT EHDOLLISET JAKAUMAT. Multormaalkaumasta johdetut kaumat.. χ -, F- t-kaumat OLETUKSET EPÄKESKINEN χ -JAKAUMA χ -JAKAUMA, EPÄKESKINEN F-JAKAUMA F-JAKAUMA EPÄKESKINEN t-jakauma t-jakauma TKK Ilkka Mell (007) /0

3 Momuuttumeetelmät Multormaalkauma.. Nelömuotoje kaumat COCHRANIN LAUSE MULTINORMAALIJAKAUTUNEIDEN SATUNNAISMUUTTUJIEN NELIÖMUOTOJEN JAKAUMAT SOVELLUS: TAVANOMAINEN t-testi.3. Mahalaobs-etäsyys se kauma MAHALANOBIS-ETÄISYYS MULTINORMAALIJAKAUMA JA MAHALANOBIS-ETÄISYYS SOVELLUS: MULTINORMAALISUUDEN TESTAAMINEN 3. Multormaalkauma arametre estmot 3.. Johdato USKOTTAVUUSFUNKTIO SUURIMMAN USKOTTAVUUDEN ESTIMOINTIMENETELMÄ SUURIMMAN USKOTTAVUUDEN ESTIMAATTORIN OMINAISUUDET 3.. Multormaale otos se uskottavuusfukto MULTINORMAALIJAKAUMA JA SEN TIHEYSFUNKTIO OTOS MUKTINORMAALIJAKAUMASTA OTOKSEN USKOTTAVUUSFUNKTIO 3.3. Multormaalkauma arametre suurmma uskottavuude estmaattort ODOTUSARVON JA KOVARIANSSIMATRIISIN SU-ESTIMAATTORIT PARAMETRIEN MUUNNOKSET JA SU-ESTIMOINTI KORRELAATIOKERTOIMIEN SU-ESTIMAATTORIT REGRESSIOKERTOIMIEN JA OSITTAISKOVARIANSSIEN SU-ESTIMAATTORIT MULTINORMAALIJAKAUMAN REGRESSIOFUNKTIOIDEN ESTIMOINTI JA LINEAARISET REGRESSIOMALLIT YHTEISKORRELAATIOKERTOIMEN SU-ESTIMAATTORI 3.4. Multormaalkauma arametre suurmma uskottavuude estmaattorede kaumat KESKIARVOVEKTORIN JAKAUMA MOMENTTIMATRIISIN JAKAUMA WISHART-JAKAUMA WISHART-JAKAUMAN OMINAISUUDET MOMENTTIMATRIISIN JAKAUMA JA WISHART-JAKAUMA OSITTAISKOVARIANSSIMATRIISIN JAKAUMA JA WISHART-JAKAUMA 4. Multormaalkaumaa koskeva testejä 4.. Johdato USKOTTAVUUSFUNKTIO OSAMÄÄRÄTESTI OSAMÄÄRÄTESTISUUREEN JAKAUMA TKK Ilkka Mell (007) 3/0

4 Momuuttumeetelmät Multormaalkauma 4.. Multormaale otos se arametre suurmma uskottavuude estmot 4.3. Test odotusarvolle TESTI ODOTUSARVOLLE, KUN KOVARIANSSIMATRIISI TUNNETAAN TESTI ODOTUSARVOLLE, KUN KOVARIANSSIMATRIISIA EI TUNNETA HOTELLINGIN T -TESTISUURE 4.4. Kahde otokse test odotusarvolle 4.5. Kahde otokse test kovarassmatrselle 4.5. Test rumattomuudelle RIIPPUMATTOMUUSTESTIN ERIKOISTAPAUKSIA TKK Ilkka Mell (007) 4/0

5 Momuuttumeetelmät Multormaalkauma. Multormaalkauma se omasuudet.. Multormaalkauma Multormaalkauma o -ulottese ormaalkauma ylestys useamulottesee avaruutee. Multormaalkaumalla o keskee rool momuuttumeetelme teorassa. Theysfukto Olkoo X = (X, X,, X ) -ulottee satuasmuuttu x = (x, x,, x ). Satuasvektor X oudattaa -ulottesta multormaalkaumaa, jos se theysfukto o () f ( x ) = ( π ) Σ ex{ ( x µ ) Σ ( x µ )} X / / mssä -vektor µ o satuasvektor X odotusarvo ostvsest deftt -matrs Σ o satuasvektor X kovarassmatrs el E(X) = µ Cov(X) = Σ Odotusarvovektor µ kovarassmatrs Σ ovat multormaalkauma arametrt määräävät täys multormaalkauma. Merktä: Jos satuasvektor X oudattaa -ulottesta multormaalkaumaa arametre E(X) = µ Cov(X) = Σ, merktsemme X N (µ, Σ) ta (jos emme halua korostaa ulottesuuslukua) X N(µ, Σ) Vastaavast multormaalkauma N (µ, Σ) theysfuktosta f X (x) käytetää joskus merktää N (x; µ, Σ) ta va N(x; µ, Σ) Huomautus: Iso krme käytöllä vektor merktää halutaa tässä multormaalkaumaa se omasuuksa kästtelevässä kaaleessa korostaa stä, että vektor X o (ulottee) satuasmuuttu. Theysfukto omasuudet () -ulottese multormaalkauma theysfukto f X ( x) määrttelee a y = f X ( x ) ( + )-ulottesessa avaruudessa. TKK Ilkka Mell (007) 5/0

6 Momuuttumeetelmät Multormaalkauma () Multlkatve tekjä ( ) / / π Σ multormaalkauma theysfukto lausekkeessa o elkkä skaalaustekjä, joka saa akaa se, että a y = f X ( x ) taso y = 0 rajottama kaalee tlavuus =. () Palla y = f X ( x) o ykskästtee maksm steessä µ. (v) Pa y = f X ( x) muodo määrää matrs Σ elömuoto (v) Nelömuoto ( x µ ) Σ ( x µ ) ( x µ ) Σ ( x µ ) määrttelee alle y = f X ( x ) tasa-arvoellsodt (v) Ellsode ( x µ ) Σ ( x µ ) = c ( x µ ) Σ ( x µ ) = c yhteseä kesksteeä o ste µ. (v) Ellsode ( x µ ) Σ ( x µ ) = c ääakselt saadaa kovarassmatrs Σ ääakselestyksestä BΛB Λ o matrs Σ omasarvoje muodostama dagoaalmatrs B o vastaave omasvektorede muodostama ortogoaale matrs, omasvektort ovat sarakkea. Matrs Σ omasvektort määräävät tasa-arvoellsode ääakselede suuat de tuudet ovat verraollsa matrs Σ omasarvoje elöjuur. Huomautus : Koska satuasvektor X kovarassmatrs Σ o oletettu ostvsest deftks, se o eäsgulaare sllä o käätesmatrs Σ. Tällö myös vastaavaa multormaalkaumaa saotaa eäsgulaarseks sllä o kaavalla () määrtelty theysfukto. Sgulaarste multormaalkaume kästtely svuutetaa tässä estyksessä. Huomautus : Matrsella Σ Σ o samat omasvektort de omasarvot ovat tostesa käätesluku. Jos ss matrslla Σ o ääakselestys BΛB matrslla Σ o ääakselestys BΛ B. TKK Ilkka Mell (007) 6/0

7 Momuuttumeetelmät Multormaalkauma Huomautus 3: Kovarass- ta korrelaatomatrs ääakselestys o moe momuuttumeetelme kute ääkomoettaalyys lähtökohta... Multormaalkauma omasuudet Multormaalkauma karaktersot Jokae multormaalkaumaa oudattava satuasmuuttu saadaa leaarmuuoksella rumattomsta stadardotua ormaalkaumaa oudattavsta satuasmuuttujsta. Käätäe jokae multormaalkaumaa oudattava satuasmuuttu vodaa muutaa leaarmuuoksella rumattomks stadardotua ormaalkaumaa oudattavks satuasmuuttujks. Lause... () Oletetaa, että U, =,,, rumattoma satuasmuuttu, jotka oudattavat stadardotua ormaalkaumaa: () U N(0,), =,,, Määrtellää satuasvektor U = (U, U,, U ) jollo E(U) = 0 Cov(U) = I. Olkoo C e-satuae eäsgulaare -matrs µ e-satuae - vektor olkoo X = CU + µ Tällö satuasvektor X oudattaa -ulottesta multormaalkaumaa arametre E(X) = µ Cov(X) = Σ = CC : X N (µ, Σ) Lsäks satuasvektor X kovarassmatrs Σ o ostvsest deftt. Oletetaa, että satuasvektor X oudattaa -ulottesta multormaalkaumaa arametre E(X) = µ Cov(X) = Σ > 0: olkoo X N (µ, Σ) Σ = CC kovarassmatrs Σ Cholesky-hajotelma, C o eäsgulaare yläkolmo- ta alakolmomatrs. Tällö satuasvektor U = C (X µ) alkot U, =,,, ovat rumattoma oudattavat stadardotua ormaalkaumaa: U N(0,), =,,, TKK Ilkka Mell (007) 7/0

8 Momuuttumeetelmät Multormaalkauma Perustelu: () Olkoot U, =,,, rumattoma satuasmuuttu, jotka oudattavat stadardotua ormaalkaumaa: U N(0,), =,,, Tällö de theysfuktot ovat muotoa f ( u ) = ( ) ex{ u }, =,,, / U π Määrtellää satuasvektor U = (U, U,, U ), jollo E(U) = 0 Cov(U) = I Koska satuasmuuttut U, =,,, o oletettu rumattomks, satuasvektor U theysfukto o satuasmuuttuje U, =,,, theysfuktode tulo ste vomme krjottaa: f ( u ) = f ( u ) U = = ( π ) ex{ u } = u / = ( π ) ex{ ( u + u + + u )} / / uu = ( π ) ex{ } u = (u, u,, u ). Olkoo () X = CU + µ C o e-satuae eäsgulaare -matrs µ o e-satuae -vektor. Muuokse () käätesmuuos o U = C (X µ) Todetaa es, että satuasvektor X odotusarvo o E(X) = E(CU + µ) = CE(U) + µ = µ että satuasvektor X kovarassmatrs o Cov(X) = E[(X E(X))(X E(X)) ] = E[(X µ)(x µ) ] = E[CUU C ] = CE[UU ]C = CCov(U)C = CIC = CC TKK Ilkka Mell (007) 8/0

9 Momuuttumeetelmät Multormaalkauma Merktää: Cov(X) = CC = Σ -matrs Σ o kahde eäsgulaarse matrs tuloa eäsgulaare. Lsäks matrs Σ o ostvsest deftt, sllä b Σb = b CC b = a a > 0 jos b 0. Tämä seuraa stä, että a = C b 0 jos b 0, koska C o eäsgulaare. Huomaa, että det(σ) = Σ > 0 koska Σ o ostvsest deftt. Johdetaa louks satuasvektor X theysfukto. Edellä todett, että satuasvektor U theysfukto o muotoa f ( u) = f ( u, u,, u ) = ( π ) ex{ uu } U U / Satuasvektor X = CU + µ theysfukto saadaa kaavasta ( u) fx( x) = fx( x, x,, x ) = fu( u( x)) ( x) ( u) ( x) o muuokse U = C (X µ) Jacob determat tsesarvo. Ste f ( x) = f ( x, x,, x ) X X ( u) = fu ( ux ( )) ( x) / ( u) = ( π ) ex{ uu } ( x ) / ( u) = ( π ) ex{ ( x µ ) ( C ) C ( x µ )} ( x) = ( π ) Σ ex{ ( x µ ) Σ ( x µ )} / / mkä o -ulottese ormaalkauma N (µ, Σ) theysfukto. Vmee yhtälöstä erustuu she, että ( C ) C = ( C ) C = ( CC ) = Σ she, että TKK Ilkka Mell (007) 9/0

10 Momuuttumeetelmät Multormaalkauma ( u) = det( C ( x) ) = C = Σ koska / Σ = CC = C C = C () Oletetaa, että satuasvektor X oudattaa -ulottesta multormaalkaumaa arametre E(X) = µ Cov(X) = Σ > 0. Tällö satuasvektor X theysfukto o muotoa f ( x ) = ( π ) Σ ex{ ( x µ ) Σ X ( x µ )} / / Koska satuasvektor X kovarassmatrs Cov(X) = Σ o oletettu ostvsest deftks, sllä o Cholesky-hajotelma Σ = CC C o eäsgulaare -yläkolmo- ta -alakolmomatrs. Olkoo U = C (X µ) jollo X = CU + µ Koska C Σ C= C ( CC ) C= C ( C ) C C= I f U ( x) ( u) = fx( x( u)) ( u) = ( x) / / ( π ) Σ ex{ ( x µ ) Σ ( x µ )} ( u ) / / + / ( π ) Σ Σ ex{ ucσ Cu} / ( π ) ex{ uu } / ( π ) ex{ ( u u u )} / ( π ) ex{ u } = fu ( u ) = = = = = = f ( u ) = ( ) ex{ u }, =,,, / U π o stadardodu ormaalkauma N(0,) theysfukto. TKK Ilkka Mell (007) 0/0

11 Momuuttumeetelmät Multormaalkauma Ste satuasmuuttut U, =,,, ovat rumattoma, koska de yhteskauma theysfukto o votu esttää de reuakaume theysfuktode tuloa. Multormaalkauma karakterste fukto Lause... Oletetaa, että X N (µ, Σ). Satuasvektor X karakterste fukto o muotoa ϕ ( t) = ex{ tµ tσt } X =. Perustelu: Olkoo X N (µ, Σ) olkoo lsäks Σ = CC kovarassmatrs Σ Cholesky-hajotelma, C o eäsgulaare yläkolmo- ta alakolmomatrs. Olkoo jollo U = C (X µ) X = CU + µ Lausee... mukaa satuasmuuttu U = (u, u,, u ) komoett u, =,,, ovat rumattoma oudattavat stadardotua ormaalkaumaa: u, u,, u u N(0,), =,,, Satuasmuuttu u karakterste fukto o ϕ s = s = u ( ) ex{ },,,, Satuasmuuttuje u, =,,, rumattomuude taka satuasvektor U karakterste fukto o satuasmuuttuje u, =,,, karakterstste fuktode tulo: ϕ u s s = = ϕ ( s ) = ( ) = ex{ } = ex{ ss } U s = (s, s,, s ). TKK Ilkka Mell (007) /0

12 Momuuttumeetelmät Multormaalkauma Ste Jos =, ϕ ( ) E[ex{ X t = tx}] = E[ex{ t ( Cu + µ )}] = ex{ tµ }E[ex{ tcu }] Ct = s = ex{ tµ }E[ex{ su }] E[ex{ su }] = ϕu ( s) = ex{ tµ }ex{ ss} = ex{ tµ }ex{ tcct} = ex{ tµ }ex{ tσt} = ex{ tµ tσt } ϕ t tx µ t σ t X ( ) = E[ex{ }] = ex{ } Huomaa, että satuasmuuttu karakterste fukto määrää täydellsest satuasmuuttu kauma. Tämä merktsee stä, että jos satuasmuuttu X karakterste fukto o muotoa ϕ () t = ex{ tµ tσt } X = µ o -vektor Σ o ostvsest deftt -matrs, satuasmuuttu X oudattaa -ulottesta multormaalkaumaa arametre E(X) = µ Cov(X) = Σ > 0 Multormaalkauma karaktersot Jos kakk satuasvektor X leaarkombaatot oudattavat (yksulottesta) ormaalkaumaa, satuasvektor X oudattaa multormaalkaumaa. Käätäe multormaalkaumaa oudattava satuasvektor kakk leaarkombaatot ovat ormaalsa. Lause..3. () Olkoo X -ulottee satuasvektor. Oletetaa, että kakk satuasvektor X leaarkombaatot a Y = a X o e-satuae -vektor, oudattavat ormaalkaumaa: Y N(a µ, a Σa) Tällö satuasvektor X oudattaa -ulottesta multormaalkaumaa arametre E(X) = µ Cov(X) = Σ: X N (µ, Σ) () Oletetaa, että satuasvektor X oudattaa -ulottesta multormaalkaumaa arametre E(X) = µ Cov(X) = Σ: TKK Ilkka Mell (007) /0

13 Momuuttumeetelmät Multormaalkauma Perustelu: () X N (µ, Σ) olkoo Y = a X jok satuasvektor X leaarkombaato, a o e-satuae -vektor. Tällö satuasmuuttu Y oudattaa ormaalkaumaa arametre E(Y) = a µ Var(Y) = a Σa: Y N(a µ, a Σa) Olkoo X -ulottee satuasvektor. Oletetaa, että kakk satuasvektor X leaarkombaatot a Y = a X o e-satuae -vektor, oudattavat ormaalkaumaa: Y N(a µ, a Σa) Satuasmuuttu Y karakterste fukto vodaa krjottaa muotoo ϕ () s Y = E[ex{ sy }] = E[ex{ stµ s tσt }] st = v = E[ex{ vµ vσv}] ϕ ( v) = X () ϕ X ( v ) o -ulottese multormaalkauma N (µ, Σ) karakterste fukto. Koska satuasmuuttu karakterste fukto määrää täydellsest satuasmuuttu kauma, X N (µ, Σ) Oletetaa, että X N (µ, Σ) olkoo Y = a X a o e-satuae -vektor. Satuasmuuttu Y karakterste fukto vodaa krjottaa muotoo ϕ ( t Y ) = E[ex{ ty }] = E[ex{ tax }] = ϕx( ta) = E[ex{ taµ t aσa }] joka o yksulottese ormaalkauma N(a µ, a Σa) karakterste fukto. Koska satuasmuuttu karakterste fukto määrää täydellsest satuasmuuttu kauma, Y N(a µ, a Σa) TKK Ilkka Mell (007) 3/0

14 Momuuttumeetelmät Multormaalkauma Lsäks E(Y) = a µ = a E(X) Var(Y) = a Σa = a Cov(X)a Muuttuje vahto Multormaalse satuasmuuttu eäsgulaarset leaarmuuokset oudattavat multormaalkaumaa. Lause..4. Oletetaa, että satuasvektor X oudattaa -ulottesta multormaalkaumaa arametre E(X) = µ Cov(X) = Σ: X N (µ, Σ) olkoo Y = BX mssä matrs B o eäsgulaare. Tällö satuasvektor Y oudattaa - ulottesta multormaalkaumaa arametre E(Y) = Bµ Cov(Y) = BΣB : Y N (Bµ, BΣB ) Perustelu: Olkoo X N (µ, Σ) olkoo Y = BX mssä matrs B o eäsgulaare. Olkoo t Y satuasvektor Y melvaltae leaarkombaato. Ste t Y = t BX = s X s = B t Koska matrs B o eäsgulaare, t = (B ) s Lausee..3. kohda () mukaa leaarkombaato s X = t Y oudattaa yksulottesta ormaalkaumaa arametre E(t Y) = E(s X) = s E(X) = s µ = t Bµ Var(t Y) = Var(s X) = E[(s X E(s X)) ] TKK Ilkka Mell (007) 4/0

15 Momuuttumeetelmät Multormaalkauma = E[(s X s µ) ] = E[(s X s µ)(x s µ s)] = s E[(X µ)(x µ) ]s = s Σs = t B ΣBt Koska t ol melvaltae, satuasmuuttu Y oudattaa lausee..3. kohda () mukaa multormaalkaumaa arametre E(Y) = Bµ Cov(Y) = B ΣB Korrelomattomuus rumattomuus Satuasmuuttuje rumattomuudesta seuraa aa de korrelomattomuus. Se sa korrelomattomat satuasmuuttut evät välttämättä ole rumattoma. Korrelomattome satuasmuuttuje välllä saattaa olla joa eksakt (eäleaare) ruvuus. Mutta jos satuasmuuttuje yhteskaumaa o multormaalkauma, satuasmuuttut ovat rumattoma, jos va jos e ovat korrelomattoma. Lause..5. Oletetaa, että satuasvektor X oudattaa -ulottesta multormaalkaumaa arametre E(X) = µ Cov(X) = Σ: X N (µ, Σ) Ostetaa vektor X = (X, X,, X ) seuraavast: X = (X (), X () ) X () = (X, X,, X q ) X () = (X q+, X q+,, X ) Tehdää vastaavat ostukset satuasvektor X odotusarvovektorlle µ kovarassmatrslle Σ: () () µ = ( µ, µ ) Σ Σ Σ = Σ Σ Σ = Σ. Tällö Σ = 0, jos va jos satuasmuuttut X() X () ovat rumattoma. TKK Ilkka Mell (007) 5/0

16 Momuuttumeetelmät Multormaalkauma Perustelu: Olkoo X N (µ, Σ) oletetaa, että satuasvektor X = (X, X,, X ) o ostettu seuraavast: X = (X (), X () ) X () = (X, X,, X q ) o q-vektor X () = (X q+, X q+,, X ) o ( q)-vektor. Tehdää vastaavat ostukset satuasvektor X odotusarvovektorlle µ kovarassmatrslle Σ: () () µ = ( µ, µ ) Σ Σ Σ = Σ Σ Σ = Σ. Aa ätee: Jos satuasmuuttut X () X () ovat rumattoma, e ovat myös korrelomattoma, jollo Σ = Σ = 0 () Oletetaa yt, että yhtälö () ätee. Tällö satuasmuuttu X karakterste fukto vodaa esttää satuasmuuttuje X () X () karakterstste fuktode tuloa: ϕ ( ) ex{ X t = tµ tσt} () () () () = ex{ [ t µ + t µ ] () () () () () () () () [ t Σt + t Σt + t Σt + t Σt ]} () () () () () () () () = ex{ t µ t Σt + t µ t Σt } () () () () ( = ex{ ) () () () t µ t Σt }ex{ t µ t Σt } () () = ϕ X ( t ) ϕ X ( t ) () () Ste satuasmuuttut X () X () ovat rumattoma. Lause..6. Olkoo X N (µ, Σ) Oletetaa, että satuasvektor X sekä satuasvektor X odotusarvovektor µ kovarassmatrs Σ o ostettu samalla tavalla ku lauseessa..5. Jos Σ = 0, X () N q (µ (), Σ ) X () N q (µ (), Σ ) lsäks satuasmuuttut X () X () ovat rumattoma. TKK Ilkka Mell (007) 6/0

17 Momuuttumeetelmät Multormaalkauma Reuakaumat Multormaalkaumaa oudattava satuasmuuttu X kakk reuakaumat oudattavat multormaalkaumaa (ta ormaalkaumaa). Lause..7. Oletetaa, että satuasvektor X oudattaa -ulottesta multormaalkaumaa arametre E(X) = µ Cov(X) = Σ: X N (µ, Σ) Ostetaa satuasvektor X = (X, X,, X ) seuraavast: X = (X (), X () ) X () = (X, X,, X q ) X () = (X q+, X q+,, X ) Tehdää vastaavat ostukset satuasvektor X odotusarvovektorlle µ kovarassmatrslle Σ: () () µ = ( µ, µ ) Σ Σ Σ Σ = Σ. Tällö = Σ Σ Perustelu: Olkoo X () N(µ (), Σ ), =, X N (µ, Σ) Lausee..3. kohdasta () seuraa, että kaklle a a X N(a µ, a Σa). Olkoo yt a = (a (), 0) a () o melvaltae q-vektor 0 o ollavektor. Tällö a X = a () X () N(a () µ (), a () Σ a () ) Koska vektor a () ol melvaltae, lausee..3. kohdasta () seuraa, että X () N(µ (), Σ ) Vastaavalla tavalla todstetaa, että X () N(µ (), Σ ) TKK Ilkka Mell (007) 7/0

18 Momuuttumeetelmät Multormaalkauma Huomautus : Lauseessa..7. e ole oletettu, että Σ = 0 kute lauseessa..6. Huomautus : Lauseesta..7. seuraa ertysest, että multormaalkaumaa oudattava satuasmuuttu kakk yksulotteset reuakaumat ovat ormaalsa. Huomautus 3: Satuasmuuttu X kakke reuakaume ormaalsuus e takaa stä, että X oudattaa multormaalkaumaa. Lausee..3. mukaa vasta se, että kakk satuasmuuttu X leaarkombaatot oudattavat ormaalkaumaa takaa se, että X oudattaa multormaalkaumaa..3. Multormaalkauma ehdollset kaumat Multormaalkauma ehdollslla kaumlla o keskee rool leaarste regressomalle teorassa sllo, ku mall selttäjät ovat satuasmuuttu. Ehdollset kaumat Multormaalkaumaa oudattava satuasmuuttu kakk ehdollset kaumat ovat multormaalkauma (ta ormaalkauma). Lause.3.. Oletetaa, että satuasvektor X oudattaa -ulottesta multormaalkaumaa arametre E(X) = µ Cov(X) = Σ: X N (µ, Σ) Ostetaa satuasvektor X = (X, X,, X ) seuraavast: X = (X (), X () ) X () = (X, X,, X q ) X () = (X q+, X q+,, X ) Tehdää vastaavat ostukset satuasvektor X odotusarvovektorlle µ kovarassmatrslle Σ: () () µ = ( µ, µ ) Σ Σ Σ = Σ. Σ = Σ Σ TKK Ilkka Mell (007) 8/0

19 Momuuttumeetelmät Multormaalkauma Tällö satuasmuuttu X () ehdolle kauma ehdolla X () = x () o q-ulottee multormaalkauma: ( X X = x ) N ( µ + Σ Σ ( x µ ), Σ Σ Σ Σ ) () () () () () () q Satuasmuuttu X () ehdollse kauma odotusarvo el ehdolle odotusarvo o E( X X = x ) = µ + Σ Σ ( x µ ) () () () () () () ehdollse kauma kovarassmatrs o Perustelu: Olkoo Cov( X X = x ) = Σ Σ Σ Σ () () () X N (µ, Σ) oletetaa, että satuasvektor X = (X, X,, X ) o ostettu seuraavast: X = (X (), X () ) X () = (X, X,, X q ) o q-vektor X () = (X q+, X q+,, X ) o ( q)-vektor. Tehdää vastaavat ostukset satuasvektor X odotusarvovektorlle µ kovarassmatrslle Σ: () () µ = ( µ, µ ) Σ Σ Σ = Σ Σ Σ = Σ. Määrtellää trasformaato () () () Y = X ΣΣX () () () Y = X Trasformaato () vodaa krjottaa matrse muodossa Y = AX Y = (Y (), Y () ) I Σ = Σ A 0 I Lausee..4. mukaa Y = AX N (Aµ, A ΣA) () () µ ΣΣ µ E( Y) = Aµ = () µ TKK Ilkka Mell (007) 9/0

20 Momuuttumeetelmät Multormaalkauma Cov( ) Σ ΣΣ = = Σ 0 Y AΣA 0 Σ Ste lauseesta..6. seuraa, että satuasmuuttut Y () Y () ovat rumattoma ormaalkautueta, että E( Y ) = µ Σ Σ µ () () () Cov( Y ) = Σ Σ Σ Σ () () E( Y ) = µ () Cov( ) = Merktää lyhyest () Y Σ () () () E( Y ) = µ ΣΣ µ = µ Y Cov( Y ) = Σ Σ Σ Σ = Σ () () Koska satuasmuuttut Y () Y () ovat rumattoma, satuasmuuttu Y = (Y (), Y () ) theysfukto vodaa esttää satuasmuuttuje Y () Y () reuakaume theysfuktode tuloa: f ( y) = f ( y ) f ( y ) () () () Y () () Y Y f ( y ) = ( π ) Σ ex{ [ y µ ] Σ [ y µ ]} () q / / () () () () () Y Y Y f ( ) = ( π ) ex{ [ ] [ ]} () ( q)/ / () () () () () y Σ Y y µ Σ y µ Sovelletaa trasformaatota () tuloestyksee (). Koska trasformaato () Jacob determat tsesarvo o ( y) = det( A) = ( x) satuasmuuttu X = (X (), X () ) theysfukto f X ( x ) saa muodo q / / () () f ( x ) = ( π ) Σ ex{ [ x µ ] Σ [ x µ X ]} ( q)/ / () () () () ( π ) Σ ex{ [ x µ ] Σ[ x µ ])} olemme ottaeet käyttöö merkä µ Σ Σ x µ µ Σ Σ x µ () () () () = + () = + ( ) Y Ehdollse kauma määrtelmä mukaa satuasmuuttu X () ehdolle kauma ehdolla X () = x () o TKK Ilkka Mell (007) 0/0

21 Momuuttumeetelmät Multormaalkauma f () () () X X = x = () () ( x x ) f ( x) X () f () ( x ) X = ( π ) Σ ex{ [ x µ ] Σ [ x µ ]} q / / () () mkä o q-ulottese ormaalkauma theysfukto, joka odotusarvovektor o E( X X = x ) = µ = µ + Σ Σ ( x µ ) kovarassmatrs o () () () () () () Cov( X X = x ) = Σ = Σ Σ Σ Σ () () () Regressofuktot Satuasmuuttu X () ehdolle odotusarvo E( X X = x ) = µ = µ + Σ Σ ( x µ ) () () () () () () o ehtomuuttu X () arvoje x () fuktoa satuasmuuttu X () regressofukto satuasmuuttu X () suhtee. Ste multormaalkauma regressofuktot ovat leaarsa ehtomuuttu arvoje suhtee. Tarkastellaa erkostaausta q = merktää q = = k. Tällö satuasmuuttu X ehdolle odotusarvo satuasmuuttu X () = (X, X 3,, X ) suhtee o E( X X = x ) = µ = µ + β ( x µ ) () () () () β= Σ Σ o k-vektor. Regressofukto määrttelee taso E( X X = x ) = µ = µ + β ( x µ ) () () () () x µ () () = + β ( x µ ) (k +)-ulottesessa avaruudessa. Huomautus: Vrt. vektor β lauseketta leaarse regressomall PNS-estmaattor kaavaa keskstettyje havatoarvoje taauksessa. Osttaskovarasst Satuasmuuttu X () ehdollse kauma kovarassmatrs Cov( X X = x ) = Σ = Σ Σ Σ Σ () () () TKK Ilkka Mell (007) /0

22 Momuuttumeetelmät Multormaalkauma o satuasmuuttu X () osttaskovarassmatrs satuasmuuttu X () suhtee. Osttaskovarassmatrs Σ. rv j. sarakkee alko [ Σ ] j =,, j =,,, q j q σ + o satuasmuuttuje X X j osttaskovarass osttaskovarassmatrs Σ. dagoaalalko σ σ =, =,,, q q+ q+ o satuasmuuttu X ehdolle varass. Satuasmuuttu X () osttaskovarassmatrs e ru ehtomuuttu X () saamsta arvosta. Tämä vodaa tulkta, että satuasmuuttu X () osttaskovarassmatrs kuvaa satuasmuuttu X () alkode välsä leaarsa ruvuuksa, ku ehtomuuttuje X () vakutus o elmotu. Tarkastellaa erkostaausta q = merktää q = = k. Tällö satuasmuuttu X osttaskovarassmatrs satuasmuuttu X () = (X, X 3,, X ) suhtee o () () Var( X X = x ) = σ = σ = σ βσβ o k-vektor. β= Σ Σ Osttaskorrelaatot Satuasmuuttuje X X j osttaskorrelaatot määrtellää kaavalla σ j q+ ρ =,, j =,,, j q+ σ σ q+ j q+ σ,,,,, j q + j = o satuasmuuttuje X X j osttaskovarass σ = σ, h=, j h q+ hh q+ o satuasmuuttu X h ehdolle varass. Satuasmuuttuje X X j osttaskorrelaato ρ j q + kuvaa muuttuje X X j korrelaatota, ku muuttuje X q+,, X vakutus o elmotu. Kovarassmatrs determatt osttaskovarassmatrs Lause.3.. Olkoo X -ulottee satuasvektor, joka kovarassmatrs Cov(X) = Σ > 0 o ostettu seuraavalla tavalla: TKK Ilkka Mell (007) /0

23 Momuuttumeetelmät Multormaalkauma Σ Σ = Σ Σ Σ = Σ. Tällö Σ det( Σ) = Σ = Σ Σ Σ Σ Σ = Σ Σ Σ = Σ Σ Σ Σ o satuasmuuttu X () osttaskovarassmatrs satuasmuuttu X () suhtee. Perustelu: Lause seuraa suoraa ostetu matrs determat laskusääöstä. Huomautus: Lause.3.. ätee lma multormaalsuusoletusta. Varass mmot regressofuktot Olkoo -ulottese satuasvektor X kovarassmatrs Cov(X) = Σ > 0. Ostetaa satuasvektor X = (X, X,, X ) seuraavast: X = (X, X () ) X () = (X, X 3,, X ) o ( )-vektor. Tehdää vastaava ostus kovarassmatrslle Σ: σ Σ Σ = Σ Σ σ = σ = Var( X ) Σ = Σ. Lause.3.3. ku () Var( α X ) m X = α α= β= Σ Σ Perustelu: Todetaa es, että E( X ) = µ E( X α X ) = E( X ) α E( X ) = µ α µ () () () () () E( X ) = µ. TKK Ilkka Mell (007) 3/0

24 Momuuttumeetelmät Multormaalkauma Ste Var( X α X ) = E[( X α X E( X α X )) ] () () () () () = E[( X µ α ( X µ )) ] () () = X µ X µ α X µ () () () () E[( ) ( ) ( ) + α ( X µ )( X µ ) α] () () = E[( X µ ) ] α E[( X µ )( X µ )] () () () () + α E[( X µ )( X µ )] α = σ ασ + ασ α Dervomalla saatu lauseke vektor α suhtee merktsemällä dervaatta ollaks saadaa ormaalyhtälö () Var( X α X ) = Σ+ Σα = 0 α vektor α ratkasemseks. Koska matrs Σ o ostvsest deftt ste eäsgulaare, saadaa ormaalyhtälö ratkasuks α = Σ Σ Ratkasu vastaa lausekkee mmä, koska () Var( α X ) X () Var( X α X ) = Σ > 0 αα Lausee.3.3. tulkta: Se satuasvektor X () leaarkombaato α X X α X () varass, saadaa aokertomlla α= β= Σ Σ (), joka mmo satuasmuuttu Vrt. vektor β lauseketta leaarse regressomall PNS-estmaattor kaavaa keskstettyje havatoarvoje taauksessa. Huomautus: Lause.3.3. ätee lma multormaalsuusoletusta. Korrelaato maksmot regressofuktot Olkoo -ulottese satuasmuuttu X kovarassmatrs Cov(X) = Σ > 0. Ostetaa satuasvektor X = (X, X,, X ) seuraavast: TKK Ilkka Mell (007) 4/0

25 Momuuttumeetelmät Multormaalkauma X = (X, X () ) X () = (X, X 3,, X ) o ( )-vektor. Tehdää vastaava ostus kovarassmatrslle Σ: σ Σ Σ = Σ Σ σ = σ = Var( X ) Σ = Σ. Lause.3.4. ku Perustelu: Olkoot () mssä α () Cor( X, α X ) = max α α= β= Σ Σ c melvaltasa. Lausee.3.3. mukaa Var( X β X ) Var( X cα X ) β= Σ Σ () () Eäyhtälö () vodaa krjottaa muotoo (ks. lausee.3.3. erustelua) () σ E[( X µ ) β ( X µ )] + E[( β ( X µ )) ] E[( ) ( )] E[( ( )) ] () () () () () () () () σ c X µ α X µ + c α X µ () () E( X ) = µ E( X ) = µ. Jakamalla eäyhtälö () lausekkeella saadaa eäyhtälö (3) X µ β X µ () () E[( ) ] E[( ( )) ] () () E[( X µ ) β ( X µ )] E[( () () X µ ) ] E[( β ( X µ )) ] () () E[( β ( X µ )) ] + X c () () E[( µ ) ] E[( β ( X µ )) ] () () E[( X µ ) α ( X µ )] () () X µ β X µ () () E[( α ( X µ )) ] + c () () E[( X µ ) ] E[( β X µ E[( ) ] E[( ( )) ] ( )) ] TKK Ilkka Mell (007) 5/0

26 Momuuttumeetelmät Multormaalkauma Valtsemalla () () E[( β ( X µ )) ] c = () () E[( α ( X µ )) ] saadaa eäyhtälöstä (3) eäyhtälö (4) () () E[( X µ ) β ( X µ )] E[( () () X µ ) ] E[( β ( X µ )) ] () () E[( β ( X µ )) ] + X E[( ) ( )] E[( X ) ] E[( ( )) ] E[( β ( X µ )) ] + ( E[( X µ ) ] E[( β ( X Eäyhtälö (4) seveee muotoo (5) () () E[( µ ) ] E[( β ( X µ )) ] () () X µ α X µ () () µ α X µ () () β X µ E[( ) ] E[( ( )) ] Väte seuraa, ku huomataa, että Lausee.3.4. tulkta: () () E[( X µ ) ( )] () () X µ β X µ () () E[( X µ ) α ( X µ )] () () X µ α X µ X E[( ) ] E[( ( )) ] β X µ () () E[( µ ) ( )] () () E[( X µ ) ] E[( β ( X µ )) ] X α X µ () () E[( µ ) ( )] () () E[( X µ ) ] E[( α ( X µ )) ] = = X β X () Cor(, ) X α X () Cor(, ) ) () µ )) ] Se satuasvektor X () () leaarkombaato α X, joka maksmo satuasmuuttuje X α X korrelaato, saadaa () aokertomlla α= β= Σ Σ Vrt. vektor β lauseketta leaarse regressomall PNS-estmaattor kaavaa keskstettyje havatoarvoje taauksessa. Huomautus: Lause.3.4. ätee lma multormaalsuusoletusta. TKK Ilkka Mell (007) 6/0

27 Momuuttumeetelmät Multormaalkauma Yhteskorrelaatokerro Olkoo -ulottese satuasvektor X kovarassmatrs Cov(X) = Σ > 0. Ostetaa satuasvektor X = (X, X,, X ) seuraavast: X = (X, X () ) X () = (X, X 3,, X ) o ( )-vektor. Tehdää vastaava ostus kovarassmatrslle Σ: σ Σ Σ = Σ Σ σ = σ = Var( X ) Σ = Σ. () X yhteskorrelaato- Lause.3.4. motvo määrttelemää satuasmuuttuje X kertome R kaavalla Lause.3.5. R = X β X () Cor(, ) β= Σ Σ Perustelu: R Todetaa es, että E( X ) = µ βσ β = = σ Σ Σ Σ σ Cov( X, β X ) = E[( X µ ) β ( X µ )] () () () () () = β E[( X µ )( X µ )] = βσ = βσβ = ΣΣΣ () () E( X ) = µ. Edellee Var( X ) = E[( X µ ) ] = σ β X = β X µ () () () Var( ) E[( ( )) ] = β X µ X µ β () () () () E[( ( )( ) ] () () () () = β E[( X µ )( X µ )] β = βσ β= Σ Σ Σ TKK Ilkka Mell (007) 7/0

28 Momuuttumeetelmät Multormaalkauma Ste Huomautus: R = Cor( X, β X ) = Cov( X, β X) Var( X ) Var( β X ) βσβ = = = σ βσ β βσ β σ Σ Σ Σ σ Lause.3.5. ätee lma multormaalsuusoletusta. Yhteskorrelaatokertome omasuudet Lause.3.6. () Σ 0 R = σ Σ () σ = σ ( R ) Perustelu: () Olkoo σ Σ Cov( X) = Σ = Σ Σ jollo Σ = ( σ Σ Σ Σ ) Σ σ Σ koska Σ > 0. () Ste Σ Σ Σ σ Σ Σ Σ Σ R = = = σ σ σ Σ Väte seuraa kohdasta (), koska määrtelmä mukaa σ = σ = σ Σ Σ Σ Lauseessa.3.6. σ = Var( X X = x ) () () = σ Σ Σ Σ = σ βσ β TKK Ilkka Mell (007) 8/0

29 Momuuttumeetelmät Multormaalkauma β= Σ Σ Huomautus : Lause.3.6. ätee lma multormaalsuusoletusta. Huomautus : Yhteskorrelaatokertome R elö seltysastee teoreette vaste. R o leaarse regressomall.4. -ulottee ormaalkauma -ulottese ormaalkauma theysfukto Olkoo (X, Y) -ulottee satuasvektor (x, y). Satuasmuuttu (X, Y) oudattaa -ulottesta ormaalkaumaa, jos se theysfukto o () f XY ( xy, ) = ex Qxy (, ) πσ ( ρ ) Xσ Y ρ X X Y Y x µ x µ y µ y µ Qxy (, ) = ρ + σ X σ X σy σy -ulottese ormaalkauma arametrot -ulottee ormaalkauma theysfukto () o arametrotu, että se arametrea ovat satuasmuuttuje X Y odotusarvot, varasst korrelaato. Satuasmuuttuje X Y odotusarvot ovat µ X = E( X ) µ Y = E( Y ) Satuasmuuttuje X Y varasst ovat σ X = Var( X) = E[( X µ X) ] σ Y = Var( Y) = E[( Y µ Y) ] Satuasmuuttuje X Y korrelaato o σ XY ρ = Cor( XY, ) = σ Xσ Y σ = Cov( XY, ) = E[( X µ )( Y µ )] XY X Y o satuasmuuttuje X Y kovarass. TKK Ilkka Mell (007) 9/0

30 Momuuttumeetelmät Multormaalkauma -ulottese ormaalkauma theysfukto omasuudet () -ulottese multormaalkauma theysfukto f X ( x) määrttelee a y = f X ( x ) () 3-ulottesessa avaruudessa. Multlkatve tekjä πσ XσY ρ -ulottese ormaalkauma theysfukto lausekkeessa o elkkä skaalaustekjä, joka saa akaa se, että a y = f X ( x ) taso y = 0 rajottama kaalee tlavuus =. () Palla y = f X ( x) o ykskästtee maksm steessä ( µ, µ ). (v) Pa y = f X ( x) muodo määrää elömuoto Qxy. (, ) (v) Nelömuoto Qxy (, ) määrttelee alle y = ( x ) tasa-arvoellsodt (v) Ellsode Qxy (, ) Qxy (, ) = c = c yhteseä kesksteeä o ste ( µ, µ ). (v) Ellsode Qxy (, ) = c ääakselt saadaa kovarassmatrs ääakselestyksestä σ XX σ XY σ X σ XY Σ = σyx σ = YY σ XY σ Y BΛB X Y Λ o matrs Σ omasarvoje muodostama dagoaalmatrs B o vastaave omasvektorede muodostama ortogoaale matrs, omasvektort ovat sarakkea. Matrs Σ omasvektort määräävät tasa-arvoellsode ääakselede suuat de tuudet ovat verraollsa matrs Σ omasarvoje elöjuur. f X X Y TKK Ilkka Mell (007) 30/0

31 Momuuttumeetelmät Multormaalkauma Reuakaumat -ulottese ormaalkauma reuakaumat ovat -ulottesa ormaalkauma: X µ σ N( X, X ) Y µ σ N( Y, Y) Ehdollset kaumat -ulottese ormaalkauma ehdollset kaumat ovat -ulottesa ormaalkauma: Ehdolle odotusarvo µ β µ σ ρ β σ ρ σ ( Y X = x) N( Y + YX( x X), Y( )), YX = Y / X µ β µ σ ρ β σ ρ σ ( X Y = y) N( X + XY ( y y ), X ( )), XY = X / Y E( Y X = x) = µ + β ( x µ ) Y YX X o muuttu Y regressofukto muuttu X suhtee. Ehdolle odotusarvo E( Y X = x) määrää suora y = µ + β ( x µ ) Y YX X Suora kulmakerro o β = σ ρ/ σ se kulkee stee ( µ, µ ) kautta. Ehdolle odotusarvo YX Y X E( X Y = y) = µ + β ( y µ ) X XY Y o muuttu X regressofukto muuttu Y suhtee. Ehdolle odotusarvo E( X Y = y) määrää suora x= µ + β ( y µ ) X XY Y Suora kulmakerro o β = σ ρ/ σ se kulkee stee ( µ, µ ) kautta. Huomautus: β β = ρ YX XY XY X Y -ulottese ormaalkauma taauksessa muuttuje Y X yhteskorrelaatokerro o R σ ehdollset varasst ovat ρ σ = YX XY YX σσ = = Y X σ Xσ = Y σ = σ ( ρ ) YX Y σ = σ ( ρ ) XY X Huomaa, että ehdollset varasst evät ru ehtomuuttu arvosta. R XY X X Y Y TKK Ilkka Mell (007) 3/0

32 Momuuttumeetelmät Multormaalkauma. Multormaalkaumasta johdetut kaumat.. χ -, F- t-kaumat Moet tlastollse äättely keskesstä kaumsta vodaa määrtellä multormaalkautuede satuasvektorede elömuotoje de fuktode kauma. Tällasa ovat χ -, F- t-kaumat. Oletukset Oletetaa, että satuasvektor X = (X, X,, X ) oudattaa -ulottesta multormaalkaumaa arametre E(X) = µ = (µ, µ,, µ ) Cov(X) = I el X N (µ, I) Tällö satuasvektor X alkot X ovat rumattoma oudattavat ormaalkaumaa arametre µ : Eäkeske χ -kauma X N(µ, ), =,,, Oletetaa, että satuasmuuttu X N (µ, I). Tällö satuasmuuttu X X oudattaa eäkeskstä χ -kaumaa vaauste eäkesksyysarametrlla θ = µ µ. Merktä: X X χ (;θ ) Oletetaa, että X N (µ, σ I). Tällö χ -kauma XX µµ χ ; σ σ Oletetaa, että satuasmuuttu X N (0, I). Tällö satuasmuuttu X X oudattaa χ - kaumaa vaauste. Merktä: X X χ () Jos ss X X χ (;θ) eäkesksyysarametrlla θ = 0, satuasmuuttu X X oudattaa χ - kaumaa vaausaste. Huomautus: Jos X N (µ, σ I), TKK Ilkka Mell (007) 3/0

33 Momuuttumeetelmät Multormaalkauma ( X µ )( X µ ) χ ( ) σ Eäkeske F-kauma Olkoot satuasmuuttut U V rumattoma U χ (m;θ ) V χ () Tällö satuasmuuttu U m U F = = V m V oudattaa eäkeskstä F-kaumaa vaausaste m eäkesksyysarametrlla θ. Merktä: F-kauma F F(m,;θ) Olkoot satuasmuuttut U V rumattoma U χ (m) V χ () Tällö satuasmuuttu U m U F = = V m V oudattaa F-kaumaa vaausaste m. Merktä: F F(m,) Jos ss F F(m,;θ) eäkesksyysarametrlla θ = 0, satuasmuuttu F oudattaa F- kaumaa vaausaste m. Eäkeske t-kauma Satuasmuuttu t oudattaa eäkeskstä t-kaumaa vaausaste eäkesksyysarametrlla θ, jos Merktä: t F(,;θ) t t(;θ) TKK Ilkka Mell (007) 33/0

34 Momuuttumeetelmät Multormaalkauma t-kauma Satuasmuuttu t oudattaa (Studet) t-kaumaa vaausaste, jos Merktä: t F(,) t t() Jos ss t t(;θ) eäkesksyysarametrlla θ = 0, satuasmuuttu t oudattaa t-kaumaa vaausaste... Nelömuotoje kauma Seuraavassa tarkastellaa multormaalkautuede satuasmuuttuje elömuotoje kauma. Estettävllä kaumatulokslla o keskee merktys leaarste malle momuuttumeetelme estmot- testteorassa. Cochra lause Formulomme tässä leaarste malle teorassa tärkeä Cochra lausee. Moe (mult-) ormaalkauma, leaarste regressomalle varassaalyys malle koskeve arametrste tlastollste teste testsuurede kaumat vodaa johtaa Cochra lausee ta jok se seuraukse avulla. Oletetaa, että satuasvektor X = (X, X,, X ) oudattaa -ulottesta multormaalkaumaa arametre E(X) = µ = (µ, µ,, µ ) Cov(X) = I el X N (µ, I) Tällö satuasvektor X alkot X ovat rumattoma oudattavat ormaalkaumaa odotusarvolla µ varasslla : Olkoot X N(µ,), =,,, A j, j =,,, k symmetrsä -matrse, jode asteet ovat r(a j ) = r j, j =,,, k Muodostetaa matrsesta A j elömuodot Q = XA X, j =,,, k j j olkoot θ j = µa jµ, j =,,, k TKK Ilkka Mell (007) 34/0

35 Momuuttumeetelmät Multormaalkauma Lause... Cochra lause. Oletetaa, että XX = Q + Q + + Q k Tällö elömuodot Q, Q,, Q k ovat rumattoma jos va jos Q χ ( r ; θ ), j =,,, k j j j = r + r + + r k Lsäks tällö µ µ = θ + θ + + θ k Perustelu: Oletetaa, että X N (µ, I) jollo eäkeskse χ -kauma määrtelmä mukaa Olkoot XX χ ( ; θ ) θ = µ µ A j, j =,,, k symmetrsä -matrse, jode asteet ovat r(a j ) = r j, j =,,, k Oletetaa yt, että XX = Q + Q + + Q k Q = XA X, j =,,, k j j () Jos elömuodot Q, j =,,, k ovat rumattoma j Q χ ( r ; θ ), j =,,, k j j j θ j = µa jµ, j =,,, k välttämättä = r + r + + r k Lsäks θ = µµ = θ + θ + + θ k TKK Ilkka Mell (007) 35/0

36 Momuuttumeetelmät Multormaalkauma () Oletetaa yt, että = r + r + + r k todstetaa, että tällö elömuodot Q, j =,,, k ovat rumattoma Q χ ( r ; θ ), j =,,, k j j j θ j = µa jµ, j =,,, k Käytämme todstuksessa hyväks seuraavaa matrslaskea tulosta: Olkoo X -vektor A symmetre -matrs, joka aste r(a) = m Tällö o olemassa eäsgulaare leaarmuuos Z = CX ste, että XAX = Z ( C ) AC Z= ZDZ D = dag( ±,, ±,0,,0) o -dagoaalmatrs, joka ollasta okkeave dagoaalelemette lukumäärä o täsmällee m. Ste saamme elömuodolle X AX estykse XAX =± z ± z ± ± z m j z = c x, k =,,, m k k k = c k = [C] k Tarkastellaa yt elömuoto Q = XA X, j =,,, k j j jode matrst A j ovat symmetrsä -matrse, jode asteet ovat r(a j ) = r j, j =,,, k Edellä steeratu matrslaskea tulokse erusteella jokasta elömuotoa Q = XA X, j =,,, k j j kohde o olemassa sellae vektor X eäsgulaare leaarmuuos, että elömuoto Q j vodaa esttää muodossa ( j) ( j) ( j) j =± l l ± l l ± ± rjl l l= l= = Q b x b x b x TKK Ilkka Mell (007) 36/0

37 Momuuttumeetelmät Multormaalkauma Koska olemme olettaeet, että r + r + + r k = ( ) vomme koota kertomsta b j l eäsgulaarse -matrs B, kertomet b, b,, b, =,,, r, j =,,, k ( ) ( ) ( ) j ovat rveä. Ste vomme krjottaa k j= Q j = XBDBX D o muotoa D = dag( ±, ±,, ± ) oleva -dagoaalmatrs. Koska k XX = Q = XBDBX j= j kaklle X, välttämättä BDB = I Koska matrs B o eäsgulaare, D= ( B ) B joka o ostvsest deftt, mkä merktsee stä, että matrs D kakke dagoaalelemette o oltava = +, jollo BB = I Ste matrs B o ortogoaale. Koska X N (µ, I) Y = BX N (Bµ, I) ste vektor Y komoett ovat rumattoma ormaalkautueta. Koska elömuoto Q o vektor Y = BX r esmmäse komoet elösumma, elömuoto Q o muotoa Q r = y = Vastaavast elömuoto Q o muotoa Q r+ r = = r + y je. Ste elömuodot Q, Q,, Q k ovat rumattoma, koska llä e ole yhtää yhtestä y -termä. TKK Ilkka Mell (007) 37/0

38 Momuuttumeetelmät Multormaalkauma Edellee, koska jokae elömuoto Q j, j =,,, k o rumattome ormaalkautuede satuasmuuttuje elösumma, Q χ ( r ; θ ), j =,,, k j j j θ j = µa jµ, j =,,, k Koska lsäks k k = Qj = j χ j= j= XX XA X (, µµ ) k µµ = θ = µa µ k j j= j= Ste olemme todstaeet ehdo j = r + r + + r k rttävyyde. Multormaalkautuede satuasmuuttuje elömuotoje kaumat Estämme tässä kaaleessa useta Cochra lausee seurauksa, jota o mossa tlatessa käteväm soveltaa ku Cochra lausetta tseää. Oletetaa aluks, että X N (µ, I) E(X) = µ Cov(X) = I Olkoot lsäks A B kaks symmetrstä -matrsa. Lause... Nelömuoto Q= XAX χ (; r θ ) jos va jos matrs A demotett. Lsäks tällö r = r(a) = tr(a) θ = µ Aµ TKK Ilkka Mell (007) 38/0

39 Momuuttumeetelmät Multormaalkauma Perustelu: Estämme todstukse taauksessa E(X) = µ = 0 jollo tarkasteltava elömuoto Q oudattaa tavallsta (so. keskstä) χ -kaumaa. () Oletetaa es, että matrs A o demotett r = r(a) = tr(a) todstetaa, että elömuoto Q= XAX χ () r () Jos matrs A o symmetre demotett, myös matrs I A demotett, koska (I A) = I A + A = I A + A = I A Lsäks r(i A) = tr(i A) = tr(i) tr(a) = r Koska XX = XAX + X ( I A) X r(a) + r(i A) = r + ( r) = = r(i) Cochra lauseesta... seuraa, että Q= XAX χ () r Oletetaa yt, että elömuoto Q= XAX χ () r todstetaa, että tällö matrs A o demotett r(a) = tr(a) = r Oletetaa, että r(a) = m Olkoo matrs A ääakselhajotelma A = QΛQ λ λ λ Λ = dag(,,, ) o matrs A omasarvoje λ λ λ 0 muodostama dagoaalmatrs Q o vastaave omasvektorede muodostama ortogoaale matrs, omasvektort ovat sarakkea. TKK Ilkka Mell (007) 39/0

40 Momuuttumeetelmät Multormaalkauma Koska olemme olettaeet, että r(a) = m, matrs A ostvste omasarvoje lukumäärä o m. Määrtellää muuos Y = Q X jollo X = QY Olkoo vektor Y komoettmuodossaa Y = ( y, y,, y ) Tällö vomme krjottaa (a) Q= XAX = YQAQY = YQQΛQQY = YΛY = λ jy m j= j (b) XX = YQQY = YY = y j= Satuasvektor Y odotusarvovektor kovarassmatrs ovat E( Y) = E( QX ) = Q E( X) = 0 Cov( Y) = E[( Y E( Y))( Y E( Y)) ] = E( YY ) = E( QXXQ ) = Q E( XX ) Q = Q Cov( X) Q = QIQ = QQ = I j Lauseesta..4. seuraa, että satuasvektor Y oudattaa multormaalkaumaa: Y N(,) 0 I jote lausee..5. mukaa vektor Y komoett yj, j =,,, ovat (samo ku vektor X komoett x j, j =,,, ) rumattoma oudattavat stadardotua ormaalkaumaa: y N(0,), j =,,, j χ -kauma määrtelmä mukaa y χ (), j =,,, j TKK Ilkka Mell (007) 40/0

41 Momuuttumeetelmät Multormaalkauma k j χ = j= y ( k), k,,, Satuasmuuttuje y, j =,,, karakterstset fuktot ovat j / ϕ j () t = ( t), =, j =,,, Koska satuasmuuttut muuttu y, j =,,, ovat rumattoma, satuas- j Q= XAX = YΛY = λ jy karakterste fukto o () m j= ϕ t = λt λ t λ t = / ( ) [( )( ) ( m )], Tosaalta oletukse mukaa Q= XAX χ () r (3) χ () r -kauma karakterste fukto o muotoa ϕ t t r / () = ( ), = j Vertaamalla kaavo () (3) ähdää, että välttämättä m = r λ j =, j =,,, m Ste kaavosta (a) (b) seuraa, että matrs QAQ o dagoaalmatrs, joka dagoaalalkot ovat ykkösä ta olla ykköste lukumäärä = m = r. Koska matrs QAQ o ste demotett, = = = QAQ QAQQAQ QAAQ QA Q mkä o mahdollsta va, jos A = A el myös matrs A o demotett. Lsäks r(a) = m = r = tr(a) Huomautus: Estmme lausee... todstukse va taauksessa E(X) = µ = 0 Jos E(X) = µ 0 satuasmuuttu y j lausee... todstuksessa kautuu eäkeskse χ - kauma mukaa, jollo elömuodo XAX karakterstse fukto kaavoh () (3) tulee ylmääräe eäkesksyysarametrsta ruva term, joka komlso todstusta jok verra, mutta e muuta johtoäätöstä. TKK Ilkka Mell (007) 4/0

42 Momuuttumeetelmät Multormaalkauma Lause..3. Olkoo X N (0, I) X X = Q + Q mssä elömuoto Q χ r () Tällö elömuoto Q χ r ( ) Perustelu: Todetaa es, että suoraa χ -kauma määrtelmä mukaa XX χ ( ) Oletetaa, että elömuoto Q o muotoa Q = XAX lsäks Q χ () r. Tällö lauseesta... seuraa, että matrs A o demotett r(a) = tr(a) = r Nyt Q = XX Q = XX XAX= X( I A) X Nelömuodo Q matrs I A o demotett, koska matrs A o demotett: (I A) = I A + A = I A + A = I A Lsäks tällö r(i A) = tr(i A) = tr(i) tr(a) = r Ste lauseesta... seuraa, että Lause..4. Oletetaa, että Q = Q + Q mssä elömuodot Q X I A X χ r = ( ) ( ) Q χ () r Q χ s () elömuoto Q 0. Tällö elömuoto Q χ r s ( ) TKK Ilkka Mell (007) 4/0

43 Momuuttumeetelmät Multormaalkauma Perustelu: Oletukssta lauseesta... seuraa, että Q = XAX Q = XAX matrst A A ovat demotette r(a) = tr(a) = r r(a ) = tr(a ) = s Ste Q = XAX XAX = X ( A A ) X Koska Q= XAX χ () r lausee... todstukse mukaa o olemassa ortogoaale leaarmuuos Y = QX = ( y, y,, y ) ste, että QQ = Q Q = I (a) Q= XAX = YQAQY = y r j= j (b) XX YY = = j= y j Soveltamalla muuosta X = QY myös elömuotoh Q Q vodaa elömuodot Q Q krjottaa muotoh Q = XAX = YQAQY = YBY B = QA Q Q = X ( A A ) X= YQ ( A A ) QY= YB Y B = Q ( A A ) Q TKK Ilkka Mell (007) 43/0

44 Momuuttumeetelmät Multormaalkauma Koska r yj YBY YB Y j= Q= = + yhtälö okea uole elömuodot vovat rua va satuasmuuttujsta y, j =,,, r j Ste lauseesta..3. seuraa, että Q χ r ( ) Huomautus: Lauseesta..4. saadaa svutuotteea seuraava matrslaskea tulos: Jos matrst A A ovat demotette, myös erotusmatrs A A o demotett. Jos tämä matrslaskea tulos oletetaa tuetuks, lause..4. seuraa suoraa lauseesta... Lause..5. Oletetaa, että XAX χ ( ) XBX χ ( m) Tällö elömuodot X AX X BX ovat rumattoma, jos va jos AB = 0 Perustelu: () Todstetaa ehdo AB = 0 rttävyys. Oletuksesta lauseesta... seuraa, että matrst A B ovat demotette el A = A B = B Ste jos A(I A B) = B(I A B) = 0 AB = 0 Tällö r(a) + r(b) + r(i A B) = = r(i ) Koska X AX + X BX + X (I A B)X = X X TKK Ilkka Mell (007) 44/0

45 Momuuttumeetelmät Multormaalkauma () Cochra lauseesta... seuraa, että elömuodot X AX X BX ovat rumattoma. Todstetaa ehdo AB = 0 välttämättömyys. Jos elömuodot X AX X BX ovat rumattoma, tällö XAX + XBX = X ( A+ B) X χ ( + m) Ste matrs A + B o demotett el (A + B) = A + AB + BA + B = A + AB + BA + B = A + B mkä o mahdollsta va, jos AB = 0 jollo myös BA = B A = (AB) = 0 Lause..6. Oletetaa, että XAX χ ( ) Tällö elömuoto X AX skalaartulo b X ovat rumattoma, jos va jos Ab = 0 Perustelu: Koska olemme olettaeet, että X N(,) 0 I bx N(0, bb ) bx = XbbX χ ( ) () Lausee..5. mukaa elömuodot X AX X bb X ovat rumattoma, jos va jos Abb = 0 Lause..6. seuraa tästä, ku huomataa, että satuasmuuttut X AX X bb X ovat rumattoma, jos va jos satuasmuuttut X AX b X ovat rumattoma Abb = 0 jos va jos Ab = 0 Olemme olettaeet edellä, että X N (µ, I) TKK Ilkka Mell (007) 45/0

46 Momuuttumeetelmät Multormaalkauma jollo satuasvektor X komoett ovat korrelomattoma ( ste rumattoma). Srrytää yt tarkastelemaa taausta X N (µ, Σ) E(X) = µ Cov(X) = Σ > 0 Olkoot lsäks A B kaks symmetrstä -matrsa. Lausede tulokset vodaa laajetaa tähä taauksee soveltamalla satuasvektor X muuosta Z = C X C o eäsgulaare matrs, joka saadaa hajotelmasta Σ = CC Tällae matrs C o aa olemassa, koska matrs o oletettu ostvsest deftks. Satuasvektor Z oudattaa -ulottesta multormaalkaumaa arametre E( ) E( ) E( ) Z = C X = C X = C µ Cov( Z) = E[( Z E( Z))( Z E( Z)) ] = C X C µ C X C µ = C E[( X µ )( X µ )]( C ) = C Cov( X)( C ) = C Σ( C ) = C CC ( C ) = I E[( )( )] Lauseta vodaa soveltaa satuasvektor Z ste lauseet vodaa muotolla uudellee, että e soveltuvat myös taauksee Cov(X) = Σ Koska lauseet evät vaad uutta muotolua, tarkastelemme alla va lausede muotolemsta uudellee. Lause..7. Nelömuoto Q = X AX χ (r;θ) jos va jos AΣA = A. Lsäks tällö r = r(a) = tr(a) θ = µ Aµ TKK Ilkka Mell (007) 46/0

47 Momuuttumeetelmät Multormaalkauma Perustelu: Koska satuasvektor X kovarassmatrs Σ o oletettu ostvsest deftks, matrslla Σ o hajotelma Σ = CC C o eäsgulaare matrs. Sovelletaa elömuotoo Q = X AX muuosta jollo Z = C X X = CZ Ste elömuoto Q vodaa krjottaa muotoo Q = X AX = Z C ACZ Lausee... mukaa Q χ (r;θ) jos va jos () (C AC) = (C AC)(C AC) = C AC Koska matrs C o eäsgulaare ehto () vodaa krjottaa muotoo () ACC A = A Koska CC = Σ ehto () saa muodo Lsäks AΣA = A r(c AC) = r(a) Lause..8. Oletetaa, että XAX χ ( ) Perustelu: XBX χ ( m) Tällö elömuodot X AX X BX ovat rumattoma, jos va jos AΣB = 0 Koska satuasvektor X kovarassmatrs Σ o oletettu ostvsest deftks, matrslla Σ o hajotelma TKK Ilkka Mell (007) 47/0

48 Momuuttumeetelmät Multormaalkauma Σ = CC C o eäsgulaare matrs. Sovelletaa elömuotoh X AX X BX muuosta jollo Z = C X X = CZ Ste elömuodot X AX X BX vodaa krjottaa muotoh X AX = Z C ACZ X BX = Z C BCZ Lausee..5. mukaa elömuodot X AX X BX ovat rumattoma, jos va jos () (C AC)(C BC) = 0 Koska matrs C o eäsgulaare ehto () vodaa krjottaa muotoo () ACC B = 0 Koska CC = Σ ehto () saa muodo AΣB = 0 Lause..9. Nelömuoto X Σ X χ (;θ) θ = µ Σ µ Perustelu: Valtaa Tällö Lsäks A = Σ AΣA = Σ ΣΣ = Σ = A r(aσ) = tr(aσ) = tr(σ Σ) = tr(i ) = µ Aµ = µ Σ µ Ste väte seuraa lauseesta..7. TKK Ilkka Mell (007) 48/0

49 Momuuttumeetelmät Multormaalkauma Lause..0. Nelömuoto (X µ) Σ (X µ) χ () Perustelu: Lause..0. seuraa lauseesta..9. Tämä ähdää stä, että E(X µ) = 0 Cov(X µ) = Σ O kutek oettavasta todstaa lause..0. oamatta lauseesee..9. ( ste lauseesee..7.). Olkoo kovarassmatrs Σ ääakselhajotelma Σ = QΛQ Λ = dag( λ, λ,, λ ) o matrs Σ omasarvoje λ λ λ > 0 muodostama dagoaalmatrs Q o vastaave omasvektorede muodostama ortogoaale matrs, omasvektort ovat sarakkea. Tällö matrs Σ ääakselhajotelma o Määrtellää Tällö Σ = QΛ Q Y = Λ Q X µ / ( ) Y = Λ Q X µ = Λ Q X µ = 0 / / E( ) E[ ( )] [E( ) ] Cov( Y) = E[( Y E( Y))( Y E( Y)) ] = E( YY ) = Λ Q X µ X µ QΛ = Λ Q E[( X µ )( X µ )] QΛ / / = Λ Q ΣQΛ / / = Λ QQΛQQΛ / / = Λ ΛΛ = I / / E[ ( )( ) ] / / TKK Ilkka Mell (007) 49/0

50 Momuuttumeetelmät Multormaalkauma Todetaa velä, että YY = X µ QΛ Λ Q X µ / / ( ) ( ) = X µ QΛ Q X µ ( ) ( ) = X µ Σ X µ ( ) ( ) Koska tosaalta χ -kauma määrtelmä mukaa YY χ ( ) väte o todstettu. Oletetaa yt, että E(X) = µ Cov(X) = Σ > 0 Olkoo lsäks A symmetre -matrs. Lause... E(X AX) = tr(aσ) + µ Aµ Perustelu: Todetaa es, että Cov( X) = Σ = E[( X µ )( X µ ) ] = E( XX Xµ µx + µµ ) = E( XX ) µµ µµ + µµ = E( XX ) µµ josta seuraa, että E( XX ) = Σ µµ Ste E( XAX ) = E[tr( XAX )] = E[tr( AXX )] = tr[ AE( XX )] = tr[ A( Σ µµ )] = tr( AΣ) tr( Aµµ ) = tr( AΣ ) µaµ Huomautus: Lause... ätee lma oletusta satuasvektor X multormaalsuudesta. TKK Ilkka Mell (007) 50/0

51 Momuuttumeetelmät Multormaalkauma Sovellus: Tavaomae t-test Johdetaa tavaomase t-test testsuuree kauma multormaalkaumaa oudattave satuasmuuttuje elömuotoje kaumateora avulla. () Tavaomae t-test she lttyvät oletukset. Olkoot X, X,, X rumattoma ormaalkautueta satuasmuuttu: X, X,, X X N(µ,σ ), =,,, Olkoo ollahyoteesa H 0 : µ = µ 0 Tavaomae t-test ollahyoteeslle H 0 erustuu testsuureesee X µ 0 t = sx / mssä X = X = sx = ( X X) = Seuraavassa osotetaa, että testsuure t o kautuut Studet t-kauma mukaa vaausaste ( ), jos ollahyotees H 0 ätee. () Muuttuje vahto testsuureessa t. Tehdää muuttuje vahto: X µ 0 Y =, =,,, σ µ 0 o ollahyoteeslla H 0 ktetty arametr µ arvo. Tällö X = µ 0 + σy, =,,, X = µ + σy 0 mssä s Y = σ s X Y Y = = sy = Y Y = ( ) TKK Ilkka Mell (007) 5/0

52 Momuuttumeetelmät Multormaalkauma Ste testsuure t vodaa esttää muodossa Y t = sy / Koska satuasmuuttut X, X,, X ovat rumattoma ormaalkautueta, myös satuasmuuttut Y, Y,, Y ovat rumattoma ormaalkautueta. Lsäks, jos ollahyotees H 0 : µ = µ 0 ätee, E(Y ) = 0 Var(Y ) = jollo ss Y N(0,), =,,, (3) Testsuuree t matrsestys. Muodostetaa satuasmuuttujsta Y, Y,, Y vektor Y = (Y, Y,, Y ) Tällö satuasmuuttuje Y, Y,, Y artmeette keskarvo vodaa esttää muodossa Y = Y de otosvarass vodaa esttää muodossa = YMY mssä = (,,, ) o -vektor M = I P P = s Y Ste testsuuree t elö t vodaa esttää kahde elömuodo suhteea: t Y = = s / Y YPY YMY Nelömuotoje Y PY Y MY matrst P = M = I P TKK Ilkka Mell (007) 5/0

53 Momuuttumeetelmät Multormaalkauma ovat symmetrsä demotette el rojektota, jote r(p) = tr(p) = r(m) = tr(m) = Lsäks PM = MP = 0 (4) Nelömuotoje Y PY Y MY kaumat. Jos ollahyotees H 0 : µ = µ 0 ätee, E(Y) = 0. Ste kohdassa (3) estetystä elömuoto Y PY Y MY koskevsta tulokssta seuraa lausee... mukaa, että Y PY χ () Y MY χ ( ) Lsäks lausee..5. mukaa elömuodot Y PY Y MY ovat rumattoma. Nelömuotoje Y PY Y MY kauma koskevat tulokset sekä de rumattomuus seuraavat myös suoraa Cochra lauseesta..., ku huomataa, että Y Y = Y PY + Y MY, että = r(p) + r(m) = + ( ) (5) Testsuuree t kauma. Edellä estetystä seuraa F-kauma määrtelmä mukaa, että ollahyotees ätessä t F(, ) josta saadaa tavaomasta t-testsuuretta koskeva kaumatulos: Jos ollahyotees H 0 : µ = µ 0 ätee, testsuure X µ 0 t = t( ) s / X.3. Mahalaobs-etäsyys se kauma Mahalaobs-etäsyys Olkoo X = (X, X,, X ) satuasvektor, jolle ätee: E(X) = µ Cov(X) = Σ TKK Ilkka Mell (007) 53/0

54 Momuuttumeetelmät Multormaalkauma Olkoo lsäks kovarassmatrs Σ ostvsest deftt, jollo se o eäsgulaare. Pstede x x j Ertysest stee x saadaa lausekkeesta Mahalaobs-etäsyys MD(x, x j ) saadaa lausekkeesta MD (x, x j ) = (x x j ) Σ (x x j ) Mahalaobs-etäsyys satuasmuuttu X odotusarvosta µ MD (x, µ) = (x µ) Σ (x µ) Multormaalkauma Mahalaobs-etäsyys Oletetaa, että satuasvektor X oudattaa -ulottesta multormaalkaumaa arametre E(X) = µ Cov(X) = Σ: X N (µ, Σ) Tällö multormaalkauma theysfukto muodo määrääve tasa-arvoellsode (x µ) Σ (x µ) = c steet x ovat sama Mahalaobs-etäsyyde äässä satuasmuuttu X odotusarvosta µ. Lausee..0. mukaa () MD (X, µ) χ () Sovellus: Multormaalsuude testaame Jos odotusarvovektor µ kovarassmatrs Σ tuetaa, moulotteste havatoje multormaalsuude testaame vodaa erustaa Mahalaobs-etäsyyttä koskevaa kaumatuloksee (). Tällö havatostede Mahalaobs-etäsyykse kaumaa verrataa χ -kaumaa jollak sovalla yhteesovuustestllä. Koska odotusarvovektora µ kovarassmatrsa Σ e kutekaa yleesä tueta, Mahalaobs-etäsyyttä koskeva kaumatulos () o sellaseaa eäoeratoaale. Jos arametrt µ Σ korvataa Mahalaobs-etäsyyde kaavassa suurmma uskottavuude estmaattorellaa (ks. lukua 3. Multormaalkauma arametre estmot), ä saatavat estmodut Mahalaobs-etäsyydet evät ole eää χ -kautueta, vaa F- kautueta (ks. lukua 4. Multormaalkaumaa koskeva testejä). Tällö havatoje multormaalsuude testaame vodaa erustaa she, että estmotuje Mahalaobs-etäsyykse kaumaa verrataa F-kaumaa (ks. lukua 4. Multormaalkaumaa koskeva testejä). Samalla meetelmällä vodaa testata myös havatoje ulkouolsuutta ta okkeavuutta. TKK Ilkka Mell (007) 54/0

55 Momuuttumeetelmät Multormaalkauma 3. Multormaalkauma arametre estmot 3.. Johdato Uskottavuusäättelyssä atellaa, että kakk otoksee ssältyvä formaato vodaa koota otokse uskottavuusfuktoo. Uskottavuusfukto Olkoo x, x,, x ( > ) rumato satuasotos -ulottesesta kaumasta, joka theysfukto o f(x; θ) θ o tutemato arametr. Otokse x, x,, x ( > ) yhteskauma theysfukto o havatoje rumattomuude taka muotoa f(x, x,, x ; θ) = f(x ; θ) f(x ; θ) f(x ; θ) f(x ; θ), =,,, o havao x theysfukto. Jos yhteskauma theysfukto tulktaa arametr θ fuktoks, stä kutsutaa otokse x, x,, x ( > ) uskottavuusfuktoks merktää L(θ) = L(θ; x, x,, x ) = L(θ; x ) L(θ; x ) L(θ; x ) L(θ; x ) = f(x ; θ), =,,, o havao x theysfukto tulkttua arametr θ fuktoks. Vastaava logartme uskottavuusfukto o l(θ) = log L(θ) = log L(θ; x, x,, x ) = l(θ; x, x,, x ) Koska havaot o tässä oletettu rumattomks, vomme krjottaa l(θ; x, x,, x ) = l(θ; x ) + l(θ; x ) + + l(θ; x ) l(θ; x ) = log f(x ; θ), =,,, o yhde havao x logartme uskottavuusfukto. Huomautus: O syytä huomata, että emme eää tee merkällstä eroa havatoje (jotka ovat ss satuasmuuttu), havatoje (e-satuaste) havattuje arvoje ta havattuje arvoje vahtelua kuvaave (e-satuaste) muuttuje välllä. TKK Ilkka Mell (007) 55/0