8.3. Yleinen lineaarinen malli ja yleistetty pienimmän neliösumman menetelmä

Transkriptio

1 Mat Tilastollie päättely Tilastollie päättely 8. Yleie lieaarie malli 8.1. Yleie lieaarie malli ja se parametrie estimoiti Estimoiti, Estimaattori hyvyys, Gaussi ja Markovi lause, Harhattomuus, Homoskedastisuus, Jakaumaoletus, Jääöseliösumma, Jääöstermi, Jääösvariassi, Kokoaiseliösumma, Korrelaatio, Korreloimattomuus, Kovariassi, Lieaarie regressiomalli, Mallieliösumma, Normaalijakauma, Optimaalisuus, Otos, Pieimmä eliösumma meetelmä, Regressiofuktio, Regressiokerroi, Regressiomalli, Regressiotaso, Residuaali, Selitettävä muuttuja, Selittäjä, Selittävä muuttuja, Selitysaste, Sovite, Suurimma uskottavuude meetelmä, Tehokkuus, Tyhjetävyys, Vakiotermi, Variassiaalyysihajotelma, Yleie lieaarie malli 8.. Päättely yleisestä lieaarisesta mallista F-jakauma, F-testi, Harhattomuus, Jääösvariassi, Kriittie arvo, Lagrage kertojatesti, Luottamuskerroi, Luottamustaso, Luottamusväli, Merkitsevyystaso, Nollahypoteesi, Normaalijakauma, Osamäärätesti, Parametri, Regressiokerroi, Residuaali, Selitettävä muuttuja, Selittäjä, Selittävä muuttuja, Selitysaste, Sovite, t-jakauma, t-testi, Testi, Testisuure, Vakiotermi, Vapausasteet, Waldi testi, Yleie lieaarie malli 8.3. Yleie lieaarie malli ja yleistetty pieimmä eliösumma meetelmä Kovariassimatriisi, Estimaattori hyvyys, Gaussi ja Markovi lause, Pieimmä eliösumma meetelmä, Tehokkuus, Yleie lieaarie malli, Yleistetty pieimmä eliösumma estimaattori, Yleistetty pieimmä eliösumma meetelmä 8.4. Yleie lieaarie malli ja lieaariset rajoitukset Estimaattori hyvyys, Gaussi ja Markovi lause, Lagrage meetelmä, Lieaariset rajoitukset, Lieaariset side-ehdot, Pieimmä eliösumma meetelmä, Rajoitettu pieimmä eliösumma estimaattori, Sidottu pieimmä eliösumma estimaattori, Tehokkuus, Yleie lieaarie malli 8.5. Bayeslaie yleie lieaarie malli Bayesi kaava, Huoosti asetettu ogelma. Priorijakauma, Posteriorijakauma, Rajoitettu pieimmä eliösumma estimaattori, Regularisoiti, Sekaestimoiti, Yleistetty pieimmä eliösumma meetelmä 8.6. Yleie lieaarie malli ja stokastiset selittäjät Ehdollistamie, Kiiteät selittäjät, Satuaiset selittäjät Liite 1: Odotusarvovektori ja kovariassimatriisi Liite : Ilkka Melli (010) 1/3

2 Mat Tilastollie Ilkka Melli (010) /3

3 Mat Tilastollie päättely 8.1. Yleie lieaarie malli ja se parametrie estimoiti Yleie lieaarie malli ja se parametroiti Olkoo yleie lieaarie malli, y j = x j1 + x j + + k x jk + j, j = 1,,, y j = selitettävä muuttuja y havaittu ja satuaie arvo havaitoyksikössä j = 1,,, x ji = selittävä muuttuja eli selittäjä x i havaittu ja kiiteä eli ei-satuaie arvo havaitoyksikössä j = 1,,, ; i = 1,,, k 0 = vakioselittäjä regressiokerroi, tutemato ja kiiteä eli ei-satuaie vakio i = selittäjä x i regressiokerroi, tutemato ja kiiteä eli ei-satuaie vakio, i = 1,,, k j = ei-havaittava ja satuaie jääöstermi, j = 1,,, Yleistä lieaarista mallia koskevat stadardioletukset (i) (ii) (iii) (iv) (v) (vi) Selittäjä x i havaitut arvot x ji ovat kiiteitä eli ei-satuaisia vakioita, j = 1,,, ; i = 1,,, k Selittäjie välillä ei ole lieaarisia riippuvuuksia. E( j ) = 0, j = 1,,, Var( j ) =, j = 1,,, Cor( j, l ) = 0, j l j ~ N(0, ), j = 1,,, Oletukse (iv) mukaa kaikilla jääöstermeillä j, j = 1,,, o sama variassi, jota kutsutaa jääösvariassiksi. Oletusta (iv) kutsutaa homoskedastisuusoletukseksi. Oletukse (v) mukaa jääöstermit eivät korreloi keskeää. Oletusta (v) kutsutaa korreloimattomuusoletukseksi. Huomaa, että ormaalisuusoletus (vi) sisältää oletukset (iv) ja (v). Regressiotaso Yhtälö määrittelee taso avaruudessa kuvaa havaitopisteide y = x 1 + x + + k x k vaihtelua regressiotaso ympärillä. k 1. Tätä tasoa kutsutaa regressiotasoksi. Jääösvariassi k 1 ( j1, j,, jk, j ), 1,,, x x x y Ilkka Melli (010) 3/3

4 Mat Tilastollie päättely Yleise lieaarise malli matriisiesitys Muodostetaa selitettävä muuttuja y havaituista arvoista y j (j = 1,,, ) -vektori y1 y y y Muodostetaa selittäjie x i havaituista arvoista x ji (j = 1,,, ; i = 1,,, k) ja ykkösistä (k + 1)-matriisi 1 x11 x1 x1 k 1 x1 x x k X 1 x 1 x xk Muodostetaa regressiokertoimista i (i = 0, 1,,, k) (k + 1)-vektori 0 1 β k Muodostetaa jääöstermeistä j (j = 0, 1,,, ) -vektori 1 ε Tällöi yleie lieaarie malli voidaa kirjoittaa matriisei muotoo y = X + Mallissa o seuraavat osat: y = selitettävä muuttuja y havaittuje arvoje y j, j = 1,,, muodostama satuaie -vektori X = selittävie muuttujie eli selittäjie x 1, x,, x k havaittuje arvoje x ji, j = 1,,,, i = 1,,, k ja ykköste muodostama ei-satuaie (k + 1)-matriisi = regressiokertoimie i, i = 0, 1,,, k muodostama tutemato ja kiiteä eli ei-satuaie (k + 1)-vektori = jääöstermie j, j = 1,,, muodostama ei-havaittava ja satuaie Ilkka Melli (010) 4/3

5 Mat Tilastollie päättely Yleistä lieaarista mallia koskevat stadardioletukset matriisimuodossa (i) (ii) Matriisi X alkiot ovat ei-satuaisia vakioita. Matriisi X o täysiasteie: r(x) = k + 1 (iii) E() = 0 (iv)&(v) Homoskedastisuus- ja korreloimattomuusoletus: (vi) Cov() = I Normaalisuusoletus: N (0, I) Lisätietoja odotusarvovektorista E( ), kovariassimatriisista Cov( ) ja multiormaalijakaumasta N (, ): ks. liitteitä 1 ja. Kohdissa (iv), (v) ja (vi) esiityvä matriisi I o -yksikkömatriisi. Stadardioletuksista (i) ja (iii) seuraa, että E(y) = X Stadardioletuksista (i), (iii), (iv) ja (v) seuraa, että Cov( y) E[( y E( y))( y E( y)) ] E[ εε] Cov( ε) I Normaalisuusoletuksesta (vi) seuraa, että jääöstermi tiheysfuktio o muotoa / 1 ( 1,,, ; ) ( ) f exp ε ε ja edellee, että selitettävä muuttuja y tiheysfuktio o / 1 f ( y1, y,, y ;, ) ( ) exp ( ) β y Xβ ( y Xβ) Yleise lieaarise malli uskottavuusfuktio ja logaritmie uskottavuusfuktio Stadardioletuksesta (vi) seuraa, että havaitoje y 1, y,, y uskottavuusfuktio o muotoa / 1 L( β, ; y1, y,, y ) ( ) exp ( y Xβ) ( y Xβ) Vastaava logaritmie uskottavuusfuktio o muotoa l( β, ; y, y,, y ) log L( β, ; y, y,, y ) log( ) log ( y Xβ) ( y Ilkka Melli (010) 5/3

6 Mat Tilastollie päättely Yleise lieaarise malli parametrie suurimma uskottavuude estimoiti Yleise lieaarise malli y = X + regressiokertoimie vektori suurimma uskottavuude estimaattori yhtyy stadardioletuksie (i)-(vi) pätiessä vektori pieimmä eliösumma estimaattorii βˆ b ( XX) 1 Xy Jääösvariassi SU-estimaattori o Perustelu: ˆ SSE 1 SSE ( y Xb) ( y Xb) Maksimoidaa logaritmie uskottavuusfuktio 1 l ( β, ; y) log( ) log ( y Xβ) ( y Xβ) parametrie ja suhtee. Derivoidaa fuktio l( β, ; y) regressiokertoimie vektori suhtee ja merkitää derivaatta ollaksi: l ( β, ; y) 1 ( ) β X y X Xβ 0 Vektori voidaa ratkaista tästä yhtälöstä, koska matriisi X oletettii täysiasteiseksi, jolloi matriisi X X o epäsigulaarie. Ratkaisuksi saadaa βˆ b ( XX) 1 Xy Ratkaisu vastaa uskottavuusfuktio maksimia, koska matriisi l ββ ( β, ; y) 1 o positiivisesti defiiitti. XX Vektori suurimma uskottavuude estimaattori b yhtyy regressiokertoimie vektori pieimmä eliösumma estimaattorii, koska logaritmise uskottavuusfuktio maksimoiti parametri suhtee o selvästi ekvivalettia eliömuodo (eliösumma) miimoii kassa. εε ( y Xβ) ( y Ilkka Melli (010) 6/3

7 Mat Tilastollie päättely Sijoitetaa ratkaisu βˆ b logaritmisee uskottavuusfuktio lausekkeesee, derivoidaa saatava lauseke parametri suhtee ja merkitää derivaatta ollaksi: l ( b, ; y) ( y Xb ) ( y Xb ) 0 Parametri saadaa ratkaistuksi tästä yhtälöstä. Ratkaisuksi saadaa ˆ SSE 1 SSE ( y Xb) ( y Xb) Estimoitu regressiotaso Olkoo b = (b 0, b 1, b,, b k ) regressiokertoimie vektori suurimma uskottavuude (pieimmä eliösumma) estimaattori. Yhtälö määrittelee taso avaruudessa y = b 0 + b 1 x 1 + b x + + b k x k k 1. Tätä tasoa kutsutaa estimoiduksi regressiotasoksi. Yleise lieaarise malli suurimma uskottavuude estimaattoreide omiaisuudet Jos yleie lieaarie malli y = X + toteuttaa stadardioletukset (i)-(vi), ii regressiokertoimie vektori SU-estimaattorilla b ( XX) 1 Xy o seuraavat omiaisuudet: (i) b o harhato parametrille : E(b) = (ii) Cov(b) = (X X) 1 (iii) (iv) (v) (vi) b ja ˆ ovat yhdessä tyhjetäviä parametreille ja. b o tehokas eli miimivariassie estimaattori. b o tarketuva. b oudattaa ormaalijakaumaa: b β XX 1 ~ N k 1(, ( ) Ilkka Melli (010) 7/3

8 Mat Tilastollie päättely Jos yleie lieaarie malli y = X + toteuttaa stadardioletukset (i)-(vi), ii jääösvariassi SU-estimaattorilla ˆ ( y Xb) ( y Xb) 1 o seuraavat omiaisuudet: (i) (ii) (iii) (iv) ˆ o harhaie, mutta estimaattori s 1 SSE ˆ k 1 k 1 o harhato parametrille. b ja ˆ ˆ ovat yhdessä tyhjetäviä parametreille ja. ei ole tehokas eli miimivariassie estimaattori. ˆ o tarketuva. (v) ( k 1)s / oudattaa -jakaumaa vapaustei ( k 1): ( k 1) s Gaussi ja Markovi lause ( k 1) Olkoot ˆθ 1 ja ˆθ kaksi harhatota estimaattoria parametrille θ 1 ( 1,,, p ). Saomme, että estimaattori ˆθ 1 o parempi eli tehokkaampi kui estimaattori ˆθ, jos jolla tarkoitetaa sitä, että kaikille p t. Cov( θˆ ) Cov( θˆ ) 1 tcov( θˆ ) t tcov( θˆ ) t 1 Keskeise perustelu suurimma uskottavuude (ja pieimmä eliösumma) meetelmä käytölle yleise lieaarise malli regressiokertoimie estimoimisessa ataa seuraava lause: Gaussi ja Markovi lause: Oletetaa, että yleie lieaarie malli y = X + toteuttaa stadardioletukset (i)-(v). Tällöi regressiokertoimie vektori suurimma uskottavuude (pieimmä eliösumma) estimaattori b ( XX) 1 Xy o paras regressiokertoimie vektori lieaariste ja harhattomie estimaattoreide Ilkka Melli (010) 8/3

9 Mat Tilastollie päättely Perustelu: Olkoo c D y joki stadardioletukset toteuttava yleise lieaarise malli y = X + regressiokertoimie vektori lieaarie ja harhato estimaattori. Matriisi D o (k+1)matriisi, joka ei riipu vektorista y. Olkoo Site Koska ii 1 D D ( X X) X c D y 1 ( ( ) ) D XX X y 1 ( D ( X X) X )( Xβ ε) 1 ( DX I) β ( D ( XX) X) ε E( ε) 0 c DX I β D XX X ε DX I β 1 E( ) ( ) ( ( ) ) E( ) ( ) Site estimaattori c o harhato vai, jos jolloi DX 0 1 c D y β ( D ( X X) X ) ε Tarkastellaa yt estimaattori c kovariassimatriisia: Koska ii Cov( c) E[( c E( c))( c E( c)) ] E[( c β)( c β) ] 1 1 E[( D ( X X) X ) εε ( D ( X X) X ) ] 1 1 ( D ( X X) X ) E( εε )( D X( X X) ) [ DD DX( XX) ( XX) XD ( XX) ] E( εε) I DD XX DX 0 1 [ ( ) ] t c t DD XX 1 Cov( ) [ t t t ( ) t] 1 [ t( XX) t] tddt 0 tcov( b) Ilkka Melli (010) 9/3

10 Mat Tilastollie päättely Cov( c) Cov( b) ja site suurimma uskottavuude (pieimmä eliösumma) estimaattori b o paras regressiokertoimie vektori lieaariste ja harhattomie estimaattoreide joukossa. Site yleise lieaarise malli regressiokertoimie suurimma uskottavuude (pieimmä eliösumma) estimaattori o optimaalie estimaattori Gaussi ja Markovi lausee määrittelemässä mielessä. Siirtymällä pois lieaariste ja harhattomie estimaattoreide luokasta tai käyttämällä jotaki muuta optimaalisuude kriteeriä kui estimaattori variassia saattaa olla mahdollista löytää suurimma uskottavuude (pieimmä eliösumma) estimaattoria parempia estimaattoreita. Sovite ja residuaali Olkoo yleise lieaarise malli b ( XX) 1 Xy y = X + regressiokertoimie vektori SU-estimaattori. Määritellää estimoidu malli sovite ŷ kaavalla yˆ Xb X( XX) Py -vektori ŷ j. alkio o Matriisi 1 Xy yˆ b b x b x b x, j 1,,, j 0 1 j1 j p jp P X( XX) 1 X o projektio (symmetrie ja idempotetti): P = P P = P Määritellää estimoidu malli residuaali e kaavalla e y yˆ y Xb 1 y X( X X) X y ( I P) y My -vektori e j. alkio Ilkka Melli (010) 10/3

11 Mat Tilastollie päättely Matriisi e y yˆ y b b x b x b x, j 1,,, j j j j 0 1 j1 j p jp M I P I X( XX) 1 X o projektio (symmetrie ja idempotetti): M = M M = M Lisäksi matriisi P rivit ovat kohtisuorassa matriisi M sarakkeita vastaa ja matriisi M rivit ovat kohtisuorassa matriisi P sarakkeita vastaa: PM = MP = 0 Sovittee ja residuaali omiaisuudet Sovitteella ŷ o seuraavat stokastiset omiaisuudet: E( yˆ ) Xβ Cov( ˆ) ( ) 1 y P X X X X Lisäksi, jos jääöstermi o ormaalijakautuut (stadardioletus (vi)), ii yˆ N ( Xβ, P) Sovitteella e o seuraavat stokastiset omiaisuudet: E( e) 0 1 Cov( e) M ( I P) ( I X( X X) X ) Lisäksi, jos jääöstermi o ormaalijakautuut (stadardioletus (vi)), ii e 0 M N (, ) Huomaa, että molemmat multiormaalijakaumat ovat sigulaarisia. Variassiaalyysihajotelma Olkoo SST ( y y1) ( y y1) ( y y) selitettävä muuttuja y havaittuje arvoje y 1, y,, y kokoaiseliösumma, y (,,, ) y1 y y o havaitoarvoje y 1, y,, y muodostama -vektori, y 1 yi i 1 o havaitoarvoje y 1, y,, y aritmeettie keskiarvo ja 1 (1,1,,1) i1 Ilkka Melli (010) 11/3

12 Mat Tilastollie päättely o ykköste muodostama -vektori. Kokoaiseliösumma SST kuvaa selitettävä muuttuja y havaittuje arvoje y 1, y,, y vaihtelua. Huomaa, että selitettävä muuttuja y havaittuje arvoje y 1, y,, y otosvariassi saadaa kaavalla s 1 y SST 1 Määritellää residuaalie eliösumma eli jääöseliösumma SSE kaavalla SSE ee ( y Xb) ( y Xb) e (,,, ) e1 e e i1 e i o residuaalie muodostama -vektori. Jääöseliösumma SSE kuvaa residuaalie e 1, e,, e vaihtelua estimoidu regressiotaso ympärillä. Huomaa, että jääösvariassi harhato estimaattori saadaa kaavalla s SSE k 1 1 Voidaa osoittaa, että aia pätee Tarkastellaa erotusta Voidaa osoittaa, että SSE SST SSM SST SSE SSM ( yˆ y1) ( yˆ y1) ( yˆ y) yˆ ( ˆ, ˆ,, ˆ ) y1 y y 0 i1 o sovitteide yˆ 1, yˆ,, yˆ muodostama -vektori, y 1 yi i 1 o havaitoarvoje y 1, y,, y aritmeettie keskiarvo ja 1 (1,1,,1) o ykköste muodostama -vektori. Koska erotus SSM = SST SSE voidaa esittää eliösummaa, erotusta SSM kutsutaa mallieliösummaksi. Huomaa, että 1 1 y y yˆ ˆ i y i i1 i1 Ilkka Melli (010) 1/3

13 Mat Tilastollie päättely Edellä esitety ojalla kokoaiseliösumma SST voidaa hajottaa eliösummie SSM ja SSE summaksi: SST = SSM + SSE Kokoaiseliösumma SST hajotelmaa mallieliösumma SSM ja jääöseliösumma SSE summaksi kutsutaa variassiaalyysihajotelmaksi. O ilmeistä, että mitä pieempi o jääöseliösumma SSE = e e osuus kokoaiseliösummasta SST, sitä suurempi o mallieliösumma SSM osuus ja sitä paremmi malli selittää selitettävä muuttuja havaittuje arvoje vaihtelu. Selitysaste ja se omiaisuudet Määritellää estimoidu lieaarise regressiomalli selitysaste R kaavalla R SSM SSE 1 SST SST Koska variassiaalyysihajotelma mukaa ii SST = SSM + SSE 0 R 1 Voidaa osoittaa, että seuraavat ehdot ovat yhtäpitäviä: (i) R = 1 (ii) (iii) (iv) Kaikki residuaalit häviävät: e j = 0 kaikille j = 1,,, Kaikki havaitopisteet ( x, x,, x, y ), j 1,,, j1 j jk j asettuvat samalle tasolle. Malli selittää täydellisesti selitettävä muuttuja y arvoje vaihtelu. Edellee voidaa osoittaa, että myös seuraavat ehdot ovat yhtäpitäviä: (i) R = 0 (ii) b 1 = b = = b k = 0 (iii) Malli ei ollekaa selitä selitettävä muuttuja arvoje vaihtelua. Site selitysaste R kuvaa estimoidu malli selittämää osuutta selitettävä muuttuja y arvoje vaihtelusta. Selitysaste ilmoitetaa tavallisesti prosetteia, jolloi saotaa, että estimoitu malli o selittäyt 100R % selitettävä muuttuja y arvoje Ilkka Melli (010) 13/3

14 Mat Tilastollie päättely Voidaa osoittaa, että R [Cor( y, yˆ )] Cor( y, yˆ ) o selitettävä muuttuja y havaittuje arvoje y 1, y,, y ja estimoidu malli sovitteide yˆ ˆ ˆ 1, y,, y tavaomaie otoskorrelaatiokerroi. 8.. Päättely yleisestä lieaarisesta mallista Oletukset Olkoo y j = x j1 + x j + + k x jk + j, j = 1,,, stadardioletukset (i)-(vi) toteuttava yleie lieaarie malli, joka matriisiesitysmuoto o y = X + X o (k + 1)-matriisi ja N (0, I) PNS-estimaattoreide variassie estimoiti Jos yleistä lieaarista mallia koskevat stadardioletukset (i)-(vi) pätevät, ii regressiokertoime i, i = 0, 1,,, k suurimma uskottavuude estimaattori b i variassi harhato estimaattori o 1 D ( bi ) b [( X X) ] i i1, i1 1 ˆD ( bi ) s [( XX) ] i1, i s SSE ( y Xb) ( y Xb) ee ei i1 o jääösvariassi harhato estimaattori. Regressiokertoimie luottamusvälit Valitaa luottamustasoksi (1 ). Jos stadardioletukset (i)-(vi) pätevät, ii regressiokertoime i, i = 0, 1,,, k luottamusvälit ovat muotoa b ˆD( i t / bi ), i 0,1,,, Ilkka Melli (010) 14/3

15 Mat Tilastollie päättely b i t / = regressiokertoime i SU-estimaattori = luottamustasoa (1 ) vastaavat luottamuskertoimet t-jakaumasta, joka vapausasteide lukumäärä o ( k 1) ˆD ( b i ) = regressiokertoime i SU-estimaattori variassi harhato estimaattori Regressiokertoime i luottamusväli voidaa helposti johtaa käyttämällä hyväksi sitä, että satuaismuuttuja bi i ti, i 0,1,,, k ˆD( b ) oudattaa t-jakaumaa vapausastei ( k 1): i t t( 1), i 1,,, i mikä merkitsee sitä, että satuaismuuttuja t i jakauma ei riipu estimoii kohteea olevista parametreista ja site satuaismuuttuja t i o saraasuure. Regressiokertoime i luottamusväli b ˆD( i t / bi ), i 0,1,,, k luottamustasolla (1 ) peittää regressiokertoime i todellise arvo todeäköisyydellä (1 ): Pr( b t D( ˆ b ) b t D( ˆ b )) 1 i / i i i / i Jos otataa toistetaa, ii luottamustaso frekvessitulkia mukaa otoksista kostruoiduista luottamusväleistä 100(1 ) % peittää regressiokertoime i todellise arvo ja 100 % väleistä ei peitä regressiokertoime i todellista arvoa. Lieaariste rajoituste testaus Olkoo y = X + stadardioletukset (i)-(vi) toteuttava yleie lieaarie malli, X o ei-satuaie (k + 1)-matriisi, k + 1, r(x) = k + 1. Oletetaa, että regressiokertoimie vektorille o asetettu ollahypoteesi H : Rβ r 0 R o ei-satuaie m(k + 1)-matriisi, m k + 1, r(r) = m. Nollahypoteesi H 0 mukaa regressiokertoimia sitoo m lieaarisia rajoitusta eli side-ehtoa. Side-ehtoa Rβ r kutsutaa usei yleiseksi lieaariseksi hypoteesiksi. Yhtälö Rβ r määrittelee m-ulotteise taso (k + 1)- ulotteisessa avaruudessa k Ilkka Melli (010) 15/3

16 Mat Tilastollie päättely Regressiokertoimie vektori rajoittamato suurimma uskottavuude (pieimmä eliösumma) estimaattori o b UXy U ( XX) 1 Regressiokertoimie vektori rajoitettu eli sidottu suurimma uskottavuude (pieimmä eliösumma) estimaattori o (ks. kappaletta 8.4) b b URS( r Rb) R b UXy o vektori rajoitettu suurimma uskottavuude estimaattori, matriisi U o kute edellä ja S ( RUR) 1 Rajoitettu suurimma uskottavuude estimaattori br voidaa johtaa sidottuje ääriarvoje etsimisee tarkoitetulla Lagrage meetelmällä (ks. kappaletta 8.4). Määritellää jääöseliösummat SSE ( y Xb) ( y Xb) SSE ( y Xb ) ( y Xb ) R R R Tällöi osamäärätestisuure ollahypoteesille o muotoa H : Rβ r 0 SSE SSER Osamäärätestisuuree jakaumaa ei tueta, mutta osamäärätestisuuree asymptoottista jakaumaa koskevasta yleisestä tuloksesta seuraa, että ollahypoteesi pätiessä SSE log log log( SSER ) log( SSE) a ( m) SSER m = rajoituste eli side-ehtoje lukumäärä = rivie lukumäärä matriisissa R Suuret testisuuree log arvot merkitsevät sitä, että ollahypoteesi o asetettava Ilkka Melli (010) 16/3

17 Mat Tilastollie päättely Osamäärätestisuuree jakaumaa ei siis tueta, ku otoskoko o äärellie. Se sijaa testisuure k 1 1 F 1 m oudattaa eksaktisti F-jakaumaa vapausastei m ja ( k 1) ollahypoteesi pätiessä: H : Rβ r 0 F H F( m, k 1) 0 Testisuure F voidaa kirjoittaa seuraavii muotoihi: k 1 SSER SSE F m SSE ( r Rb) S( r Rb) ms k s SSE ( 1) ( y Xb) ( y Xb) Testisuure F voidaa johtaa myös Waldi testiä tai Lagrage kertojatestiä. Testi regressio olemassaololle Olkoo testattavaa ollahypoteesia H 0 : 1 k 0 Jos ollahypoteesi H 0 pätee, selitettävä muuttuja y ei riipu lieaarisesti yhdestäkää selittäjästä x 1, x,, x k. Se sijaa, jos ollahypoteesi H 0 ei päde, selitettävä muuttuja y riippuu lieaarisesti aiaki yhdestä selittäjästä x 1, x,, x k. Määritellää F-testisuure k 1 SSM F k SSE k 1 SST SSE k SSE k 1 R k 1 R SST = selitettävä muuttuja y havaittuje arvoje kokoaisvaihtelua kuvaava eliösumma SSM = estimoidu malli mallieliösumma SSE R = estimoidu malli jääöseliösumma = estimoidu malli Ilkka Melli (010) 17/3

18 Mat Tilastollie päättely Testisuure F vertaa toisiisa residuaalivariassia ja mallivariassia s s SSE k M SSM k Oletetaa, että stadardioletukset (i)-(vi) pätevät. Tällöi testisuure F oudattaa ollahypoteesi H 0 : 1 k 0 pätiessä F-jakaumaa vapausastei k ja ( k 1): F H F( k, k 1) 0 Testisuuree F ormaaliarvo eli odotusarvo ollahypoteesi H 0 pätiessä o approksimatiivisesti (suurille ) = 1: E( F) H 0 1 Suuret testisuuree F arvot viittaavat siihe, että ollahypoteesi H 0 ei päde. Testi o erikoistapaus edellä esitetystä testistä yleiselle lieaarisille hypoteesille. Testisuure F voidaa johtaa myös suoraa osamäärätestiä, Waldi testiä tai Lagrage kertojatestiä ollahypoteesille H 0. Testit regressiokertoimille Olkoo ollahypoteesia H 0i : i 0, i 0,1,,, k Jos ollahypoteesi H 00 pätee, mallissa ei ole vakiota. Jos ollahypoteesi H 0i pätee, selitettävä muuttuja y ei riipu lieaarisesti selittäjästä x i, i = 1,,, k. Jos ollahypoteesi H 0i ei päde, selitettävä muuttuja y riippuu lieaarisesti selittäjästä x i, i = 1,,, k. Määritellää t-testisuureet t i b i bi ˆD( b ) ˆD ( b i ) i = regressiokertoime i SU-estimaattori = regressiokertoime i SU-estimaattori variassi harhato estimaattori Oletetaa, että stadardioletukset (i)-(vi) pätevät. Tällöi testisuure t i oudattaa ollahypoteesi H 0i : i 0, i 0,1,,, k pätiessä t-jakaumaa vapausastei ( k Ilkka Melli (010) 18/3

19 Mat Tilastollie päättely ti H t( k 1), i 1,,, 0 Testisuuree t i ormaaliarvo eli odotusarvo ollahypoteesi H 0i pätiessä o E( t ) 0, i 0,1,,, k i H 0 i Itseisarvoltaa suuret testisuuree t i arvot viittaavat siihe, että ollahypoteesi H 0i ei päde. Testit ovat erikoistapauksia edellä esitetystä testistä yleiselle lieaarisille hypoteesille. Testisuureet t i, i = 0, 1,,, k voidaa johtaa myös suoraa osamäärätesteiä, Waldi testeiä tai Lagrage kertojatesteiä ollahypoteesille H 0i, i = 0, 1,,, k Yleie lieaarie malli ja yleistetty pieimmä eliösumma meetelmä Oletukset Olkoo y = X + stadardioletukset (i)-(vi) toteuttava yleie lieaarie malli, X o (k + 1)-matriisi. Stadardioletuksie (iv) ja (v) mukaa Cov() = I Korvataa oletukset (iv) ja (v) yt seuraavilla oletuksilla: (iv) -(v) Cov() = V V o positiivisesti defiiitti -matriisi. Tällöi jääöstermiä koskeva ormaalisuusoletus N (0, I) o korvattava oletuksella (vi) N (0, V) Huomautus: Matriisi V o moissa käytäö sovelluksissa tutemato. Tällöi matriisissa V o 1 ( 1) vapaata, estimoitavaa parametria ja yleie lieaarie malli o voimakkaasti yliparametroitu ja malli ei ole estimoituva. Tällöi matriisi V o parametroitava uudellee sellaisella tavalla, joka vähetää estimoitavie parametrie lukumäärää ii paljo, että mallista tulee estimoituva. Yleistetty pieimmä eliösumma estimaattori Koska matriisi Cov() = V o oletettu positiivisesti defiiitiksi, matriisilla V o Cholesky-hajotelma V = UU missä -matriisi U o epäsigulaarie Ilkka Melli (010) 19/3

20 Mat Tilastollie päättely Kerrotaa regressioyhtälö (1) y = X + vasemmalta matriisilla U 1, jolloi saadaa regressioyhtälö () U 1 y = U 1 X + U 1 Regressioyhtälö () voidaa kirjoittaa muotoo (3) z = T + z = U 1 y T = U 1 X = U 1 Regressioyhtälö (3) jääöstermi o korreloimato: Cov() = U 1 Cov()(U 1 ) = U 1 V(U ) 1 = U 1 UU (U ) 1 = I jote stadardioletukset (i)-(v) pätevät regressiomallille (3). Soveltamalla pieimmä eliösumma meetelmää regressioyhtälöö (3) vektori pieimmä eliösumma estimaattoriksi saadaa b GLS = (T T) 1 T z = (X (U ) 1 U 1 X) 1 X (U ) 1 U 1 y = (X (UU ) 1 X) 1 X (UU ) 1 y = (X V 1 X) 1 X V 1 y Estimaattoria b GLS kutsutaa malli (1) regressiokertoimie vektori yleistetyksi pieimmä eliösumma (PNS-) estimaattoriksi. Yleistety PNS-estimaattori omiaisuudet Yleise lieaarise malli (1) regressiokertoimie vektori yleistety PNS-estimaattori b GLS keskeiset stokastiset omiaisuudet o esitetty seuraavassa lauseessa: Lause Oletetaa, että yleise lieaarise malli (1) oletukset (i)-(iii) ja (iv) -(v) pätevät. Tällöi (i) E(b GLS ) = (ii) Cov(b GLS ) = (X V 1 X) 1 (iii) Erityisesti missä b i k G 1 1 Var( i ) [( X V X) ] i1, i1, 0,1,,, b GLS ( b, b, b,, b ) G G G G 0 1 Ilkka Melli (010) 0/3

21 Mat Tilastollie päättely Perustelu: (i) (ii) (iii) Huomautus: Suoraa laskemalla saadaa: E(b GLS ) = E[(X V 1 X) 1 X V 1 y] = (X V 1 X) 1 X V 1 E(y) = (X V 1 X) 1 X V 1 X = Yleistety PNS-estimaattori b GLS kaavaa johdettaessa malli y = X + muuettii malliksi z = T + z = U 1 y T = U 1 X = U 1 ja U o epäsigulaarie yläkolmiomatriisi joka toteuttaa ehdo Site V = UU Cov(b GLS ) = (TT) 1 = (X V 1 X) 1 Kohta (iii) o suora seuraus kohdasta (ii). Lausee kohda (i) mukaa yleistetty PNS-estimaattori b GLS o regressiokertoimie vektori harhato estimaattori. Lause Oletetaa, että yleise lieaarise malli (1) oletuksie (i)-(iii) ja (iv) -(v) lisäksi ormaalisuusoletus (vi) pätee. Tällöi Erityisesti b GLS N k+1 (, (X V 1 X) 1 ) b i k G 1 1 i ~ N i, [( X V X) ] i1, i1, 0,1,,, missä b GLS ( b, b, b,, b ) G G G G 0 1 Ilkka Melli (010) 1/3

22 Mat Tilastollie päättely Perustelu: Lause seuraa suoraa lauseesta , koska yleistetty PNS-estimaattori b GLS = (X V 1 X) 1 X V 1 y o multiormaalise satuaismuuttuja y lieaarimuuoksea multiormaalie. Yleistety PNS-estimaattori hyvyys Koska malli (3) toteuttaa s. stadardioletukset (i)-(v), kerroivektori yleistetty PNS-estimaattori b GLS = (T T) 1 T z = (X V 1 X) 1 X V 1 y o Gaussi ja Markovi lausee (ks. kappale 8.1.) mukaa paras lieaariste ja harhattomie estimaattoreide joukossa. Jos siis yleise lieaarise malli (1) stadardioletukset (i)-(iii) ja oletukset (iv) -(v) pätevät, ii yleistetty PNS-estimaattori b GLS o parempi kui tavallie PNS-estimaattori b = (X X) 1 X y mikä merkitsee sitä, että matriisi Cov(b) Cov(b GLS ) = (X X) 1 (X V 1 X) 1 o ei-egatiivisesti defiiitti kaikille positiivisesti defiiiteille -matriiseille V. Yleistetty PNS-estimaattori ähdää parhaaksi lieaariste ja harhattomie estimaattoreide joukossa myös seuraavalla tavalla: Olkoo b * = Hy joki kerroivektori lieaarie ja harhato estimaattori. Tällöi josta seuraa, että E(b * ) = HE(y) = HX = HX = I Määritellää matriisi C yhtälöllä Koska välttämättä CX = 0, Koska matriisi H = (X V 1 X) 1 X V 1 + C Cov(b * ) = Cov(Hy) = Cov(b GLS ) + CV 1 C Cov(b * ) Cov(b GLS ) = CV 1 C o ei-egatiivisesti defiiitti, ii yleistetty PNS-estimaattori b GLS o parempi kui mikä tahasa muu lieaarie ja harhato estimaattori b Ilkka Melli (010) /3

23 Mat Tilastollie päättely 8.4. Yleie lieaarie malli ja lieaariset rajoitukset Oletukset Olkoo y = X + stadardioletukset (i)-(vi) toteuttava yleie lieaarie malli, X o (k + 1)-matriisi ja N (0, I) Oletetaa, että yleise lieaarise malli (1) stadardioletukset (i)-(vi) pätevät, mutta oletetaa lisäksi, että regressiokertoimia sitoo lieaarie rajoitus eli side-ehto () R = r R täysiasteie m(k + 1)-matriisi, m k + 1. Huomautus: k 1 Lieaarise malli (1) regressiokertoimie vektori voi varioida vapaasti avaruudessa. Jos lieaarie rajoitus () pätee, vektori varioi siiä m-ulotteisessa vektorialiavaruudessa, joka lieaarie rajoitus () määrittelee. Tämä aliavaruus o m-ulotteie taso avaruudessa k 1. Rajoitettu pieimmä eliösumma estimaattori Miimoidaa eliösumma = (y X) (y X) vektori suhtee, ku lieaarie rajoitus R = r pätee. Käyttämällä sidottuje ääriarvoje etsimisee tarkoitettua Lagrage kertojie meetelmää saadaa regressiokertoimie vektori estimaattoriksi (joka siis toteuttaa rajoitukset R = r) estimaattori b R = b (X X) 1 R (R(X X) 1 R ) 1 (Rb r) Estimaattoria b R kutsutaa malli (1) regressiokertoimie vektori rajoitetuksi tai sidotuksi pieimmä eliösumma (PNS-) estimaattoriksi. Rajoitetu PNS-estimaattori omiaisuudet Lieaarise regressiomalli (1) regressiokertoimie vektori rajoitetu PNS-estimaattori b R keskeiset stokastiset omiaisuudet o esitetty seuraavassa lauseessa: Lause Oletetaa, että yleise lieaarise malli (1) stadardioletukset (i)-(v) pätevät. Tällöi (i) (ii) E(b R ) = Cov(b R ) = (X X) 1 (X X) 1 R (R(X X) 1 R ) 1 R(X X) Ilkka Melli (010) 3/3

24 Mat Tilastollie päättely Perustelu: (i) (ii) Huomautus: jos lieaarie rajoitus R = r pätee. Suoraa laskemalla saadaa: E(b R ) = E[b (X X) 1 R (R(X X) 1 R ) 1 (Rb r)] = E(b) (X X) 1 R (R(X X) 1 R ) 1 (RE(b) r) = (X X) 1 R (R(X X) 1 R ) 1 (R r) = Oletetaa, että rajoitukset R = r pätevät. Merkitsemällä C = (X X) 1 R voidaa rajoitetu PNS-estimaattori b R lauseke kirjoittaa muotoo Koska b R = b C(C X XC) 1 (Rb r) b = + (X X) 1 X saadaa yhtälö b R = (X X) 1 C(C X XC) 1 C X Koska oletimme, että R = r, jolloi b R o harhato parametrivektorille, ii Cov(b R ) = E{[(b R E(b R )][(b R ) } = E(b R )(b R ) = (X X) 1 C(C X XC) 1 C X E( )X = (X X) 1 C(C X XC) 1 C X X = (X X) 1 C(C X XC) 1 C (X X) 1 C(C X XC) 1 C = (X X) 1 (X X) 1 R (R(X X) 1 R ) 1 R(X X) 1 (X X) 1 C(C X XC) 1 C Lausee kohda (i) mukaa rajoitettu PNS-estimaattori b R o lieaarise rajoitukse R = r pätiessä regressiokertoimie vektori harhato estimaattori. Lause Oletetaa, että yleise lieaarise malli (1) stadardioletuksie (i)-(v) lisäksi ormaalisuusoletus (vi) pätee. Tällöi b R N k+1 (, (X X) 1 (X X) 1 R (R(X X) 1 R ) 1 R(X X) 1 ) jos lieaarie rajoitus R = r Ilkka Melli (010) 4/3

25 Mat Tilastollie päättely Perustelu: Lause seuraa suoraa lauseesta , koska rajoitettu PNS-estimaattori b R = b (X X) 1 R (R(X X) 1 R ) 1 (Rb r) o multiormaalise satuaismuuttuja y lieaarimuuoksea multiormaalie. Rajoitetu PNS-estimaattori hyvyys Olkoo b R = b (X X) 1 R (R(X X) 1 R ) 1 (Rb r) lieaarise regressiomalli (1) regressiokertoimie vektori rajoitettu PNS-estimaattori, missä b = (X X) 1 X y o vektori tavallie PNS-estimaattori. Koska saadaa yhtälö jos lieaarie rajoitus pätee. Tällöi b = + (X X) 1 X b R = (X X) 1 (X X) 1 R (R(X X) 1 R ) 1 R(X X) 1 X R = r Cov(b R ) = E(b R )(b R ) = (X X) 1 (X X) 1 R (R(X X) 1 R ) 1 R(X X) 1 Tästä ähdää välittömästi, että rajoitettu PNS-estimaattori b R o lieaarise rajoitukse R = r pätiessä parempi kui tavallie PNS-estimaattori b, koska ja matriisi Cov(b) = (X X) 1 o ei-egatiivisesti defiiitti. Cov(b) Cov(b R ) = (X X) 1 R (R(X X) 1 R ) 1 R(X X) Bayeslaie yleie lieaarie malli Oletukset Olkoo y = X + stadardioletukset (i)-(vi) toteuttava yleie lieaarie malli, X o (k + 1)-matriisi ja N (0, Ilkka Melli (010) 5/3

26 Mat Tilastollie päättely Oletetaa seuraavassa yksikertaisuude vuoksi, että jääösvariassi, o tuettu. Lieaarise malli ilmaisema otosiformaatio voidaa esittää muodossa y N (X, I) Oletetaa, että parametrista o prioritietoa, joka voidaa esittää muodossa R N m (r, /cw) R o täysiasteie m(k + 1)-matriisi, m k + 1. Parametri c kotrolloi otostiedo ja prioritiedo suhdetta. Soveltamalla Bayesi kaavaa saadaa parametri posteriorijakaumaksi ormaalijakauma: ja y N k+1 (b R (c), Z R (c)) b R (c) = Z R (c)(x'y + cr'w 1 r) Z R (c) = (X'X + cr'w 1 R) 1 Parametri Bayes-estimaattoriksi voidaa valita posteriorijakauma odotusarvo (1) b R (c) = (X'X + cr'w 1 R) 1 (X'y + cr'w 1 r) Estimaattori (1) o samaa muotoa kui s. sekaestimaattori, joka saadaa liittämällä stokastie prioritieto otosifomaatioo r = R + N m (r, /cw) y = X + N (0, I) lisähavaitoia ja soveltamalla äi saatuu lieaarisee mallii yleistettyä pieimmä eliösumma meetelmää (ks. kappale 8.3). Estimaattori (1) saadaa myös miimoimalla f() = (y X)'(y X) + c(r R)'W 1 (r R) parametri suhtee. Tämä miimoititehtävä o sakotetupieimmä eliösumma meetelmä muoto, joka voidaa tulkita huoosti asetettuje ogelmie (egl. ill-posed problem) ratkaisemisessa sovellettava regularisaatiomeetelmä diskretisoiiksi. Jos c 0, ii parametri posteriorijakauma rajajakaumaksi saadaa ormaalijakauma N k+1 (b, U) b = UX'y U = (X'X) Ilkka Melli (010) 6/3

27 Mat Tilastollie päättely Site yleise lieaarise malli y = X + pararmetri tavaomaie pieimmä eliösumma estimaattori saadaa pararmetri Bayesestimaattoria, ku priorijakaumaa käytetää epäiformatiivista priorijakaumaa. Jos c +, ii parametri posteriorijakauma rajajakaumaksi saadaa ormaalijakauma N k+1 (b R, Z R ) b R = b UR (RUR ) 1 (Rb r) Z R = U UR (RUR ) 1 RU b = UX'y U = (X'X) 1 Site yleise lieaarise malli y = X + pararmetri rajoitettu pieimmä eliösumma estimaattori b R (ks. kapaletta 8.4.) saadaa Bayesestimaattoria, ku priorijakaumaa käytety ormaalijakauma N m (r, /cw) aetaa kovergoida kohde yhde pistee jakaumaa, jakauma koko todeäkösyysmassa o keskittyyt pisteesee r Yleie lieaarie malli ja stokastiset selittäjät Oletukset Olkoo y = X + stadardioletukset (i)-(vi) toteuttava yleie lieaarie malli, X o (k + 1)-matriisi ja N (0, I) Oletukse (i) mukaa matriisi X o ei-satuaie. Korvataa oletus (i) yt oletuksella (i) Huomautus: Matriisi X o satuaie Oletus (i) merkitsee sitä, että selittäjät x 1, x,, x k oletetaa satuaismuuttujiksi. Kiiteät ja satuaiset selittäjät Lieaarista regressiomallia (1) koskevissa stadardioletuksissa selittäjie havaittuje arvoje muodostama matriisi X o oletettu kiiteäksi eli ei-satuaiseksi. Tiukasti ottae tämä oletus voi päteä vai sellaisissa tilateissa, joissa selittäjie arvot päästää valitsemaa. Selittäjie arvot päästää valitsemaa puhtaissa koeasetelmissa, mutta muulloi oletus o vaikeasti Ilkka Melli (010) 7/3

28 Mat Tilastollie päättely Tarkastelemme yt siis tilaetta, selittäjät ovat stokastisia muuttujia eli satuaismuuttujia. Mite tämä vaikuttaa kappaleessa 1.esitettyihi lieaarise regressiomalli estimoitia koskevii tuloksii? Täydellise vastaukse atamie tähä kysymyksee o moimutkaie tehtävä eikä siihe tässä edes pyritä. Jos sekä selitettävä muuttuja y että selittäjät x 1, x,, x k ovat satuaismuuttujia, täydellise kuvaukse iide käyttäytymisestä ataa iide yhteisjakauma. Muuttuja y riippuvuutta muuttujista x 1, x,, x k voidaa tutkia yhteisjakauma muodostamassa kehikossa tarkastelemalla muuttuja y regressiofuktiota eli ehdollista odotusarvoa muuttujie x 1, x,, x k suhtee. Koska regressiofuktiot ovat yleesä epälieaarisia, joudutaa tällaisissa tilateissa tavallisesti soveltamaa epälieaarista regressioaalyysia; epälieaarise regressioaalyysi käsittely sivuutetaa tässä esityksessä. Ehdollistamie Voidaa osoittaa, että kaikki kappaleissa 1. ja. esitetyt lieaarise regressiomalli estimoitia ja testausta koskevat tulokset pätevät, jos seuraavat oletukset pätevät: (i) E( X) = 0 (ii) Näistä oletuksista seuraa: (i) (ii) Cov( X) = I E(y X) = X Cov(y X) = I Ehdo (i) mukaa selitettävä muuttuja arvoje ehdollie odotusarvo eli regressiofuktio o lieaarie, ku ehdollistus tapahtuu selittävie muuttujie havaittuje arvoje suhtee. Huomautus 1: Koska moiulotteiste satuaismuuttujie ehdolliset odotusarvot ovat yleisessä tapauksessa ehtomuuttujie epälieaarisia fuktioita, oletus regressiofuktio lieaarisuudesta o stokastiste selittäjie tapauksessa hyvi voimakas oletus. Huomautus : Jos selitettävä muuttuja y ja selittäjie x 1, x,, x k yhteisjakauma o multiormaalie, ii satuaismuuttuja y ehdollie jakauma satuaismuuttujie x 1, x,, x k suhtee o ormaalie. Lisäksi tällöi satuaismuuttuja y ehdollie odotusarvo satuaismuuttujie x 1, x,, x k suhtee o lieaarie ja satuaismuuttuja y ehdollie variassi satuaismuuttujie x 1, x,, x k suhtee o vakio. Tällöi oletukset (i) ja (ii) pätevät ja voimme soveltaa kappaleissa 1. ja. esitettyä yleise lieaarise malli tavaomaista estimoiti- ja testiteoria. Tämä merkitsee sitä, että stokastiste selittäjie tapauksessa multiormaalijakauma regressiofuktiot ja lieaariset regressiomallit kytkeytyvät toisiisa. Lisätietoja multiormaalijakaumasta, se ehdollisista jakaumista ja ehdollisista odotusarvoista sekä ehdolliste odotusarvoje estimoiista: ks. Moimuuttujameetelmät: Ilkka Melli (010) 8/3

29 Mat Tilastollie päättely Huomautus 3: Aikasarjoje aalyysissa ja ekoometriassa joudutaa soveltamaa myös sellaisia regressiomalleja, joissa selittäjät ovat stokastisia ja oletukset (i) ja (ii) eivät päde. Tällaisissa tilateissa PNS-meetelmä ei välttämättä tuota harhattomia eikä edes tarketuvia estimaattoreita regressiokertoimille. Tällöi PNS-meetelmää ei saa käyttää regressiokertoimie estimoitii. Se sijaa suurimma uskottavuude meetelmä tuottaa tavallisesti kelvolliset estimaattorit regressiokertoimille myös iissä tilateissa, joissa PNS-meetelmää ei saa soveltaa. Liite 1: Odotusarvovektori ja kovariassimatriisi Olkoot x 1, x,, x p satuaismuuttujia, joide odotusarvot ovat ja kovariassit ovat Huomaa, että ja Olkoo E(x i ) = µ i, i = 1,,, p Cov(x i, x j ) = E[(x i E(x i ))(x j E(x j ))] = E[(x i µ i )(x j µ j )] = ij, i = 1,,, p, j = 1,,, p Cov(x i, x j ) = E(x i x j ) µ i µ j Cov(x i, x i ) = ii = Var(x i ) = i x x1 x xp ( x1, x,, xp ) satuaismuuttujie x 1, x,, x p muodostama p-vektori. Satuaisvektori x odotusarvovektori o p-vektori joka i. alkio 1 E( x) μ p i = E(x i ), i = 1,,, Ilkka Melli (010) 9/3

30 Mat Tilastollie päättely o satuaismuuttuja x i odotusarvo. Satuaisvektori x kovariassimatriisi o (symmetrie) pp-matriisi Cov( x) [ ] Σ ij joka i. rivi ja j sarakkee alkio ij = E[(x i i )(x j j )], i, j = 1,,, p o satuaismuuttujie x i ja x j kovariassi. Huomaa, että Cov( x) E[( x E( x))( x E( x)) ] E[( x μ)( x μ) ] E( xx) μμ Liite : Multiormaalijakauma Määritelmä Satuaisvektori x = (x 1, x,, x p ) oudattaa p-ulotteista multiormaalijakaumaa parametrei ja E(x) = jos se tiheysfuktio o Merkitä: Cov(x) = > p 1 1 f ( x) Σ exp x μ Σ x μ x N ( μ, Σ) Satuaisvektori x odotusarvovektori p E(x) = i. alkio i o satuaismuuttuja x i odotusarvo: [] i = i = E(x i ), i = 1,,, p Satuaisvektori x kovariassimatriisi Cov( x) Σ E[( x μ)( x μ) ] i. rivi ja j. sarakkee alkio ij o satuaismuuttujie x i ja x j kovariassi: [] ij = ij = E[(x i i )(x j j Ilkka Melli (010) 30/3

31 Mat Tilastollie päättely Tiheysfuktio omiaisuudet (i) p-ulotteise multiormaalijakauma tiheysfuktio f X ( x) määrittelee pia y = f X ( x) (ii) (p + 1)-ulotteisessa avaruudessa. Multiplikatiivie tekijä ( ) p / 1/ Σ multiormaalijakauma tiheysfuktio lausekkeessa o skaalaus- tai ormeeraustekijä, joka tehtävää o pitää huolta siitä, että pia y = f X ( x) ja taso y = 0 rajoittama kappalee tilavuus = 1. (iii) Pialla y = f X ( x) o yksikäsitteie maksimi pisteessä. (iv) Pia y = f X ( x) muodo määrää matriisi 1 eliömuoto (v) Neliömuoto 1 ( x μ) Σ ( x μ) 1 ( x μ) Σ ( x μ) määrittelee pialle y = f X ( x) tasa-arvoellipsoidit (vi) Ellipsoidie ( x μ) Σ ( x μ) c 1 ( x μ) Σ ( x μ) c 1 yhteiseä keskipisteeä o piste. (vii) Ellipsoidie ( x μ) Σ ( x μ) c 1 pääakselit saadaa kovariassimatriisi pääakseliesityksestä BB o matriisi omiaisarvoje muodostama diagoaalimatriisi ja B o vastaavie omiaisvektoreide muodostama ortogoaalie matriisi, omiaisvektorit ovat sarakkeia. Matriisi omiaisvektorit määräävät tasa-arvoellipsoidie pääakseleide suuat ja iide pituudet ovat verraollisia matriisi omiaisarvoje Ilkka Melli (010) 31/3

32 Mat Tilastollie päättely Multiormaalijakauma karakterisoiti 1 Jokaie multiormaalijakaumaa oudattava satuaismuuttuja saadaa lieaarimuuoksella riippumattomista stadardoitua ormaalijakaumaa oudattavista satuaismuuttujista. Käätäe: jokaie multiormaalijakaumaa oudattava satuaismuuttuja voidaa muutaa lieaarimuuoksella riippumattomiksi stadardoitua ormaalijakaumaa oudattaviksi satuaismuuttujiksi. Multiormaalijakauma karakterisoiti Jos kaikki satuaisvektori X lieaarikombiaatiot oudattavat (yksiulotteista) ormaalijakaumaa, satuaisvektori X oudattaa multiormaalijakaumaa. Käätäe: multiormaalijakaumaa oudattava satuaisvektori kaikki lieaarikombiaatiot ovat ormaalisia. Muuttujie vaihto Multiormaalise satuaismuuttuja epäsigulaariset lieaarimuuokset oudattavat multiormaalijakaumaa. Korreloimattomuus ja riippumattomuus Satuaismuuttujie riippumattomuudesta seuraa aia iide korreloimattomuus. Se sijaa korreloimattomat satuaismuuttujat eivät välttämättä ole riippumattomia. Korreloimattomie satuaismuuttujie välillä saattaa olla jopa eksakti (epälieaarie) riippuvuus. Mutta jos satuaismuuttujie yhteisjakaumaa o multiormaalijakauma, ii satuaismuuttujat ovat riippumattomia, jos ja vai jos e ovat korreloimattomia. Reuajakaumat Multiormaalijakaumaa oudattava satuaismuuttuja kaikki reuajakaumat ovat multiormaalijakaumia (tai ormaalijakaumia). Ehdolliset jakaumat Multiormaalijakaumaa oudattava satuaismuuttuja kaikki ehdolliset jakaumat ovat multiormaalijakaumia (tai Ilkka Melli (010) 3/3