Harjoitusten 5 vastaukset 1. a) Regressiossa (1 ) selitettävänä on y jaselittäjinävakiojax matriisin muuttujat. Regressiossa (1*) selitettävänä on y:n poikkeamat keskiarvostaan ja selittäjinä X matriisin muuttujienpoikkeamatkeskiarvoistaan. Tässäregressiossa ei ole vakiota. (M 1 0 (kirjan s. 63), joten esim. M y y _ y.) Jos S(X) sisältäisi vakiovektorin regressiossa (1 ), niin :sta ja X:stä muodostettava selittäjämatriisi olisi vajaa asteinen matriisi: Yksi sen sarakkeista ( ) olisi lineaarikombinaatio X:n sarakkeista. Jos S(X) sisältäisi vakiovektorin regressiossa (1*), niin selittäjämatriisi M X olisi vajaa asteinen. Esimerkiksi jos jokin X:n sarake olisi vakiovektori, niin M X:n vastaava sarake olisi nollavektori. Vaikka jokin X:n sarake ei olisi vakiovektori, niin selittäjämatriisi on silti vajaa asteinen: Regressio (1*) on yhtä pitävä regression M y M XAA 1 u 1 kanssa, kun A on ei singulaarinen matriisi (kirjan s. 61). A voidaan aina valita siten, että yksi XA:n sarakkeista on vakiovektori. Tällöin M XA:n yksi sarake on nollavektori ja M XA on vajaa asteinen ja siten myös M X. b) Lasketaan FWL lauseen avulla :n PNS estimaatti regressiosta (1 ). Sijoitetaan kirjan kaavaan (2.41) X 1 :n paikalle ja X 2 :n paikalle X : ^ (X 0 M X) 1 X 0 M y Lasketaan :n PNS estimaatti regressiosta (1*) tavallisella kaavalla: ^ f(m X) 0 M X)g 1 (M X) 0 M y (X 0 M X) 1 X 0 M y Estimaatit ovat samat. c) FWL lauseen mukaan residuaalit ovat samat regressioissa (1 ) ja (1*). (Regressio (1 ) vastaa kirjan kaavaa (2.33) ja regressio (1*) kirjan kaavaa (2.40).) d) Residuaalit ja siten niiden neliösumma ovat samoja kohdan c) mukaan. Selitettävät eivät ole regressioissa samoja, mutta keskistetyt selitettävät ovat: Regression (1 ) keskistetty y vektori on M y, ja regression (1*) keskistetty y vektori on M (M y)m y. Regressioiden keskistetyt selitettävät ja siten niiden neliösummat ovat samoja. Näin ollen selitysosuudet R 2 c :t(1 km Xyk 2 km yk 2 ) ovat regressioissa (1 ) ja (1*) samat.
2. a) Perustelu vihjeen väitteelle 0: Posiitivisesti de niitin (pos. def.) matriisin ominaisarvot ovat positiivisia. (Kirjan s. 547; Timo Patovaaran opetusmoniste Matriisilaskentaa tilastotieteilijöille s. 25.) Selvästikin pätee 1 2 1 2, l k jossa 1 2 1 2 1 1 2. Vihjeestä, yo. yhtäsuuruudesta ja matriisin S sarakkeiden ortogonaalisuudesta seuraa, että Määrittelemällä A S S 0. S 1 2 1 2 S 0 S 1 2 S 0 S 1 2 S 0. R S 1 2 S 0 toteutuu kysytty matriisien yhtäsuuruus A RR R 2. (1) b) Perustellaan vihje1:n kohdat: R 1 (S 1 2 S 0 ) 1 (S 0 ) 1 ( 1 2 ) 1 (S) 1. Ortogonaalisen matriisin käänteismatriisi on sen transpoosi (esim. l Davidsonin k ja MacKinnonin (2004) kirjan s. 548). Selvästikin ( 1 2 ) 1 1 2 1 1 2 1 2. Näin ollen R 1 (S 0 ) 1 ( 1 2 ) 1 (S) 1 S 1 2 S 0. Selvästikin R 1 on symmetrinen matriisi eli (R 1 ) 0 R 1. Kertomalla yhtälö (1) molemmilta puolilta R 1 :llä saadaan vihje1:n viimeinen yhtäsuuruus R 1 AR 1. (2) Perustellaan vihje2:n väite x R 1 z : Matriisi R 1 on täysiasteinen matriisi, joten mikä tahansa 1 vektori mukaan lukien tehtävän x vektori voidaan esittää matriisin R 1 sarakkeiden lineaarikombinaationa. Näinollenvalitsemalla z vektorin komponentit (koordinaatit) sopivasti saadaan yhtäsuuruus x R 1 z. Esitetään neliömuoto x 0 ( A)x yhtäsuuruuden x R 1 z avulla (vihje2):
x 0 ( A)x R 1 :n symm. z 0 R 1 ( A)R 1 z z 0 (R 2 R 1 AR 1 )z (1)&(2) z 0 (A 1 )z. Yhtälöstä nähdään, että jos matriisi A on pos. def., niin myös matriisi A 1 on pos. def. c) Koska erotus A B on pos. def. matriisi, niin vihjeen perusteella myös matriisi R 1 (A B)R 1 R 1 AR 1 R 1 BR 1 (2) R 1 BR 1 on pos. def. Kohdasta b) seuraa, että myös matriisi RB 1 R on pos. def. Kerrotaan yllä oleva matriisi molemmilta puolilta R 1 :llä: R 1 (RB 1 R )R 1 R 1 RB 1 RR 1 2 (1) R B 1 A 1. Vihjeen ja R 1 :n symmetrisyyden perusteella kertominen R 1 :llä molemmilta puolilta ei muuta matriisin de niittisyyden lajia. Näin ollen matriisin B 1 A 1 de niittisyyden laji on sama kuin matriisin RB 1 R eli molemmat ovat pos. def:ejä. Näin ollen jos matriisi A B on pos. def, niin myös matriisi B 1 A 1 on pos. def. Tehtävä on oleellisesti Davidsonin ja MacKinnonin (2004) kirjan HT 3.8.
3. a) Yhtälö pätee, jos µ A B B 0 A 1 0 C 0 0 A 1 B (C B 0 A 1 B) 1 B 0 A 1. Osoitetaan, että yo. yhtälö pätee: A B B 0 C µ A 1 0 0 0 0 B 0 A 1 0 0 B 0 A 1 0 0 B 0 A 1 0. 0 0 0 A 1 B B B B 0 A 1 B C [ B 0 A 1 ] 0 0 B 0 A 1 (C B 0 A 1 B) 1 B 0 A 1 (*) (C B 0 A 1 B) 1 [ B 0 A 1 ] b) Valitaan a) kohdan kaavassa (1) A X 0 1 X 1, B X 0 1 X 2 ja C X 0 2 X 2. Nähdään heti, että kaava pätee, jos (C B 0 A 1 B) 1 (X 0 2M 1 X 2 ) 1. Osoitetaan, että niin on: (C B 0 A 1 B) 1 [X 0 2 X 2 X 0 2 X 1(X 0 1 X 1) 1 X 0 1 X 2] 1 fx 0 2[ X 1 (X 0 1X 1 ) 1 X 0 1]X 2 g 1 (X 0 2M 1 X 2 ) 1.
4. a) Todistus on suoraviivainen HT 5.3 b):n kaavan (3) avulla: P x X(X 0 X) 1 X 0 ½ (X X 1 X 0 1X 1 ) 1 0 2 0 0 (X 0 1 X 1 ) 1 X 0 1 X 2 (X 0 2M 1 X 2 ) ¾ 1 X 0 2X 1 (X 0 1X 1 ) 1 X 0 1 X 0 2 X 1 (X 0 1X 1 ) 1 X 0 1( X 1 (X 0 1X 1 ) 1 X 0 1X 2 X 2 )(X 0 2M 1 X 2 ) 1 h X 0 2X 1 (X 0 1X 1 ) 1 X 0 1X 0 2 P 1 ( P 1 )X 2 (X 0 2 M 1X 2 ) 1 X 0 2 ( P 1) P 1 ( P 1 )X 2 (X 0 2 M 1X 2 ) 1 [( P 1 )X 2 ] 0 P 1 M 1 X 2 [(M 1 X 2 ) 0 M 1 X 2 )] 1 [M 1 X 2 ] 0 P 1 P M1X 2. Kaava P X P 2 P M2X 1 seuraa, kun X 1 :n ja X 2 :n sarakkeet tai sarakkeiden merkinnät vaihdetaan keskenään edellisissä todistuksissa. Davidson ja MacKinnon esittävät vaihtoehtoisen todistuksen (kirjan HT 2.19). b) Hajotelman P X P 1 P M1X 2 tulkinta: P X y on PNS sovite y:lle, kun selittäjämatriisi on X (kaikki selittäjät). Hajotelman mukaan P X y voidaan esittää summana kahdesta muusta PNS sovitteesta y:lle. Toisessa onollut selittäjämatriisina X 1 ja toisessa M 1 X 2. Jälkimmäisen sarakkeet ovat residuaalit regressioista, joissa on selitetty X 2 :n sarakkeita X 1 :llä. Summa on ortogonaalinen: P X y eli y:n projektio X:lle on summa y:n projektiosta X 1 :lle ja M 1 X 2 :lle Näiden matriisien sarakkeiden virittämät avaruudet ovat ortogonaalisia, joten projektio P X y esitetään hajotelmassa kahden ortogonaalisen projektion summana. Tulkinta HT 2.2:n kuvion geometrian puitteissa: Kuvioon on piirretty vektorit P X y ja P 1 y. Hajotelman mukaan P M1X 2 y on vektori CB Selvästikin kuviossa pätee, että P X y P 1 ycb, joten kuvion mukaan P M1X 2 y on CB. Formaalisti: Koska P 1 P X y P 1 y, niin P 1 y on on P X y:n projektio (kuviossa) vektorille X 1. Näin ollen CB on M 1 P X y kuten kuvioon 1.7 c) on merkitty. Laskemalla nähdään edelleen, että P M1 X 2 y M 1 P X y M 1 X 2 ^ 2. Lasku alkaa huomaamalla, että matriisitulon P M1X 2 ensimmäinen matriisi on i
M 1 : P M1X 2 y M1M1M1 M 1 P M1X 2 y M 1 P 1 0 M 1 (P 1 P M1X 2 )y a) eli (4.36) M 1 P X y M 1 (X 1^ 1 X 2^ 2) M 1X 10 M 1 X 2^ 2. Tulkinta kuvion 1.7 b) avulla: P M1X 2 y on y:n projektio M 1 X 2 :lle. M 1 X 2 :n ja X 1 :n virittämät avaruudet ovat kohtisuorassa, joten M 1 X 2 (ei piirretty kuvioon) on yhdensuuntainen vektorin CB kanssa ja P M1X 2 y M 1 X 2 ^ 2.