Harjoitusten 4 vastaukset 4.1. Prosessi on = 1 +, jossa»iid( 2 )ja =1 2. PNS estimaattori :lle on (" P P 2 ") = +( X X 2 ) 1 1. =1 Suluissa oleva termi on deterministinen ja suppenee vihjeen mukaan 2 6:teen. Jälkimmäisellä termillä ( P =1 1 ) on selvästikin positiivinen varianssi kaikilla :n arvoilla. Näin ollen :lla on myös positiivinen varianssi kaikilla :n arvoilla. Huom. Hendry (1995): Dynamic Econometrics, s:t 72 2, tarkastelee vastaavaa yleisempää mallia. =1 4.2. a) Vektori y = By sijaitsee matriisin B sarakkeiden virittämässä avaruudessa. Mikäli matriisi B on idempotentti, pätee y = BB. Tällöin B on projektiomatriisi, koska sillä kertominen sijoittaa kerrotun vektorin matriisin B sarakeavaruuteen eikä toistamiseen kertominen muuta vektorin sijaintia matriisin B sarakeavaruudessa. b) Todistetaan matriisin P ( ) epäsymmetriys. Vihjeen mukaisesti valitaan X = e 1 = [1 ] ja W = = [1 1]. Valinnat täyttävät tehtävän ehdon matriisien X ja W sarakkeiden riippumattomuudesta ja ehdon W X = e 1 =16=. Matriisit P ja P ovat tällöin ja P = X(W X) 1 W = e 1 1 1 2 3 1 = 6 4 7 1 1. 5 2 3 1 1 = 6 7 4.. 5 = [e 1 e 1 ]. P = 2 3 1 6 7 4... 5 1 =.
Matriisi P ei ole symmetrinen tehdyillä valinnoilla eikä siten ylipäänsäkään. Vaihtoehtoinen (oleellisesti Davidsonin ja MacKinnonin) todistus epäsymmetrisyydelle: Olkoon y 6= vektori ja X y 6= 6= W y. Tällöin Py = X(W X) 1 W y Xb 2S(X)(bon vektori (W X) 1 W y) ja P y = W[(W X) 1 ] X y Wc 2S(W) (con vektori [(W X) 1 ] X y). Koska oletuksen mukaan matriisien X ja W sarakkeet virittävät eri avaruudet, täytyy päteä Py 6= P y ja P. Näin ollen P 6= P. Matriisi P ei ole symmetrinen. Todistus, että matriisi P on idempotentti, on lyhyt: PP = X(W X) 1 W X(W X) 1 W = X(W X) 1 W = P. P on projektiomatriisi, koska se on idempotentti. Se projisoi avaruuteen S(X), koska Py 2S(X) (edeltä). Erikoistilanteessayllä matriisi P projisoi vektorille e 1. c) I P on projektiomatriisi, koska se idempotentti: (I P)(I P) = I P P + PP PP=P = I P. Yllä osoitettiin, että matriisi P projisoi avaruuteen S(X). Matriisi I P projisoi avaruuteen S? (W), jos (P W y) (I P)y = eli jos P W (I P) = (P W =W(W W) 1 W ). Todistetaan, että näin on: P W (I P) = W(W W) 1 W [I X(W X) 1 W ] = W(W W) 1 W W(W W) 1 W X(W X) 1 W ] = P W P W =. Matriisi M W = I P W projisoi S? (W):hen. S(X) ja S? (W) eivät ole ortogonaalisia avaruuksia, jos (P X y) (M W y) 6= eli jos P X M W 6=. Sen todistaminen alkaa huomaamalla, että P X M W = P X (I P W ) = P X P X P W. Matriisi P X on symmetrinen, mutta matriisi P X P W ei ole: Matriisin P X P W välittämän lineaarikuvauksen kuva on S(X):ssä. Matriisin (P X P W ) = P W P X = P W P X välittämän lineaarikuvauksen kuva on S(W):ssä. Oletuksen mukaan nämä ovat eri avaruuksia. Matriisi P X P W ei siten voi olla symmetrinen. Eritoten se ei voi olla symmetrinen matriisi P X (P X y 6= P X P W y =) P X 6= P X P W ). Näin ollen P X M W = P X P X P W 6=. Näin ollen S(X) ja S? (W)
eivät ole ortogonaalisia avaruuksia eli matriisit P jai P eivät projisoi ortogonaalisiin avaruuksiin. Huomautuksia: ² Matriisi W X täytyy olettaa ei singulaariseksi, sillä muuten voitaisiin valita esimerkiksi =1,X=e 1 =[1 ] ja W = e = [ 1], jolloin W X = e e 1 =eikä käänteismatriisia (W X) 1 olisi olemassa. ² Oletus matriisin X sarakkeiden lineaarisesta riippumattomuudesta matriisin W sarakkeista on tehty tehtävän terävöittämiseksi ja helpottamiseksi. Tehtävä olisi mielekäs lievemminkin oletuksin esimerkiksi, että vähintään yksi matriisin X sarakkeista on lineaarisesti riippumaton matriisin W sarakkeista. 5 Tällöin kohdan b) vaihtoehtoista symmetrittömyystodistusta tulisi jatkaa sen toisen virkkeen jälkeen näin: "Oletaan seuraavaksi, että y 2S(X):ään. Tällöin on olemassa vektori siten, että y = X ja Py = X(W X) 1 W X = X. Matriisin P välittämän lineaarikuvauksen kuvan täytyy siten olla koko S(X). Vastaavasti matriisin P välittämän lineaarikuvauksen kuvan täytyy olla koko S(W). Koska oletuksen mukaan." Samaan tapaan kohdassa c) tulisi vedota siihen, että matriisin I P välittämän lineaarikuvauksen kuva on koko S? (W). ² (W X) 1 W y on IV estimaattori (kirjan s. 316). Py = X(W X) 1 W y on IV ennustevektori, ja (I P)y on IV residuaalivektori. ² Tehtävä on oleellisesti Davidsonin ja MacKinnonin HT 2.1. ² Lineaarisen mallin 29 kurssin HT 2.4:ssä todistettiin, että P = X(X X) 1 X on yksikäsitteinen eli ainoa matriisi, joka projisoi :n vektorit ortogonaalisesti avaruuteen S(X). 5 Oletus W 6= X, ei olisi riittävä. Tällöin olisi esimerkiksi mahdollista, että W= X ( 6=), jolloin matriisipolisi symmetrinen.
4.3. FWL lauseen (s. 68) mukaan Näin ollen 1 = ( M y1 ) 1 M y1 y (3 11) = ( M y1 ) 1 M y1 ( 1 + 2 y 1 + u) M y1 y 1= = 1 +( M y1 ) 1 M y1 u E( 1 ) = E[ 1 +( M y1 ) 1 M y1 u] = 1 +E[( M y1 ) 1 M y1 u] Odotusarvo operaattoria ei voi viedä lausekkeen M y1 ) 1 M y1 u sisälle vektorin u eteen, koska vektorit u ja y 1 ja siten suureet u ja M y1 eivät ole riippumattomia (tehtävän kaava (1)). Näin ollen (ilmeisesti) E( 1 ) 6= 1. (Harhaisuuden voi todentaa esimerkiksi simulointikokeella.) 4.4. Seuraavat laskut on laskettu SURVO MM:llä (versio 1.25). (SURVO 98 laskee samat tulokset.) Katsotaan aineistoa: Diagram of HT53 12 Y 9 6 3 3 6 9 12 Y1 Regressiossa ilman vakiota R 2 on.99: Selittäjä Kerroin Kertoimen SD t X.93.38 24.85 Y:n otosvarianssi:.27 (vapausasteita 3) Estimoitu jäännösvarianssi:.45 (vapausasteita 3) R2=.99
Estimoitu jäännösvarianssi on suurempi kuin selitettävän otosvarianssi! Tällöin regressiosuora on huonompi sovite kuin vakio ja R 2 c on negatiivinen. Raportoitu R 2 on positiivinen, joten käytetty ohjelmisto laskee jonkin toisen suureen kuin R 2 c:n. Kun malliin lisätään vakio, näyttää selitysosuus pienenevän.29:ään(!): Selittäjä Kerroin Kertoimen SD t Vakio 5.44 3.34 1.63 X.33.37.87 Y:n otosvarianssi:.27 (vapausasteita 3) Estimoitu jäännösvarianssi:.29 (vapausasteita 2) R2=.27 Vakion lisääminen malliin ei voi huonontaa mallin sovitetta, joten sovitteen huonontumisen täytyy johtua käytetystä kaavasta R 2 :lle. Estimoitu jäännösvarianssi on tämänkin mallin kohdalla suurempi kuin selitettävän otosvarianssi. Se johtuu kuitenkin edellisen vapausastekorjauksesta. Ilman vapausastekorjausta estimoitu jäännösvarianssi on (4 2) 29 3= 19, joka on pienempi kuin Y:n otosvarianssi. Näin täytyykin olla, koska vakion ja regressiosuoran täytyy tuottaa vähintään yhtä hyvä sovite kuin pelkän vakion. Harjoitustehtävä on empiirisesti relevantti. Tiedän tapauksen, jossa empiirikot ilakoivat, kun olivat saaneet lähellä yhtä olevan selitysosuuden mallille, jossa ei ole vakiota. Jäännösvarianssin suuruus on luotettavampi kriteeri mallin hyvyydelle kuin tilasto ohjelmiston raportoima R 2. Esimerkin varoitus on R 2 :n laskutapaa yleisempi eli että tilasto ohjelmistoihin ei pidä luottaa sokeasti! (Ks. esim. B.D. McCullough ja H.D. Vinod (1999): The Numerical Reliability of Econometric Software, J. of Economic Literature, XXXVII, 633 65.)
4.5. Seuraavat laskut on laskettu SURVO MM:llä (versio 1.25). (SURVO 98 laskee samat tulokset.) Katsotaan aineistoa: Aineisto=pallurat, sovitteet=mustat pisteet, exp log sovitteet=ristit 25 Y 2 15 1 5 5 1 15 2 25 X Kuvassa sovitteet on laskettu regressiosta (1), jossa selitetään muuntamatonta selitettävää muuttujaa. Ristit ovat sovitteet exp( log ). Ennusteet log on laskettu regressiosta (2), jossa selitettävänä on logaritmoitu muuttuja. R 2 c on 881 regressiossa (1) ja 565 regressiossa (2). Regressio (2) näyttää R 2 c:n perusteella selvästi huonommalta mallillta. R 2 1:n mukaan mallit ovat kuitenkin lähes yhtä hyviä, kun vertaillaan mallien kykyä selittää alkuperäistä aineistoa: R 2 1 on 881 regressiolle (1) (jolloin (R2 1 =R2 c ) ja 878 regressiolle (2)! Aineisto on Scottin ja Wildin (1991) artikkelista American Statistician issä. He esittävät lisäksi esimerkin, jossa R 2 c on hieman parempi regressiolle (2) (R 2 c = 94) kuin regressiolle (1) (R 2 c = 92), mutta regressiosta (2) lasketut sovitteet exp( log ) ovat niin huonot, että R 2 1 on negatiivinen! Huomautus: Ei ole selvää, että tehtävänkaltainen yksinkertainen tapa siirtyä log asteikon sovitteista asteikon sovitteisiin on paras mahdollinen. Ks. esim. pohdinta ja viitteet kirjassa T.C. Mills: (1987): Time Series Techniques for Economists, s:t 337 339. Davidson ja MacKinnon käsittelevät samaa aihepiiriä 1993 kirjan jaksossa 14.3. Pääviesti kuitenkin säilyy: R 2 c:ten vertailu mallien välillä, joissa on eri selitettävä, ei ole järkevää.