Erityiskysymyksiä yleisen lineaarisen mallin soveltamisessa

Transkriptio

1 Ilkka Mellin Tilastolliset menetelmät Osa 4: Lineaarinen regressioanalyysi Erityiskysymyksiä yleisen lineaarisen mallin soveltamisessa TKK (c) Ilkka Mellin (2007) 1

2 Erityiskysymyksiä yleisen lineaarisen mallin soveltamisessa >> Erityiskysymyksiä yleisen lineaarisen mallin soveltamisessa: Johdanto Yleistetty pienimmän neliösumman menetelmä Rajoitettu pienimmän neliösumman menetelmä Instrumenttimuuttujamenetelmä TKK (c) Ilkka Mellin (2007) 2

3 Erityiskysymyksiä yleisen lineaarisen mallin soveltamisessa: Johdanto Yleinen lineaarinen malli: Määritelmä Olkoon yi = β0 + β1xi 1+ β2xi2 + + βkxik + εi, i = 1,2,, n yleinen lineaarinen malli, jossa y i = selitettävän muuttujan y satunnainen ja havaittu arvo havaintoyksikössä i x ij = selittävän muuttujan eli selittäjän x j havaittu arvo havaintoyksikössä i, j = 1, 2,, k β 0 = vakioselittäjän tuntematon regressiokerroin β j ε i = selittäjän x j tuntematon regressiokerroin = satunnainen ja ei-havaittu jäännös- eli virhetermi havaintoyksikössä i TKK (c) Ilkka Mellin (2007) 3

4 Erityiskysymyksiä yleisen lineaarisen mallin soveltamisessa: Johdanto Yleinen lineaarinen malli: Matriisiesitys Yleisen lineaarisen mallin matriisiesitys on muotoa y = Xβ + ε jossa y = selitettävän muuttujan y havaittujen arvojen muodostama satunnainen n-vektori X = selittäjien x 1, x 2,, x k havaittujen arvojen ja ykkösten muodostama n (k + 1)-matriisi β = regressiokertoimien muodostama tuntematon ja kiinteä eli ei-satunnainen (k + 1)-vektori ε = jäännöstermien muodostama ei-havaittu ja satunnainen n-vektori TKK (c) Ilkka Mellin (2007) 4

5 Erityiskysymyksiä yleisen lineaarisen mallin soveltamisessa: Johdanto Yleinen lineaarinen malli: Standardioletukset kiinteille selittäjille Jos yleisen lineaarisen mallin y = Xβ + ε selittäjät x 1, x 2,, x k ovat kiinteitä eli ei-satunnaisia muuttujia, mallia koskevat standardioletukset voidaan esittää matriisein seuraavassa muodossa: (i) Matriisin X alkiot ovat ei-satunnaisia vakioita. (ii) Matriisi X on täysiasteinen: r(x) = k + 1 (iii) E( ε) = 0 (iv)&(v) Homoskedastisuus- ja korreloimattomuusoletus: 2 Cov( ε) = σ I (vi) Normaalisuusoletus: ε 0 I 2 N n(, σ ) TKK (c) Ilkka Mellin (2007) 5

6 Erityiskysymyksiä yleisen lineaarisen mallin soveltamisessa: Johdanto Yleinen lineaarinen malli: Standardioletukset satunnaisille selittäjille Jos yleisen lineaarisen mallin y = Xβ + ε selittäjät x 1, x 2,, x k ovat satunnaismuuttujia, mallia koskevat standardioletukset voidaan esittää matriisein seuraavassa muodossa: (i) Matriisin X alkiot ovat satunnaismuuttujia. (ii) Matriisi X on täysiasteinen: r(x) = k + 1 (iii) E( ε X) = 0 (iv) &(v) Homoskedastisuus- ja korreloimattomuusoletus: 2 Cov( ε X) = σ I (vi) Normaalisuusoletus: 2 ( ε X) N n( 0, σ I) TKK (c) Ilkka Mellin (2007) 6

7 Erityiskysymyksiä yleisen lineaarisen mallin soveltamisessa: Johdanto Yleinen lineaarinen malli: Regressiokertoimien PNS-estimointi 1/2 Yleisen lineaarisen mallin yi = β0 + β1xi 1+ β2xi2 + + βkxik + εi, i = 1,2,, n regressiokertoimien β 0, β 1, β 2,, β k PNS- eli pienimmän neliösumman estimaattorit b 0, b 1, b 2,, b k minimoivat jäännös- eli virhetermien ε i neliösumman n n 2 2 εi = ( yi β0 β1xi1 β2xi2 βkxik) i= 1 i= 1 kertoimien β 0, β 1, β 2,, β k suhteen. TKK (c) Ilkka Mellin (2007) 7

8 Erityiskysymyksiä yleisen lineaarisen mallin soveltamisessa: Johdanto Yleinen lineaarinen malli: Regressiokertoimien PNS-estimointi 2/2 Yleisen lineaarisen mallin y = Xβ + ε regressiokertoimien vektorin β = (β 0, β 1, β 2,, β k ) tavallinen PNS-estimaattori voidaan esittää matriisein muodossa b= ( XX ) 1 Xy TKK (c) Ilkka Mellin (2007) 8

9 Erityiskysymyksiä yleisen lineaarisen mallin soveltamisessa: Johdanto PNS-estimaattorin paremmuus: Gaussin ja Markovin lause Olkoon y = Xβ + ε yleinen lineaarinen malli, joka toteuttaa standardioletukset (i)-(v). Tällöin pätee Gaussin ja Markovin lause: Regressiokertoimien vektorin β PNS-estimaattori b= ( XX ) 1 Xy on paras (eli tehokkain) vektorin β lineaaristen ja harhattomien estimaattoreiden joukossa. TKK (c) Ilkka Mellin (2007) 9

10 Erityiskysymyksiä yleisen lineaarisen mallin soveltamisessa: Johdanto PNS-estimaattorin paremmuus: Kommentteja Gaussin ja Markovin lauseeseen Gaussin ja Markovin lauseen mukaan tavallinen PNSestimaattori b on paras (eli tehokkain) yleisen lineaarisen mallin regressiokertoimien vektorin β lineaaristen ja harhattomien estimaattoreiden joukossa, jos standardioletukset (i)-(v) pätevät. Tämä ei tarkoita sitä, että regressiokertoimien vektorille β ei voisi löytyä (jossakin mielessä) PNS-estimaattoreita parempia estimaattoreita, jos siirrytään pois lineaaristen ja harhattomien estimaattoreiden joukosta tai standardioletuksista (i)-(v) luovutaan. TKK (c) Ilkka Mellin (2007) 10

11 Erityiskysymyksiä yleisen lineaarisen mallin soveltamisessa: Johdanto Koska PNS-estimaattori ei ole optimaalinen? Tässä luvussa tarkastellaan kahta tilannetta, joissa yleisen lineaarisen mallin regressiokertoimien vektorin β PNS-estimaattori b on harhaton, mutta ei ole optimaalinen: (i) Jos homoskedastisuus-ja korreloimattomuusoletus 2 (iv)&(v) Cov( ε) = σ I ei päde, ns. yleistetty PNS-estimaattori on PNSestimaattoria b parempi. (ii) Jos vektoria β sitovat lineaariset rajoitukset, ns. rajoitettu PNS-estimaattori on PNS-estimaattoria b parempi. TKK (c) Ilkka Mellin (2007) 11

12 Erityiskysymyksiä yleisen lineaarisen mallin soveltamisessa: Johdanto Koska PNS-estimaattori ei saa käyttää? Tarkastelemme myös sellaista tilannetta, jossa yleisen lineaarisen mallin regressiokertoimien vektorin β PNSestimaattori b ei ole harhaton eikä edes tarkentuva, jolloin se ei ole kelvollinen estimaattori vektorille β. Näin saattaa tapahtua esim. tilanteissa, joissa selittäjä on stokastinen ja korreloi jäännöstermin kanssa. Vektorin β tarkentuva estimaattori voidaan tällaisessa tilanteessa kuitenkin joskus muodostaa ns. instrumenttimuuttujamenetelmällä. TKK (c) Ilkka Mellin (2007) 12

13 Erityiskysymyksiä yleisen lineaarisen mallin soveltamisessa Erityiskysymyksiä yleisen lineaarisen mallin soveltamisessa: Johdanto >> Yleistetty pienimmän neliösumman menetelmä Rajoitettu pienimmän neliösumman menetelmä Instrumenttimuuttujamenetelmä TKK (c) Ilkka Mellin (2007) 13

14 Yleistetty pienimmän neliösumman menetelmä Yleistetty PNS-menetelmä: Oletukset 1/2 Yleistä lineaarista mallia y = Xβ+ ε koskevien standardioletuksien (iv)&(v) mukaan 2 Cov( ε) = σ I Oletuksen (iv) mukaan jäännöstermit ε i, i = 1, 2,, n ovat homoskedastisia eli niillä on sama varianssi: Var(ε i ) = σ 2, i = 1, 2,, n Oletuksen (v) mukaan jäännöstermit ε i, i = 1, 2,, n ovat korreloimattomia: Cor(ε i, ε l ) = 0, i l TKK (c) Ilkka Mellin (2007) 14

15 Yleistetty pienimmän neliösumman menetelmä Yleistetty PNS-menetelmä: Oletukset 2/2 Korvataan oletukset (iv)&(v) ja (vi) oletuksilla (iv) * &(v) * 2 Cov( ε) = σ V (vi) * 2 ε N( 0, σ V) jossa V on positiivisesti definiitti matriisi. Oletuksien (iv) * &(v) * ja (vi) * mukaan jäännöstermit ε i, i = 1, 2,, n saavat olla sekä heteroskedastisia eli erivarianssisia että korreloituneita. Huomautus: Koska matriisi V oletettiin positiivisesti definiitiksi, niin se on epäsingulaarinen ja sillä on käänteismatriisi. TKK (c) Ilkka Mellin (2007) 15

16 Yleistetty pienimmän neliösumman menetelmä Yleistetty PNS-estimaattori: Määritelmä Regressiokertoimien vektorin β yleistetty PNS-estimaattori saadaan minimoimalla neliömuoto 1 ( y Xβ) V ( y Xβ) vektorin β suhteen. Vektorin β yleistetty PNS-estimaattori on bgls = ( XV X) XV y GLS = Generalized Least Squares TKK (c) Ilkka Mellin (2007) 16

17 Yleistetty pienimmän neliösumman menetelmä Yleistetyn PNS-estimaattorin paremmuus: Gaussin ja Markovin lause Olkoon y = Xβ+ ε standardioletukset (i)-(iii) ja modifioidut standardioletukset (iv) * &(v) * toteuttava lineaarinen malli. Tällöin pätee modifioitu Gaussin ja Markovin lause: Regressiokertoimien vektorin β yleistetty PNS-estimaattori bgls = ( XV X) XV y on paras (eli tehokkain) vektorin β lineaaristen ja harhattomien estimaattoreiden joukossa. TKK (c) Ilkka Mellin (2007) 17

18 Yleistetty pienimmän neliösumman menetelmä Yleistetyn PNS-estimaattorin ominaisuudet 1/3 Olkoon bgls = ( XV X) XV y yleisen lineaarisen regressiomallin y = Xβ+ ε regressiokertoimien vektorin β yleistetty PNS-estimaattori. Jos modifioidut standardioletukset (i)-(iii) ja (iv) * &(v) * pätevät, E( bgls ) = β Cov( b ) = σ ( XV X) GLS TKK (c) Ilkka Mellin (2007) 18

19 Yleistetty pienimmän neliösumman menetelmä Yleistetyn PNS-estimaattorin ominaisuudet 2/3 Yleisen lineaarisen mallin y = Xβ+ ε regressiokertoimien vektorin β yleistetyllä PNSestimaattorilla b GLS on modifioitujen standardioletuksien (i)-(iii), (iv) * &(v) * ja (vi) * pätiessä seuraavat ominaisuudet: (1) b GLS on harhaton. (2) b GLS paras (eli tehokkain) lineaaristen ja harhattomien estimaattoreiden joukossa. (3) b GLS on (sopivin lisäehdoin) tarkentuva. (4) b GLS on normaalinen. TKK (c) Ilkka Mellin (2007) 19

20 Yleistetty pienimmän neliösumman menetelmä Yleistetyn PNS-estimaattorin ominaisuudet 3/3 Yleistetty PNS-estimaattori b GLS on modifioitujen standardioletusten (i)-(iii), (iv) * &(v) * ja (vi) pätiessä parempi kuin tavallinen PNS-estimaattori b : Cov( b) Cov( b ) GLS TKK (c) Ilkka Mellin (2007) 20

21 Yleistetty pienimmän neliösumman menetelmä Laskettava yleistetty PNS-estimaattori 1/4 Käytännössä jäännöstermin ε kovarianssimatriisissa 2 Cov( ε) = σ V esiintyvä matriisi V on tuntematon. Huomaa, että matriisissa V on n(n + 1)/2 vapaata parametria, jossa n on havaintojen lukumäärä mallissa. Tämä merkitsee sitä, että matriisia V ei voi sellaisenaan estimoida n:stä havainnosta. TKK (c) Ilkka Mellin (2007) 21

22 Yleistetty pienimmän neliösumman menetelmä Laskettava yleistetty PNS-estimaattori 2/4 Oletetaan, että kovarianssimatriisi V riippuu tuntemattomista parametreista δ 1, δ 2,, δ m jossa m < n (= havaintojen lukumäärä) Tavallisesti pätee m << n Oletetaan lisäksi, että parametrit δ 1, δ 2,, δ m voidaan estimoida tarkentuvasti eli siten, että estimaattorit havaintojen lukumäärän kasvaessa lähestyvät stokastisesti parametrien oikeita arvoja. TKK (c) Ilkka Mellin (2007) 22

23 Yleistetty pienimmän neliösumman menetelmä Laskettava yleistetty PNS-estimaattori 3/4 Merkitään δ = (δ 1, δ 2,, δ m ) Käytetään kovarianssimatriisille V merkintää V( δ) korostamaan matriisin V riippuvuutta parametreista δ 1, δ 2,, δ m. TKK (c) Ilkka Mellin (2007) 23

24 Yleistetty pienimmän neliösumman menetelmä Laskettava yleistetty PNS-estimaattori 4/4 Olkoon Vˆ ( δˆ ) matriisin V(δ) estimaattori, joka saadaan sijoittamalla parametrin δ paikalle sen tarkentuva estimaattori ˆδ. Tällöin * ˆ ˆ 1 1 ˆ ˆ 1 bgls = ( X [ V( δ)] X) X [ V( δ)] y on regressiokertoimien vektorin β tarkentuva estimaattori, jota kutsutaan usein laskettavaksi (engl. feasible). TKK (c) Ilkka Mellin (2007) 24

25 Yleistetty pienimmän neliösumman menetelmä Laskettava yleistetty PNS-estimaattori: Matriisin V spesifiointi Matriisi V voidaan spesifioida eli esittää parametrointi tekemällä sopivia oletuksia mallin jäännöstermin ε heteroskedastisuus- tai kovarianssirakenteesta. Esimerkiksi aikasarjojen regressiomalleissa matriisi V voidaan usein spesifioida jäännöstermin autokorrelaatiorakenteen avulla. TKK (c) Ilkka Mellin (2007) 25

26 Yleistetty pienimmän neliösumman menetelmä Yleistetty PNS-estimaattori: Korreloimaton jäännöstermi 1/3 Oletetaan, että yleisen lineaarisen mallin y = Xβ+ ε toteuttaa modifioidut standardioletukset (i)-(iii), (iv) * &(v) *, mutta jäännöstermin ε kovarianssimatriisissa 2 Cov( ε) = σ V esiintyvä matriisi V on diagonaalinen: V = diag( z1, z2,, z n ) ja z 1, z 2,, z n ovat tunnettuja positiivisia lukuja. Tällöin jäännöstermit ovat korreloimattomia, mutta ne saavat yleisessä tapauksessa olla heteroskedastisia. TKK (c) Ilkka Mellin (2007) 26

27 Yleistetty pienimmän neliösumman menetelmä Yleistetty PNS-estimaattori: Korreloimaton jäännöstermi 2/3 Tällöin regressiokertoimien vektorin β yleistetyn PNSestimaattorin kaavassa bgls = ( XV X) XV y matriisin V käänteismatriisi on muotoa V = diag(1/ z1,1/ z2,,1/ z n ) Tällöin estimaattoria b GLS kutsutaan tavallisesti painotetuksi PNS-estimaattoriksi. TKK (c) Ilkka Mellin (2007) 27

28 Yleistetty pienimmän neliösumman menetelmä Yleistetty PNS-estimaattori: Korreloimaton jäännöstermi 3/3 Nimitys painotettu PNS-estimaattori johtuu siitä, että estimaattori voidaan muodostaa soveltamalla tavallista PNS-menetelmää muunnettuihin havaintoarvoihin, jotka saadaan kertomalla alkuperäiset havaintoarvot y i, x i1, x i2,, x ik, i = 1, 2,, n painoilla 1/z i, i = 1, 2,, n TKK (c) Ilkka Mellin (2007) 28

29 Erityiskysymyksiä yleisen lineaarisen mallin soveltamisessa Erityiskysymyksiä yleisen lineaarisen mallin soveltamisessa: Johdanto Yleistetty pienimmän neliösumman menetelmä >> Rajoitettu pienimmän neliösumman menetelmä Instrumenttimuuttujamenetelmä TKK (c) Ilkka Mellin (2007) 29

30 Rajoitettu pienimmän neliösumman menetelmä Rajoitettu PNS-keino: Oletukset Oletetaan, että tavanomaisen lineaarisen regressiomallin y = Xβ+ ε jossa X on n (k +1)-matriisi, n k +1, r(x) = k +1, regressiokertoimia β sitoo lineaarinen rajoitus eli sideehto Rβ = r jossa R on m (k +1)-matriisi, m k +1, r(r) = m. Huomautus: Jos side-ehto Rβ = r pätee, regressiokertoimet β eivät voi k+1 varioida vapaasti (k + 1)-ulotteisessa avaruudessa, vaan ainoastaan side-ehdon määrittelemässä m-ulotteisessa lineaarisessa aliavaruudessa (= m-ulotteinen taso). TKK (c) Ilkka Mellin (2007) 30

31 Rajoitettu pienimmän neliösumman menetelmä Rajoitettu PNS-estimaattori: Määritelmä 1/2 Regressiokertoimien vektorin β rajoitettu PNSestimaattori saadaan minimoimalla neliömuoto ( y Xβ)( y Xβ) vektorin β suhteen ottamalla huomioon side-ehto Rβ = r Tämä on sidottu ääriarvotehtävä, joka voidaan ratkaistaan Lagrangen keinolla. TKK (c) Ilkka Mellin (2007) 31

32 Rajoitettu pienimmän neliösumman menetelmä Rajoitettu PNS-estimaattori: Määritelmä 2/2 Vektorin β rajoitettu PNS-estimaattori on br = b+ URS ( r Rb) jossa 1 U= ( XX ) 1 S= ( RUR ) ja b= UXy on vektorin β tavallinen PNS-estimaattori. R = Restricted TKK (c) Ilkka Mellin (2007) 32

33 Rajoitettu pienimmän neliösumman menetelmä Rajoitetun PNS-estimaattorin paremmuus: Gaussin ja Markovin lause Olkoon y = Xβ+ ε standardioletukset (i)-(v) toteuttava lineaarinen malli. Oletetaan lisäksi, että side-ehto Rβ = r pätee. Tällöin pätee modifioitu Gaussin ja Markovin lause: Regressiokertoimien vektorin β rajoitettu PNS-estimaattori br = b+ URS ( r Rb) on paras (eli tehokkain) sellaisten vektorin β lineaaristen ja harhattomien estimaattoreiden joukossa, joille side-ehto Rβ = r pätee. TKK (c) Ilkka Mellin (2007) 33

34 Rajoitettu pienimmän neliösumman menetelmä Rajoitetun PNS-estimaattorin ominaisuudet 1/3 Olkoon br = b+ URS ( r Rb) regressiokertoimien vektorin β rajoitettu PNSestimaattori. Jos standardioletukset (i)-(v) pätevät ja Rβ = r niin E( b ) = β R 2 Cov( br ) = σ ( U URSRU) TKK (c) Ilkka Mellin (2007) 34

35 Rajoitettu pienimmän neliösumman menetelmä Rajoitetun PNS-estimaattorin ominaisuudet 2/3 Yleisen lineaarisen mallin y = Xβ+ ε regressiokertoimien vektorin β rajoitetulla PNSestimaattorilla b R on standardioletuksien (i)-(v) ja sideehdon Rβ = r pätiessä seuraavat ominaisuudet: (1) b R on harhaton. (2) b R paras (eli tehokkain) lineaaristen ja harhattomien estimaattoreiden joukossa. (3) b R on (sopivin lisäehdoin) tarkentuva. (4) b R on normaalinen. TKK (c) Ilkka Mellin (2007) 35

36 Rajoitettu pienimmän neliösumman menetelmä Rajoitetun PNS-estimaattorin ominaisuudet 3/3 Rajoitettu PNS-estimaattori b R on standardioletuksien (i)-(v) ja side-ehdon Rβ = r pätiessä parempi kuin tavallinen PNS-estimaattori b : Cov( b) Cov( b ) R TKK (c) Ilkka Mellin (2007) 36

37 Rajoitettu pienimmän neliösumman menetelmä Lineaaristen rajoitusten testaus 1/2 Asetetaan nollahypoteesi H 0 : Rβ = r ja määritellään F-testisuure ( r Rb) S( r Rb) F = 2 ms jossa b= UX' y on vektorin β tavallinen PNS-estimaattori ja s = ( y Xb)( y Xb) n k 1 vastaava jäännösvarianssin σ 2 harhaton estimaattori. 2 1 TKK (c) Ilkka Mellin (2007) 37

38 Rajoitettu pienimmän neliösumman menetelmä Lineaaristen rajoitusten testaus 2/2 Jos standardioletukset (i)-(vi) ja nollahypoteesi H 0 : Rβ = r pätevät, testisuure F noudattaa F-jakaumaa vapausastein m ja (n k 1): F F( m, n k 1) Suuret testisuureen F arvot merkitsevät sitä, että nollahypoteesi H 0 on hylättävä. TKK (c) Ilkka Mellin (2007) 38

39 Rajoitettu pienimmän neliösumman menetelmä Lineaaristen rajoitusten testaus: Testisuureen toinen muoto Edellä esitetty F-testisuure nollahypoteesille H 0 voidaan kirjoittaa myös muotoon n k 1 SSER SSE F = m SSE jossa SSE = ( y Xb)( y Xb) on jäännösneliösumma tavallisesta PNS-estimaattorista b ja SSE R = ( y Xb )( R y XbR) on jäännösneliösumma rajoitetusta PNS-estimaattorista b R. TKK (c) Ilkka Mellin (2007) 39

40 Rajoitettu pienimmän neliösumman menetelmä Lineaariset rajoitukset: Kommentteja 1/3 Yleisen lineaarisen mallin soveltamisen yhteydessä tarkastellaan nollahypoteesien H 0T : β 1 = β 2 = = β k = 0 ja H 0j : β j = 0, j = 1, 2,, k testaamista; ks. lukua Yleinen lineaarinen malli. TKK (c) Ilkka Mellin (2007) 40

41 Rajoitettu pienimmän neliösumman menetelmä Lineaariset rajoitukset: Kommentteja 2/3 Nollahypoteesiin H 0T kohdistettu testi on yleistesti regression olemassaololle. Jos nollahypoteesi H 0T jää voimaan, selitettävä muuttujan y havaitut arvot eivät riipu lineaarisesti yhdenkään selittäjän x 1, x 2,, x k havaituista arvoista. Nollahypoteesiin H 0j kohdistetulla testillä testataan selittäjän x j, j = 1, 2,, k vaikutusta selitettävään muuttujaan y. Jos nollahypoteesi H 0j jää voimaan, selitettävä muuttujan y havaitut arvot eivät riipu lineaarisesti selittäjän x j, j = 1, 2,, k havaituista arvoista. TKK (c) Ilkka Mellin (2007) 41

42 Rajoitettu pienimmän neliösumman menetelmä Lineaariset rajoitukset: Kommentteja 3/3 Nollahypoteesien H 0T ja H 0j, j = 1, 2,, k asettaminen merkitsee lineaaristen side-ehtojen esittämistä regressiokertoimille β 0, β 1, β 2,, β k. Yleisen lineaarisen mallin soveltamisen yhteydessä nollahypoteeseille H 0T ja H 0j, j = 1, 2,, k esitetyt testit ovat erikoistapauksia tässä tarkastellusta yleisestä testistä lineaarisille side-ehdoille. TKK (c) Ilkka Mellin (2007) 42

43 Rajoitettu pienimmän neliösumman menetelmä Lineaariset rajoitukset: Rajoitusten spesifiointi Regressiokertoimia koskevat rajoitukset seuraavat tavallisesti tutkimuksen kohteena olevaan satunnaisilmiöön liittyvästä taustateoriasta, mutta myös monet tilastolliset hypoteesit voidaan esittää regressiokertoimia koskevien side-ehtojen muodossa. Jos side-ehdot vastaavat jotakin taustateorian hypoteesia, pyritään esitetty hypoteesi vahvistamaan tai kumoamaan side-ehtojen testaamisella. TKK (c) Ilkka Mellin (2007) 43

44 Erityiskysymyksiä yleisen lineaarisen mallin soveltamisessa Erityiskysymyksiä yleisen lineaarisen mallin soveltamisessa: Johdanto Yleistetty pienimmän neliösumman menetelmä Rajoitettu pienimmän neliösumman menetelmä >> Instrumenttimuuttujamenetelmä TKK (c) Ilkka Mellin (2007) 44

45 Instrumenttimuuttujamenetelmä Yleinen lineaarinen malli ja sen osat Olkoon y = Xβ + ε yleisen lineaarisen mallin matriisiesitys, jossa y = selitettävän muuttujan y havaittujen arvojen muodostama satunnainen n-vektori X = selittäjien x 1, x 2,, x k havaittujen arvojen ja ykkösten muodostama n (k + 1)-matriisi β = regressiokertoimien muodostama tuntematon ja kiinteä eli ei-satunnainen (k + 1)-vektori ε = jäännöstermien muodostama ei-havaittu ja satunnainen n-vektori TKK (c) Ilkka Mellin (2007) 45

46 Instrumenttimuuttujamenetelmä Standardioletukset kiinteille selittäjille Jos yleisen lineaarisen mallin y = Xβ + ε selittäjät x 1, x 2,, x k ovat kiinteitä eli ei-satunnaisia muuttujia, mallia koskevat standardioletukset voidaan esittää matriisein seuraavassa muodossa: (i) Matriisin X alkiot ovat kiinteitä eli ei-satunnaisia vakioita (ii) Matriisi X on täysiasteinen: r(x) = k + 1 (iii) E( ε) = 0 2 (iv)&(v) Cov( ε) = σ I 2 (vi) ε N (, 0 σ I) n TKK (c) Ilkka Mellin (2007) 46

47 Instrumenttimuuttujamenetelmä Selittäjien satunnaisuus Yleisen lineaarisen mallin y = Xβ + ε selittäjien satunnaisuus saattaa aiheuttaa vakavia ongelmia mallin estimoinnille ja mallia koskevalle tilastolliselle päättelylle. Jos matriisi X on satunnainen, PNS-menetelmä ei välttämättä tuota harhattomia tai edes tarkentuvia estimaattoreita regressiokertoimille. Näin käy esimerkiksi silloin, kun virhetermi ja selittäjät korreloivat. Jos regressiokertoimien PNS-estimaattorit eivät ole harhattomia tai tarkentuvia, mallia koskevaa tavanomaista tilastollista päättelyä ei voida soveltaa. TKK (c) Ilkka Mellin (2007) 47

48 Instrumenttimuuttujamenetelmä PNS-estimaattorin harhattomuus 1/3 Olkoon b= ( XX ) 1 Xy lineaarisen mallin y = Xβ + ε regressiokertoimien vektorin β PNS-estimaattori. Estimaattorin b lauseke voidaan kirjoittaa muotoon b = β + ( XX ) 1 Xε Jos matriisi X on kiinteä, estimaattori b on harhaton, koska standardioletuksen (iii) mukaan E(ε) = 0, jolloin 1 E( b) = β + ( XX ) X E( ε) = β TKK (c) Ilkka Mellin (2007) 48

49 Instrumenttimuuttujamenetelmä PNS-estimaattorin harhattomuus 2/3 Jos matriisi X on satunnainen, ei saa kirjoittaa 1 1 E(( XX ) Xε ) = ( XX ) X E( ε) Sen sijaan PNS-estimaattorin b ehdollisessa odotusarvossa matriisin X suhteen matriisia X voidaan pitää kiinteänä ja siten 1 E( bx) = β + E(( XX ) Xε X) = β + XX X ε X 1 ( ) E( ) TKK (c) Ilkka Mellin (2007) 49

50 Instrumenttimuuttujamenetelmä PNS-estimaattorin harhattomuus 3/3 PNS-estimaattorib on siis ehdollisesti harhaton eli E( bx) = β jos oletus E( ε X) = 0 pätee. Tällöin PNS-estimaattori b on myös ehdottomasti harhaton, koska iteroidun odotusarvon lain mukaan E( b) = E(E( b X)) = = E( β) β TKK (c) Ilkka Mellin (2007) 50

51 Instrumenttimuuttujamenetelmä Ehto PNS-estimaattorin harhattomuudelle Edellä esitetystä nähdään, että ehdon E( ε X) = 0 voimassaolo ratkaisee sen, onko PNS-estimaattori b harhaton lineaarisen mallin regressiokertoimien vektorille β. Voidaan osoittaa, että vastaava korjaus muihin yleisen lineaarisen mallin standardioletuksiin (iii)-(vi) pelastaa kiinteiden selittäjien tapauksessa esitetyn teorian. TKK (c) Ilkka Mellin (2007) 51

52 Instrumenttimuuttujamenetelmä Standardioletukset satunnaisille selittäjille Jos yleisen lineaarisen mallin y = Xβ + ε selittäjät x 1, x 2,, x k ovat satunnaismuuttujia, mallia koskevat standardioletukset voidaan esittää matriisein seuraavassa muodossa: (i) Matriisin X alkiot ovat (vakioselittäjän arvoja lukuun ottamatta) satunnaismuuttujia (ii) Matriisi X on täysiasteinen: r(x) = k + 1 (iii) E( ε X) = 0 2 (iv) &(v) Cov( ε X) = σ I 2 (vi) ( ε X) N ( 0, σ I) n TKK (c) Ilkka Mellin (2007) 52

53 Instrumenttimuuttujamenetelmä Kommentteja modifioituihin standardioletuksiin 1/3 Modifioidusta standardioletuksesta (iii) E(ε X) = 0 seuraa, että E( yx ) = Xβ Tämä merkitsee sitä, että selitettävän muuttujan y ehdollinen odotusarvo eli regressiofunktio selittäjien havaittujen arvojen suhteen on lineaarinen. TKK (c) Ilkka Mellin (2007) 53

54 Instrumenttimuuttujamenetelmä Kommentteja modifioituihin standardioletuksiin 2/3 Modifioidusta standardioletuksesta (iii) E(ε X) = 0 seuraa, että E( ziε i) = 0 jossa z i = (1, xi1, xi2,, xik) Siten oletuksesta (iii) seuraa, että selittäjien arvot ja jäännös- eli virhetermit ovat korreloimattomia. TKK (c) Ilkka Mellin (2007) 54

55 Instrumenttimuuttujamenetelmä Kommentteja modifioituihin standardioletuksiin 3/3 Jos modifioidut standardioletukset (i) -(vi) pätevät, tavanomainen ei-satunnaisille selittäjille esitetty estimointi- ja päättelytekniikka pätee. TKK (c) Ilkka Mellin (2007) 55

56 Instrumenttimuuttujamenetelmä Selittäjien satunnaisuus: Kommentteja Myös edellä esitetyt modifioidut ehdot jäännöseli virhetermeille ovat melko rajoittavia ja etenkin aikasarjojen regressiomallien soveltamisen yhteydessä kohdataan tilanteita, joissa eivät edes nämä modifioidut ehdot päde. Tällaisissa tilanteissa PNS-menetelmää ei saa käyttää mallin parametrien estimointiin. Tilastotiede tuntee kuitenkin menetelmiä, joilla regressiomallin parametrit voidaan estimoida (ainakin) tarkentuvasti myös monissa niissä tilanteissa, joissa edellä esitetyt modifioidut ehdot jäännöstermeille eivät päde. TKK (c) Ilkka Mellin (2007) 56

57 Instrumenttimuuttujamenetelmä Instrumenttimuuttujat 1/3 Tarkastellaan nyt tilannetta, jossa yleisen lineaarisen mallin y = Xβ + ε selittäjät x 1, x 2,, x k ovat satunnaismuuttujia ja lisäksi korreloivat mallin jäännöstermin ε kanssa. Tällöin E(ε X) 0 jolloin regressiokertoimien vektorin β PNS-estimaattori b on sekä harhainen että ei-tarkentuva. TKK (c) Ilkka Mellin (2007) 57

58 Instrumenttimuuttujamenetelmä Instrumenttimuuttujat 2/3 Olkoon w ij, i = 1, 2,, n, j = 1, 2,, k muuttujan w j havaittu arvo havaintoyksikössä i. Muodostetaan havaintoarvoista w ij n (k + 1)-matriisi W jossa ensimmäinen sarake on ykkösten muodostama. Oletetaan, että matriisilla W on seuraavat ominaisuudet: (i) E(ε W) = 0 (ii) r(w X) = k + 1 TKK (c) Ilkka Mellin (2007) 58

59 Instrumenttimuuttujamenetelmä Instrumenttimuuttujat 3/3 Tällöin sanomme, että muuttujat w 1, w 2,, w k kelpaavat instrumenteiksi selittäjille x 1, x 2,, x k Muuttujia w 1, w 2,, w k kutsutaan tavallisesti instrumentti- tai välinemuuttujiksi. Huomautuksia: Ehdon (i) mukaan instrumenttimuuttujat w 1, w 2,, w k eivät saa korreloida mallin jäännöstermin ε kanssa. Ehdon (ii) mukaan instrumenttimuuttujien w 1, w 2,, w k pitää korreloida selittäjien x 1, x 2,, x k kanssa niin voimakkaasti, että matriisi W X on epäsingulaarinen. TKK (c) Ilkka Mellin (2007) 59

60 Instrumenttimuuttujamenetelmä Instrumenttimuuttujaestimaattori Määritellään yleisen lineaarisen mallin y = Xβ + ε regressiokertoimien vektorille β instrumenttimuuttujaestimaattori kaavalla 1 biv = ( WX ) Wy Voidaan osoittaa, että instrumenttimuuttujaestimaattori b IV on sopivin, matriisien W W, W X, W ε asymptoottista käyttäytymistä koskevin lisäehdoin regressiokertoimien vektorin β tarkentuva estimaattori. TKK (c) Ilkka Mellin (2007) 60

61 Instrumenttimuuttujamenetelmä Instrumenttimuuttujaestimaattorin stokastiset ominaisuudet Voidaan osoittaa, että instrumenttimuuttujaestimaattorin 1 biv = ( WX ) Wy kovarianssimatriisi on suurissa otoksissa muotoa Cov( biv) = a σ [ XW ( WW ) WX ] jossa σ = εε n k 1 ε = y Xb 2 1 IV TKK (c) Ilkka Mellin (2007) 61