Ilkka Mellin Tilastolliset menetelmät Osa 4: Lineaarinen regressioanalyysi Yleinen lineaarinen malli TKK (c) Ilkka Mellin (2007) 1
Yleinen lineaarinen malli >> Usean selittäjän lineaarinen regressiomalli Yleisen lineaarisen mallin matriisisesitys Yleisen lineaarisen mallin estimointi Varianssianalyysihajotelma ja selitysaste Päättely yleisestä lineaarisesta mallista Ennustaminen yleisellä lineaarisella mallilla Yleinen lineaarinen malli ja satunnaiset selittäjät TKK (c) Ilkka Mellin (2007) 2
Usean selittäjän lineaarinen regressiomalli Selitettävä muuttuja ja selittävät muuttujat Oletetaan, että selitettävän muuttujan y havaittujen arvojen vaihtelu halutaan selittää selittävien muuttujien eli selittäjien x 1, x 2,, x k havaittujen arvojen vaihtelun avulla. Tehdään seuraavat oletukset: Selitettävä muuttuja y on suhdeasteikollinen satunnaismuuttuja. Selittävät muuttujat x 1, x 2,, x k ovat kiinteitä eli eisatunnaisia muuttujia. Huomautus: Satunnaisten selittäjien tapausta käsitellään erikseen. TKK (c) Ilkka Mellin (2007) 3
Usean selittäjän lineaarinen regressiomalli Havainnot 1/3 Olkoot y 1, y 2,, y n selitettävän muuttujan y ja x 1j, x 2j,, x nj selittävän muuttujan x j, j = 1, 2,, k havaittuja arvoja. Oletetaan lisäksi, että havainnot x ij ja y i liittyvät samaan havaintoyksikköön i = 1, 2,, n kaikille j = 1, 2,, k. TKK (c) Ilkka Mellin (2007) 4
Usean selittäjän lineaarinen regressiomalli Havainnot 2/3 Järjestetään selitettävää muuttujaa y ja selittäjiä x 1, x 2,, x k koskevat havaintoarvot havaintoyksiköittäin seuraavalla tavalla: Havaintoyksikkö 1: x 11, x 12,, x 1k, y 1 Havaintoyksikkö 2: x 21, x 22,, x 2k, y 2 Havaintoyksikkö n: x n1, x n2,, x nk, y n Havaintoarvoja voidaan asettaa vastaamaan pisteet (k + 1)- ulotteisessa avaruudessa: ( x, x,, x k+ 1, y ) R, i = 1,2,, n i1 i2 ik j TKK (c) Ilkka Mellin (2007) 5
Usean selittäjän lineaarinen regressiomalli Havainnot 3/3 Havaintopisteen k+ 1 ( xi1, xi2,, xik, yi) R, i = 1,2,, n koordinaateilla on seuraavat tulkinnat: y i = selitettävän muuttujan y satunnainen ja havaittu arvo havaintoyksikössä i x ij = selitettävän muuttujan eli selittäjän x j eisatunnainen ja havaittu arvo havaintoyksikössä i, j = 1, 2,, k k = (aitojen) selittäjien x j lukumäärä n = havaintojen lukumäärä TKK (c) Ilkka Mellin (2007) 6
Usean selittäjän lineaarinen regressiomalli Yleinen lineaarinen malli ja sen osat 1/3 Oletetaan, että muuttujien y ja x 1, x 2,, x k havaittujen arvojen y i ja x ij välillä vallitsee lineaarinen tilastollinen riippuvuus, joka voidaan ilmaista yhtälöllä yi = β0 + β1xi 1+ β2xi2 + + βkxik + εi, i = 1,2,, n Yhtälö määrittelee usean selittäjän lineaarisen regressiomallin, jota kutsutaan tavallisesti yleiseksi lineaariseksi malliksi. TKK (c) Ilkka Mellin (2007) 7
Usean selittäjän lineaarinen regressiomalli Yleinen lineaarinen malli ja sen osat 2/3 Yhtälö yi = β0 + β1xi 1+ β2xi2 + + βkxik + εi, i = 1,2,, n määrittelee yleisen lineaarisen mallin, jossa: y i = selitettävän muuttujan y satunnainen ja havaittu arvo havaintoyksikössä i x ij = selittävän muuttujan eli selittäjän x j eisatunnainen ja havaittu arvo havaintoyksikössä i, j = 1, 2,, k ε i = jäännös- eli virhetermin ε satunnainen ja ei-havaittu arvo havaintoyksikössä i TKK (c) Ilkka Mellin (2007) 8
Usean selittäjän lineaarinen regressiomalli Yleinen lineaarinen malli ja sen osat 3/3 Yhtälön yi = β0 + β1xi 1+ β2xi2 + + βkxik + εi, i = 1,2,, n määrittelemässä yleisessä lineaarisessa mallissa on seuraavat kertoimet: β 0 = vakioselittäjän regressiokerroin; β 0 on ei-satunnainen ja tuntematon vakio β j = selittäjän x j regressiokerroin, j = 1, 2,, k ; β j on ei-satunnainen ja tuntematon vakio Huomautus: Regressiokertoimet β 0, β 1, β 2,, β k on oletettu samoiksi kaikille havaintoyksiköille i. TKK (c) Ilkka Mellin (2007) 9
Usean selittäjän lineaarinen regressiomalli Vakioselittäjä: Kommentti Yleisen lineaarisen mallin yi = β0 + β1xi 1+ β2xi2 + + βkxik + εi, i = 1,2,, n kerrointa β 0 kutsutaan vakioselittäjän regressiokertoimeksi. Nimitys johtuu siitä, että kerrointa β 0 vastaa keinotekoinen selittäjä, joka saa kaikille havaintoyksiköille i = 1, 2,, n vakioarvon 1. Huomautus: Jatkossa esitettävät kaavat eivät välttämättä päde tässä esitettävässä muodossa, jos mallissa ei ole vakioselittäjää. Oletamme jatkossa, että mallissa on aina vakioselittäjä. TKK (c) Ilkka Mellin (2007) 10
Usean selittäjän lineaarinen regressiomalli Standardioletukset 1/2 Olkoon yi = β0 + β1xi 1+ β2xi2 + + βkxik + εi, i = 1,2,, n yleinen lineaarinen malli. Mallista tehdään tavallisesti seuraavalla kalvolla esitettävät 6 oletusta, joita kutsutaan yleistä lineaarista mallia koskeviksi standardioletuksiksi. Näiden oletuksien voimassaolo takaa sen, että jatkossa esiteltäviä ns. tavanomaisia estimointi- ja testausmenetelmiä saa käyttää mallin analysointiin. TKK (c) Ilkka Mellin (2007) 11
Usean selittäjän lineaarinen regressiomalli Standardioletukset 2/2 Yleistä lineaarista mallia yi = β0 + β1xi 1+ β2xi2 + + βkxik + εi, i = 1,2,, n koskevat standardioletukset: (i) Selittäjien x j arvot x ij ovat kiinteitä eli eisatunnaisia vakioita, i = 1, 2,, n, j = 1, 2,, k (ii) Selittäjien välillä ei ole lineaarisia riippuvuuksia. (iii) E(ε i ) = 0, i = 1, 2,, n (iv) Var(ε i ) = σ 2, i = 1, 2,, n (v) Cor(ε i, ε l ) = 0, i l (vi) ε i ~ N(0, σ 2 ), i = 1, 2,, n TKK (c) Ilkka Mellin (2007) 12
Usean selittäjän lineaarinen regressiomalli Standardioletus (i): Kommentteja 1/2 Standardioletus (i): Selittäjän x j arvot x ij ovat kiinteitä eli eisatunnaisia vakioita, i = 1, 2,, n, j = 1, 2,, k On syytä huomata, että tässä luvussa esitettävä lineaaristen regressiomallien perusteoria nojaa voimakkaasti oletukseen (i). Oletus (i) on kuitenkin sangen rajoittava ja se voi toteutua käytännössä vain sellaisissa tilanteissa, joissa selittäjien arvot valitaan. Selittäjien arvot voidaan valita puhtaissa koeasetelmissa, mutta harvoin muunlaisissa tutkimusasetelmissa. TKK (c) Ilkka Mellin (2007) 13
Usean selittäjän lineaarinen regressiomalli Standardioletus (i): Kommentteja 2/2 Standardioletus (i): Selittäjän x j arvot x ij ovat kiinteitä eli eisatunnaisia vakioita, i = 1, 2,, n, j = 1, 2,, k Vaikka standardioletus (i) on sangen rajoittava, tässä luvussa esitettävää lineaaristen regressiomallien perusteoriaa voidaan soveltaa jos sopivat lisäehdot pätevät myös monissa sellaisissa tilanteissa, joissa selittäjien arvot ovat satunnaisia; ks. kappaletta Yleinen lineaarinen malli ja satunnaiset selittäjät. TKK (c) Ilkka Mellin (2007) 14
Usean selittäjän lineaarinen regressiomalli Standardioletus (ii): Kommentteja Standardioletus (ii): Selittäjien välillä ei ole lineaarisia riippuvuuksia Asialooginen perustelu oletukselle (ii): Jos selittäjä x j riippuu lineaarisesti muista selittäjistä, muuttuja x j on selittäjänä redundantti ja voidaan poistaa mallista. Tekninen perustelu oletukselle (ii): Ehto (ii) takaa sen, että pienimmän neliösumman menetelmä tuottaa regressiokertoimille β 0, β 1, β 2,, β k yksikäsitteiset estimaattorit suljetussa muodossa. TKK (c) Ilkka Mellin (2007) 15
Usean selittäjän lineaarinen regressiomalli Standardioletus (iii): Kommentteja Standardioletus (iii): E(ε i ) = 0, i = 1, 2,, n Oletuksen (iii) mukaan kaikilla jäännös- eli virhetermeillä ε i on sama odotusarvo. Oletuksesta (iii) seuraa, että mallin rakenneosan E( y i ) = β0 + β1x i 1+ β2x i 2 + + β k x ik formuloinnissa ei ole tehty systemaattista virhettä. TKK (c) Ilkka Mellin (2007) 16
Usean selittäjän lineaarinen regressiomalli Standardioletus (iv): Kommentteja 1/3 Standardioletus (iv): Var(ε i ) = σ 2, i = 1, 2,, n Oletuksen (iv) mukaan kaikilla jäännös- eli virhetermeillä ε i on sama varianssi. Oletusta (iv) kutsutaan homoskedastisuusoletukseksi. Jos oletus (iv) pätee, jäännöstermejä ε i sanotaan homoskedastisiksi. TKK (c) Ilkka Mellin (2007) 17
Usean selittäjän lineaarinen regressiomalli Standardioletus (iv): Kommentteja 2/3 Standardioletus (iv): Var(ε i ) = σ 2, i = 1, 2,, n Jos oletus (iv) ei päde, jäännöstermejä ε i sanotaan heteroskedastisiksi. Heteroskedastisuus tekee regressiokertoimien tavanomaisista estimaattoreista tehottomia. Homoskedastisuusoletusta voidaan testata tilastollisesti. TKK (c) Ilkka Mellin (2007) 18
Usean selittäjän lineaarinen regressiomalli Standardioletus (iv): Kommentteja 3/3 Standardioletus (iv): Var(ε i ) = σ 2, i = 1, 2,, n Myös jäännös- eli virhetermien ε i yhteinen varianssi σ 2 on mallin parametri ja se kuvaa havaintopisteiden vaihtelua regressiotason ympärillä. Oletuksien (iii) ja (iv) mukaan jäännös- eli virhetermit ε i vaihtelevat satunnaisesti nollan ympärillä. TKK (c) Ilkka Mellin (2007) 19
Usean selittäjän lineaarinen regressiomalli Standardioletus (v): Kommentteja Standardioletus (v): Cor(ε i, ε l ) = 0, i l Oletuksen (v) mukaan jäännös- eli virhetermit ε i eivät korreloi keskenään. Oletusta (v) kutsutaan korreloimattomuusoletukseksi. Jos oletus (v) ei päde, jäännöstermit ε i ovat korreloituneita. Korreloituneisuus tekee regressiokertoimien tavanomaisista estimaattoreista tehottomia ja jopa harhaisia. Korreloimattomuusoletusta voidaan testata tilastollisesti. TKK (c) Ilkka Mellin (2007) 20
Usean selittäjän lineaarinen regressiomalli Standardioletus (vi): Kommentteja Standardioletus (vi): ε i ~ N(0, σ 2 ), i = 1, 2,, n Oletuksen (vi) mukaan jäännös- eli virhetermit ε j ovat normaalijakautuneita. Oletusta (vi) kutsutaan normaalisuusoletukseksi. Oletus (vi) sisältää oletukset (iii) ja (iv). Normaalisuusoletusta voidaan testata tilastollisesti. TKK (c) Ilkka Mellin (2007) 21
Usean selittäjän lineaarinen regressiomalli Standardioletuksien merkitys Oletamme jatkossa, että oletukset (i)-(vi) pätevät. Oletukset (i)-(vi) takaavat sen, että yleisen lineaarisen mallin estimointi ja testaus voidaan tehdä jatkossa esitettävällä tavalla. Homoskedastisuusoletuksen (iv), korreloimattomuusoletuksen (v) ja normaalisuusoletuksen (vi) voimassaoloa voidaan tutkia regressiodiagnostiikan avulla. Oletuksia (i)-(vi) voidaan lieventää tai niistä voidaan jopa luopua, mutta jos oletuksista (i)-(vi) luovutaan, saattaa olla syytä käyttää muita kuin tässä esitettäviä estimointi- ja testausmenetelmiä. TKK (c) Ilkka Mellin (2007) 22
Usean selittäjän lineaarinen regressiomalli Yleisen lineaarisen mallin parametrit Yleisen lineaarisen mallin yi = β0 + β1xi 1+ β2xi2 + + βkxik + εi, i = 1,2,, n parametreja ovat mallin regressiokertoimet β 0, β 1, β 2,, β k sekä jäännös- eli virhetermien ε i yhteinen varianssi 2 Var( εi ) = σ, i = 1,2,, n jota kutsutaan jäännösvarianssiksi. Koska regressiokertoimet β 0, β 1, β 2,, β k ja jäännösvarianssi σ 2 ovat tavallisesti tuntemattomia, ne on estimoitava muuttujien x 1, x 2,, x k ja y havaituista arvoista. TKK (c) Ilkka Mellin (2007) 23
Usean selittäjän lineaarinen regressiomalli Selitettävän muuttujan ominaisuudet Jos yleistä lineaarista mallia yi = β0 + β1xi 1+ β2xi2 + + βkxik + εi, i = 1,2,, n koskevat standardioletukset (i)-(vi) pätevät, mallin selitettävän muuttujan y havaituilla arvoilla y i on seuraavat stokastiset ominaisuudet: (iii) E( yi) = β0 + β1xi 1+ β2xi2 + + βkxik, i = 1,2,, n (iv) Var(y i ) = σ 2, i = 1, 2,, n (v) Cor(y i, y l ) = 0, i l (vi) y i ~ N(E(y i ), σ 2 ), i = 1, 2,, n TKK (c) Ilkka Mellin (2007) 24
Usean selittäjän lineaarinen regressiomalli Mallin systemaattinen osa ja satunnainen osa 1/2 Oletetaan, että yleistä lineaarista mallia yi = β0 + β1xi 1+ β2xi2 + + βkxik + εi, i = 1,2,, n koskevat standardioletukset (i)-(v) pätevät. Tällöin selitettävän muuttujan y havaitut arvot y i voidaan esittää seuraavalla tavalla kahden osatekijän summana: yi = E( yi) + εi, i = 1,2,, n jossa E( y ) = β + β x + β x + + β x, i = 1,2,, n i 0 1 i1 2 i2 k ik TKK (c) Ilkka Mellin (2007) 25
Usean selittäjän lineaarinen regressiomalli Mallin systemaattinen osa ja satunnainen osa 2/2 Odotusarvo E( y i ) = β0 + β1x i 1+ β2x i 2 + + β k x ik muodostaa yleisen lineaarisen mallin systemaattisen eli rakenneosan, joka riippuu selittäjille x j annetuista arvoista. Jäännös- eli virhetermi ε i muodostaa yleisen lineaarisen mallin satunnaisen osan, joka standardioletusten pätiessä ei riipu selittäjille x j annetuista arvoista. TKK (c) Ilkka Mellin (2007) 26
Usean selittäjän lineaarinen regressiomalli Regressiotaso Yleisen lineaarisen mallin yi = β0 + β1xi 1+ β2xi2 + + βkxik + εi, i = 1,2,, n systemaattinen osa E(y i ) määrittelee tason y = β0 + β1x1+ β2x2 + + βkxk k+1 avaruudessa. Tasoa kutsutaan regressiotasoksi. Jäännös- eli virhetermien ε i varianssi σ 2 kuvaa havaintopisteiden k+ 1 ( xi1, xi2,, xik, yi) R, i = 1,2,, n vaihtelua regressiotason ympärillä. TKK (c) Ilkka Mellin (2007) 27
Usean selittäjän lineaarinen regressiomalli Regressiokertoimien tulkinta Yleisen lineaarisen mallin määrittelemän regressiotason y = β0 + β1x1+ β2x2 + + βkxk kertoimilla β j, j = 1, 2,, k on seuraavat tulkinnat: Oletetaan, että selittäjän x j, j = 1, 2,, k arvo kasvaa yhdellä yksiköllä: x j x j + 1 ja kaikkien muiden selittäjien arvot pysyvät muuttumattomina. Tällöin kerroin β j kertoo paljonko selitettävän muuttujan y vastaava odotettavissa oleva arvo muuttuu: E(y) E(y) + β j TKK (c) Ilkka Mellin (2007) 28
Yleinen lineaarinen malli Usean selittäjän lineaarinen regressiomalli >> Yleisen lineaarisen mallin matriisisesitys Yleisen lineaarisen mallin estimointi Varianssianalyysihajotelma ja selitysaste Päättely yleisestä lineaarisesta mallista Ennustaminen yleisellä lineaarisella mallilla Yleinen lineaarinen malli ja satunnaiset selittäjät TKK (c) Ilkka Mellin (2007) 29
Yleisen lineaarisen mallin matriisiesitys Yleinen lineaarinen malli ja sen osat 1/2 Olkoon yi = β0 + β1xi 1+ β2xi2 + + βkxik + εi, i = 1,2,, n yleinen lineaarinen malli, jossa y i = selitettävän muuttujan y satunnainen ja havaittu arvo havaintoyksikössä i x ij = selittävän muuttujan eli selittäjän x j eisatunnainen ja havaittu arvo havaintoyksikössä i, j = 1, 2,, k ε i = jäännös- eli virhetermin ε satunnainen ja ei-havaittu arvo havaintoyksikössä i TKK (c) Ilkka Mellin (2007) 30
Yleisen lineaarisen mallin matriisiesitys Yleinen lineaarinen malli ja sen osat 2/2 Yleisessä lineaarisessa mallissa yi = β0 + β1xi 1+ β2xi2 + + βkxik + εi, i = 1,2,, n on seuraavat kertoimet: β 0 = vakioselittäjän regressiokerroin; β 0 on ei-satunnainen ja tuntematon vakio β j = selittäjän x j regressiokerroin; j = 1, 2,, k β j on ei-satunnainen ja tuntematon vakio TKK (c) Ilkka Mellin (2007) 31
Yleisen lineaarisen mallin matriisiesitys Selitettävän muuttujan arvojen matriisi Olkoon y1 y 2 y = ( y1, y2,, yn ) = y n selitettävän muuttujan y havaittujen arvojen y i, i = 1, 2,, n muodostama n-vektori. TKK (c) Ilkka Mellin (2007) 32
Yleisen lineaarisen mallin matriisiesitys Selittävien muuttujien arvojen matriisi Olkoon 1 x11 x12 x1 k 1 x21 x22 x 2k X = 1 xn 1 xn2 x nk selittävien muuttujien x 1, x 2,, x k havaittujen arvojen x ij, i = 1, 2,, n, j = 1, 2,, k ja ykkösten muodostama n (k + 1)-matriisi. Matriisin X ykkösten muodostama 1. sarake vastaa mallin vakioselittäjää. TKK (c) Ilkka Mellin (2007) 33
Yleisen lineaarisen mallin matriisiesitys Regressiokertoimien matriisi Olkoon β0 β 1 β = ( β0, β1, β2,, βk ) = β2 βk regressiokertoimien β 0, β 1, β 2,, β k muodostama (k + 1)-vektori, jossa β 0 = vakioselittäjän regressiokerroin β j = selittäjän x j regressiokerroin, j = 1, 2,, k TKK (c) Ilkka Mellin (2007) 34
Yleisen lineaarisen mallin matriisiesitys Jäännöstermien matriisi Olkoon ε 2 = ( ε1, ε2,, εn) = jäännöstermien ε i, i = 1, 2,, n muodostama n-vektori. ε1 ε ε n TKK (c) Ilkka Mellin (2007) 35
Yleisen lineaarisen mallin matriisiesitys Yleisen lineaarisen mallin matriisiesitys Yleinen lineaarinen malli voidaan esittää matriisein muodossa y = Xβ + ε jossa y = selitettävän muuttujan y havaittujen arvojen muodostama satunnainen n-vektori X = selittäjien x 1, x 2,, x k havaittujen arvojen ja ykkösten muodostama n (k + 1)-matriisi β = regressiokertoimien muodostama tuntematon ja kiinteä eli ei-satunnainen (k + 1)-vektori ε = jäännöstermien muodostama ei-havaittu ja satunnainen n-vektori TKK (c) Ilkka Mellin (2007) 36
Yleisen lineaarisen mallin matriisiesitys Standardioletukset Jos yleisen lineaarisen mallin y = Xβ + ε selittäjät x 1, x 2,, x k ovat kiinteitä eli ei-satunnaisia muuttujia, mallia koskevat standardioletukset voidaan esittää matriisein seuraavassa muodossa: (i) Matriisin X alkiot ovat kiinteitä eli ei-satunnaisia vakioita (ii) Matriisi X on täysiasteinen: r(x) = k + 1 (iii) E( ε) = 0 2 (iv)&(v) Cov( ε) = σ I 2 (vi) ε N (, 0 σ I) n TKK (c) Ilkka Mellin (2007) 37
Yleisen lineaarisen mallin matriisiesitys Odotusarvovektori Olkoon z = (z 1, z 2,, z p ) satunnaismuuttujien z 1, z 2,, z p muodostama p-vektori. Määritellään satunnaisvektorin z odotusarvovektori µ kaavalla µ = E( z ) = (E( z1),e( z2),,e( z p )) p-vektorin µ = E(z) j. alkio µ j on satunnaismuuttujan z j odotusarvo: µ = E( z ), j = 1,2,, p j j TKK (c) Ilkka Mellin (2007) 38
Yleisen lineaarisen mallin matriisiesitys Kovarianssimatriisi Olkoon z = (z 1, z 2,, z p ) satunnaismuuttujien z 1, z 2,, z p muodostama p-vektori. Määritellään satunnaisvektorin z kovarianssimatriisi Σ kaavalla Σ = Cov( z) = E [( z E( z))( z E( z)) ] p p-matriisin Σ = Cov(z) j. rivin ja l. sarakkeen alkio σ jl on satunnaismuuttujien z j ja z l kovarianssi: σ = Cov( z, z ) jl j l = E ( z j E( zj))( zl E( zl)) TKK (c) Ilkka Mellin (2007) 39
Yleinen lineaarinen malli Usean selittäjän lineaarinen regressiomalli Yleisen lineaarisen mallin matriisisesitys >> Yleisen lineaarisen mallin parametrien estimointi Varianssianalyysihajotelma ja selitysaste Päättely yleisestä lineaarisesta mallista Ennustaminen yleisellä lineaarisella mallilla Yleinen lineaarinen malli ja satunnaiset selittäjät TKK (c) Ilkka Mellin (2007) 40
Yleisen lineaarisen mallin parametrien estimointi Yleinen lineaarinen malli ja sen osat 1/2 Olkoon yi = β0 + β1xi 1+ β2xi2 + + βkxik + εi, i = 1,2,, n yleinen lineaarinen malli, jossa y i = selitettävän muuttujan y satunnainen ja havaittu arvo havaintoyksikössä i x ij = selittävän muuttujan eli selittäjän x j eisatunnainen ja havaittu arvo havaintoyksikössä i, j = 1, 2,, k ε i = jäännös- eli virhetermin ε satunnainen ja ei-havaittu arvo havaintoyksikössä i TKK (c) Ilkka Mellin (2007) 41
Yleisen lineaarisen mallin parametrien estimointi Yleinen lineaarinen malli ja sen osat 2/2 Yleisessä lineaarisessa mallissa yi = β0 + β1xi 1+ β2xi2 + + βkxik + εi, i = 1,2,, n on seuraavat kertoimet: β 0 = vakioselittäjän regressiokerroin; β 0 on ei-satunnainen ja tuntematon vakio β j = selittäjän x i regressiokerroin; j = 1, 2,, k β j on ei-satunnainen ja tuntematon vakio TKK (c) Ilkka Mellin (2007) 42
Yleisen lineaarisen mallin parametrien estimointi Yleisen lineaarisen mallin matriisiesitys Yleinen lineaarinen malli voidaan esittää matriisein muodossa y = Xβ + ε jossa y = selitettävän muuttujan y havaittujen arvojen muodostama satunnainen n-vektori X = selittäjien x 1, x 2,, x k havaittujen arvojen ja ykkösten muodostama n (k + 1)-matriisi β = regressiokertoimien muodostama tuntematon ja kiinteä eli ei-satunnainen (k + 1)-vektori ε = jäännöstermien muodostama ei-havaittu ja satunnainen n-vektori TKK (c) Ilkka Mellin (2007) 43
Yleisen lineaarisen mallin parametrien estimointi Standardioletukset Jos yleisen lineaarisen mallin y = Xβ + ε selittäjät x 1, x 2,, x k ovat kiinteitä eli ei-satunnaisia muuttujia, mallia koskevat standardioletukset voidaan esittää matriisein seuraavassa muodossa: (i) Matriisin X alkiot ovat kiinteitä eli ei-satunnaisia vakioita (ii) Matriisi X on täysiasteinen: r(x) = k + 1 (iii) E( ε) = 0 2 (iv)&(v) Cov( ε) = σ I 2 (vi) ε N (, 0 σ I) n TKK (c) Ilkka Mellin (2007) 44
Yleisen lineaarisen mallin parametrien estimointi Regressiokertoimien PNS-estimointi 1/3 Yleisen lineaarisen mallin yi = β0 + β1xi 1+ β2xi2 + + βkxik + εi, i = 1,2,, n regressiokertoimet β 0, β 1, β 2,, β k estimoidaan tavallisesti pienimmän neliösumman (PNS-) menetelmällä. PNS-menetelmässä regressiokertoimien β 0, β 1, β 2,, β k estimaattorit määrätään minimoimalla jäännös- eli virhetermien ε i neliösumma n n 2 2 εi = ( yi β0 β1xi1 β2xi2 βkxik) i= 1 i= 1 regressiokertoimien β 0, β 1, β 2,, β k suhteen. TKK (c) Ilkka Mellin (2007) 45
Yleisen lineaarisen mallin parametrien estimointi Regressiokertoimien PNS-estimointi 2/3 Neliösumman n n 2 2 εi = ( yi β0 β1xi1 β2xi2 βkxik) i= 1 i= 1 minimointi voidaan tehdä derivoimalla neliösumma regressiokertoimien β 0, β 1, β 2,, β k suhteen ja merkitsemällä derivaatat nolliksi. Tämä johtaa regressiokertoimien β 0, β 1, β 2,, β k suhteen lineaariseen yhtälöryhmään, jossa on (k + 1) yhtälöä. Yhtälöryhmällä on ratkaisu, jos standardioletus (ii) pätee. TKK (c) Ilkka Mellin (2007) 46
Yleisen lineaarisen mallin parametrien estimointi Regressiokertoimien PNS-estimointi 3/3 Yhtälöryhmän ratkaisuina saadaan regressiokertoimien β 0, β 1, β 2,, β k PNS-estimaattorit, joita merkitään vastaavilla latinalaisilla kirjaimilla: b j = kertoimen β j PNS-estimaattori, j = 0, 1, 2,, k Regressiokertoimien β 0, β 1, β 2,, β k PNSestimaattoreiden b 0, b 1, b 2,, b k lausekkeet on mukavinta esittää matriisimuodossa. TKK (c) Ilkka Mellin (2007) 47
Yleisen lineaarisen mallin parametrien estimointi Regressiokertoimien PNS-estimaattoreiden matriisiesitys Olkoon y = Xβ + ε standardioletuksen (ii) r(x) = k + 1 toteuttava yleinen lineaarinen malli. Tällöin regressiokertoimien vektorin β PNS-estimaattori on b= ( XX ) 1 Xy TKK (c) Ilkka Mellin (2007) 48
Yleisen lineaarisen mallin parametrien estimointi PNS-estimaattorin odotusarvo ja kovarianssimatriisi Olkoon b= ( XX ) 1 Xy yleisen lineaarisen mallin y = Xβ + ε regressiokertoimien vektorin β PNS-estimaattori. Jos standardioletukset (i)-(v) pätevät, E( b) = β 2 1 Cov( b) = σ ( XX ) Koska E(b) = β, niin PNS-estimaattori b on regressiokertoimien vektorin β harhaton estimaattori. TKK (c) Ilkka Mellin (2007) 49
Yleisen lineaarisen mallin parametrien estimointi PNS-estimaattorin normaalisuus Olkoon b= ( XX ) 1 Xy yleisen lineaarisen mallin y = Xβ + ε regressiokertoimien vektorin β PNS-estimaattori. Jos standardioletukset (i)-(vi) pätevät, 2 1 b N β, σ ( XX) ( ) k+ 1 TKK (c) Ilkka Mellin (2007) 50
Yleisen lineaarisen mallin parametrien estimointi PNS-estimaattorin paremmuus: Gaussin ja Markovin lause Olkoon y = Xβ + ε yleinen lineaarinen malli, joka toteuttaa standardioletukset (i)-(v). Tällöin pätee Gaussin ja Markovin lause: Regressiokertoimien vektorin β PNS-estimaattori b= ( XX ) 1 Xy on paras (siinä mielessä, että se on tehokkain) vektorin β lineaaristen ja harhattomien estimaattoreiden joukossa. TKK (c) Ilkka Mellin (2007) 51
Yleisen lineaarisen mallin parametrien estimointi PNS-estimaattorin paremmuus: Gaussin ja Markovin lauseen tulkinta 1/3 Regressiokertoimien vektorin β PNS-estimaattorin b paremmuudella tarkoitetaan Gaussin ja Markovin lauseessa seuraavaa: Olkoon b * on mikä tahansa toinen regressiokertoimien vektorin β lineaarinen ja harhaton estimaattori, niin tällöin * Cov( b ) Cov( b) TKK (c) Ilkka Mellin (2007) 52
Yleisen lineaarisen mallin parametrien estimointi PNS-estimaattorin paremmuus: Gaussin ja Markovin lauseen tulkinta 2/3 Merkintä * Cov( b ) Cov( b) tarkoittaa sitä, että erotus * Cov( b ) Cov( b) on positiivisesti semidefiniitti matriisi eli * a Cov( b ) Cov( b) a 0 kaikille a 0 ( ) TKK (c) Ilkka Mellin (2007) 53
Yleisen lineaarisen mallin parametrien estimointi PNS-estimaattorin paremmuus: Gaussin ja Markovin lauseen tulkinta 3/3 Epäyhtälöstä ( * a Cov( b ) Cov( b) ) a 0 kaikille a 0 seuraa erityisesti se, että yksittäisten regressiokertoimien PNS-estimaattoreiden b j, j = 0, 1, 2,, k varianssit ovat pienimpiä mahdollisia lineaaristen ja harhattomien estimaattoreiden joukossa. Tämä nähdään valitsemalla vektoriksi a vektori, jossa ainoa nollasta poikkeava alkio 1 on paikassa j: a = (0,,0,1,0,,0) j. TKK (c) Ilkka Mellin (2007) 54
Yleisen lineaarisen mallin parametrien estimointi PNS-estimaattorin ominaisuudet Yleisen lineaarisen mallin y = Xβ + ε regressiokertoimien vektorin β PNS-estimaattorilla b on standardioletuksien (i)-(vi) pätiessä seuraavat ominaisuudet: (1) b on harhaton. (2) b paras (eli tehokkain) lineaaristen ja harhattomien estimaattoreiden joukossa. (3) b on tyhjentävä. (4) b on (sopivin lisäehdoin) tarkentuva. (5) b on normaalinen. TKK (c) Ilkka Mellin (2007) 55
Yleisen lineaarisen mallin parametrien estimointi Sovitteet Olkoot yleisen lineaarisen mallin yi = β0 + β1xi 1+ β2xi2 + + βkxik + εi, i = 1,2,, n regressiokertoimien PNS-estimaattorit b 0, b 1, b 2,, b k. Sovite yˆi = b0 + bx 1 i 1+ b2x i 2 + + b k x ik, i = 1,2,, n on estimoidun mallin selitettävälle muuttujalle y antama arvo havaintopisteessä ( xi1, xi2,, xik) Jos standardioletukset (i)-(v) pätevät, E( y ) = β + β x + β x + + β x, i = 1,2,, n ˆi 0 1 i 1 2 i 2 k ik TKK (c) Ilkka Mellin (2007) 56
Yleisen lineaarisen mallin parametrien estimointi Residuaalit Olkoot yleisen lineaarisen mallin yi = β0 + β1xi 1+ β2xi2 + + βkxik + εi, i = 1,2,, n regressiokertoimien PNS-estimaattorit b 0, b 1, b 2,, b k. Residuaali ei = yi yˆ i = yi b0 bx 1 i1 b2xi2 bkxik, i = 1,2,, n on selitettävän muuttujan y havaitun arvon y i ja sovitteen y erotus. ˆi Jos standardioletukset (i)-(v) pätevät, E( e ) = 0, i = 1,2,, n i TKK (c) Ilkka Mellin (2007) 57
Yleisen lineaarisen mallin parametrien estimointi Sovitteet, residuaalit ja regressiomallin hyvyys Regressiomallin hyvyyden tutkimisessa voidaan käyttää hyväksi estimoidun mallin sovitteita ja residuaaleja : (i) Regressiomalli selittää selitettävän muuttujan havaittujen arvojen vaihtelun sitä paremmin mitä lähempänä estimoidun mallin sovitteet yˆi ovat selitettävän muuttujan havaittuja arvoja y i. (ii) Regressiomalli selittää selitettävän muuttujan havaittujen arvojen vaihtelun sitä paremmin mitä pienempiä ovat estimoidun mallin residuaalit e i. TKK (c) Ilkka Mellin (2007) 58
Yleisen lineaarisen mallin parametrien estimointi Sovitteiden ja residuaalien matriisiesitykset 1/2 Olkoon b= ( XX ) 1 Xy yleisen lineaarisen mallin y = Xβ + ε regressiokertoimien vektorin β PNS-estimaattori. Tällöin yˆ = Xb = X( X X) 1 X y = Py on sovitteiden yˆ i, i = 1,2,, n muodostama n-vektori ja 1 e = y yˆ = ( I X( XX ) X ) y = ( I P) y = My on residuaalien e i, i = 1, 2,, n muodostama n-vektori. TKK (c) Ilkka Mellin (2007) 59
Yleisen lineaarisen mallin parametrien estimointi Sovitteiden ja residuaalien matriisiesitykset 2/2 Sovitteiden ja residuaalien muodostamien vektoreiden lausekkeissa esiintyvät n n-matriisit 1 P= X( XX ) X 1 M = I P= I X( XX ) X ovat symmetrisiä ja idempotentteja eli projektioita: 2 P = P P = P 2 M = M M = M Lisäksi PM = MP = 0 Näillä matriiseja P ja M koskevilla tuloksilla on keskeinen merkitys johdettaessa lineaarisen mallin estimointiin ja testaukseen liittyviä jakaumatuloksia. TKK (c) Ilkka Mellin (2007) 60
Yleisen lineaarisen mallin parametrien estimointi Sovitteiden ja residuaalien ominaisuudet Sovitteiden ja residuaalien muodostamilla vektoreilla on seuraavat stokastiset ominaisuudet: Sovitteiden muodostama vektori ŷ : E( yˆ ) = Xβ 2 2 1 Cov( yˆ ) = σ P = σ X( XX ) X Residuaalien muodostama vektori e : E( e) = 0 2 2 2 1 Cov( e) = σ M = σ ( I P) = σ ( I X( XX ) X ) Huomautus: Residuaalit e i ovat siis (lievästi) korreloituneita, vaikka jäännöstermit ε i on oletettu korreloimattomiksi. TKK (c) Ilkka Mellin (2007) 61
Yleisen lineaarisen mallin parametrien estimointi Jäännösvarianssin estimointi Jos yleisen lineaarisen mallin jäännös-eli virhetermejä ε i koskevat standardioletukset (i)-(v) pätevät, jäännösvarianssin Var(ε i ) = σ 2 harhaton estimaattori on n 2 1 2 s = ei n k 1 i= 1 jossa e i = estimoidun mallin residuaali, i = 1, 2,, n n = havaintojen lukumäärä k = (aitojen) selittäjien x j lukumäärä TKK (c) Ilkka Mellin (2007) 62
Yleisen lineaarisen mallin parametrien estimointi Jäännösvarianssin estimointi: Kommentti Estimaattori s 2 on residuaalien e i varianssi. Tämä seuraa siitä, että mallissa on vakioselittäjä, jolloin n i= 1 e i = 0 ja siten myös n 1 e = ei = 0 n i = 1 jolloin s 1 e e 1 e n 2 ( ) 2 n 2 = i = i n k 1 i= 1 n k 1 i= 1 TKK (c) Ilkka Mellin (2007) 63
Yleisen lineaarisen mallin parametrien estimointi Estimoitu regressiotaso Yleisen lineaarisen mallin yi = β0 + β1xi 1+ β2xi2 + + βkxik + εi, i = 1,2,, n regressiokertoimien β 0, β 1, β 2,, β k PNS-estimaattorit b 0, b 1, b 2,, b k määrittelevät tason y = b0 + bx 1 1+ b2x2 + + bkxk k+1 avaruudessa. Tasoa kutsutaan estimoiduksi regressiotasoksi. Jäännösvarianssin σ 2 estimaattori s 2 kuvaa havaintopisteiden k+ 1 ( xi1, xi2,, xik, yi) R, i = 1,2,, n vaihtelua estimoidun regressiotason ympärillä. TKK (c) Ilkka Mellin (2007) 64
Yleinen lineaarinen malli Usean selittäjän lineaarinen regressiomalli Yleisen lineaarisen mallin matriisisesitys Yleisen lineaarisen mallin estimointi >> Varianssianalyysihajotelma ja selitysaste Päättely yleisestä lineaarisesta mallista Ennustaminen yleisellä lineaarisella mallilla Yleinen lineaarinen malli ja satunnaiset selittäjät TKK (c) Ilkka Mellin (2007) 65
Varianssianalyysihajotelma ja selitysaste Varianssianalyysihajotelman idea Regressiomallin tehtävänä on selittää selitettävän muuttujan y havaittujen arvojen vaihtelu selittävien muuttujien x 1, x 2,, x k havaittujen arvojen vaihtelulla. Tämän tehtävän onnistumista voidaan kuvata ns. varianssianalyysihajotelman avulla. Hajotelmassa selitettävän muuttujan y havaittujen arvojen kokonaisvaihtelua kuvaava ns. kokonaisneliösumma jaetaan kahden osatekijän summaksi: (i) Toinen osatekijä kuvaa estimoidun mallin selittämää osaa kokonaisvaihtelusta. (ii) Toinen osatekijä kuvaa mallilla selittämättä jäänyttä osaa kokonaisvaihtelusta. TKK (c) Ilkka Mellin (2007) 66
Varianssianalyysihajotelma ja selitysaste Sovitteet Olkoot yleisen lineaarisen mallin yi = β0 + β1xi 1+ β2xi2 + + βkxik + εi, i = 1,2,, n regressiokertoimien PNS-estimaattorit b 0, b 1, b 2,, b k. Sovite yˆi = b0 + bx 1 i 1+ b2x i 2 + + b k x ik, i = 1,2,, n on estimoidun mallin selitettävälle muuttujalle y antama arvo havaintopisteessä ( x, x,, x ), i = 1,2,, n i1 i2 ik TKK (c) Ilkka Mellin (2007) 67
Varianssianalyysihajotelma ja selitysaste Residuaalit Olkoot yleisen lineaarisen mallin yi = β0 + β1xi 1+ β2xi2 + + βkxik + εi, i = 1,2,, n regressiokertoimien PNS-estimaattorit b 0, b 1, b 2,, b k. Residuaali ei = yi yˆ i = yi b0 bx 1 i1 b2xi2 bkxik, i = 1,2,, n on selitettävän muuttujan y havaitun arvon y i ja sovitteen y erotus. ˆi TKK (c) Ilkka Mellin (2007) 68
Varianssianalyysihajotelma ja selitysaste Kokonaisneliösumma Yleisen lineaarisen mallin selitettävän muuttujan y havaittujen arvojen y i vaihtelun mittaaminen perustuu kokonaisneliösummaan n SST = ( yi y) i= 1 2 jossa y on selitettävän muuttujan y havaittujen arvojen y i aritmeettinen keskiarvo. Selitettävän muuttujan y havaittujen arvojen y i varianssi voidaan määritellä kaavalla 2 SST sy = n 1 TKK (c) Ilkka Mellin (2007) 69
Varianssianalyysihajotelma ja selitysaste Jäännösneliösumma Residuaalien e i vaihtelun mittaaminen perustuu jäännösneliösummaan SSE n = e i= 1 2 i Koska mallissa on vakioselittäjä, jolloin e i = 0, residuaalien e i varianssi voidaan määritellä kaavalla 2 SSE s = n k 1 Koska E(s 2 ) = σ 2 niin estimaattori s 2 on harhaton jäännösvarianssille σ 2. TKK (c) Ilkka Mellin (2007) 70
Varianssianalyysihajotelma ja selitysaste Mallineliösumma Voidaan osoittaa, että jäännösneliösumma on korkeintaan yhtä suuri kuin kokonaisneliösumma: SSE SST Määritellään erotus SSM = SST SSE Koska n SSM = ( yˆ i y) i= 1 2 jossa y on selitettävän muuttujan y havaittujen arvojen y i aritmeettinen keskiarvo, erotusta SSM kutsutaan mallineliösummaksi. TKK (c) Ilkka Mellin (2007) 71
Varianssianalyysihajotelma ja selitysaste Varianssianalyysihajotelma 1/2 Edellä esitetyn mukaan kokonaisneliösumma voidaan esittää kahden osatekijän SSM ja SSE summana: jossa ja SST = ( yi y) SST = SSM + SSE SSE n i= 1 SSM = ( yˆ i y) i= 1 n n = e i= 1 2 i 2 2 TKK (c) Ilkka Mellin (2007) 72
Varianssianalyysihajotelma ja selitysaste Varianssianalyysihajotelma 2/2 Varianssianalyysihajotelmassa SST = SSM + SSE selitettävän muuttujan y havaittujen arvojen vaihtelua kuvaava kokonaisneliösumma SST on esitetty kahden osatekijän SSM ja SSE summana: (i) Mallineliösumma SSM kuvaa sitä osaa selitettävän muuttujan y havaittujen arvojen vaihtelusta, jonka estimoitu malli on selittänyt. (ii) Jäännösneliösumma SSE kuvaa sitä osaa selitettävän muuttujan y havaittujen arvojen vaihtelusta, jota estimoitu malli ei ole selittänyt. TKK (c) Ilkka Mellin (2007) 73
Varianssianalyysihajotelma ja selitysaste Varianssianalyysihajotelman tulkinta Varianssianalyysihajotelma SST = SSM + SSE kuvaa estimoidun regressiomallin hyvyyttä: (i) Mitä suurempi on mallineliösumman SSM osuus kokonaisneliösummasta SST, sitä paremmin estimoitu malli selittää selitettävän muuttujan havaittujen arvojen vaihtelun. (ii) Mitä pienempi on jäännösneliösumman SSE osuus kokonaisneliösummasta SST, sitä paremmin estimoitu malli selittää selitettävän muuttujan havaittujen arvojen vaihtelun. TKK (c) Ilkka Mellin (2007) 74
Varianssianalyysihajotelma ja selitysaste Selitysaste Varianssianalyysihajotelma SST = SSM + SSE motivoi tunnusluvun 2 SSE SSM R = 1 = SST SST käytön regressiomallin hyvyyden mittarina. Tunnuslukua R 2 kutsutaan selitysasteeksi ja se mittaa regressiomallin selittämää osuutta selitettävän muuttujan havaintoarvojen kokonaisvaihtelusta. Selitysaste ilmaistaan tavallisesti prosentteina: 100 R 2 % TKK (c) Ilkka Mellin (2007) 75
Varianssianalyysihajotelma ja selitysaste Selitysaste ja korrelaatio Voidaan osoittaa, että selitysaste 2 R = [ Cor( y, yˆ )] 2 jossa Cor( yy, ˆ) on selitettävän muuttujan y havaittujen arvojen y j ja sovitteiden y otoskorrelaatiokerroin. ˆ j TKK (c) Ilkka Mellin (2007) 76
Varianssianalyysihajotelma ja selitysaste Selitysasteen ominaisuudet 1/2 Selitysasteella R 2 on seuraavat ominaisuudet: 2 (i) 0 R 1 (ii) Seuraavat ehdot ovat yhtäpitäviä: (1) R 2 = 1 (2) Kaikki residuaalit häviävät: e i = 0 kaikille i = 1, 2,, n (3) Kaikki havaintopisteet ( xi1, xi2,, xik, yi), i = 1,2,, n asettuvat samalle tasolle. (4) Malli selittää täydellisesti selitettävän muuttujan arvojen vaihtelun. TKK (c) Ilkka Mellin (2007) 77
Varianssianalyysihajotelma ja selitysaste Selitysasteen ominaisuudet 2/2 (iii) Seuraavat ehdot ovat yhtäpitäviä: (1) R 2 = 0 (2) b 1 = b 2 = = b k = 0 (3) Malli ei ollenkaan selitä selitettävän muuttujan arvojen vaihtelua. TKK (c) Ilkka Mellin (2007) 78
Yleinen lineaarinen malli Usean selittäjän lineaarinen regressiomalli Yleisen lineaarisen mallin matriisisesitys Yleisen lineaarisen mallin estimointi Varianssianalyysihajotelma ja selitysaste >> Päättely yleisestä lineaarisesta mallista Ennustaminen yleisellä lineaarisella mallilla Yleinen lineaarinen malli ja satunnaiset selittäjät TKK (c) Ilkka Mellin (2007) 79
Päättely yleisestä lineaarisesta mallista Mallia koskeva tilastollinen päättely Tässä kappaleessa tarkastellaan seuraavia yleistä lineaarista mallia koskevia päättelyn ongelmia: Regressiokertoimien estimaattoreiden odotusarvot ja varianssit Regressiokertoimien estimaattoreiden otosjakaumat Regressiokertoimien luottamusvälit Yleistesti regression olemassaololle Testit regressiokertoimille TKK (c) Ilkka Mellin (2007) 80
Päättely yleisestä lineaarisesta mallista Yleinen lineaarinen malli ja sen osat Yleisessä lineaarisessa mallissa y = Xβ + ε on seuraavat osat: y = selitettävän muuttujan y havaittujen arvojen muodostama satunnainen n-vektori X = selittäjien x 1, x 2,, x k havaittujen arvojen ja ykkösten muodostama n (k + 1)-matriisi β = regressiokertoimien muodostama tuntematon ja kiinteä eli ei-satunnainen (k + 1)-vektori ε = jäännöstermien muodostama ei-havaittu ja satunnainen n-vektori TKK (c) Ilkka Mellin (2007) 81
Päättely yleisestä lineaarisesta mallista Standardioletukset Jos yleisen lineaarisen mallin y = Xβ + ε selittäjät x 1, x 2,, x k ovat kiinteitä eli ei-satunnaisia muuttujia, mallia koskevat standardioletukset voidaan esittää matriisein seuraavassa muodossa: (i) Matriisin X alkiot ovat kiinteitä eli ei-satunnaisia vakioita (ii) (iii) (iv)&(v) (vi) Matriisi X on täysiasteinen: r(x) = k + 1 E( ε) = 0 Cov( ε) 2 = σ I ε 0 I 2 N n(, σ ) TKK (c) Ilkka Mellin (2007) 82
Päättely yleisestä lineaarisesta mallista Regressiokertoimien PNS-estimointi Yleisen lineaarisen mallin y = Xβ + ε regressiokertoimien vektorin β PNS-estimaattori on b= ( XX ) 1 Xy TKK (c) Ilkka Mellin (2007) 83
Päättely yleisestä lineaarisesta mallista PNS-estimaattorin otosjakauma 1/2 Jos standardioletukset (i)-(v) pätevät, regressiokertoimien vektorin β PNS-estimaattorilla b= ( XX ) 1 Xy on seuraavat stokastiset ominaisuudet: E( b) = β 2 1 Cov( b) = σ ( XX ) Jos myös standardioletus (vi) pätee, PNS-estimaattori b noudattaa normaalijakaumaa: 2 1 b N ( β, σ ( XX) ) k+ 1 TKK (c) Ilkka Mellin (2007) 84
Päättely yleisestä lineaarisesta mallista PNS-estimaattorin otosjakauma 2/2 Jos standardioletukset (i)-(v) pätevät, regressiokertoimen β j, j = 0, 1, 2,, k PNS-estimaattorilla b j on seuraavat stokastiset ominaisuudet: E( b ) = β j j 2 2 2 1 D( bj) = σb = σ ( ) j XX j+ 1, j+ 1 Jos myös standardioletus (vi) pätee, PNS-estimaattori b j noudattaa normaalijakaumaa: 2 b N( β, σ ) j j b j TKK (c) Ilkka Mellin (2007) 85
Päättely yleisestä lineaarisesta mallista PNS-estimaattoreiden varianssien estimointi Jos standardioletukset (i)-(v) pätevät, regressiokertoimen β j, j = 0, 1, 2,, k PNS-estimaattorin b j varianssin D( b ) = σ = σ ( XX ) 2 2 2 1 j bj j+ 1, j+ 1 harhaton estimaattori on 2 2 1 ˆD ( bj ) = s ( XX ) j+ 1, j+ 1 jossa n 2 1 2 s = ei n k 1 i= 1 on jäännösvarianssin σ 2 harhaton estimaattori. TKK (c) Ilkka Mellin (2007) 86
Päättely yleisestä lineaarisesta mallista PNS-estimaattoreiden luottamusvälit Jos standardioletukset (i)-(vi) pätevät, regressiokertoimen β j, j = 0, 1, 2,, k luottamusväli luottamustasolla (1 α) on muotoa jossa b ˆD( j ± tα /2 bj ) b j = regressiokertoimen β j PNS-estimaattori ±t α/2 = luottamustasoa (1 α) vastaavat luottamuskertoimet t-jakaumasta, jonka vapausasteiden lukumäärä on (n k 1) 2 ˆD ( b j ) = regressiokertoimen β j PNS-estimaattorin varianssin harhaton estimaattori TKK (c) Ilkka Mellin (2007) 87
Päättely yleisestä lineaarisesta mallista PNS-estimaattoreiden luottamusvälien tulkinta Regressiokertoimen β j, j = 0, 1, 2,, k luottamustasoon (1 α) liittyvän luottamusväli b ˆD( j ± tα /2 bj ) peittää regressiokertoimen β j todennäköisyydellä (1 α): Pr D( ˆ ) + D( ˆ ) = 1 α ( b t b β b t b ) j α/2 j j j α/2 j Frekvenssitulkinta luottamusvälille: Jos otantaa toistetaan, otoksista konstruoiduista luottamusväleistä 100 (1 α) % peittää parametrin β j todellisen arvon ja 100 α % väleistä ei peitä parametrin β j todellista arvoa. TKK (c) Ilkka Mellin (2007) 88
Päättely yleisestä lineaarisesta mallista Yleistesti regression olemassaololle: Nollahypoteesi Olkoon nollahypoteesina H 0 : β1 = β2 = = β k = 0 Jos nollahypoteesi H 0 pätee, selitettävä muuttuja y ei riipu lineaarisesti yhdestäkään selittäjästä x 1, x 2,, x k. Jos nollahypoteesi H 0 ei päde, selitettävä muuttuja y riippuu lineaarisesti ainakin yhdestä selittäjästä x 1, x 2,, x k. TKK (c) Ilkka Mellin (2007) 89
Päättely yleisestä lineaarisesta mallista Yleistesti regression olemassaololle: Testisuure 1/2 Määritellään F-testisuure 2 n k 1 R n k 1 SSM F = = 2 k 1 R k SSE jossa R 2 = estimoidun mallin selitysaste SSM = estimoidun mallin mallineliösumma SSE = estimoidun mallin jäännösneliösumma TKK (c) Ilkka Mellin (2007) 90
Päättely yleisestä lineaarisesta mallista Yleistesti regression olemassaololle: Testisuure 2/2 Testisuure 2 n k 1 R n k 1 SSM F = = 2 k 1 R k SSE vertaa toisiinsa residuaalivarianssia 2 SSE s = n k 1 ja mallivarianssia s 2 1 M = k SSM TKK (c) Ilkka Mellin (2007) 91
Päättely yleisestä lineaarisesta mallista Yleistesti regression olemassaololle: Testisuureen jakauma Oletetaan, että standardioletukset (i)-(vi) pätevät. Tällöin testisuure F noudattaa nollahypoteesin H 0 pätiessä F-jakaumaa vapausastein k ja (n k 1): F F( k, n k 1) Testisuureen F normaaliarvo eli odotusarvo nollahypoteesin H 0 pätiessä on (suurille n) n k 1 E( F) = 1 n k 3 Suuret testisuureen F arvot viittaavat siihen, että nollahypoteesi H 0 ei päde. TKK (c) Ilkka Mellin (2007) 92
Päättely yleisestä lineaarisesta mallista Testit regressiokertoimille: Nollahypoteesit Olkoon nollahypoteesina H 0 j : β j = 0, j = 0,1,2,, k Jos nollahypoteesi H 00 pätee, mallissa ei ole vakiota. Jos nollahypoteesi H 0j, j = 1, 2,, k pätee, selitettävä muuttuja y ei riipu lineaarisesti selittäjästä x j. Jos nollahypoteesi H 0j, j = 1, 2,, k ei päde, selitettävä muuttuja y riippuu lineaarisesti selittäjästä x j. TKK (c) Ilkka Mellin (2007) 93
Päättely yleisestä lineaarisesta mallista Testit regressiokertoimille: Testisuureet Määritellään t-testisuureet bj t j =, j = 0,1,2,, k ˆD( bj ) jossa b j = regressiokertoimen β j PNS-estimaattori 2 ˆD ( b j ) = regressiokertoimen β j PNS-estimaattorin varianssin harhaton estimaattori TKK (c) Ilkka Mellin (2007) 94
Päättely yleisestä lineaarisesta mallista Testit regressiokertoimille: Testisuureiden jakaumat Oletetaan, että standardioletukset (i)-(vi) pätevät. Tällöin testisuure t j noudattaa nollahypoteesin H 0j : β j = 0 pätiessä t-jakaumaa vapausastein (n k 1): tj t( n k 1) Testisuureen t j normaaliarvo eli odotusarvo nollahypoteesin H 0j pätiessä on E( t j ) = 0 Itseisarvoltaan suuret testisuureen arvot t j viittaavat siihen, että nollahypoteesi H 0j ei päde. TKK (c) Ilkka Mellin (2007) 95
Yleinen lineaarinen malli Usean selittäjän lineaarinen regressiomalli Yleisen lineaarisen mallin matriisisesitys Yleisen lineaarisen mallin estimointi Varianssianalyysihajotelma ja selitysaste Päättely yleisestä lineaarisesta mallista >> Ennustaminen yleisellä lineaarisella mallilla Yleinen lineaarinen malli ja satunnaiset selittäjät TKK (c) Ilkka Mellin (2007) 96
Ennustaminen yleisellä lineaarisella mallilla Ennustaminen Oletetaan, että muuttujien x 1, x 2,, x k ja y havaittujen arvojen x i1, x i2,, x ik ja y i välillä on lineaarinen tilastollinen riippuvuus, joka voidaan ilmaista muodossa yi = β0 + β1xi 1+ β2xi2 + + βkxik + εi, i = 1,2,, n Haluamme ennustaa selitettävää muuttujaa y, kun selittävät muuttujat x 1, x 2,, x k saavat arvot x 1, x 2,, x k. Jaetaan tarkastelu kahteen osaan: (i) Tavoitteena on ennustaa selitettävän muuttujan y odotettavissa oleva eli keskimääräinen arvo. (ii) Tavoitteena on ennustaa selitettävän muuttujan y arvo. TKK (c) Ilkka Mellin (2007) 97
Ennustaminen yleisellä lineaarisella mallilla Yleinen lineaarinen malli ja sen osat Yleisessä lineaarisessa mallissa y = Xβ + ε on seuraavat osat: y = selitettävän muuttujan y havaittujen arvojen muodostama satunnainen n-vektori X = selittäjien x 1, x 2,, x k havaittujen arvojen ja ykkösten muodostama n (k + 1)-matriisi β = regressiokertoimien muodostama tuntematon ja kiinteä eli ei-satunnainen (k + 1)-vektori ε = jäännöstermien muodostama ei-havaittu ja satunnainen n-vektori TKK (c) Ilkka Mellin (2007) 98
Ennustaminen yleisellä lineaarisella mallilla Standardioletukset Jos yleisen lineaarisen mallin y = Xβ + ε selittäjät x 1, x 2,, x k ovat kiinteitä eli ei-satunnaisia muuttujia, mallia koskevat standardioletukset voidaan esittää matriisein seuraavassa muodossa: (i) Matriisin X alkiot ovat kiinteitä eli ei-satunnaisia vakioita (ii) Matriisi X on täysiasteinen: r(x) = k + 1 (iii) E( ε) = 0 2 (iv)&(v) Cov( ε) = σ I 2 (vi) ε N (, 0 σ I) n TKK (c) Ilkka Mellin (2007) 99
Ennustaminen yleisellä lineaarisella mallilla PNS-estimaattori ja sen odotusarvo Yleisen lineaarisen mallin y = Xβ + ε regressiokertoimien vektorin β PNS-estimaattorilla b= ( XX ) 1 Xy on standardioletuksien (i)-(vi) pätiessä seuraavat stokastiset ominaisuudet: E( b) = β Cov( b) = σ ( XX ) 2 1 b β σ XX 2 1 N k+ 1(, ( ) ) TKK (c) Ilkka Mellin (2007) 100
Ennustaminen yleisellä lineaarisella mallilla y:n odotusarvon ennustaminen Oletetaan, että selitettävä muuttuja y saa arvon y = β0 + β1x 1+ β2x 2 + + βkx k + ε jos selittäjät x 1, x 2,, x k saavat arvot x 1, x 2,, x k. Mikä on paras ennuste selitettävän muuttujan y odotettavissa olevalle arvolle E( y x1, x 2,, x k ), jos selittävät muuttujat x 1, x 2,, x k saavat arvot x 1, x 2,, x k? Selitettävän muuttujan y odotusarvo E( y x1, x 2,, x k ) kuvaa selitettävän muuttujan y keskimäärin saamia arvoja selittäjien x 1, x 2,, x k saamien arvojen funktiona. TKK (c) Ilkka Mellin (2007) 101
Ennustaminen yleisellä lineaarisella mallilla y:n odotusarvon ennustaminen: Ennuste Valitaan selitettävän muuttujan odotusarvon E( yx 1, x 2,, x k ) ennusteeksi (estimaattoriksi) lauseke yx ˆ 1, x 2,, x k = b0 + bx 1 1+ bx 2 2 + + bx k k jossa b 0, b 1, b 2,, b k ovat regressiokertoimien β 0, β 1, β 2,, β k PNS-estimaattorit. Voidaan osoittaa, että yx ˆ 1, x 2,, x k on (ennustevirheen keskineliövirheen mielessä) paras lineaarinen ja harhaton ennuste odotusarvolle E( yx 1, x 2,, x k ). Huomautus: Ehdollinen odotusarvo E( yx 1, x 2,, x k ) on kiinteille x 1, x 2,, x k vakio, kun taas ennuste yx ˆ, x,, x on satunnaismuuttuja. 1 2 k TKK (c) Ilkka Mellin (2007) 102
Ennustaminen yleisellä lineaarisella mallilla y:n odotusarvon ennustaminen: Otosjakauma Oletetaan, että standardioletukset (i)-(vi) pätevät. Tällöin ennusteen yx ˆ 1, x 2,, x k = b0 + bx 1 1+ bx 2 2 + + bx k k otosjakauma on normaalijakauma: yx ˆ, x,, x 1 2 k ( ) 2 1 ~N β0 + β1x 1+ β2x 2 + + βkx k, σ z ( XX ) z jossa z = (1, x 1, x 2,, x k ) on (k + 1)-vektori. TKK (c) Ilkka Mellin (2007) 103
Ennustaminen yleisellä lineaarisella mallilla y:n odotusarvon ennustaminen: Luottamusväli Odotusarvon E( yx 1, x 2,, x ) = β0 + β1x 1+ β2x 2 + + β x luottamusväli luottamustasolla (1 α)on ˆ k k k b0 bx 1 1 b2x2 b x t /2 s ( ) 1 + + + + k k ± α z XX z jossa t α/2 ja +t α/2 ovat luottamustasoon (1 α) liittyvät luottamuskertoimet Studentin t-jakaumasta, jonka vapausasteiden luku on (n k 1). Luottamusväli muodostaa selittäjien x 1, x 2,, x k arvojen x 1, x 2,, x k funktiona luottamusvyön estimoidun regressiotason b 0 + b 1 x 1 + b 2 x 2 + + b k x k ympärille. 1 2 TKK (c) Ilkka Mellin (2007) 104
Ennustaminen yleisellä lineaarisella mallilla y:n arvon ennustaminen Oletetaan, että selitettävä muuttuja y saa arvon y = β0 + β1x j1+ β2x j2 + + βkx jk + ε j jos selittäjät x 1, x 2,, x k saavat arvot x 1, x 2,, x k. Mikä on paras ennuste selitettävän muuttujan y arvolle y, jos selittävät muuttujat x 1, x 2,, x k saavat arvot x 1, x 2,, x k? TKK (c) Ilkka Mellin (2007) 105
Ennustaminen yleisellä lineaarisella mallilla y:n arvon ennustaminen: Ennuste Valitaan selitettävän muuttujan arvon y ennusteeksi (estimaattoriksi) lauseke yx ˆ 1, x 2,, x k = b0 + bx 1 1+ bx 2 2 + + bx k k jossa b 0, b 1, b 2,, b k ovat regressiokertoimien β 0, β 1, β 2,, β k PNS-estimaattorit. Voidaan osoittaa, että yx ˆ 1, x 2,, x k on (ennustevirheen keskineliövirheen mielessä) paras lineaarinen ja harhaton ennuste odotusarvolle E( yx 1, x 2,, x k ). Huomautus: y yx ˆ 1 x2 Sekä selitettävän muuttujan y arvo että ennuste ovat satunnaismuuttujia.,,, x k TKK (c) Ilkka Mellin (2007) 106
Ennustaminen yleisellä lineaarisella mallilla y:n arvon ennustaminen: Otosjakauma Oletetaan, että standardioletukset (i)-(vi) pätevät. Tällöin ennustevirheen y yˆ x 1, x 2,, x k otosjakauma on normaalijakauma: 2 1 y yˆ x 1, x 2,, x k ~ N 0, σ 1 + z ( XX ) z jossa z = (1, x 1, x 2,, x k ) on (k + 1)-vektori. ( ) TKK (c) Ilkka Mellin (2007) 107
Ennustaminen yleisellä lineaarisella mallilla y:n arvon ennustaminen: Luottamusväli Selitettävän muuttujan y arvon y luottamusväli luottamustasolla (1 α)on b0 + bx 1 1+ b2x2 + + b x ± t /2s 1 + ( ) 1 k k α z XX z jossa t α/2 ja +t α/2 ovat luottamustasoon (1 α) liittyvät luottamuskertoimet Studentin t-jakaumasta, jonka vapausasteiden luku on (n k 1). Luottamusväli muodostaa selittäjien x 1, x 2,, x k arvojen x 1, x 2,, x k funktiona luottamusvyön estimoidun regressiotason b 0 + b 1 x 1 + b 2 x 2 + + b k x k ympärille. 1 2 TKK (c) Ilkka Mellin (2007) 108
Ennustaminen yleisellä lineaarisella mallilla y:n arvon luottamusvyö vs y:n odotusarvon luottamusvyö Selitettävän muuttujan y arvon y luottamusvyö on leveämpi kuin selitettävän muuttujan y odotettavissa olevan arvon E( yx ) luottamusvyö. Tämä johtuu siitä, että selitettävän muuttujan y keskimääräisen arvon ennustaminen on helpompaa kuin sen yksittäisen arvon ennustaminen. TKK (c) Ilkka Mellin (2007) 109
Yleinen lineaarinen malli Usean selittäjän lineaarinen regressiomalli Yleisen lineaarisen mallin matriisisesitys Yleisen lineaarisen mallin estimointi Varianssianalyysihajotelma ja selitysaste Päättely yleisestä lineaarisesta mallista Ennustaminen yleisellä lineaarisella mallilla >> Yleinen lineaarinen malli ja satunnaiset selittäjät TKK (c) Ilkka Mellin (2007) 110
Yleinen lineaarinen malli ja satunnaiset selittäjät Yleinen lineaarinen malli ja sen osat Yleisessä lineaarisessa mallissa y = Xβ + ε on seuraavat osat: y = selitettävän muuttujan y havaittujen arvojen muodostama satunnainen n-vektori X = selittäjien x 1, x 2,, x k havaittujen arvojen ja ykkösten muodostama n (k + 1)-matriisi β = regressiokertoimien muodostama tuntematon ja kiinteä eli ei-satunnainen (k + 1)-vektori ε = jäännöstermien muodostama ei-havaittu ja satunnainen n-vektori TKK (c) Ilkka Mellin (2007) 111
Yleinen lineaarinen malli ja satunnaiset selittäjät Standardioletukset kiinteille selittäjille Jos yleisen lineaarisen mallin y = Xβ + ε selittäjät x 1, x 2,, x k ovat kiinteitä eli ei-satunnaisia muuttujia, mallia koskevat standardioletukset voidaan esittää matriisein seuraavassa muodossa: (i) Matriisin X alkiot ovat kiinteitä eli ei-satunnaisia vakioita (ii) Matriisi X on täysiasteinen: r(x) = k + 1 (iii) E( ε) = 0 2 (iv)&(v) Cov( ε) = σ I 2 (vi) ε N (, 0 σ I) n TKK (c) Ilkka Mellin (2007) 112
Yleinen lineaarinen malli ja satunnaiset selittäjät Selittäjien satunnaisuus 1/2 Yleisen lineaarisen mallin y = Xβ + ε matriisin X satunnaisuus saattaa aiheuttaa vakavia ongelmia mallin estimoinnille ja mallia koskevalle tilastolliselle päättelylle. Jos matriisi X on satunnainen, PNS-menetelmä ei välttämättä tuota harhattomia tai edes tarkentuvia estimaattoreita regressiokertoimille. Näin käy esimerkiksi silloin, kun virhetermi ja selittäjät korreloivat. Jos regressiokertoimien PNS-estimaattorit eivät ole harhattomia tai tarkentuvia, mallia koskevaa tavanomaista tilastollista päättelyä ei saa soveltaa. TKK (c) Ilkka Mellin (2007) 113