Yleinen lineaarinen malli

MS-C2128 Ennustaminen ja Aikasarja-analyysi, Heikki Seppälä Matematiikan ja systeemianalyysin laitos Perustieteiden korkeakoulu Aalto-yliopisto Syksy 2015

Viikko 1: 1 Määritelmä ja standardioletukset 2 Mallin matriisiesitys 3 PNS-menetelmä 4 Sovitteet ja jäännökset 5 Varianssianalyysihajotelma ja selitysaste 6 Regression merkitsevyyden testaaminen 7 Regressiokertoimien luottamusvälit 8 Selitettävän muuttujan ennusteväli 9 Satunnaiset selittäjät 10 PNS-estimaattorin optimaalisuus

Sisältö 1 Määritelmä ja standardioletukset 2 Mallin matriisiesitys 3 PNS-menetelmä 4 Sovitteet ja jäännökset 5 Varianssianalyysihajotelma ja selitysaste 6 Regression merkitsevyyden testaaminen 7 Regressiokertoimien luottamusvälit 8 Selitettävän muuttujan ennusteväli 9 Satunnaiset selittäjät 10 PNS-estimaattorin optimaalisuus

Selittävä ja selitettävä muuttuja Huom Selitettävän muuttujan Y arvojen vaihtelu halutaan selittää selittävien muuttujien X 1,..., X k havaittujen arvojen vaihtelun avulla: y 1,..., y n ovat selitettävän muuttujan Y arvoja. x 1j,..., x nj ovat selittävän muuttujan X j arvoja. Havainnot muodostavat havaintoyksiköitä, jotka ovat R k+1 -arvoisia vektoreita (x 11,..., x 1k, y 1 ),..., (x n1,..., x nk, y n ) Selitettävä muuttuja Y ja selittävät muuttujat X 1,..., X k ovat satunnaismuuttujia, joista saadaan havaintoja.

Selittävä ja selitettävä muuttuja Kasvuikäisten pituus ja paino Paino (kg) 40 50 60 70 160 165 170 175 180 185 Pituus (cm)

Määritelmä Yleisen lineaarisen mallin määrittää yhtälö Y i = β 0 + β 1 X i1 +... + β k X ik + ɛ i, i = 1,..., n, missä satunnaismuuttujat Y i ja X i1,..., X ik ovat kuten edellä. jäännös- tai virhetermi ɛ i on satunnaismuuttuja. kertoimet β 0, β 1,..., β k ovat vakioita. Huom Yksinkertaisuuden vuoksi oletamme aluksi, että satunnaismuuttujien X i1,..., X ik arvot on jo havaittu, jolloin Y i on edelleen satunnainen, mutta vain virhetermin ɛ kautta. Lisäksi käytämme tilastotieteessä vakiintunutta merkintätapaa y i = β 0 + β 1 x i1 +... + β k x ik + ɛ i, i = 1,..., n, vaikka osa muuttujista voi olla satunnaisia ja osa ei.

Standardioletukset y i = β 0 + β 1 x i1 +... + β k x ik + ɛ i, i = 1,..., n, (i) Selittäjien arvot ovat ei-satunnaisia vakioita. (ii) Selittäjät ovat lineaarisesti riippumattomat. (iii) E[ɛ i ] = 0 kaikilla i = 1,..., n (iv) var(ɛ i ) = σ 2 kaikilla i = 1,..., n (v) cor(ɛ i, ɛ l ) = 0, kun i l Jos nämä oletukset ovat voimassa, niin mallin tilastollisessa analyysissa voidaan soveltaa tavanomaisia estimointi- ja testausmenetelmiä. Huom Monissa lähteissä oletetaan, että jäännökset ovat normaalijakautuneita, mutta tämä ei ole välttämätöntä.

Selittävä ja selitettävä muuttuja Kasvuikäisten pituus ja paino Paino (kg) 40 50 60 70 160 165 170 175 180 185 Pituus (cm)

Standardioletus (i) (i) Selittäjän X j havaitut arvot x ij ovat havaittuja ei-satunnaisia vakioita. Oletus on rajoittava ja se voi toteutua käytännössä vain sellaisessa tilanteessa, jossa havainnot on jo tehty. Vaikka standardioletus (i) on rajoittava, niin lineaaristen regressiomallien perusteoriaa voidaan soveltaa myös muissa tilateissa, mikäli standardioletuksia (i)-(v) muokataan hieman. (Tästä lisää myöhemmin.)

Standardioletukset (ii) ja (iii): (ii) Selittäjät ovat lineaarisesti riippumattomia. Jos selittäjä x j voidaan kirjoittaa muiden muuttujien lineaarikombinaationa, niin se on tarpeeton ja voidaan poistaa mallista. Ehto (ii) takaa sen, että pienimmän neliösumman menetelmä tuottaa regressiokertoimille β 0, β 1,..., β k yksikäsitteiset ratkaisut suljetussa muodossa. (iii) E[ɛ i ] = 0 kaikilla i = 1,..., n. Kun kaikkien virhetermien odotusarvo on nolla, niin mallin rakenneosan β 0 + β 1 x i1 +... + β k x ik muotoilussa ei ole tehty systemaattista virhettä: E[y i ] = E [ β 0 + β 1 x i1 +... + β k x ik + ɛ i ] = β 0 + β 1 x i1 +... + β k x ik + E [ ɛ i ] = β 0 + β 1 x i1 +... + β k x ik.

Standardioletus (iv): (iv) var(ɛ i ) = σ 2 kaikilla i = 1,..., n. parametria σ 2 kutsutaan jäännösvarianssiksi. Tätä kutsutaan homoskedastisuusoletukseksi. jos oletus pätee, sanotaan virhetermejä ɛ i homoskedastisiksi. jos oletus ei päde, sanotaan virhetermejä ɛ i heteroskedastisiksi. Heteroskedastisuus tekee regressiokertoimien tavanomaisista estimaattoreista tehottomia. Tälläisessa tapauksessa voidaan käyttää yleistettyä PNS-estimaattoria (kts. kirjallisuus). Homoskedastisuusoletusta voidaan testata tilastollisesti. kts. luku Regressiodiagnostiikka.

Standardioletus (v): (v) cor(ɛ i, ɛ l ) = 0 kaikilla i = 1,..., n. Virhetermit eivät korreloi keskenään. Kutsutaan korreloimattomuusoletukseksi. jos oletus (v) ei päde, virhetermit ɛ i ovat korreloituneita. Korreloituneisuus tekee regressiokertoimien tavanomaisista estimaattoreista tehottomia ja jopa harhaisia. kts. Dynaamiset regressiomallit. Korreloimattomuusoletusta voidaan testata tilastollisesti. kts. luku Regressiodiagnostiikka.

Selitettävän muuttujan ominaisuudet: Yleistä lineearista mallia y i = β 0 + β 1 x i1 +... + β k x ik + ɛ i, i = 1,..., n, koskevista standardioletuksista (i)-(vi) seuraa, että mallin selitettävälle muuttujalle y i pätee: (iii) E[y i ] = β 0 + β 1 x i1 +... + β k x ik, i = 1,..., n (iv) var(y i ) = σ 2, i = 1,..., n (v) cor(y i, y j ) = 0, i l Perustelut: (iii) -(v) seuraavat odotusarvon, varianssin ja kovarianssin laskusäännöistä Huom Jos virhetermit oletetaan normaalijakautuneiksi, niin y i N ( E[y i ], σ 2), i = 1,..., n.

Systemaattinen ja satunnainen osa: y i = β 0 + β 1 x i1 +... + β k x ik + ɛ i, i = 1,..., n, voidaan esittää kahden osatekijän summana: y i = E[y i x] = E[y i ] + ɛ i, i = 1,..., n Odotusarvo E[y i ] = β 0 + β 1 x i1 + β 1 x i2 +... + β 1 x ik muodostaa yleisen lineaarisen mallin systemaattisen- eli rakenneosan, joka riippuu selittäjien x j havaituista/valituista arvoista. Jäännos- eli virhetermi ɛ i muodostaa yleisen lineaarisen mallin satunnaisen osan, joka standardioletusten pätiessä ei riipu selittäjien x j arvoista.

Regressiotaso ja regressiokertoimen tulkinta: Systemaattinen osa E[y i ] määrää regressiotason y = β 0 + β 1 x 1 +... + β k x k avaruudessa R k+1. Virhetermien varianssi σ 2 kuvaa havaintopisteiden (x i1,..., x i1, y i ) R k+1 heiluntaa regressiotason ympärillä. Regressiokertoimilla β j on seuraava tulkinta: Oletetaan, että selittäjän x j arvo kasvaa yhdellä yksiköllä (x j x j + 1) ja kaikkien muoiden selittäjien arvot pysyvät muuttumattomina. Silloin kerroin β j kertoo paljonko selitettävän muuttujan y vastaava odotettavissa oleva arvo muuttuu: E[y] E[y] + β j.

Matriisiesitys: voidaan esittää matriisien avulla muodossa y = Xβ + ɛ, missä y 1 y = (y 1, y 2,..., y n ) y 2 = β = (β 0,..., β k ) β 1 =.. y n β k 1 x 11 x 12 x 1k ɛ 1 1 x 21 x 22 x 2k X =....... ɛ = (ɛ 1,..., ɛ n ) ɛ 2 =. 1 x n1 x n2 x nk ɛ n β 0

Standardioletusten matriisiesitys: voidaan esittää matriisien avulla muodossa y = Xβ + ɛ (i) Matriisin X alkiot ovat vakioita. (ii) Matriisi X on täysiasteinen, r(x) = k + 1 (iii) E[ɛ] = 0 (iv)-(v) cov(ɛ) = σ 2 I Jos jäännökset oletetaan normaalijakautuneiksi, niin ɛ N n ( 0, σ 2 I ).

Huomautus: Vektoriarvoisen satunnaismuuttujan tunnusluvut Olkoon z = (z 1, z 2,..., z p ), satunnaisvektori, missä z 1, z 2,..., z p ovat satunnaislukuja. Vektorin z odotusarvolla µ = E[z] tarkoitetaan vektoria µ = E[z] = ( E[z 1 ], E[z 2 ],..., E[z p ] ) R p Vektorin z kovarianssilla Σ = cov(z) tarkoitetaan matriisia Σ = cov(z) = E [(z E[z])(z E[z]) ] var(z 1 ) cov(z 1, z 2 ) cov(z 1, z 3 ) cov(z 1, z p ) cov(z 2, z 1 ) var(z 2 ) cov(z 2, z 3 ) cov(z 2, z p ) =....... Rp p cov(z p, z 1 ) cov(z p, z 2 ) cov(z p, z 3 ) var(z p )

Regressiokertoimien estimointi PNS-menetelmällä y i = β 0 + β 1 x i1 +... + β k x ik + ɛ i, i = 1,..., n, Regressiokertoimet β 0, β 1,..., β k estimoidaan tavallisesti pienimmän neliösumman (PNS-) menetelmällä: Minimoidaan virheterimien ɛ i neliösumma n n ɛ 2 ( ) 2 i = yi β 0 β 1 x i1... β k x ik i=1 i=1 regressiokertoimien suhteen: Asetetaan osittaisderivaatat kertoimien β 0, β 1,..., β k suhteen nolliksi. saadaan lineaarinen parametrien β 0, β 1,..., β k yhtälöryhmä (k + 1 yhtälöä) Yhtälöryhmällä on yksikäsitteinen ratkaisu, jos standardioletus (ii) pätee. Ratkaisuina saadaan regressiokertoimien β j PNS-estimaatorit b j.

Estimaattori vs estimaatti Kun aineistoa ei ole havaittu, sanotaan satunnaista objektia b j estimaattoriksi. Kun aineisto on havaittu, niin saadaan estimaatti, joka on estimaattorin ei-satunnainen realisaatio. Huom Merkitsemme estimaattoria ja estimaattia samalla symbolilla, kuten kirjallisuudessa yleensä. Tulkinta riippuu aina asiayhteydestä.

PNS-estimaattori Olkoon y = Xβ + ɛ standardioletuksen (ii), r(x) = k + 1, toteuttava yleinen lineaarinen malli. Silloin regressiokertoimien vektorin β PNS-estimaattori on b = (b 0,..., b k ) = ( X X ) 1 X y. Jos standardioletukset (i)-(v) pätevät, niin E[b] = β ja cov(b) = σ 2( X X ) 1. Erityisesti, koska E[b] = β, niin PNS-estimaattori b on regressiokertoimien vektorin β harhaton estimaattori. Jos lisäksi virhetermit ovat normaalijakautuneet, niin ( b N k+1 β, σ 2 (X X ) ) 1

Sovitteet ja jäännökset Estimoidun mallin sovitteet: ŷ i = b 0 + b 1 x i1 +... + b k x ik Estimoidun mallin antama arvo selitettävälle muuttujalle y havaintopisteessä i. Estimoidun mallin jäännökset: e i = y i ŷ i = y i b 0 b 1 x i1... b k x ik Selitettävän muuttujan havaitun arvon ja vastaavan sovitteen erotus. Malli selittää muuttujan y havaittujen arvojen vaihtelun sitä paremmin mitä pienempiä ovat estimoidun mallin jäännökset e i

Sovitteet ja jäännökset 15 20 25 y 5 10 15 20 x Kuva : (x, y) havaintoparit, regressiosuora (musta katkoviiva) ja jäännökset (punaiset janat). Sinisellä merkitty osa regressiosuorasta on alue, jolla ennustaminen on perusteltua.

Sovitteiden ja jäännösten ominaisuudet kun oletukset (i)-(v) pätee Sovitteet: ŷ = Xb = X ( X X ) 1 X y = Py E[ŷ] = Xβ cov(ŷ) = σ 2 X ( X X ) 1 X = σ 2 P Jäännökset e = y ŷ = E[e] = 0 ( I X ( X X ) 1 X ) y = ( I P ) y = My cov(e) = σ 2( I X ( X X ) 1 X ) = σ 2( I P ) = σ 2 M

Sovitteiden ja jäännösten matriisiesitykset Sovitteiden ja jäännösten muodostamien vektorien lausekkeessa esiintyvät n n-matriisit P = X ( X X ) 1 X M = I P = I X ( X X ) 1 X ovat projektioita, eli symmetrisiä ja idempodentteja: P = P M = M P 2 = P M 2 = M Lisäksi: PM = MP = 0 Näillä matriisien P ja M ominaisuuksilla on keskeinen merkitys johdettaessa lineaarisen mallin estimointiin ja testaukseen liittyviä jakaumatuloksia.

Jäännösvarianssin estimointi Jos yleisen lineaarisen mallin jäännös- eli virhetermejä ɛ i koskevat standardioletukset (i)-(v) pätevät, jäännösvarianssin var(ɛ i ) = σ 2 harhaton estimaattori on s 2 = 1 n k 1 n i=1 e 2 i Tulkinta: kyseessä on otosvarianssin kaava, sillä mallissa on vakioselittäjä, jolloin n e i = 0 = ē = 1 n i=1 s 2 = 1 n k 1 n i=1 n e i = 0 i=1 ja ( ei ē ) 2 = 1 n k 1 n i=1 e 2 i

Varianssianalyysihajotelma: Idea Regressiomallin tehtävänä on selittää selitettävän muuttujan y havaittujen arvojen vaihtelu selittävän muuttujan x havaittujen arvojen vaihtelulla. Onnistumista tässä tehtävässä voidaan kuvata ns. varianssianalyysihajotelman avulla Varianssianalyysihajotelmassa selitettävän muuttujan y havaittujen arvojen kokonaisvaihtelua kuvaava ns. kokonaisneliösumma (SST ) jaetaan kahden osatekijän summaksi: SSM kuvaa estimoidun mallin selittämää osaa SST :stä SSE kuvaa mallilla selittämättä jäänyttä osaa SST :stä

Varianssianalyysihajotelma: Määritelmä Kokonaisneliösumma SST = n i=1 (y i ȳ) 2 kuvaa selitettävän muuttujan y havaittujen arvojen y j vaihtelua y i :n otosvarianssille pätee s 2 y = SST /(n 1) Jäännösneliösumma SSE = n i=1 e2 i kuvaa jäännösten e j vaihtelua e i :n otosvarianssille pätee s 2 = SSE/(n k 1) Mallineliösumma SSM = n i=1 (ŷ i ȳ) 2 kuvaa sitä osaa selitettävän muuttujan y havaittujen arvojen vaihtelusta, jonka estimoitu malli on selittänyt Varianssianalyysihajotelma: SST = SSM + SSE

Selitysaste: Määritelmä Varianssianalyysihajotelma SST = SSM + SSE kertoo estimoidun regressiomallin hyvyydestä. Mitä suurempi on mallineliösumman SSM (eli mitä pienempi jäännösneliösumman SSE) osuus kokonaisneliösummasta SST, sitä paremmin estimoitu malli selittää selitettävän muuttujan havaittujen arvojen vaihtelun. Tämä motivoi selitysasteen R 2 = 1 SSE SST = SSM SST [0, 1] käytön regressiomallin hyvyyden mittarina. Mittaa regressiomallin selittämää osuutta selitettävän muuttujan y havaittujen arvojen kokonaisvaihtelusta.

Selitysaste: Ominaisuudet R 2 = 1 SSE SST = SSM SST [0, 1] Seuraavat ehdot ovat yhtäpitäviä 1 R 2 = 1 2 e i = 0 kaikille i = 1, 2,..., n 3 kaikki havaintopisteet (x i1, x i2,..., x ik, y i ) ovat samalla tasolla 4 Malli selittää täydellisesti selitettävän muuttujan arvon vaihtelun Seuraavat ehdot ovat yhtäpitäviä 1 R 2 = 0 2 b 1 = b 2 =... = b k = 0 3 Malli ei selitä lainkaan selitettävän muuttujan arvon vaihtelua Selitysaste on yhtä suuri kuin havaittujen arvojen y i ja sovitteiden ŷ i otoskorrelaatiokertoimen neliö.

Regression merkitsevyyden testaaminen Jos standardioletukset (i-v) pätevät, niin PNS-estimaattorin b odotusarvovektori ja kovarianssimatriisi ovat E[b] = β = (β 1, β 2,..., β k ) D 2 (b) = σ 2 (X X) 1. Silloin kovarianssimatriisin harhaton estimaattori on ˆD 2 (b) = s 2 (X X) 1 missä s 2 on jäännösvarianssin σ 2 harhaton estimaattori, s 2 = 1 n k 1 n ei 2. i=1

Regression merkitsevyyden testaaminen Mallin selitysaste kertoo kuinka suuren osan vaihtelusta malli selittää, mutta se ei kerro johtuuko saatu selitysaste vain sattumasta, vai voidaanko sitä pitää luotettavana. Selitysasteen merkitsevyyttä voidaan testata tarkastelemalla kuinka todennäköistä on saada havaitusta aineistosta lasketun kaltainen tai suurempi selitysaste ehdolla, että mallin todellinen selitysaste on nolla.

Regression merkitsevyyden testaaminen Regression merkitsevyyttä voidaan testata permutaatiotestillä seuraavasti: 1 Valitaan nollahypoteesiksi R 2 = 0. 2 Lasketaan R 2 -arvo alkuperäisestä aineistosta. 3 Liitetään jokaiseen selitettävään muuttujaan y i kukin selittäjävektori x l = (x l1,..., x lk ), l = 1,..., n vuorollaan, jolloin saadaan n! otosta, joista jokaisen koko on n. 4 Jokaisesta otoksesta lasketaan selitysaste R 2 p, jolloin saadaan n! selitysasteen arvoa. 5 Järjestetään saadut R 2 p arvot pienimmästä suurimpaan ja lasketaan aineistosta empiirinen (1 α)-kvantiili. Jos alkuperäinen R 2 on suurempi kuin laskettu kvantiili, niin regressio on merkitsevä tasolla α.

Regressiokertoimien merkitsevyyden testaaminen Yksittäisten regressiokertoimien β j merkitsevyyttä voidaan testata samalla periaatteella kuin koko regression merkitsevyyttä. 1 Valitaan nollahypoteesiksi muuttuja x j ei vaikuta selitysasteeseen R 2. 2 Lasketaan R 2 -arvo alkuperäisestä aineistosta. 3 Liitetään jokaiseen selitettävään muuttujaan y i alkuperäinen selittäjävektori x i = (x i1,..., x ik ), l = 1,..., n, mutta permutoidaan tarkastelun kohteena olevaa regressiokerrointa β j vastaavaa selittäjää x k, jolloin saadaan n! otosta, joista jokaisen koko on n. 4 Jokaisesta otoksesta lasketaan selitysaste Rk 2, jolloin saadaan n! selitysasteen arvoa. 5 Järjestetään saadut Rk 2 arvot pienimmästä suurimpaan ja lasketaan aineistosta empiirinen (1 α)-kvantiili. Jos alkuperäinen R 2 on suurempi kuin laskettu kvantiili, niin regressiokerroin β j on merkitsevä tasolla α.

Merkitsevyyden testaaminen Huom Käytännössä, jos otoskoko n 10, ei kaikkia edellä mainittujen kohtien (3) permutaatioita ole mielekästä tai edes mahdollista laskea. Silloin arvotaan riittävä määrä (esim. 1000-2000) permutaatioita kaikkien permutaation sijaan ja tehdään testi näiden avulla loppuun kohtien (4) ja (5) mukaisesti.

Regression merkitsevyyden testaaminen, kun ɛ N(0, σ 2 ) Jos jäännökset ovat normaalijakautuneet, niin normaalijakaumaan perustuvaa F-testiä voidaan käyttää testauksessa. 1 Nollahypoteesi: β 1 = β 2 =... = β k = 0. 2 F-testisuure: F = n k 1 k R 2 1 R 2 = n k 1 k SSM SSE noudattaa F-jakaumaa vapausastein k ja n k 1, kun standardioletusten (i)-(v) lisäksi jäännökset noudattavat normaalijakaumaa. F -testiä käsitellään tarkemmin mm. kurssilla Tilastollisen analyysin perusteet. Myös perus oppikirjoissa (ja verkossa) on paljon tietoa F-testistä.

Selittävä ja selitettävä muuttuja F jakauman tiheysfunktio f(x) 0.0 0.5 1.0 1.5 2.0 0 1 2 3 4 5 x Kuva : F(k, n k 1)-jakaumien tiheysfunkitioita, kun n = 20 ja k = 1 (musta), k = 2 (punainen), k = 3 (sininen) sekä k = 8 (violetti).

Merkitsevyyden testaaminen, kun ɛ N(0, σ 2 ) Jos jäännökset ovat normaalijakautuneita, niin estimaattorivektori b noudattaa k + 1-ulotteista normaalijakaumaa, missä D 2 (b) = σ 2 (X X) 1. Siten b N k+1 ( β, D 2 (b) ), b j β j s bj t(n k 1), missä t(n k 1) on t-jakauma vapausastein n k 1 ja s 2 bj = [ ˆD2 (b) ] jj on β j :n estimoitu varianssi. Tässä [ ˆD2 (b) ] jj on estimoidun kovarianssimatriisin ˆD 2 (b) = s 2 (X X) 1 alkio jj.

Regressiokertoimien merkitsevyyden testaaminen, kun ɛ N(0, σ 2 ) Normaalijakautuneiden jäännösten tapauksessa yksittäisten regressiokertoimien β j merkitsevyyttä voidaan testata t-testillä. 1 Nollahypoteesi: β j = 0. 2 t-testisuure: t = b j s bj, j = 0, 1, 2,..., k, missä s bj on b j :n estimoitu varianssi, noudattaa t-jakaumaa vapausastein n k 1, kun standardioletusten (i)-(v) lisäksi jäännökset noudattavat normaalijakaumaa. t-testiä käsiteltiin Todennäköisyyslaskennan ja tilastotieteen peruskurssilla. Lisätietoja löytyy perus oppikirjoista ja verkosta.

Luottamusväli Fakta Parametrin θ tason (1 α) luottamusväli on satunnainen väli, joka peittää parametrin θ todellisen (kiinteän) arvon todennäköisyydellä (1 α). Tulkinta: Jos kerätään lukuisia saman kokoisia riippumattomia otoksia, niin kerätyistä otoksista lasketuista luottamusväleistä 100 (1 α)% peittää parametrin θ todellisen arvon.

Regressiokertoimien luottamusvälit: Bootstrap Bootstrap-menetelmän avulla luottamusväli voidaan laskea ilman jakaumaoletuksia. Idea lyhyesti: 1 Estimoidaan aineistosta estimaattorivektori b. 2 Lasketaan estimoidun mallin avulla sovitteet ŷ = X b ja jäännökset e = y ŷ. 3 Arvotaan lasketuista jäännöksistä bootstrap-otos e b = (e b1,..., e bn ) käyttäen yksinkertaista satunnaisotantaa palauttaen. 4 Vasteen bootstrap-otos on vektori y b = (y b1,..., y bn ), missä y b = ŷ + e b. 5 Lasketaan bootstrap-estimaatit b b ratkaisemalla lineaarinen regressio y b = Xb b, jolloin b b = ( X X ) 1 X y b. 6 Toistetaan kohdat (2)-(6) 1000-2000 kertaa ja lasketaan saadusta otoksesta luottamusvälit.

Regressiokertoimien luottamusvälit simuloimalla Jos on simuloitu m otosta ja jokaisesta on laskettu estimaatti kiinnostuksen kohteena olevalle parametrille θ, niin saadaan realisaatiot θ = ( θ 1,..., θ m ). Silloin parametrin θ (1 α)-luottamusväli saadaan laskettua seuraavasti: 1 Järjestetään simuloidut arvot suuruusjärjestykseen: θ (1) θ (2) θ (m). 2 Luottamusvälin päätepisteet ovat järjestetyn aineiston α 2 ja 1 α 2 kvantiilit, eli järjesteyn aineiston [ α 2 m]:s ja [(1 α 2 ) m]:s alkio, θ (1), θ (2),..., θ ( α 2 m),..., θ ((1 α 2 ) m),..., θ (m)

Regressiokertoimien luottamusvälit, kun ɛ N(0, σ 2 ) Kuten aiemmin todettiin, mikäli jäännökset ovat normaalijakautuneita, niin b j β j s bj t(n k 1), missä t(n k 1) on t-jakauma vapausastein n k 1 ja s 2 bj on β j :n estimoitu varianssi.

Regressiokertoimien luottamusvälit, kun ɛ N(0, σ 2 ) Jos jäännökset ovat normaalijakautuneita, niin estimaattoreiden b j, j = 0, 1,..., k, luottamusvälit saadaan siis laskettua t-jakauman avulla: Tason (1 α) luottamusväli on ( bj t 1 α/2 s bj, b j + t 1 α/2 s bj ), missä t 1 α/2 on t(n k 1)-jakauman 1 α/2-kvantiili.

Selitettävän muuttujan ennusteväli Kun selitettävää muuttujaa y ennustetaan regressiomallin avulla käyttäen kiinnitettyjä selittävien muuttujien arvoja x = ( x 1,..., x k ), saadaan tulokseksi ŷ = b 0 + b 1 x 1 + b 2 x 2 +... + b k x k. Tähän liittyy kuitenkin yleensä epävarmuutta, sillä 1 regressiokertoimet on estimoitu otoksesta ja 2 jäännöstermi tuo satunnaisvaihtelua. = Halutaan tietää väli, jolle ennustettavan muuttujan todellinen arvo kuuluu todennäköisyydellä (1 α).

Selitettävän muuttujan ennusteväli Selitettävän muuttujan y ennusteväli selittävän muuttujan arvolla x = ( x 1,..., x k ) pystytään myöskin laskemaan bootstrap-menetelmällä. 1 Tehdään vaiheet (1)-(5) kuten regressiokertointen luottamusvälien laksemisessa bootstrapin avulla, jolloin saadaan bootstrap estimaatit b b. 2 Arvotaan havaituista jäännöstermeistä yksi, e b, ja lasketaan uusi arvo y b = x b b + e b, missä x = (1, x 1,..., x k ). 3 Toistetaan vaiheet (1) ja (2) m (=1000 2000) kertaa ja laitetaan havainnot suuruus järjestykseen. Ennustevälin päätepisteet ovat järjestetyn aineiston α/2- ja (1 α/2)-kvantiilit.

Selitettävän muuttujan ennusteväli, kun ɛ N(0, σ 2 ) Kun ɛ N(0, σ 2 ), niin voidaan osoittaa, että missä x = (1, x 1,..., x k ). Edelleen, x b N ( x β, σ 2[ x (X X) 1 x ]), x b + ɛ N ( x β, σ 2[ 1 + x (X X) 1 x ]) ja kuten luottamusväli normaalijakautuneiden jäännösten tapauksessa, (1 α)-ennustevälin päätepisteiksi saadaan x b ± t 1 α/2 s [ 1 + x (X X) 1 x ] 1 2, missä s on jäännösvarianssin harhaton estimaatti ja t 1 α/2 on t(n k 1)-jakauman (1 α/2)-kvantiili.

Satunnaiset selittäjät Edellä käsiteltyjä tuloksia voi soveltaa suoraan satunnaisiin selittäjiin (eli matriisi X on satunnainen), jos standardioletukset (ii)-(v) ovat voimassa ehdollistettuna matriisilla X

Satunnaiset selittäjät Yleisen lineaarisen mallin standardioletukset, kun selittäjät X ovat satunnaisia: (i) Selittäjät ovat satunnaimuuttujia. (ii) Selittäjät ovat lineaarisesti riippumattomat (satunnaismatriisi X on täysiasteinen). (iii) E[ɛ X] = 0 kaikilla i = 1,..., n (iv)-(v) cov(ɛ X) = σ 2 I.

PNS-estimaattorin optimaalisuus Jos standardioletukset ovat voimassa, niin regressiokertoimien β PNS-estimaattori b on 1 harhaton (E[b] = β) 2 tehokas, eli paras harhaton lineaarinen estimaattori. Täsmällisesti: jos b on toinen harhaton lineaarinen estimaattori, niin matriisi C := cov(b ) cov(b) on positiivisesti semidefiniitti, eli kaikilla a 0, a Ca 0. (Gauss-Markovin lause) Yllä olevasta ehdosta seuraa, että PNS-estimaattoreiden varianssit ovat pienempiä kuin muiden harhattomien lineearisten estimaatoreiden varianssit. 3 tarkentuva, eli harhaton ja komponenttien varianssit lähestyvät asymptoottisesti nollaa otoskoon kasvaessa.

PNS-estimaattorin optimaalisuus PNS-estimaattori ei ole tehokas esimerkiksi seuraavissa tapauksissa: jos standardioletukset (iv) jäännösten homoskedastisuus ja (v) korreloimattomuus eivät ole voimassa, niin yleistetty PNS-estimaattori on tehokas. jos vektorilla β on lineaarisia rajoitteita, niin rajoitettu PNS-estimaattori on tehokas. Näistä enemmän kirjallisuudessa ja laskuharjoituksissa.

Ensi viikolla: Regressiodiagnostiikka Regressiografiikka Poikkeavat havainnot Regressiokertoimien vakioisuus Multikollineaarisuus Heteroskedastisuus Normaalisuus Mallin ennustuskyky Regressiomallin valinta Mallinvalintatestit ja askellusstrategiat Mallinvalintakriteerit Regressiomallin linearisointi

Luentokalvot pohjautuvat osittain Mellinin ja Liesiön aiempien vuosien kalvoihin.