Yhden selittäjän lineaarinen regressiomalli (jatkoa) Ensi viikolla ei pidetä luentoa eikä harjoituksia. Heliövaara 1

Transkriptio

1 Yhden selittäjän lineaarinen regressiomalli (jatkoa) Ensi viikolla ei pidetä luentoa eikä harjoituksia Heliövaara 1

2 Regressiokertoimien PNS-estimaattorit Määritellään havaintojen x j ja y j, j = 1, 2,...,n aritmeettiset keskiarvot ( x ja ȳ), otosvarianssit (s 2 x ja s2 y ), otoskovarianssi (s xy) ja otoskorrelaatiokerroin (r xy ) tavanomaisilla kaavoillaan. Yhden selittäjän lineaarisen regressiomallin regressiokertoimien β 0 ja β 1 PNS-estimaattorit ovat b 0 = ȳ b 1 x b 1 = s xy s 2 x = r xy s y s x Heliövaara 2

3 Regressiokerrointen PNS-estimaattoreiden jakaumat Regressiokertoimien β 0 ja β 1 PNS-estimaattoreiden b 0 ja b 1 otosjakaumat ovat missä ( b 1 N β 1, σ 2 nˆσ 2 x σ 2 = Var(ε j ) on jäännösvarianssi. ), b 0 N (β 0, σ2 n i=1 x2 i n 2ˆσ x 2 ˆσ 2 x = 1 n n j=1 (x j x) 2 on x:n harhainen otosvarianssi. ), Heliövaara 3

4 Regressiokertoimia koskevat testit Ilkka Mellinin kaavakokoelmasta Sovellettu todennäköisyyslasku: Kaavat ja taulukot löytyy tietoa regressiokertoimia koskevista testeistä. Heliövaara 4

5 Yleinen lineaarinen malli Heliövaara 5

6 Usean selittäjän lineaarinen regressiomalli Usean selittäjän lineaarisessa regressiomallissa selitettävän muuttujan y havaittujen arvojen vaihtelu halutaan selittää selittävien muuttujien x 1,x 2,...,x k havaittujen arvojen vaihtelun avulla. Usean selittäjän lineaarista regressiomallia kutsutaan tavallisesti yleiseksi lineaariseksi malliksi. Heliövaara 6

7 Havainnot Selitettävää muuttujaa y ja selittäjiä x 1,x 2,...,x k koskevat havaintoarvot voidaan järjestää havaintoyksiköittäin seuraavasti: Havaintoyksikkö 1: x 11,x 12,...,x 1k,y 1 Havaintoyksikkö 2: x 21,x 22,...,x 2k,y 2.. Havaintoyksikkö 1: x n1,x n2,...,x nk,y n Missä k = selittäjien x i lukumäärä. n = havaintojen lukumäärä. Heliövaara 7

8 Yleinen lineaarinen malli Yhtälö y j = β 0 + β 1 x j1 + β 2 x j2 + + β k x jk + ε j, j = 1, 2,...,n määrittelee yleisen lineaarisen mallin, jossa on seuraavat kertoimet: β 0 = vakioselittäjän regressiokerroin. β i = selittäjän x i regressiokerroin. Heliövaara 8

9 Standardioletukset Yleisen lineaarisen mallin standardioletukset ovat: (i) Selittäjien x i arvot x ji ovat ei-satunnaisia vakioita, j = 1, 2,...,n, i = 1, 2,...,k (ii) Selittäjien välillä ei ole lineaarisia riippuvuuksia. (iii) E(ε j ) = 0, j = 1, 2,...,n (iv) Var(ε j ) = σ 2, j = 1, 2,...,n (v) Cor(ε j,ε l ) = 0, j l (vi) ε j N(0,σ 2 ), j = 1, 2,...,n Standardioletusten voimassaolo takaa, että ns. tavanomaisia estimointi- ja testausmenetelmiä saa käyttää mallin analysoinnissa. Heliövaara 9

10 Regressiotaso Standardioletusten pätiessä selitettävän muuttujan odotusarvo on muotoa E(y j ) = β 0 + β 1 x j1 + β 2 x j2 + + β k x jk, j = 1, 2,...,n Tätä odotusarvoa kutsutaan mallin systemaattiseksi osaksi. Systemaattinen osa määrittelee tason y = β 0 + β 1 x j1 + β 2 x j2 + + β k x jk avaruudessa R k+1, jota kutsutaan regressiotasoksi. Heliövaara 10

11 Yleinen lineaarinen malli - matriisiesitys Heliövaara 11

12 Selitettävän ja selittävien muuttujien matriisit Olkoon y = [y 1 y 2 y n ] selitettävän muuttujan y havaittujen arvojen muodostama n-vektori. Olkoon X = 1 x 11 x 12 x 1k 1 x 21 x 22 x 2k x n1 x n2 x nk selittävien muuuttujien x 1,x 2,...,x k havaittujen arvojen ja ykkösten muodostama n (k + 1)-matriisi. Matriisin X ykkösten muodostama sarake vastaa mallin vakioselittäjää. Heliövaara 12

13 Regressiokertoimien matriisi Olkoon β = [β 0 β 1 β k ] regressiokertoimien β 0,β 1,...,β k muodostama (k + 1)-vektori. Olkoon ε = [ε 1 ε 2 ε n ] jäännöstermien ε 1,ε 2,...,ε n muodostama n-vektori. Heliövaara 13

14 Yleisen lineaarisen mallin matriisiesitys Yleinen lineaarinen malli voidaan esittää matriisein muodossa y = Xβ + ε Heliövaara 14

15 Yleisen lineaarisen mallin parametrien estimointi Yleisen lineaarisen mallin y j = β 0 + β 1 x j1 + β 2 x j2 + + β k x jk + ε j, j = 1, 2,...,n regressiokertoimet β 0,β 1,...,β k estimoidaan tavallisesti pienimmän neliösumman menetelmällä. PNS-menetelmässä regressiokertoiminen estimaattorit määrätään minimoimalla jäännöstermien ε j neliösumma n j=1 ε 2 j = n (y j β 0 β 1 x j1 β 2 x j2 β k x jk ) 2 j=1 regressiokertoimien β 0,β 1,...,β k suhteen. Heliövaara 15

16 Regressiokertoimien PNS-estimaattorit Olkoon y = Xβ + ε standardioletuksen (ii) r(x) = k + 1 toteuttava yleinen lineaarinen malli. Tällöin regressiokertoimien vektorin β PNS-estimaattori on b = (X X) 1 X y Heliövaara 16