Regressioanalyysi. Kuusinen/Heliövaara 1

Transkriptio

1 Regressioanalyysi Kuusinen/Heliövaara 1

2 Regressioanalyysin idea ja tavoitteet Regressioanalyysin idea: Oletetaan, että haluamme selittää jonkin selitettävän muuttujan havaittujen arvojen vaihtelun joidenkin selittävien muuttujien havaittujen arvojen vaihtelun avulla. Regressioanalyysissa selitettävän muuttujan tilastolliselle riippuvuudelle selittävistä muuttujista pyritään rakentamaan tilastollinen malli, jota kutsutaan regressiomalliksi. Regressioanalyysin mahdollisia tavoitteita: (i) Selitettävän muuttujan ja selittävien muuttujien tilastollisen riippuvuuden luonteen kuvaaminen. (ii) Selitettävän muuttujan arvojen ennustaminen. Kuusinen/Heliövaara 2

3 Regressiomalli Regressiomallin yleisessä muodossa on seuraavat osat: y = f(x; β) + ε y f(x; β) ε = selitettävä muuttuja = mallin systemaattinen eli rakenneosa = mallin satunnainen osa Mallin systemaattinen osa f(x; β) kuvaa selitettävän muuttujan y riippuvuutta selittävästä muuttujasta x. Systemaattisen osan muoto riippuu parametrista β. Kuusinen/Heliövaara 3

4 Regressio-ongelma Regressioanalyysissä pyritään valitsemaan parametrin β arvo siten, että kaikkiin havaintoihin j, j = 1, 2,..., n, liittyvistä jäännöstermeistä ε j tulee samanaikaisesti mahdollisimman pieniä. Pyritään siis valitsemaan parametrin β arvo siten, että käyrä y = f(x; β) kulkisi jossakin mielessä mahdollisimman läheltä jokaista havaintopistettä (x j, y j ), j = 1, 2,..., n. Kuusinen/Heliövaara 4

5 Yhden selittäjän lineaarinen regressiomalli Kuusinen/Heliövaara 5

6 Malli ja sen osat Yhden selittäjän lineaarinen regressiomalli on muotoa y j = β 0 + β 1 x j + ε j, j = 1, 2,..., n, jossa y j = Selitettävän muuttujan satunnainen havaittu arvo havaintoyksikössä j. x j = Selittävän muuttujan ei-satunnainen havaittu arvo havaintoyksikössä j. β 0 = Vakioselittäjän regressiokerroin, joka on tuntematon vakio. β 1 = Selittäjän x regressiokerroin, joka on tuntematon vakio. ε j = Satunnainen jäännöstermi havaintoyksikössä j. Kuusinen/Heliövaara 6

7 Standardioletukset jäännöstermeistä Regressiomallin jäännöstermit ε j ovat satunnaismuuttujia, joiden ns. standardioletukset ovat: (i) E(ε j ) = 0, j = 1, 2,..., n. (ii) Var(ε j ) = σ 2, j = 1, 2,..., n. (iii) Cor(ε j, ε l ) = 0, j l. Tavallisesti tehdään myös normaalisuusoletus (iv) ε j N(0, σ 2 ), j = 1, 2,..., n. Kuusinen/Heliövaara 7

8 Selitettävän muuttujan ominaisuudet Jos regressiomallin jäännöstermejä ε j koskevat standardioletukset (i)-(iii) pätevät, on selitettävän muuttujan y havaituilla arvoilla y j seuraavat stokastiset ominaisuudet: (i) E(y j ) = β 0 + β 1 x j, j = 1, 2,..., n. (ii) Var(y j ) = σ 2, j = 1, 2,..., n. (iii) Cor(y j, y l ) = 0, j l. Jos myös normaalisuusoletus (iv) pätee, niin (iv) y j N(β 0 + β 1 x j, σ 2 ), j = 1, 2,..., n. Kuusinen/Heliövaara 8

9 Mallin parametrit Yhden selittäjän lineaarisen regressiomallin parametreja ovat regressiokertoimet β 0 ja β 1 sekä jäännöstermien ε j yhteinen varianssi Var(ε j ) = σ 2, j = 1, 2..., n, jota kutsutaan jäännösvarianssiksi. Koska regressiokertoimet β 0 ja β 1 sekä jäännösvarianssi σ 2 ovat tavallisesti tuntemattomia, ne on estimoitavat muuttujien x ja y havaituista arvoista x j ja y j, j = 1, 2,..., n. Regressiokertoimien β 0 ja β 1 estimointiin on tarjolla useita erilaisia menetelmiä, joista tavallisesti käytetään pienimmän neliösumman menetelmää. Kuusinen/Heliövaara 9

10 Pienimmän neliösumman menetelmä Pienimmän neliösumman menetelmässä yhden selittäjän lineaarisen regressiomallin y j = β 0 + β 1 x j + ε j, j = 1, 2,..., n, regressiokertoimien β 0 ja β 1 estimaattorit määrätään minimoimalla jäännöstermien ε j neliösummaa min β n j=1 ε 2 j min β n (y j β 0 β 1 x j ) 2 j=1 regressiokertoimien β 0 ja β 1 suhteen. Kuusinen/Heliövaara 10

11 Tunnuslukuja 1/2 Aritmeettiset keskiarvot: x = 1 n n x j, ȳ = 1 n n y j j=1 j=1 Otosvarianssit: s 2 x = 1 n 1 s 2 y = 1 n 1 n j=1 n j=1 (x j x) 2 = 1 n 1 (y j ȳ) 2 = 1 n 1 ( n ) x 2 j n x 2 j=1 ( n ) yj 2 nȳ 2 j=1 Kuusinen/Heliövaara 11

12 Tunnuslukuja 2/2 Otoskovarianssi s xy = 1 n 1 n j=1 (y j ȳ)(x j x) = 1 n 1 ( n j=1 ) y j x j nȳ x Otoskorrelaatiokerroin r xy = s xy s x s y Kuusinen/Heliövaara 12

13 Regressiokertoimien PNS-estimaattorit Yhden selittäjän lineaarisen regressiomallin y j = β 0 + β 1 x j + ε j, j = 1, 2,..., n regressiokertoimien β 0 ja β 1 PNS-estimaattorit ovat b 0 = ȳ b 1 x b 1 = s xy s 2 x = r xy s y s x Kuusinen/Heliövaara 13

14 Estimoitu regressiosuora Yhden selittäjän lineaarisen regressiomallin y j = β 0 + β 1 x j + ε j, j = 1, 2,..., n regressiokertoimien β 0 ja β 1 PNS-estimaattorit b 0 ja b 1 määrittävät suoran avaruudessa R 2 : y = b 0 + b 1 x = ȳ + r xy s y s x (x x) Yhtälöstä nähdään, että estimoitu regressiosuora kulkee havaintopisteiden (x j, y j ), j = 1, 2,..., n, painopisteen ( x, ȳ) kautta. Kuusinen/Heliövaara 14

15 Estimoidun regressiosuoran ominaisuudet Estimoidulla regressiosuoralla on seuraavat ominaisuudet: (i) Jos r xy > 0, suora on nouseva. (ii) Jos r xy < 0, suora on laskeva. (iii) Jos r xy = 0, suora on vaakasuorassa. (iv) Suora jyrkkenee (loivenee), jos: - korrelaation itseisarvo r xy kasvaa (pienenee). - keskihajonta s y kasvaa (pienenee). - keskihajonta s x pienenee (kasvaa). Kuusinen/Heliövaara 15

16 Sovitteet ja residuaalit Olkoot b 0 ja b 1 yhden selittäjän lineaarisen regressiomallin y j = β 0 + β 1 x j + ε j, j = 1, 2,..., n regressiokertoimien β 0 ja β 1 PNS-estimaattorit. Estimoidun mallin sovite ŷ j = b 0 + b 1 x j, j = 1, 2,..., n on estimoidun regressiosuoran arvo havaintopisteessä x j. Estimoidun mallin residuaali e j = y j ŷ j = y j b 0 b 1 x j, j = 1, 2,..., n on selitettävän muuttujan y havaitun arvon y j ja sovitteen ŷ j arvon erotus. Kuusinen/Heliövaara 16

17 Neliösummia Kokonaisneliösumma: SST = n (y j ȳ) 2 j=1 Jäännösneliösumma: SSE = n e 2 j j=1 Mallineliösumma: SSM = n (ŷ j ȳ) 2 j=1 Näille neliösummille pätee varianssianalyysihajotelma SST = SSM + SSE Kuusinen/Heliövaara 17

18 Selitysaste Tunnuslukua R 2 = 1 SSE SST = SSM SST käytetään regressiomallin hyvyyden mittarina. Tunnuslukua R 2 kutsutaan selityasteeksi ja se mittaa regressiomallin selittämää osuutta selitettävän muuttujan y havaittujen arvojen kokonaisvaihtelusta. Yhden selittäjän lineaarisessa regressiomallissa pätee: R 2 = r 2 xy Selitysasteelle pätee aina 0 R 2 1 Kuusinen/Heliövaara 18

19 Jäännösvarianssi Jos yhden selittäjän lineaarisen regressiomallin jäännöstermejä ε j koskevat standardioletukset (i)-(iii) pätevät, jäännösvarianssin Var(ε j ) = σ 2 harhaton estimaattori on jossa e j s 2 = 1 n 2 n e 2 j, j=1 = y j ŷ j = y j b 0 b 1 x j, j = 1, 2,..., n n = estimoidun mallin residuaali = havaintojen lukumäärä Kuusinen/Heliövaara 19

20 Regressiokerrointen PNS-estimaattoreiden jakaumat Yhden selittäjän lineaarisen regressiomallin regressiokertoimien β 0 ja β 1 PNS-estimaattoreiden b 0 ja b 1 otosjakaumat ovat standardioletusten (i)-(iv) pätiessä missä ( b 1 N β 1, σ 2 nˆσ 2 x σ 2 = Var(ε j ) on jäännösvarianssi. ), b 0 N (β 0, σ2 n i=1 x2 i n 2ˆσ x 2 ˆσ 2 x = 1 n n j=1 (x j x) 2 on x:n harhainen otosvarianssi. ), Kuusinen/Heliövaara 20

21 Regressiokertoimia koskevat testit Ilkka Mellinin kaavakokoelmasta Sovellettu todennäköisyyslasku: Kaavat ja taulukot löytyy tietoa regressiokertoimia koskevista testeistä. Kuusinen/Heliövaara 21

22 Yleinen lineaarinen malli Kuusinen/Heliövaara 22

23 Usean selittäjän lineaarinen regressiomalli Usean selittäjän lineaarisessa regressiomallissa selitettävän muuttujan y havaittujen arvojen vaihtelu halutaan selittää selittävien muuttujien x 1, x 2,..., x k havaittujen arvojen vaihtelun avulla. Usean selittäjän lineaarista regressiomallia kutsutaan tavallisesti yleiseksi lineaariseksi malliksi. Kuusinen/Heliövaara 23

24 Havainnot Selitettävää muuttujaa y ja selittäjiä x 1, x 2,..., x k koskevat havaintoarvot voidaan järjestää havaintoyksiköittäin seuraavasti: Havaintoyksikkö 1: x 11, x 12,..., x 1k, y 1 Havaintoyksikkö 2: x 21, x 22,..., x 2k, y 2. missä. Havaintoyksikkö n: x n1, x n2,..., x nk, y n, k = selittäjien x i lukumäärä. n = havaintojen lukumäärä. Kuusinen/Heliövaara 24

25 Yleinen lineaarinen malli 1/2 Yhtälö y j = β 0 + β 1 x j1 + β 2 x j2 + + β k x jk + ε j, j = 1, 2,..., n määrittelee yleisen lineaarisen mallin, jossa: y j = selitettävän muuttujan y satunnainen ja havaittu arvo havaintoyksikössä j x ji = selittävän muuttujan x i ei-satunnainen ja havaittu arvo havaintoyksikössä j, i = 1, 2,..., k ε j = jäännöstermin ε satunnainen ja ei-havaittu arvo havaintoyksikössä j Kuusinen/Heliövaara 25

26 Yleinen lineaarinen malli 2/2 Yhtälö y j = β 0 + β 1 x j1 + β 2 x j2 + + β k x jk + ε j, j = 1, 2,..., n määrittelee yleisen lineaarisen mallin, jossa on seuraavat kertoimet: β 0 = vakioselittäjän regressiokerroin, ei-satunnainen ja tuntematon vakio β i = selittäjän x i regressiokerroin, i = 1, 2,..., k, ei-satunnainen ja tuntematon vakio Kuusinen/Heliövaara 26

27 Standardioletukset Yleisen lineaarisen mallin standardioletukset ovat: (i) Selittäjien x i arvot x ji ovat ei-satunnaisia vakioita, j = 1, 2,..., n, i = 1, 2,..., k (ii) Selittäjien välillä ei ole lineaarisia riippuvuuksia. (iii) E(ε j ) = 0, j = 1, 2,..., n (iv) Var(ε j ) = σ 2, j = 1, 2,..., n (v) Cor(ε j, ε l ) = 0, j l (vi) ε j N(0, σ 2 ), j = 1, 2,..., n Standardioletusten voimassaolo takaa, että ns. tavanomaisia estimointi- ja testausmenetelmiä saa käyttää mallin analysoinnissa. Kuusinen/Heliövaara 27

28 Regressiotaso Standardioletusten pätiessä selitettävän muuttujan odotusarvo, jota kutsutaan mallin systemaattiseksi osaksi, on muotoa E(y j ) = β 0 + β 1 x j1 + β 2 x j2 + + β k x jk, j = 1, 2,..., n Systemaattisen osan avaruudessa R k+1 määrittelemää tasoa y = β 0 + β 1 x 1 + β 2 x β k x k kutsutaan regressiotasoksi. Jäännöstermien ε j varianssi σ 2 kuvaa havaintopisteiden (x j1, x j2,..., x jk, y j ) R k+1, j = 1, 2,..., n vaihtelua regressiotason ympärillä. Kuusinen/Heliövaara 28

29 Yleisen lineaarisen mallin matriisiesitys 1/2 Olkoon y = [y 1 y 2 y n ] selitettävän muuttujan y havaittujen arvojen muodostama n-vektori. Olkoon X = 1 x 11 x 12 x 1k 1 x 21 x 22 x 2k x n1 x n2 x nk selittävien muuuttujien x 1, x 2,..., x k havaittujen arvojen ja vakioselittäjää vastaavien ykkösten muodostama n (k + 1)-matriisi. Kuusinen/Heliövaara 29

30 Yleisen lineaarisen mallin matriisiesitys 2/2 Olkoon β = [β 0 β 1 β k ] regressiokertoimien β 0, β 1,..., β k muodostama (k + 1)-vektori. Olkoon ε = [ε 1 ε 2 ε n ] jäännöstermien ε 1, ε 2,..., ε n muodostama n-vektori. Yleinen lineaarinen malli voidaan esittää matriisein muodossa y = Xβ + ε Kuusinen/Heliövaara 30

31 Yleisen lineaarisen mallin parametrien estimointi Yleisen lineaarisen mallin y j = β 0 + β 1 x j1 + β 2 x j2 + + β k x jk + ε j, j = 1, 2,..., n regressiokertoimet β 0, β 1,..., β k estimoidaan tavallisesti pienimmän neliösumman menetelmällä. PNS-menetelmässä regressiokertoimien estimaattorit määrätään minimoimalla jäännöstermien ε j neliösummaa n j=1 ε 2 j = n (y j β 0 β 1 x j1 β 2 x j2 β k x jk ) 2 j=1 regressiokertoimien β 0, β 1,..., β k suhteen. Kuusinen/Heliövaara 31

32 Regressiokertoimien PNS-estimaattorit Olkoon y = Xβ + ε standardioletuksen (ii) r(x) = k + 1 toteuttava yleinen lineaarinen malli. Tällöin regressiokertoimien vektorin β PNS-estimaattori on b = (X X) 1 X y Kuusinen/Heliövaara 32

33 Estimoitu regressiotaso Regressiokertoimien β 0, β 1,..., β k PNS-estimaattorit b 0, b 1,..., b k määrittelevät tason y = b 0 + b 1 x 1 + b 2 x b k x k avaruudessa R k+1. Tasoa kutsutaan estimoiduksi regressiotasoksi. Jäännösvarianssin σ 2 estimaattori s 2 kuvaa havaintopisteiden (x j1, x j2,..., x jk, y j ) R k+1, j = 1, 2,..., n vaihtelua estimoidun regressiotason ympärillä. Kuusinen/Heliövaara 33