Regressioanalyysi Kuusinen/Heliövaara 1
Regressioanalyysin idea ja tavoitteet Regressioanalyysin idea: Oletetaan, että haluamme selittää jonkin selitettävän muuttujan havaittujen arvojen vaihtelun joidenkin selittävien muuttujien havaittujen arvojen vaihtelun avulla. Regressioanalyysissa selitettävän muuttujan tilastolliselle riippuvuudelle selittävistä muuttujista pyritään rakentamaan tilastollinen malli, jota kutsutaan regressiomalliksi. Regressioanalyysin mahdollisia tavoitteita: (i) Selitettävän muuttujan ja selittävien muuttujien tilastollisen riippuvuuden luonteen kuvaaminen. (ii) Selitettävän muuttujan arvojen ennustaminen. Kuusinen/Heliövaara 2
Regressiomalli Regressiomallin yleisessä muodossa on seuraavat osat: y = f(x; β) + ε y f(x; β) ε = selitettävä muuttuja = mallin systemaattinen eli rakenneosa = mallin satunnainen osa Mallin systemaattinen osa f(x; β) kuvaa selitettävän muuttujan y riippuvuutta selittävästä muuttujasta x. Systemaattisen osan muoto riippuu parametrista β. Kuusinen/Heliövaara 3
Regressio-ongelma Regressioanalyysissä pyritään valitsemaan parametrin β arvo siten, että kaikkiin havaintoihin j, j = 1, 2,..., n, liittyvistä jäännöstermeistä ε j tulee samanaikaisesti mahdollisimman pieniä. Pyritään siis valitsemaan parametrin β arvo siten, että käyrä y = f(x; β) kulkisi jossakin mielessä mahdollisimman läheltä jokaista havaintopistettä (x j, y j ), j = 1, 2,..., n. Kuusinen/Heliövaara 4
Yhden selittäjän lineaarinen regressiomalli Kuusinen/Heliövaara 5
Malli ja sen osat Yhden selittäjän lineaarinen regressiomalli on muotoa y j = β 0 + β 1 x j + ε j, j = 1, 2,..., n, jossa y j = Selitettävän muuttujan satunnainen havaittu arvo havaintoyksikössä j. x j = Selittävän muuttujan ei-satunnainen havaittu arvo havaintoyksikössä j. β 0 = Vakioselittäjän regressiokerroin, joka on tuntematon vakio. β 1 = Selittäjän x regressiokerroin, joka on tuntematon vakio. ε j = Satunnainen jäännöstermi havaintoyksikössä j. Kuusinen/Heliövaara 6
Standardioletukset jäännöstermeistä Regressiomallin jäännöstermit ε j ovat satunnaismuuttujia, joiden ns. standardioletukset ovat: (i) E(ε j ) = 0, j = 1, 2,..., n. (ii) Var(ε j ) = σ 2, j = 1, 2,..., n. (iii) Cor(ε j, ε l ) = 0, j l. Tavallisesti tehdään myös normaalisuusoletus (iv) ε j N(0, σ 2 ), j = 1, 2,..., n. Kuusinen/Heliövaara 7
Selitettävän muuttujan ominaisuudet Jos regressiomallin jäännöstermejä ε j koskevat standardioletukset (i)-(iii) pätevät, on selitettävän muuttujan y havaituilla arvoilla y j seuraavat stokastiset ominaisuudet: (i) E(y j ) = β 0 + β 1 x j, j = 1, 2,..., n. (ii) Var(y j ) = σ 2, j = 1, 2,..., n. (iii) Cor(y j, y l ) = 0, j l. Jos myös normaalisuusoletus (iv) pätee, niin (iv) y j N(β 0 + β 1 x j, σ 2 ), j = 1, 2,..., n. Kuusinen/Heliövaara 8
Mallin parametrit Yhden selittäjän lineaarisen regressiomallin parametreja ovat regressiokertoimet β 0 ja β 1 sekä jäännöstermien ε j yhteinen varianssi Var(ε j ) = σ 2, j = 1, 2..., n, jota kutsutaan jäännösvarianssiksi. Koska regressiokertoimet β 0 ja β 1 sekä jäännösvarianssi σ 2 ovat tavallisesti tuntemattomia, ne on estimoitavat muuttujien x ja y havaituista arvoista x j ja y j, j = 1, 2,..., n. Regressiokertoimien β 0 ja β 1 estimointiin on tarjolla useita erilaisia menetelmiä, joista tavallisesti käytetään pienimmän neliösumman menetelmää. Kuusinen/Heliövaara 9
Pienimmän neliösumman menetelmä Pienimmän neliösumman menetelmässä yhden selittäjän lineaarisen regressiomallin y j = β 0 + β 1 x j + ε j, j = 1, 2,..., n, regressiokertoimien β 0 ja β 1 estimaattorit määrätään minimoimalla jäännöstermien ε j neliösummaa min β n j=1 ε 2 j min β n (y j β 0 β 1 x j ) 2 j=1 regressiokertoimien β 0 ja β 1 suhteen. Kuusinen/Heliövaara 10
Tunnuslukuja 1/2 Aritmeettiset keskiarvot: x = 1 n n x j, ȳ = 1 n n y j j=1 j=1 Otosvarianssit: s 2 x = 1 n 1 s 2 y = 1 n 1 n j=1 n j=1 (x j x) 2 = 1 n 1 (y j ȳ) 2 = 1 n 1 ( n ) x 2 j n x 2 j=1 ( n ) yj 2 nȳ 2 j=1 Kuusinen/Heliövaara 11
Tunnuslukuja 2/2 Otoskovarianssi s xy = 1 n 1 n j=1 (y j ȳ)(x j x) = 1 n 1 ( n j=1 ) y j x j nȳ x Otoskorrelaatiokerroin r xy = s xy s x s y Kuusinen/Heliövaara 12
Regressiokertoimien PNS-estimaattorit Yhden selittäjän lineaarisen regressiomallin y j = β 0 + β 1 x j + ε j, j = 1, 2,..., n regressiokertoimien β 0 ja β 1 PNS-estimaattorit ovat b 0 = ȳ b 1 x b 1 = s xy s 2 x = r xy s y s x Kuusinen/Heliövaara 13
Estimoitu regressiosuora Yhden selittäjän lineaarisen regressiomallin y j = β 0 + β 1 x j + ε j, j = 1, 2,..., n regressiokertoimien β 0 ja β 1 PNS-estimaattorit b 0 ja b 1 määrittävät suoran avaruudessa R 2 : y = b 0 + b 1 x = ȳ + r xy s y s x (x x) Yhtälöstä nähdään, että estimoitu regressiosuora kulkee havaintopisteiden (x j, y j ), j = 1, 2,..., n, painopisteen ( x, ȳ) kautta. Kuusinen/Heliövaara 14
Estimoidun regressiosuoran ominaisuudet Estimoidulla regressiosuoralla on seuraavat ominaisuudet: (i) Jos r xy > 0, suora on nouseva. (ii) Jos r xy < 0, suora on laskeva. (iii) Jos r xy = 0, suora on vaakasuorassa. (iv) Suora jyrkkenee (loivenee), jos: - korrelaation itseisarvo r xy kasvaa (pienenee). - keskihajonta s y kasvaa (pienenee). - keskihajonta s x pienenee (kasvaa). Kuusinen/Heliövaara 15
Sovitteet ja residuaalit Olkoot b 0 ja b 1 yhden selittäjän lineaarisen regressiomallin y j = β 0 + β 1 x j + ε j, j = 1, 2,..., n regressiokertoimien β 0 ja β 1 PNS-estimaattorit. Estimoidun mallin sovite ŷ j = b 0 + b 1 x j, j = 1, 2,..., n on estimoidun regressiosuoran arvo havaintopisteessä x j. Estimoidun mallin residuaali e j = y j ŷ j = y j b 0 b 1 x j, j = 1, 2,..., n on selitettävän muuttujan y havaitun arvon y j ja sovitteen ŷ j arvon erotus. Kuusinen/Heliövaara 16
Neliösummia Kokonaisneliösumma: SST = n (y j ȳ) 2 j=1 Jäännösneliösumma: SSE = n e 2 j j=1 Mallineliösumma: SSM = n (ŷ j ȳ) 2 j=1 Näille neliösummille pätee varianssianalyysihajotelma SST = SSM + SSE Kuusinen/Heliövaara 17
Selitysaste Tunnuslukua R 2 = 1 SSE SST = SSM SST käytetään regressiomallin hyvyyden mittarina. Tunnuslukua R 2 kutsutaan selityasteeksi ja se mittaa regressiomallin selittämää osuutta selitettävän muuttujan y havaittujen arvojen kokonaisvaihtelusta. Yhden selittäjän lineaarisessa regressiomallissa pätee: R 2 = r 2 xy Selitysasteelle pätee aina 0 R 2 1 Kuusinen/Heliövaara 18
Jäännösvarianssi Jos yhden selittäjän lineaarisen regressiomallin jäännöstermejä ε j koskevat standardioletukset (i)-(iii) pätevät, jäännösvarianssin Var(ε j ) = σ 2 harhaton estimaattori on jossa e j s 2 = 1 n 2 n e 2 j, j=1 = y j ŷ j = y j b 0 b 1 x j, j = 1, 2,..., n n = estimoidun mallin residuaali = havaintojen lukumäärä Kuusinen/Heliövaara 19
Regressiokerrointen PNS-estimaattoreiden jakaumat Yhden selittäjän lineaarisen regressiomallin regressiokertoimien β 0 ja β 1 PNS-estimaattoreiden b 0 ja b 1 otosjakaumat ovat standardioletusten (i)-(iv) pätiessä missä ( b 1 N β 1, σ 2 nˆσ 2 x σ 2 = Var(ε j ) on jäännösvarianssi. ), b 0 N (β 0, σ2 n i=1 x2 i n 2ˆσ x 2 ˆσ 2 x = 1 n n j=1 (x j x) 2 on x:n harhainen otosvarianssi. ), Kuusinen/Heliövaara 20
Regressiokertoimia koskevat testit Ilkka Mellinin kaavakokoelmasta Sovellettu todennäköisyyslasku: Kaavat ja taulukot löytyy tietoa regressiokertoimia koskevista testeistä. Kuusinen/Heliövaara 21
Yleinen lineaarinen malli Kuusinen/Heliövaara 22
Usean selittäjän lineaarinen regressiomalli Usean selittäjän lineaarisessa regressiomallissa selitettävän muuttujan y havaittujen arvojen vaihtelu halutaan selittää selittävien muuttujien x 1, x 2,..., x k havaittujen arvojen vaihtelun avulla. Usean selittäjän lineaarista regressiomallia kutsutaan tavallisesti yleiseksi lineaariseksi malliksi. Kuusinen/Heliövaara 23
Havainnot Selitettävää muuttujaa y ja selittäjiä x 1, x 2,..., x k koskevat havaintoarvot voidaan järjestää havaintoyksiköittäin seuraavasti: Havaintoyksikkö 1: x 11, x 12,..., x 1k, y 1 Havaintoyksikkö 2: x 21, x 22,..., x 2k, y 2. missä. Havaintoyksikkö n: x n1, x n2,..., x nk, y n, k = selittäjien x i lukumäärä. n = havaintojen lukumäärä. Kuusinen/Heliövaara 24
Yleinen lineaarinen malli 1/2 Yhtälö y j = β 0 + β 1 x j1 + β 2 x j2 + + β k x jk + ε j, j = 1, 2,..., n määrittelee yleisen lineaarisen mallin, jossa: y j = selitettävän muuttujan y satunnainen ja havaittu arvo havaintoyksikössä j x ji = selittävän muuttujan x i ei-satunnainen ja havaittu arvo havaintoyksikössä j, i = 1, 2,..., k ε j = jäännöstermin ε satunnainen ja ei-havaittu arvo havaintoyksikössä j Kuusinen/Heliövaara 25
Yleinen lineaarinen malli 2/2 Yhtälö y j = β 0 + β 1 x j1 + β 2 x j2 + + β k x jk + ε j, j = 1, 2,..., n määrittelee yleisen lineaarisen mallin, jossa on seuraavat kertoimet: β 0 = vakioselittäjän regressiokerroin, ei-satunnainen ja tuntematon vakio β i = selittäjän x i regressiokerroin, i = 1, 2,..., k, ei-satunnainen ja tuntematon vakio Kuusinen/Heliövaara 26
Standardioletukset Yleisen lineaarisen mallin standardioletukset ovat: (i) Selittäjien x i arvot x ji ovat ei-satunnaisia vakioita, j = 1, 2,..., n, i = 1, 2,..., k (ii) Selittäjien välillä ei ole lineaarisia riippuvuuksia. (iii) E(ε j ) = 0, j = 1, 2,..., n (iv) Var(ε j ) = σ 2, j = 1, 2,..., n (v) Cor(ε j, ε l ) = 0, j l (vi) ε j N(0, σ 2 ), j = 1, 2,..., n Standardioletusten voimassaolo takaa, että ns. tavanomaisia estimointi- ja testausmenetelmiä saa käyttää mallin analysoinnissa. Kuusinen/Heliövaara 27
Regressiotaso Standardioletusten pätiessä selitettävän muuttujan odotusarvo, jota kutsutaan mallin systemaattiseksi osaksi, on muotoa E(y j ) = β 0 + β 1 x j1 + β 2 x j2 + + β k x jk, j = 1, 2,..., n Systemaattisen osan avaruudessa R k+1 määrittelemää tasoa y = β 0 + β 1 x 1 + β 2 x 2 + + β k x k kutsutaan regressiotasoksi. Jäännöstermien ε j varianssi σ 2 kuvaa havaintopisteiden (x j1, x j2,..., x jk, y j ) R k+1, j = 1, 2,..., n vaihtelua regressiotason ympärillä. Kuusinen/Heliövaara 28
Yleisen lineaarisen mallin matriisiesitys 1/2 Olkoon y = [y 1 y 2 y n ] selitettävän muuttujan y havaittujen arvojen muodostama n-vektori. Olkoon X = 1 x 11 x 12 x 1k 1 x 21 x 22 x 2k......... 1 x n1 x n2 x nk selittävien muuuttujien x 1, x 2,..., x k havaittujen arvojen ja vakioselittäjää vastaavien ykkösten muodostama n (k + 1)-matriisi. Kuusinen/Heliövaara 29
Yleisen lineaarisen mallin matriisiesitys 2/2 Olkoon β = [β 0 β 1 β k ] regressiokertoimien β 0, β 1,..., β k muodostama (k + 1)-vektori. Olkoon ε = [ε 1 ε 2 ε n ] jäännöstermien ε 1, ε 2,..., ε n muodostama n-vektori. Yleinen lineaarinen malli voidaan esittää matriisein muodossa y = Xβ + ε Kuusinen/Heliövaara 30
Yleisen lineaarisen mallin parametrien estimointi Yleisen lineaarisen mallin y j = β 0 + β 1 x j1 + β 2 x j2 + + β k x jk + ε j, j = 1, 2,..., n regressiokertoimet β 0, β 1,..., β k estimoidaan tavallisesti pienimmän neliösumman menetelmällä. PNS-menetelmässä regressiokertoimien estimaattorit määrätään minimoimalla jäännöstermien ε j neliösummaa n j=1 ε 2 j = n (y j β 0 β 1 x j1 β 2 x j2 β k x jk ) 2 j=1 regressiokertoimien β 0, β 1,..., β k suhteen. Kuusinen/Heliövaara 31
Regressiokertoimien PNS-estimaattorit Olkoon y = Xβ + ε standardioletuksen (ii) r(x) = k + 1 toteuttava yleinen lineaarinen malli. Tällöin regressiokertoimien vektorin β PNS-estimaattori on b = (X X) 1 X y Kuusinen/Heliövaara 32
Estimoitu regressiotaso Regressiokertoimien β 0, β 1,..., β k PNS-estimaattorit b 0, b 1,..., b k määrittelevät tason y = b 0 + b 1 x 1 + b 2 x 2 + + b k x k avaruudessa R k+1. Tasoa kutsutaan estimoiduksi regressiotasoksi. Jäännösvarianssin σ 2 estimaattori s 2 kuvaa havaintopisteiden (x j1, x j2,..., x jk, y j ) R k+1, j = 1, 2,..., n vaihtelua estimoidun regressiotason ympärillä. Kuusinen/Heliövaara 33