Johdatus regressioanalyysiin. Heliövaara 1

Transkriptio

1 Johdatus regressioanalyysiin Heliövaara 1

2 Regressioanalyysin idea Oletetaan, että haluamme selittää jonkin selitettävän muuttujan havaittujen arvojen vaihtelun selittävien muuttujien havaittujen arvojen vaihtelun avulla. Regressioanalyysissa selitettävän muuttujan tilastolliselle riippuvuudelle selittävistä muuttujista pyritään rakentamaan tilstollinen malli, jota kutsutaan regressiomalliksi. Heliövaara 2

3 Regressioanalyysin tavoitteet Regressioanalyysin mahdollisia tavoitteita: (i) Selitettävän muuttujan ja selittävien muuttujien tilastollisen riippuvuuden luonteen kuvaaminen. (ii) Selitettävän muuttujan arvojen ennustaminen. Heliövaara 3

4 Regressiomalli Regressiomallissa y j = f(x j ;β) + ε j, j = 1, 2,...,n on seuraavat osat: y j = Selitettävän muuttujan satunnainen havaittu arvo havaintoyksikössä j. x j = Selittävän muuttujan ei-satunnainen havaittu arvo havaintoyksikössä j. β = Tuntematon ei-satunnainen parametri. ε j = Satunnainen virhetermi havaintoyksikössä j. Heliövaara 4

5 Regressio-ongelma Regressioanalyysissa pyritään valitsemaan regressiomallin parametrin β arvo siten, että kaikista virhetermeistä ε j tulee samanaikaisesti mahdollisimman pieniä. Pyritään siis valitsemaan parametri β siten, että käyrä y = f(x;β) kulkisi mahdollisimman läheltä jokaista havaintopistettä (x j,y j ) R 2, j = 1, 2,...,n. Erään ratkaisun tähän käyränsovitusongelmaan tarjoaa pienimmän neliösumman menetelmä. Heliövaara 5

6 Pienimmän neliösumman menetelmä pienimmän neliösumman menetelmässä pyritään minimoimaan regressiomallin y j = f(x j ;β) + ε j, j = 1, 2,...,n virhetermien ε j neliöden summaa, muuttamalla parametrin β arvoa: min β n j=1 ε 2 j min β n (y j f(x j ;β)) 2 j=1 Optimaalinen β:n arvo on parametrin β PNS-estimaatti. Heliövaara 6

7 Yhden selittäjän lineaarinen regressiomalli Heliövaara 7

8 Tarvittavia tunnuslukuja Otosvarianssi s 2 x = 1 ( n ) x 2 i n x 2 n 1 i=1 Otoskovarianssi s xy = 1 n 1 ( n ) (y i ȳ)(x i x) i=1 = 1 ( n ) y i x i nȳ x n 1 i=1 Otoskorrelaatiokerroin r xy = s xy s x s y Heliövaara 8

9 Malli ja sen osat Yhden selittäjän lineaarinen regressiomalli on muotoa y j = β 0 + β 1 x j + ε j, j = 1, 2,...,n, jossa y j = Selitettävän muuttujan satunnainen havaittu arvo havaintoyksikössä j. x j = Selittävän muuttujan ei-satunnainen havaittu arvo havaintoyksikössä j. β 0 = Vakioselittäjän regressiokerroin, joka on tuntematon vakio. β 1 = Selittäjän x regressiokerroin, joka on tuntematon vakio. ε j = Satunnainen virhetermi havaintoyksikössä j. Heliövaara 9

10 Virhetermin standardioletukset 1/2 Regressiomallin virhetermit ε j ovat satunnaismuuttujia, joiden ns. standardioletukset ovat: (i) E(ε j ) = 0, j = 1, 2,...,n. (ii) Var(ε j ) = σ 2, j = 1, 2,...,n. (iii) Cor(ε j,ε l ) = 0, j l. Tavallisesti tehdään myös normaalisuusoletus (iv) ε j N(0,σ 2 ), j = 1, 2,...,n. Heliövaara 10

11 Virhetermin standardioletukset 2/2 Jos regressiomallin virhetermejä ε j koskevat standardioletukset (i)-(iii) pätevät, on selitettävän muuttujan havaituilla arvoilla seuraavat stokastiset ominaisuudet: (i) E(y j ) = β 0 + β 1 x j, j = 1, 2,...,n. (ii) Var(y j ) = σ 2, j = 1, 2,...,n. (iii) Cor(y j,y l ) = 0, j l. Jos myös normaalisuusoletus (iv) pätee, niin (iv) y j N(β 0 + β 1 x j,σ 2 ), j = 1, 2,...,n. Heliövaara 11

12 Pienimmän neliösumman menetelmä Pienimmän neliösumman menetelmässä yhden selittäjän lineaarisen regressiomallin y j = β 0 + β 1 x j + ε j, j = 1, 2,...,n, regressiokertoimien β 0 ja β 1 estimaattorit määrätään minimoimalla virhetermien ε j neliösumma min β n j=1 ε 2 j min β n (y j β 0 β 1 x j ) 2 j=1 regressiokertoimien β 0 ja β 1 suhteen. Heliövaara 12

13 Regressiokertoimien PNS-estimaattorit Määritellään havaintojen x j ja y j, j = 1, 2,...,n aritmeettiset keskiarvot ( x ja ȳ), otosvarianssit (s 2 x ja s2 y ), otoskovarianssi (s xy) ja otoskorrelaatiokerroin (r xy ) tavanomaisilla kaavoillaan. Yhden selittäjän lineaarisen regressiomallin regressiokertoimien β 0 ja β 1 PNS-estimaattorit ovat b 0 = ȳ b 1 x b 1 = s xy s 2 x = r xy s y s x Heliövaara 13

14 Sovitteet ja residuaalit Olkoot b 0 ja b 1 yhden selittäjän lineaarisen regressiomallin y j = β 0 + β 1 x j + ε j, j = 1, 2,...,n regressiokertoimien β 0 ja β 1 PNS-estimaattorit. Estimoidun mallin sovite ŷ j = b 0 + b 1 x j, j = 1, 2,...,n on estimoidun regressiosuoran arvo havaintopisteessä x j. Estimoidun mallin residuaali e j = y j ŷ j = y j b 0 b 1 x j, j = 1, 2,...,n on selitettävän muuttujan y havaitun arvon y j ja sovitteen ŷ j arvon erotus. Heliövaara 14

15 Neliösummia kokonaisneliösumma: SST = n (y j ȳ) 2 j=1 jäännösneliösumma: SSE = n e 2 j j=1 mallineliösumma: SSM = n (ŷ j ȳ) 2 j=1 Näille neliösummille pätee varianssianalyysihajotelma SST = SSM + SSE Heliövaara 15

16 Selitysaste Tunnuslukua R 2 = 1 SSE SST = SSM SST käytetään regressiomallin hyvyyden mittarina. Tunnuslukua R 2 kutsutaan selityasteeksi ja se mittaa regressiomallin selittämää osuutta selitettävän muuttujan y havaittujen arvojen kokonaisvaihtelusta. Yhden selittäjän lineaarisessa regressiomallissa pätee: R 2 = r 2 xy Selitysasteelle pätee aina 0 R 2 1 Heliövaara 16

17 Jäännösvarianssi Jos yhden selittäjän lineaarisen regressiomallin virhetermejä ε j koskevat standardioletukset (i)-(iii) pätevät, jäännösvarianssin V ar(ε j ) = σ 2 harhaton estimaattori on s 2 = 1 n 2 n j=1 e 2 j jossa e j = estimoidun mallin residuaali n = havaintojen lukumäärä Heliövaara 17