Tilastollisen analyysin perusteet Luento 7: Lineaarinen regressio

Tilastollisen analyysin perusteet Luento 7: Lineaarinen regressio

Sisältö

Regressioanalyysissä tavoitteena on tutkia yhden tai useamman selittävän muuttujan vaikutusta selitettävään muuttujaan. Sen avulla voidaan pyrkiä vastaamaan esimerkiksi siihen vaikuttaako alkoholin kulutus väkivaltarikosten määrään ja jos vaikuttaa, niin kuinka voimakas tämä vaikutus on.

Esimerkkejä kysymyksistä, joihin voidaan yrittää vastata regressioanalyysin avulla Vaikuttaako edellisenä yönä nukutun yöunen pituus tenttipisteisiin ja jos vaikuttaa, niin kuinka voimakas tämä vaikutus on? Vaikuttaako koulutustaso palkan suuruuteen ja jos vaikuttaa, niin kuinka voimakas tämä vaikutus on? Vaikuttaako vanhempien tupakointi lapsen pituuskasvuun ja jos vaikuttaa, niin kuinka voimakas tämä vaikutus on? Vaikuttaako tulonjaon tasaisuus rikollisuuden määrään ja jos vaikuttaa, niin kuinka voimakas tämä vaikutus on?

Regressioanalyysissä mahdollisia tavoitteita ovat esimerkiksi: Selitettävän muuttujan ja selittävien muuttujien tilastollisen riippuvuuden luonteen kuvaaminen. Millainen on riippuvuuden muoto? Kuinka voimakasta riippuvuus on? Selitettävän muuttujan arvojen ennustaminen. Selitettävän muuttujan arvojen kontrollointi.

Regressioanalyysissä käytetään erilaisia tilastollisia/matemaattisia malleja. Tällä kurssilla pääpaino on lineaarisessa regressiossa.

Oletetaan, että meillä on n kappaletta (x 1, y 1 ), (x 2, y 2 )..., (x n, y n ), pareja (x, y). Oletetaan, että arvot y i ovat muuttujan y satunnaisia havaittuja arvoja ja oletetaan, että arvot x i ovat muuttujan x ei-satunnaisia havaittuja arvoja. Oletetaan, että muuttujan y arvot riippuvat muuttujan x arvoista lineaarisesti. Yhden selittävän muuttujan lineaarinen malli voidaan nyt esittää seuraavalla tavoin. y i = b 0 + b 1 x i + ε i, i 1,..., n, missä regressiokertoimet b 0 ja b 1 ovat tuntemattomia vakioita ja virhetermien (jäännöstermien) ε i odotusarvo E[ε i ] = 0.

Yksinkertainen lineaarinen malli Kuva: Kun muuttujan x arvot kasvavat, niin muuttujan y arvot pienenevät.

, yleiset oletukset Lineaarisia malleja käytettäessä tehdään yleensä seuraavat yleiset oletukset. Muuttujan x arvot on mitattu virheettömästi. Virhetermit ovat riippumattomia muuttujan x arvoista. Virhetermit ovat samoin jakautuneita. Virhetermien odotusarvo E[ε i ] = 0, kaikilla i 1,..., n. Virhetermit ovat homoskedastisia eli niillä on kaikilla sama varianssi E[ε 2 i ] = σ2. Virhetermit ovat korreloimattomia eli ρ(ε i, ε j ) = 0, i j.

Kun edellä esitetyt yleiset oletukset pätevät, niin muuttujalla y on seuraavat ominaisuudet. Odotusarvo E[y i ] = b 0 + b 1 x i i 1,..., n, Varianssi var(y i ) = var(ε i ) = σ 2. Korrelaatiokerroin ρ(y i, y j ) = 0, i j.

Lineaarisen mallin y i = b 0 + b 1 x i + ε i, i 1,..., n, parametrit ovat regressiokertoimet b 0 ja b 1 ja jäännöstermien varianssi E[ε 2 i ] = σ2. Nämä parametrit ovat yleensä tuntemattomia ja ne halutaan estimoida havainnoista.

Lineaarisen mallin y i = b 0 + b 1 x i + ε i, i 1,..., n, parametrit ovat regressiokertoimet b 0 ja b 1 ja jäännöstermien varianssi E[ε 2 i ] = σ2. Nämä parametrit ovat yleensä tuntemattomia ja ne halutaan estimoida havainnoista.

Oletuksen E[ε i ] = 0, kaikilla i 1,..., n pätiessä lineaarinen malli voidaan esittää muodossa y i = E[y i ] + ε i, i 1,..., n, missä E[y i ] = b 0 + b 1 x i on mallin ns. systemaattinen osa ja ε i on mallin satunnainen osa.

Regressiosuora Lineaarisen mallin systemaattinen osa E[y i ] = b 0 + b 1 x i määrittää regressiosuoran y = b 0 + b 1 x, missä b 0 on regressiosuoran ja y-akselin leikkauspiste ja b 1 on regressiosuoran kulmakerroin. Kulmakerroin b 1 kertoo kuinka paljon selitettävän muuttujan y arvo muuttuu kun selittävän muuttujan x arvo kasvaa yhdellä yksiköllä. Virhetermien varianssi E[ε 2 i ] = σ2 kuvaa havaintopisteiden vaihtelua regressiosuoran ympärillä.

Lineaarisessa regressioanalyysissä tavoitteena on etsiä regressiokertoimille b 0 ja b 1 sellaiset estimaatit, että niiden määräämä regressiosuora selittäisi mahdollisimman hyvin selitettävän muuttujan arvojen vaihtelun. Toisin sanoen, lineaarisessa regressiossa tavoitteena on minimoida virhetermien varianssia.

Pienimmän neliösumman menetelmä Ns. l 2 regressiossa (pienimmän neliösumman menetelmä) regressiokertoimien estimaatit ovat ˆb 1 = s xy s 2 x = ˆρ(x, y) s y s x ja ˆb 0 = ȳ ˆb 1 x. Nämä estimaatit minimoivat jäännöstermien neliösumman n ε 2 i = i=1 n (y i b 0 b 1 x i ) 2 i=1 regressiokertoimien b 0 ja b 1 suhteen.

Pienimmän neliösumman estimaatit antavat nyt estimoidun regressiosuoran ŷ = ˆb 0 + ˆb 1 x = ȳ ˆb 1 x + ˆρ(x, y) s y s x x = ȳ + ˆρ(x, y) s y s x (x x).

Estimoidun regressiosuoran ominaisuuksia: Jos ˆρ(x, y) > 0, suora on nouseva. Jos ˆρ(x, y) < 0, suora on laskeva. Jos ˆρ(x, y) = 0, suora on vaakasuorassa.

Sovitteet ja residuaalit Muuttujan y i sovite, eli estimoidun regressiosuoran selitettävälle muuttujalle y antama arvo havaintopisteessä x i on ŷ i = ˆb 0 + ˆb 1 x i, i 1,..., n. Estimoidun mallin residuaali ˆε i on selitettävän muuttujan y havaitun arvon y i ja sovitteen ŷ i antaman arvon erotus ˆε i = y i ŷ i, i 1,..., n. Huomaa että y i = ŷ i + ˆε i, i 1,..., n. Regressiomalli selittää selitettävän muuttujan havaittujen arvojen vaihtelun sitä paremmin mitä lähempänä sovitteet ovat selitettävän muuttujan havaittuja arvoja. Toisin sanoen, regressiomalli selittää selitettävän muuttujan havaittujen arvojen vaihtelun sitä paremmin mitä pienempiä ovat estimoidun mallin residuaalit.

Esimerkki Kuva: Estimoitu regressiosuora minimoi jäännöstermien neliösumman.

Numeerinen esimerkki lineaarisesta regressiosta Kallen superkeksifirmassa on kiinnostuttu Panun pahanmakuisten prinsessakeksien myynnin ja Kallen superkeksien myynnin välisestä yhteydestä ja niinpä toimitusjohtaja antoi sihteerinsä kesäapulaiselle tehtäväksi tutkia myyntien välistä yhteyttä. Kesätyöntekijä arveli firmojen myyntimäärien olevan lineaarisesti riippuvia, joten hän päätti käyttää lineaarista regressiota asian tutkimiseen.

Kalle Panu 5673 5489 4892 5987 5735 5362 5382 5738 5982 4988 5487 5576 5764 5481 5933 4999 5298 5832 5561 5591 5721 5298 5386 5632 Taulukko: Kallen superkeksien ja Panun pahanmakuisten prinsessakeksien kuukausittaiset myyntimäärät edellisen vuoden ajalta.

Käytetään pienimmän neliösumman menetelmää regressiosuoran luomiseen. Otoskeskihajonnat s k = 302.95 ja s p = 302.85..., otoskovarianssi s kp = 86145.95 ja otoskeskiarvot k = 5567.833 ja p = 5497.75. Regressiokertoimien estimaatit: ˆb 1 = s kp s 2 k = 86145.95 302.95 2 = 0.938... ˆb 0 = p ˆb 1 k = 5497.75 ( 0.938...) 5567.833 = 10723.87 Panun pahanmakuisten prinsessakeksien myynniin sovite ˆp i = 10723.87 0.938...k i

Sovite Todellinen Residuaali 5399.040 5489 89.96 6132.108 5987-145.11 5340.845 5362 21.15 5672.181 5738 65.82 5109.004 4988-121.00 5573.625 5576 2.38 5313.625 5481 167.37 5154.997 4999-156.00 5751.025 5832 80.97 5504.166 5591 86.83 5353.986 5298-55.99 5668.426 5632-36.43 Taulukko: Sovitteen antamat ja todelliset Panun pahanmakuisten prinsessakeksien myynninmäärät. Laskettuna myös residuaalit ˆε i = y i ŷ i.

Kuva: Myyntimäärät ja sovite.

Jäännösvarianssin estimointi Jos lineaarisen mallin yleiset oletukset pätevät, niin jäännösvarianssin var(ε i ) = σ 2 harhaton estimaatti on var(ˆε) = 1 n 2 n (ˆε i ˆε) 2 = 1 n (ˆε i ) 2 = 1 n (y i ŷ i ) 2. n 2 n 2 i=1 i=1 i=1 (Oheisessa kaavassa otoskoosta n vähennetään estimoitujen parametrien (b 0 ja b 1 ) lukumäärä.) Jäännösvarianssin estimaatti kuvaa havaintopisteiden vaihtelua estimoidun regressiosuoran ympärillä.

Varianssihajotelma Regressioanalyysissä yksi keskeisimmistä kysymyksistä on se, kuinka hyvin selittävän muuttujan x havaittujen arvojen vaihtelu selittää muuttujan y havaittujen arvojen vaihtelua. Tähän kysymykseen pyritään vastaamaan ns. varianssihajotelman avulla. Varianssihajotelmassa selitettävän muuttujan havaittujen arvojen kokonaisvaihtelua kuvaava ns. kokonaisneliösumma jaetaan kahden osatekijän summaksi: Toinen osatekijä kuvaa estimoidun mallin selittämää osaa kokonaisvaihtelusta. Toinen osatekijä kuvaa mallilla selittämättä jäänyttä osaa kokonaisvaihtelusta.

Varianssihajotelma Kokonaisneliösumma SST (total sum of squares) n (y i ȳ) 2 i=1 kuvaa selitettävän muuttujan y havaittujen arvojen y i kokonaisvaihtelua. Jäännösneliösumma SSE (sum of squares of errors) n (ˆε i ) 2 i=1 kuvaa residuaalien ˆε i vaihtelua.

Kokonais- ja jäännösneliösumman yhteys Jäännösneliösumma SSE ja kokonaisneliösumma SST toteuttavat yhtälön SSE = n (ˆε i ) 2 = (1 ˆρ 2 (x, y)) i=1 n (y i ȳ) 2 = (1 ˆρ 2 (x, y))sst. i=1 Koska otoskorrelaatiokerroin on aina välillä [ 1, 1], niin SSE SST. Jäännösneliösumma SSE on 0 jos ja vain jos kaikki havaintopisteet ovat samalla suoralla. Tällöin lineaarinen regressiomalli selittää täydellisesti selitettävän muuttujan havaittujen arvojen vaihtelun. Jäännösneliösumma SSE on yhtä kuin kokonaisneliösumma SST jos ja vain jos otoskorrelaatiokerroin ˆρ(x, y) = 0. Tällöin malli ei selitä lainkaan muuttujan y havaittujen arvojen vaihtelua.

Mallineliösumma Mallineliösumma SSM (model sum of squares) määritellään seuraavasti. SSM = SST SSE. Mallineliösumma SSM kuvaa sitä osaa selitettävän muuttujan y havaittujen arvojen vaihtelusta, jonka lineaarinen regressiomalli on selittää. Mallineliösummalle SSM pätee n SSM = (ŷ i ȳ) 2. Huomaa, että ȳ = ŷ, joten yllä oleva kaava voidaan antaa myös muodossa n SSM = (ŷ i ŷ) 2. Koska 0 SSE SST, niin mallineliösumma SSM 0. i=1 i=1

Selitysaste Varianssihajotelman SST = SSM + SSE avulla voidaan kuvata regressiomallin hyvyyttä. Mitä suurempi on mallineliösumman SSM osuus kokonaisneliösummasta SST, sitä paremmin malli selittää selitettävän muuttujan havaittujen arvojen vaihtelun. Toisin sanoen, mitä pienempi on jäännösneliösumman SSE osuus kokonaisneliösummasta SST, sitä paremmin estimoitu malli selittää selitettävän muuttujan havaittujen arvojen vaihtelun. Varianssihajotelma motivoi tunnusluvun R 2 = 1 SSE SST = SSM SST käytön regressiomallin hyvyyden mittarina.

Selitysaste Selitysaste R 2 mittaa mallin selittämää osuutta selitettävän muuttujan havaittujen arvojen kokonaisvaihtelusta. Selitysasteelle pätee 0 R 2 1. Selitysaste ilmaistaan tavallisesti prosentteina 100R 2 %. Selitysaste R 2 = (ˆρ(y, ŷ)) 2, jossa ˆρ(y, ŷ) on selitettävän muuttujan havaittujen arvojen ja sovitteiden otoskorrelaatiokerroin. Yhden selittäjän lineaarisessa regressiomallissa R 2 = (ˆρ(y, x)) 2

Selitysasteen ominaisuuksia Seuraavat ehdot ovat yhtäpitäviä: Selitysaste R 2 = 1. Kaikki residuaalit häviävät, ˆε i = 0, i 1,..., n. Kaikki havaintopisteet (x i, y i ) ovat samalla suoralla. Korrelaatiokerroin ˆρ(x, y) = ±1. Regressiomalli selittää täydellisesti selitettävän muuttujan y havaittujen arvojen vaihtelun.

Selitysasteen ominaisuuksia Seuraavat ehdot ovat yhtäpitäviä: Selitysaste R 2 = 0. Regressiokerroin ˆb 1 = 0. Korrelaatiokerroin ˆρ(x, y) = 0. Regressiomalli ei selitä lainkaan selitettävän muuttujan y havaittujen arvojen vaihtelua.

Oletuksista Oletimme edellä, että selittävän muuttujan arvot x i ovat muuttujan x ei-satunnaisia havaittuja arvoja. Lineaarisessa regressiossa arvot x i voivat kuitenkin olla myös satunnaisia. Tällöin toimitaan aivan samoin kuin jos arvot x i ovat ei-satunnaisia.

Varoituksen sanoja Regressiomallia ei pidä käyttää ennustamiseen muuttujan x havaitun arvojoukon ulkopuolella. Häntäkäyttäytyminen voi poiketa yleisestä! Edellä kuvattu menetelmä ei sovellu tilanteeseen, jossa muuttujien x ja y välillä on ei-lineaarinen yhteys. Pienimmän neliösumman menetelmä (l 2 regressio) on hyvin herkkä poikkeaville havainnoille.

Numeerinen esimerkki varianssihajotelmasta ja selitysasteesta. Otetaan edellisen esimerkin tilanne. Lasketaan kokonaisneliösumma n 1 SST = (y i ȳ) 2 = 2(y i 5497.75) 2 = 889447.8, i=1 jäännösneliösumma ja mallineliösumma SSE = i=1 n (ˆε i ) 2 = 119484.2 i=1 SSM = SST SSE = 889447.8 119484.2 = 769963.6. Selitysasteeksi saadaan näin ollen R 2 = SSM SST = 769963.6 889447.8 = 0.865... Regressiomalli vaikuttaa toimivalta.

Esimerkki, Lineaarinen regressio Kuva: Estimoitu regressiosuora ja residuaalit.

Esimerkki, Poikkeava havainto Kuva: Estimoitu regressiosuora ja residuaalit. Huomaa poikkeavan havainnon vaikutus.

Esimerkki, Heteroskedastisuus Kuva: Estimoitu regressiosuora ja residuaalit. Huomaa virhetermien varianssin kasvu.

Esimerkki, Epälineaarinen riippuvuus. Kuva: Estimoitu regressiosuora ja residuaalit. Huomaa selvä epälineaarinen riippuvuus.

J. S. Milton, J. C. Arnold: Introduction to Probability and Statistics, McGraw-Hill Inc 1995. R. V. Hogg, J. W. McKean, A. T. Craig: Introduction to Mathematical Statistics, Pearson Education 2005. Pertti Laininen: Todennäköisyys ja sen tilastollinen soveltaminen, Otatieto 1998, numero 586. Ilkka Mellin: Tilastolliset menetelmät, http://math.aalto.fi/opetus/sovtoda/materiaali.html.