Tilastollisen analyysin perusteet Luento 9: Moniulotteinen lineaarinen. regressio

Transkriptio

1 Tilastollisen analyysin perusteet Luento 9: lineaarinen lineaarinen

2 Sisältö lineaarinen lineaarinen

3 lineaarinen

4 Lineaarinen Oletetaan, että meillä on n kappaletta (x 1, y 1 ), (x 2, y 2 )..., (x n, y n ), pareja (x, y). Oletetaan, että arvot y i ovat muuttujan y satunnaisia havaittuja arvoja ja oletetaan, että arvot x i ovat muuttujan x p-ulotteisia ei-satunnaisia havaittuja arvoja. (Oletamme siis, että x i on p-ulotteinen vektori.) Oletetaan, että p < n. Oletetaan, että muuttujan y arvot riippuvat muuttujan x arvoista lineaarisesti. voidaan nyt esittää seuraavalla tavoin. y i = b 0 + b T x i + ε i, i 1,..., n, missä kertoimet b 0 ja b = (b 1,..., b p ) T ovat tuntemattomia vakioita ja virhetermien (jäännöstermien) ε i odotusarvo E[ε i ] = 0. Malli voidaan esittää myös muodossa lineaarinen y i = b 0 + b 1 (x i ) 1 + b 2 (x i ) b p (x i ) p + ε i, i 1,..., n.

5 Lineaarinen, yleiset oletukset Lineaarisia malleja käytettäessä tehdään yleensä seuraavat yleiset oletukset. Vektorimuuttujan x arvot x i on mitattu virheettömästi. Arvot (x i ) s, (x i ) k, s k ovat toisistaan riippumattomia. Virhetermit ovat riippumattomia muuttujan x arvoista. Virhetermit ovat samoin jakautuneita. Virhetermien odotusarvo E[ε i ] = 0, kaikilla i 1,..., n. Virhetermit ovat homoskedastisia eli niillä on kaikilla sama varianssi E[ε 2 i ] = σ2. Virhetermit ovat korreloimattomia eli ρ(ε i, ε j ) = 0, i j. lineaarinen

6 Lineaarinen Kun edellä esitetyt yleiset oletukset pätevät, niin muuttujalla y on seuraavat ominaisuudet. Odotusarvo E[y i ] = b 0 + b T x i i 1,..., n, Varianssi var(y i ) = var(ε i ) = σ 2. Korrelaatiokerroin ρ(y i, y j ) = 0, i j. lineaarinen

7 lineaarinen

8 Lineaarisen n y i = b 0 + b T x i + ε i, i 1,..., n, lineaarinen parametrit ovat kertoimet b 0 ja b = (b 1,..., b p ) T ja jäännöstermien varianssi E[ε 2 i ] = σ2. Nämä parametrit ovat yleensä tuntemattomia ja ne halutaan estimoida havainnoista.

9 Oletuksen E[ε i ] = 0, kaikilla i 1,..., n pätiessä lineaarinen voidaan esittää muodossa y i = E[y i ] + ε i, i 1,..., n, lineaarinen missä E[y i ] = b 0 + b T x i on n ns. systemaattinen osa ja ε i on n satunnainen osa.

10 Regressiotaso Lineaarisen n systemaattinen osa määrittää tason E[y i ] = b 0 + b T x i lineaarinen y = b 0 + b T x. Virhetermien varianssi E[ε 2 i ] = σ2 kuvaa havaintopisteiden vaihtelua tason ympärillä.

11 lineaarinen Lineaarisessa analyysissä tavoitteena on etsiä kertoimille b 0 ja b = (b 1,..., b p ) T sellaiset estimaatit, että niiden määräämä taso selittäisi mahdollisimman hyvin selitettävän muuttujan arvojen vaihtelun.

12 Pienimmän neliösumman menetelmä Olkoon β = (b 0, b 1,..., b p ) T, olkoon X n (p + 1) datamatriisi, jonka ensimmäinen sarake koostuu luvuista 1 ja sarakkeet 2 p + 1 havainnoista x i ja olkoon Y n 1 datavektori, joka koostuu havainnoista y i. Nyt kertoimille b 0 ja b = (b 1,..., b p ) T voidaan käyttää estimaattia ˆβ = (ˆb 0, ˆb 1,..., ˆb p ) T = (X T X) 1 X T Y. lineaarinen Tämä estimaatti minimoi jäännöstermien neliösumman n ε 2 i = i=1 n (y i b 0 b T x i ) 2 i=1 kertoimien b 0 ja b = (b 1,..., b p ) T suhteen.

13 Käänteismatriisin olemassaolo Edellä oletimme, että matriisilla X T X on käänteismatriisi. Jos näin ei ole, niin jotkin selittävistä muuttujista riippuvat toisistaan lineaarisesti (täydellisesti). Tällöin osa muuttujista voidaan jättää pois ilman, että mitään informaatiota menetetään. lineaarinen

14 lineaarinen Pienimmän neliösumman estimaatti määrittää nyt estimoidun tason ŷ = ˆb 0 + ˆb T x.

15 Sovitteet ja residuaalit Muuttujan y i sovite havaintopisteessä x i on ŷ i = ˆb 0 + ˆb T x i, i 1,..., n. Estimoidun n residuaali ˆε i on selitettävän muuttujan y havaitun arvon y i ja sovitteen ŷ i antaman arvon erotus ˆε i = y i ŷ i, i 1,..., n. lineaarinen Huomaa että y i = ŷ i + ˆε i, i 1,..., n. Regressio selittää selitettävän muuttujan havaittujen arvojen vaihtelun sitä paremmin mitä lähempänä sovitteet ovat selitettävän muuttujan havaittuja arvoja. Toisin sanoen, selittää selitettävän muuttujan havaittujen arvojen vaihtelun sitä paremmin mitä pienempiä ovat estimoidun n residuaalit.

16 Jäännösvarianssin estimointi Jos lineaarisen n yleiset oletukset pätevät, niin jäännösvarianssin var(ε i ) = σ 2 harhaton estimaatti on var(ˆε) = 1 n p 1 n ˆε 2 i. i=1 lineaarinen (Oheisessa kaavassa otoskoosta n vähennetään estimoitujen parametrien (b 0, b 1,..., b p ) lukumäärä.) Jäännösvarianssin estimaatti kuvaa havaintopisteiden vaihtelua estimoidun tason ympärillä.

17 Varianssihajotelma Kokonaisneliösumma SST (total sum of squares) n (y i ȳ) 2 i=1 kuvaa selitettävän muuttujan y havaittujen arvojen y i kokonaisvaihtelua. Jäännösneliösumma SSE (sum of squares of errors) n (ˆε i ) 2 i=1 kuvaa residuaalien ˆε i vaihtelua. Mallineliösumma SSM (model sum of squares) n (ŷ i ȳ) 2 i=1 kuvaa sitä osaa selitettävän muuttujan y havaittujen arvojen vaihtelusta, jonka lineaarinen on selittää. lineaarinen

18 Selitysaste Selitysaste R 2 = 1 SSE SST = SSM SST mittaa n selittämää osuutta selitettävän muuttujan havaittujen arvojen kokonaisvaihtelusta. Selitysasteelle pätee 0 R 2 1. lineaarinen Selitysaste ilmaistaan tavallisesti prosentteina 100R 2 %.

19 Numeerinen esimerkki usean selittävän muuttujan lineaarisesta sta lineaarinen Kallen keksifirman salaisessa laboratoriossa valmistetaan uudenlaista keksiä firman hittituotteeksi: Kallen superherkkumakuelämysnomparelli-suklaahippukeksejä. Salaisessa laboratoriossa tutkitaan nomparellien ja suklaahippujen määrän vaikutusta keksin massaan.

20 Nomparelli Suklaahippu Massa lineaarinen Taulukko: Nomparellien ja suklaahippujen määrä ja mitattu keksin massa.

21 Regressiokertoimien (b 0, b 1, b 2 ) T estimaattit, jotka minimoivat jäännöstermien neliösumman, saadaan matriisien X = ja Y = lineaarinen avulla. Estimaatit (ˆb 0, ˆb 1, ˆb 2 ) T = (X T X) 1 X T Y = ( , , ) T Estimaattien avulla voidaan laskea massalle sovite ŷ i = ˆb 0 + ˆb T x i ja laskea residuaalit ˆε i = y i ŷ i

22 Nomparelli Suklaahippu Massa Sovite Residuaali lineaarinen Taulukko: Nomparellien ja sulkaahippujenmäärän vaikutus massaan. Taulukossa myös sovitteen sekä residuaalien arvot.

23 Massojen keskiarvo ȳ = 26.6 ja kokonaisneliösumma n SST = (y i ȳ) = i=1 Jännösneliösumma SSE = ja neliösumma 10 i=1 10 i 1 (y i 26.6) 2 = (ˆε i ) 2 = lineaarinen SSM = n (ŷ i ȳ) 2 = i=1 10 i=1 (ŷ i 26.6) 2 = Selitysaste on näin ollen R 2 = SSM SST = = = 93.67%

24 lineaarinen lineaarinen

25 lineaarinen Oletetaan, että meillä on n kappaletta (x 1, y 1 ), (x 2, y 2 )..., (x n, y n ), pareja (x, y). Oletetaan, että arvot y i ovat muuttujan y q-ulotteisia satunnaisia havaittuja arvoja ja oletetaan, että arvot x i ovat muuttujan x p-ulotteisia ei-satunnaisia havaittuja arvoja. (Oletamme siis, että y i on q-ulotteinen vektori ja että x i on p-ulotteinen vektori.) Oletetaan, että p < n. Oletetaan, että muuttujan y arvot riippuvat muuttujan x arvoista lineaarisesti. lineaarinen voidaan nyt esittää seuraavalla tavoin. lineaarinen y i = b o + B T x i + ε i, i 1,..., n, missä q 1 vektorin b 0 ja p q matriisin B alkiot ovat tuntemattomia vakioita ja virhetermien ε i odotusarvo E[ε i ] = 0.

26 Lineaarinen, yleiset oletukset Lineaarisia malleja käytettäessä tehdään yleensä seuraavat yleiset oletukset. Vektorimuuttujan x arvot x i on mitattu virheettömästi. Arvot (x i ) s, (x i ) k, s k ovat toisistaan riippumattomia. Virhetermit ovat riippumattomia muuttujan x arvoista. Virhetermit ovat samoin jakautuneita. Virhetermien odotusarvo E[ε i ] = 0, kaikilla i 1,..., n. Virhetermeillä on kaikilla sama kovarianssimatriisi E[ε i ε T i ] = Σ. Virhetermeille pätee ρ((ε i ) k, (ε j ) k ) = 0, kaikilla k ja kaikilla i j. lineaarinen

27 Yleistetty pienimmän neliösumman menetelmä Olkoon β = [b 0, B T ] T, olkoon X n (p + 1) datamatriisi, jonka ensimmäinen sarake koostuu luvuista 1 ja sarakkeet 2 p + 1 havainnoista x i ja olkoon Y n q datamatriisi, joka koostuu havainnoista y i. Nyt parametreille b 0 ja B voidaan käyttää estimaattia lineaarinen ˆβ = [ˆb 0, ˆB T ] T = (X T X) 1 X T Y.

28 Sovitteet ja residuaalit Muuttujan y i sovite havaintopisteessä x i on ŷ i = ˆb 0 + ˆB T x i, i 1,..., n. Sovitteet voidaan esittää myös matriisimuodossa Ŷ = X ˆβ. lineaarinen Estimoidun n residuaali ˆε i on selitettävän muuttujan y havaitun arvon y i ja sovitteen ŷ i antaman arvon erotus ˆε i = y i ŷ i, i 1,..., n. Huomaa, että y i = ŷ i + ˆε i, i 1,..., n.

29 Selitysaste Olkoon Y n q datamatriisi, joka koostuu keskistetyistä havainnoista y i. (Tällöin siis alkuperäisistä havainnoista on vähennetty niiden keskiarvo.) Olkoon X n (p + 1) datamatriisi, jonka ensimmäinen sarake koostuu luvuista 1 ja sarakkeet 2 p + 1 havainnoista x i ja olkoon ˆβ keskistetylle aineistolle laskettu kerroinmatriisi. Olkoon Ŷ = X ˆβ, lineaarinen ja olkoon Ê = Y X ˆβ D = (Y T Y ) 1 Ê T Ê. T Selvästi matriisi Ê Ê vaihtelee nollamatriisin, jolloin kaikki Y :n vaihtelu selittyy lla, ja matriisin Y T Y, jolloin X ei selitä Y :n vaihtelua lainkaan, välillä.

30 Jälkikorrelaatio ja determinanttikorrelaatio Olisi mukavaa, että myös moniulotteisen selitysasteen arvo vaihtelisi välillä [0, 1]. Tämä toivottu ominaisuus toteutuu, kun käytetään selitysasteen mittana jälkikorrelaatiota (trace correlation) r T tai determinanttikorrelaatiota (determinant correlation) r D : rt 2 = 1 tr(i D), p lineaarinen r 2 D = det(i D). Huomaa, että kerroin r D on nolla jos ja vain jos ainakin yksi matriisin I D ominaisarvoista on nolla, ja r T on nolla jos ja vain jos kaikki matriisin I D ominaisarvot ovat nollia.

31 Testit ja luottamusvälit Kuten yhden selittävän muuttujan analyysissä, voidaan myös usean selittävän muuttujan analyysissä ja moniulotteisessa analyysissä konstruoida testejä ja luottamusvälejä parametreille. Muuttujan y arvoa ja odotusarvoa ennustetaan kuten yhden selittävän muuttujan analyysissä ja myös näille ennusteille voidaan konstruoida luottamusvälejä. lineaarinen

32 lineaarinen

33 muuttujan analyysissä ja moniulotteisessa analyysissä selittävien muuttujien oletetaan olevan toisistaan riippumattomia. Aivan täydellistä riippumattomuutta ei useinkaan käytännössä kyetä saavuttamaan, jos in halutaan valita useampia kuin yksi selittävä muuttuja. Selittävät muuttujat eivät kuitenkaan saa riippua toisistaan lineaarisesti kovin voimakkaasti. Multikollineaarisuus tekee sta epävakaan ja estää yksittäisten muuttujien muutoksen vaikutuksen tarkastelun. lineaarinen

34 VIF-kerroin Selittävien muuttujien multikollineaarisuutta voidaan mitata VIF-kertoimen avulla (VIF - variance inflation factor). Selittävälle muuttujalle (x i ) k VIF-kerroin määritellään seuraavasti: 1 VIF k = 1 Rk 2, missä Rk 2 on sellaisen lineaarisen n selitysaste, jossa muuttuja (x i ) k on selitettävä muuttuja ja loput (x i ) s ovat selittäviä muuttujia. VIF-kerroin määritetään siis erikseen jokaiselle selittävälle muuttujalle (x i ) k. Jos muuttuja (x i ) k on riippumaton muista selittävistä muuttujista, niin VIF-kerroin on 1. Jos VIF-kerroin on suurempi tai yhtäsuuri kuin 10, niin sitä pidetään jo voimakkaana merkkinä multikollineaarisuudesta. lineaarinen

35 muuttujan ssa ja moniulotteisessa ssa selittävät muuttujat pyritään valitsemaan siten, että n selitysaste on mahdollisimman korkea ja selittävät muuttujat ovat mahdollisimman riippumattomia toisistaan. Muuttujien valinnassa voidaan käyttää apuna VIF-kertoimia (tai jotakin muuta riippuvuuden mittaa). Muuttujia voidaan lisätä tai vähentää yksi kerrallaan ja seurata selitysasteen ja VIF-kertoimien muutosta. lineaarinen

36 Numeerinen esimerkki VIF-kertoimelle. Selvitetään ovatko edellisen esimerkin nomparellien määrä ja suklaahippujen määrä multikollineaarisia VIF-kertoimen avulla. Esimerkin aineisto löytyyy edellä olevasta taulukosta. Nomparelli Suklaahippu lineaarinen Taulukko: Nomparellien ja sulkaahippujen määrä.

37 Selitysastetta varten tarvitaan otoskeskihajonnat nomparellien määrälle s x = ja suklaahippujen määrälle s y = , otoskeskiarvot x = 11.8 ja ȳ = 7.9 sekä otoskorrelaatiokerroin ˆρ(x, y) = Sovite ŷ i = ȳ+ˆρ(x, y) s y s x (x i x) = 7.8+( ) (x i 11.8) Näin kokonaismeliösummaksi SST = 133, jäännösneliösummaksi SSE = ja neliösummaksi SSM = Selitysasteeksi saadaan ja VIF-kertoimeksi R 2 = SSM SST = = VIF = 1 1 R 2 = = Nomparellien ja sulkaahippujen määrät näyttäisivät riippuvan toisistaan! lineaarinen

38 lineaarinen

39 - vielä kerran Regressioa ei pidä käyttää ennustamiseen muuttujan x havaitun arvojoukon ulkopuolella. Häntäkäyttäytyminen voi poiketa yleisestä! Edellä kuvattu menetelmä ei sovellu tilanteeseen, jossa muuttujien x ja y välillä on ei-lineaarinen yhteys. Pienimmän neliösumman menetelmä (l 2 ) on hyvin herkkä poikkeaville havainnoille. lineaarinen

40 K. V. Mardia, J. T. Kent, J. M. Bibby: Multivariate Analysis, Academic Press 2003 (reprint of 1979). J. S. Milton, J. C. Arnold: Introduction to Probability and Statistics, McGraw-Hill Inc R. V. Hogg, J. W. McKean, A. T. Craig: Introduction to Mathematical Statistics, Pearson Education P. Laininen: Todennäköisyys ja sen tilastollinen soveltaminen, Otatieto 1998, numero 586. I. Mellin: Tilastolliset menetelmät, lineaarinen