Johdatus tilastotieteeseen Yleinen lineaarinen malli. TKK (c) Ilkka Mellin (2004) 1

Transkriptio

1 Johdatus tilastotieteeseen Yleinen lineaarinen malli TKK (c) Ilkka Mellin (2004) 1

2 Yleinen lineaarinen malli Usean selittäjän lineaarinen regressiomalli Yleisen lineaarisen mallin matriisisesitys Yleisen lineaarisen mallin estimointi Varianssianalyysihajotelma ja selitysaste Päättely yleisestä lineaarisesta mallista Ennustaminen yleisellä lineaarisella mallilla Yleinen lineaarinen malli ja satunnaiset selittäjät TKK (c) Ilkka Mellin (2004) 2

3 Yleinen lineaarinen malli: Mitä opimme? 1/4 Yleinen lineaarinen malli on lineaarinen regressiomalli, jossa selitettävän muuttujan tilastollinen riippuvuus yhdestä tai useammasta selittävästä muuttujasta pyritään selittämään selittävien muuttujien funktiolla, joka on lineaarinen sekä regressiokertoimien että selittäjinä käytettävien muuttujien arvojen suhteen. Tavoitteena on selittää selitettävän muuttujan havaittujen arvojen vaihtelu selittävien muuttujien havaittujen arvojen vaihtelun avulla. TKK (c) Ilkka Mellin (2004) 3

4 Yleinen lineaarinen malli: Mitä opimme? 2/4 Tässä luvussa tarkastellaan seuraavia yleisen lineaarisen mallin soveltamiseen liittyviä kysymyksiä: Miten malli formuloidaan? Mitkä ovat mallin osat ja mitkä ovat osien tulkinnat? Mitkä ovat mallia koskevat oletukset? Miten mallin parametrit estimoidaan? Miten mallin parametreja koskevia hypoteeseja testataan? Miten mallin hyvyyttä mitataan? Miten mallilla ennustetaan? TKK (c) Ilkka Mellin (2004) 4

5 Yleinen lineaarinen malli: Mitä opimme? 3/4 Yleisen lineaarisen mallin formuloinnissa on kätevää käyttää matriisimerkintöjä. Regressiomallien parametrien estimointiin käytetään tavallisesti pienimmän neliösumman menetelmää. Estimoidun regressiomallin hyvyyttä mitataan selitysasteella. Selitysasteen määritelmä perustuu ns. varianssianalyysihajotelmaan. Varianssianalyysihajotelmassa selitettävän muuttujan havaittujen arvojen vaihtelua kuvaava neliösumma jaetaan kahdeksi neliösummaksi, joista toinen kuvaa mallin ja havaintojen yhteensopivuutta ja toinen mallin ja havaintojen yhteensopimattomuutta. TKK (c) Ilkka Mellin (2004) 5

6 Yleinen lineaarinen malli: Mitä opimme? 4/4 Lineaarisen regressiomallin perusoletuksiin kuuluu se, että selittävien muuttujien arvot ovat ei-satunnaisia. Selittävien muuttujien arvojen satunnaisuus ei kuitenkaan vaikuta mallin estimoinnissa ja testauksessa käytettäviin tavanomaisiin menetelmiin esimerkiksi seuraavissa tilanteissa: (i) (ii) Jos tavanomaiset mallista tehdyt oletukset pätevät, kun siirrytään tarkastelemaan selittävän muuttujan ehdollista odotusarvoa selittäjien suhteen. Jos selitettävän muuttujan ja selittäjien yhteisjakaumana on multinormaalijakauma. TKK (c) Ilkka Mellin (2004) 6

7 Yleinen lineaarinen malli: Esitiedot Esitiedot: ks. seuraavia lukuja: Tilastollinen riippuvuus ja korrelaatio Johdatus regressioanalyysiin Yhden selittäjän lineaarinen regressiomalli Moniulotteiset satunnaismuuttujat ja todennäköisyysjakaumat Moniulotteisia todennäköisyysjakaumia TKK (c) Ilkka Mellin (2004) 7

8 Yleinen lineaarinen malli: Lisätiedot Yleisen lineaarisen mallin soveltamisen erityiskysymyksiä käsitellään luvuissa Regressiodiagnostiikka Regressiomallin valinta Regressioanalyysin erityiskysymyksiä TKK (c) Ilkka Mellin (2004) 8

9 Yleinen lineaarinen malli >> Usean selittäjän lineaarinen regressiomalli Yleisen lineaarisen mallin matriisisesitys Yleisen lineaarisen mallin estimointi Varianssianalyysihajotelma ja selitysaste Päättely yleisestä lineaarisesta mallista Ennustaminen yleisellä lineaarisella mallilla Yleinen lineaarinen malli ja satunnaiset selittäjät TKK (c) Ilkka Mellin (2004) 9

10 Usean selittäjän lineaarinen regressiomalli Avainsanat Ei-satunnaisuus Havainto Heteroskedastisuus Homoskedastisuus Homoskedastisuusoletus Jäännöstermi Jäännösvarianssi Korreloitumattomuusoletus Korreloituneisuus Kulmakerroin Lineaarinen regressiomalli Lineaarisuus Normaalisuusoletus Odotusarvo Regressiokerroin Regressiotaso Satunnainen osa Satunnaisuus Selitettävä muuttuja Selittäjä Selittävä muuttuja Standardioletukset Systemaattinen osa Vaihtelu Vakioselittäjä Virhetermi Yleinen lineaarinen malli TKK (c) Ilkka Mellin (2004) 10

11 Usean selittäjän lineaarinen regressiomalli Selitettävä muuttuja ja selittävät muuttujat Oletetaan, että selitettävän muuttujan y havaittujen arvojen vaihtelu halutaan selittää selittävien muuttujien eli selittäjien x 1, x 2,, x k havaittujen arvojen vaihtelun avulla. Tehdään seuraavat oletukset: Selitettävä muuttuja y on suhdeasteikollinen satunnaismuuttuja. Selittävät muuttujat x 1, x 2,, x k ovat kiinteitä eli eisatunnaisia muuttujia. Huomautus: Satunnaisten selittäjien tapausta käsitellään erikseen. TKK (c) Ilkka Mellin (2004) 11

12 Usean selittäjän lineaarinen regressiomalli Havainnot 1/3 Olkoot y 1, y 2,, y n selitettävän muuttujan y ja x 1i, x 2i,, x ni selittävän muuttujan x i, i = 1, 2,, k havaittuja arvoja. Oletetaan lisäksi, että havainnot x ji ja y j liittyvät samaan havaintoyksikköön j = 1, 2,, n kaikille i = 1, 2,, k. TKK (c) Ilkka Mellin (2004) 12

13 Usean selittäjän lineaarinen regressiomalli Havainnot 2/3 Järjestetään selitettävää muuttujaa y ja selittäjiä x 1, x 2,, x k koskevat havaintoarvot havaintoyksiköittäin seuraavalla tavalla: Havaintoyksikkö 1: x 11, x 12,, x 1k, y 1 Havaintoyksikkö 2: x 21, x 22,, x 2k, y 2 Havaintoyksikkö n: x n1, x n2,, x nk, y n Havaintoarvoja voidaan asettaa vastaamaan pisteet (k + 1)- ulotteisessa avaruudessa: k+ 1 ( j1, j2,, jk, j) R, = 1,2,, x x x y j n TKK (c) Ilkka Mellin (2004) 13

14 Usean selittäjän lineaarinen regressiomalli Havainnot 3/3 Havaintopisteen k+ 1 ( j1, j2,, jk, j) R, = 1,2,, koordinaateilla on seuraavat tulkinnat: y j = selitettävän muuttujan y satunnainen ja havaittu arvo havaintoyksikössä j x ji = selitettävän muuttujan eli selittäjän x i eisatunnainen ja havaittu arvo havaintoyksikössä j, i = 1, 2,, k k x x x y j n = (aitojen) selittäjien x i lukumäärä n = havaintojen lukumäärä TKK (c) Ilkka Mellin (2004) 14

15 Usean selittäjän lineaarinen regressiomalli Yleinen lineaarinen malli ja sen osat 1/3 Oletetaan, että muuttujien y ja x 1, x 2,, x k havaittujen arvojen y j ja x ji välillä vallitsee lineaarinen tilastollinen riippuvuus, joka voidaan ilmaista yhtälöllä yj = β0 + β1xj1+ β2xj2 + " + βkxjk + ε j, j = 1,2,, n Yhtälö määrittelee usean selittäjän lineaarisen regressiomallin, jota kutsutaan tavallisesti yleiseksi lineaariseksi malliksi. TKK (c) Ilkka Mellin (2004) 15

16 Usean selittäjän lineaarinen regressiomalli Yleinen lineaarinen malli ja sen osat 2/3 Yhtälö yj = β0 + β1xj1+ β2xj2 + " + βkxjk + ε j, j = 1,2,, n määrittelee yleisen lineaarisen mallin, jossa: y j = selitettävän muuttujan y satunnainen ja havaittu arvo havaintoyksikössä j x ji = selittävän muuttujan eli selittäjän x i eisatunnainen ja havaittu arvo havaintoyksikössä j, i = 1, 2,, k ε j = jäännös- eli virhetermin ε satunnainen ja ei-havaittu arvo havaintoyksikössä j TKK (c) Ilkka Mellin (2004) 16

17 Usean selittäjän lineaarinen regressiomalli Yleinen lineaarinen malli ja sen osat 3/3 Yhtälön yj = β0 + β1xj1+ β2xj2 + " + βkxjk + ε j, j = 1,2,, n määrittelemässä yleisessä lineaarisessa mallissa on seuraavat kertoimet: β 0 = vakioselittäjän regressiokerroin; β 0 on ei-satunnainen ja tuntematon vakio β i = selittäjän x i regressiokerroin, i = 1, 2,, k ; β i on ei-satunnainen ja tuntematon vakio Huomautus: Regressiokertoimet β 0, β 1, β 2,, β k on oletettu samoiksi kaikille havaintoyksiköille j. TKK (c) Ilkka Mellin (2004) 17

18 Usean selittäjän lineaarinen regressiomalli Vakioselittäjä: Kommentti Yleisen lineaarisen mallin yj = β0 + β1xj1+ β2xj2 + " + βkxjk + ε j, j = 1,2,, n kerrointa β 0 kutsutaan vakioselittäjän regressiokertoimeksi. Nimitys johtuu siitä, että kerrointa β 0 vastaa keinotekoinen selittäjä, joka saa kaikille havaintoyksiköille j = 1, 2,, n vakioarvon 1. Huomautus: Jatkossa esitettävät kaavat eivät välttämättä päde tässä esitettävässä muodossa, jos mallissa ei ole vakioselittäjää. Oletamme jatkossa, että mallissa on aina vakioselittäjä. TKK (c) Ilkka Mellin (2004) 18

19 Usean selittäjän lineaarinen regressiomalli Standardioletukset 1/2 Olkoon yj = β0 + β1xj1+ β2xj2 + " + βkxjk + ε j, j = 1,2,, n yleinen lineaarinen malli. Mallista tehdään tavallisesti seuraavalla kalvolla esitettävät 6 oletusta, joita kutsutaan yleistä lineaarista mallia koskeviksi standardioletuksiksi. Näiden oletuksien voimassaolo takaa sen, että jatkossa esiteltäviä ns. tavanomaisia estimointi- ja testausmenetelmiä saa käyttää mallin analysointiin. TKK (c) Ilkka Mellin (2004) 19

20 Usean selittäjän lineaarinen regressiomalli Standardioletukset 2/2 Yleistä lineaarista mallia yj = β0 + β1xj1+ β2xj2 + " + βkxjk + ε j, j = 1,2,, n koskevat standardioletukset: (i) (ii) (iii) (iv) (v) (vi) Selittäjien x i arvot x ji ovat kiinteitä eli eisatunnaisia vakioita, j = 1, 2,, n, i = 1, 2,, k Selittäjien välillä ei ole lineaarisia riippuvuuksia. E(ε j ) = 0, j = 1, 2,, n Var(ε j ) = σ 2, j = 1, 2,, n Cor(ε j, ε l ) = 0, j l ε j ~ N(0, σ 2 ), j = 1, 2,, n TKK (c) Ilkka Mellin (2004) 20

21 Usean selittäjän lineaarinen regressiomalli Standardioletus (i): Kommentteja 1/2 Standardioletus (i): Selittäjien x i arvot x ji ovat kiinteitä eli eisatunnaisia vakioita, j = 1, 2,, n, i = 1, 2,, k Jatkossa esitettävä lineaaristen regressiomallien teoria nojaa voimakkaasti oletukseen (i). Oletus (i) on kuitenkin sangen rajoittava ja se voi toteutua käytännöllisesti katsoen vain sellaisissa tilanteissa, joissa selittäjien arvot voidaan valita. Selittäjien arvot voidaan valita puhtaissa koeasetelmissa, mutta harvoin muunlaisissa tutkimusasetelmissa. TKK (c) Ilkka Mellin (2004) 21

22 Usean selittäjän lineaarinen regressiomalli Standardioletus (i): Kommentteja 2/2 Standardioletus (i): Selittäjien x i arvot x ji ovat kiinteitä eli eisatunnaisia vakioita, j = 1, 2,, n, i = 1, 2,, k Vaikka standardioletus (i) on sangen rajoittava, tässä luvussa esitettävää lineaaristen regressiomallien teoriaa voidaan soveltaa jos sopivat lisäehdot pätevät myös monissa sellaisissa tilanteissa, joissa selittäjien arvo ovat satunnaisia; ks. kappaletta Yleinen lineaarinen malli ja satunnaiset selittäjät. TKK (c) Ilkka Mellin (2004) 22

23 Usean selittäjän lineaarinen regressiomalli Standardioletus (ii): Kommentteja Standardioletus (ii): Selittäjien välillä ei ole lineaarisia riippuvuuksia Asialooginen perustelu oletukselle (ii): Jos selittäjä x i riippuu lineaarisesti muista selittäjistä, x i on selittäjänä redundantti ja voidaan poistaa mallista. Tekninen perustelu oletukselle (ii): Ehto (ii) takaa sen, että pienimmän neliösumman menetelmä tuottaa regressiokertoimille β 0, β 1, β 2,, β k yksikäsitteiset estimaattorit suljetussa muodossa. TKK (c) Ilkka Mellin (2004) 23

24 Usean selittäjän lineaarinen regressiomalli Standardioletus (iii): Kommentteja Standardioletus (iii): E(ε j ) = 0, j = 1, 2,, n Oletuksen (iii) mukaan kaikilla jäännös- eli virhetermeillä ε j on sama odotusarvo. Oletuksesta (iii) seuraa, että mallissa ei ole systemaattista virhettä. TKK (c) Ilkka Mellin (2004) 24

25 Usean selittäjän lineaarinen regressiomalli Standardioletus (iv): Kommentteja 1/3 Standardioletus (iv): Var(ε j ) = σ 2, j = 1, 2,, n Oletuksen (iv) mukaan kaikilla jäännös- eli virhetermeillä ε j on sama varianssi. Oletusta (iv) kutsutaan homoskedastisuusoletukseksi. Jos oletus (iv) pätee, jäännöstermejä ε j sanotaan homoskedastisiksi. TKK (c) Ilkka Mellin (2004) 25

26 Usean selittäjän lineaarinen regressiomalli Standardioletus (iv): Kommentteja 2/3 Standardioletus (iv): Var(ε j ) = σ 2, j = 1, 2,, n Oletuksen (iv) mukaan jäännöstermit ovat homoskedastisia. Jos oletus (iv) ei päde, jäännöstermejä ε j sanotaan heteroskedastisiksi. Heteroskedastisuus tekee regressiokertoimien estimaattoreista tehottomia. Homoskedastisuutta voidaan testata tilastollisesti. TKK (c) Ilkka Mellin (2004) 26

27 Usean selittäjän lineaarinen regressiomalli Standardioletus (iv): Kommentteja 3/3 Standardioletus (iv): Var(ε j ) = σ 2, j = 1, 2,, n Myös jäännös- eli virhetermien ε j yhteinen varianssi σ 2 on mallin parametri ja se kuvaa havaintopisteiden vaihtelua regressiotason ympärillä. Oletuksien (iii) ja (iv) mukaan jäännös- eli virhetermit ε j vaihtelevat satunnaisesti nollan ympärillä. TKK (c) Ilkka Mellin (2004) 27

28 Usean selittäjän lineaarinen regressiomalli Standardioletus (v): Kommentteja Standardioletus (v): Cor(ε j, ε l ) = 0, j l Oletuksen (v) mukaan jäännös- eli virhetermit ε j eivät korreloi keskenään. Oletusta (v) kutsutaan korreloimattomuusoletukseksi. Jos oletus (v) ei päde, jäännöstermit ε j ovat korreloituneita. Korreloituneisuus tekee regressiokertoimien estimaattoreista tehottomia ja jopa harhaisia. Korreloimattomuutta voidaan testata tilastollisesti. TKK (c) Ilkka Mellin (2004) 28

29 Usean selittäjän lineaarinen regressiomalli Standardioletus (vi): Kommentteja Standardioletus (vi): ε j ~ N(0, σ 2 ), j = 1, 2,, n Oletuksen (vi) mukaan jäännös- eli virhetermit ε j ovat normaalijakautuneita. Oletusta (vi) kutsutaan normaalisuusoletukseksi. Oletus (vi) sisältää oletukset (iii) ja (iv). Normaalisuutta voidaan testata tilastollisesti. TKK (c) Ilkka Mellin (2004) 29

30 Usean selittäjän lineaarinen regressiomalli Standardioletuksien merkitys Oletamme jatkossa, että oletukset (i)-(vi) pätevät. Oletukset (i)-(vi) takaavat sen, että yleisen lineaarisen mallin estimointi ja testaus voidaan tehdä jatkossa esitettävällä tavalla. Homoskedastisuusoletuksen (iv), korreloimattomuusoletuksen (v) ja normaalisuusoletuksen (vi) voimassaoloa voidaan tutkia regressiodiagnostiikan avulla. Oletuksia (i)-(vi) voidaan lieventää tai niistä voidaan jopa luopua, mutta jos oletuksista (i)-(vi) luovutaan, saattaa olla syytä käyttää muita kuin tässä esitettäviä estimointi- ja testausmenetelmiä. TKK (c) Ilkka Mellin (2004) 30

31 Usean selittäjän lineaarinen regressiomalli Yleisen lineaarisen mallin parametrit Yleisen lineaarisen mallin yj = β0 + β1xj1+ β2xj2 + " + βkxjk + ε j, j = 1,2,, n parametreja ovat mallin regressiokertoimet β 0, β 1, β 2,, β k sekä jäännös- eli virhetermien ε j yhteinen varianssi 2 Var( ε j ) = σ, j = 1,2,, n jota kutsutaan jäännösvarianssiksi. Koska regressiokertoimet β 0, β 1, β 2,, β k ja jäännösvarianssi σ 2 ovat tavallisesti tuntemattomia, ne on estimoitava muuttujien x 1, x 2,, x k ja y havaituista arvoista. TKK (c) Ilkka Mellin (2004) 31

32 Usean selittäjän lineaarinen regressiomalli Selitettävän muuttujan ominaisuudet Jos yleistä lineaarista mallia yj = β0 + β1xj1+ β2xj2 + " + βkxjk + ε j, j = 1,2,, n koskevat standardioletukset (i)-(vi) pätevät, mallin selitettävän muuttujan y havaituilla arvoilla y i on seuraavat stokastiset ominaisuudet: (iii) E( y ) = β + β x + β x + " + β x, j = 1,2,, n (iv) Var(y j ) = σ 2, j = 1, 2,, n (v) j 0 1 j1 2 j2 k jk Cor(y j, y l ) = 0, j l (vi) y j ~ N(E(y j ), σ 2 ), j = 1, 2,, n TKK (c) Ilkka Mellin (2004) 32

33 Usean selittäjän lineaarinen regressiomalli Mallin systemaattinen osa ja satunnainen osa 1/2 Oletetaan, että yleistä lineaarista mallia yj = β0 + β1xj1+ β2xj2 + " + βkxjk + ε j, j = 1,2,, n koskevat standardioletukset (i)-(v) pätevät. Tällöin selitettävän muuttujan y havaitut arvot y j voidaan esittää seuraavalla tavalla kahden osatekijän summana: jossa y = E( y ) + ε, j = 1,2,, n j j j E( y ) = β + β x + β x + " + β x, j = 1,2,, n j 0 1 j1 2 j2 k jk TKK (c) Ilkka Mellin (2004) 33

34 Usean selittäjän lineaarinen regressiomalli Mallin systemaattinen osa ja satunnainen osa 2/2 Odotusarvo E( y ) = β + β x + β x + " + β x j 0 1 j 1 2 j 2 k jk muodostaa yleisen lineaarisen mallin systemaattisen eli rakenneosan, joka riippuu selittäjille x i annetuista arvoista. Jäännös- eli virhetermi ε j muodostaa yleisen lineaarisen mallin satunnaisen osan, joka standardioletusten pätiessä ei riipu selittäjille x i annetuista arvoista. TKK (c) Ilkka Mellin (2004) 34

35 Usean selittäjän lineaarinen regressiomalli Regressiotaso Yleisen lineaarisen mallin yj = β0 + β1xj1+ β2xj2 + " + βkxjk + ε j, j = 1,2,, n systemaattinen osa E(y j ) määrittelee tason y = β + β x + β x + " + β x k+1 avaruudessa #. Tasoa kutsutaan regressiotasoksi k k Jäännös- eli virhetermien ε j varianssi σ 2 kuvaa havaintopisteiden k+ 1 ( j1, j2,, jk, j) R, = 1,2,, x x x y j n vaihtelua regressiotason ympärillä. TKK (c) Ilkka Mellin (2004) 35

36 Usean selittäjän lineaarinen regressiomalli Regressiokertoimien tulkinta Yleisen lineaarisen mallin määrittelemän regressiotason y = β + β x + β x + " + β x kertoimilla β 1, β 2,, β k on seuraavat tulkinnat: Oletetaan, että selittäjän x i arvo kasvaa yhdellä yksiköllä: x i x i + 1 ja kaikkien muiden selittäjien arvot pysyvät muuttumattomina. Tällöin kerroin β i kertoo paljonko selitettävän muuttujan y arvo muuttuu: y y + β i k k TKK (c) Ilkka Mellin (2004) 36

37 Yleinen lineaarinen malli Usean selittäjän lineaarinen regressiomalli >> Yleisen lineaarisen mallin matriisisesitys Yleisen lineaarisen mallin estimointi Varianssianalyysihajotelma ja selitysaste Päättely yleisestä lineaarisesta mallista Ennustaminen yleisellä lineaarisella mallilla Yleinen lineaarinen malli ja satunnaiset selittäjät TKK (c) Ilkka Mellin (2004) 37

38 Yleisen lineaarisen mallin matriisiesitys Avainsanat Havainto Jäännöstermi Jäännösvarianssi Kovarianssimatriisi Lineaarinen regressiomalli Lineaarisuus Matriisi Normaalisuusoletus Odotusarvovektori Regressiokerroin Selitettävä muuttuja Selittäjä Selittävä muuttuja Standardioletukset Täysiasteinen matriisi Vakioselittäjä Vektori Virhetermi Yleinen lineaarinen malli TKK (c) Ilkka Mellin (2004) 38

39 Yleisen lineaarisen mallin matriisiesitys Yleinen lineaarinen malli ja sen osat 1/2 Olkoon yj = β0 + β1xj1+ β2xj2 + " + βkxjk + ε j, j = 1,2,, n yleinen lineaarinen malli, jossa y j = selitettävän muuttujan y satunnainen ja havaittu arvo havaintoyksikössä j x ji = selittävän muuttujan eli selittäjän x i eisatunnainen ja havaittu arvo havaintoyksikössä j, i = 1, 2,, k ε j = jäännös- eli virhetermin ε satunnainen ja ei-havaittu arvo havaintoyksikössä j TKK (c) Ilkka Mellin (2004) 39

40 Yleisen lineaarisen mallin matriisiesitys Yleinen lineaarinen malli ja sen osat 2/2 Yleisessä lineaarisessa mallissa yj = β0 + β1xj1+ β2xj2 + " + βkxjk + ε j, j = 1,2,, n on seuraavat kertoimet: β 0 = vakioselittäjän regressiokerroin; β 0 on ei-satunnainen ja tuntematon vakio β i = selittäjän x i regressiokerroin; β i on ei-satunnainen ja tuntematon vakio TKK (c) Ilkka Mellin (2004) 40

41 Yleisen lineaarisen mallin matriisiesitys Selitettävän muuttujan arvojen matriisi Olkoon y1 y 2 y = ( y1, y2,, yn ) = $ y n selitettävän muuttujan y havaittujen arvojen y j, j = 1, 2,, n muodostama n-vektori. TKK (c) Ilkka Mellin (2004) 41

42 Yleisen lineaarisen mallin matriisiesitys Selittävien muuttujien arvojen matriisi Olkoon 1 x11 x12 " x1 k 1 x21 x22 " x 2k X = $ $ $ " $ 1 xn 1 xn2 x " nk selittävien muuttujien x 1, x 2,, x k havaittujen arvojen x ji, j = 1, 2,, n, i = 1, 2,, k ja ykkösten muodostama n (k + 1)-matriisi. Matriisin X ykkösten muodostama 1. sarake vastaa mallin vakioselittäjää. TKK (c) Ilkka Mellin (2004) 42

43 Yleisen lineaarisen mallin matriisiesitys Regressiokertoimien matriisi Olkoon β0 β 1 β = ( β0, β1, β2,, βk ) = β2 $ βk regressiokertoimien β 0, β 1, β 2,, β k muodostama (k + 1)-vektori, jossa β 0 = vakioselittäjän regressiokerroin β i = selittäjän x i regressiokerroin, i = 1, 2,, k TKK (c) Ilkka Mellin (2004) 43

44 Yleisen lineaarisen mallin matriisiesitys Jäännöstermien matriisi Olkoon ε 2 = ( ε1, ε2,, εn) = $ jäännöstermien ε j, j = 1, 2,, n muodostama n-vektori. ε1 ε ε n TKK (c) Ilkka Mellin (2004) 44

45 Yleisen lineaarisen mallin matriisiesitys Yleisen lineaarisen mallin matriisiesitys Yleinen lineaarinen malli voidaan esittää matriisein muodossa y = Xβ + ε jossa y = selitettävän muuttujan y havaittujen arvojen muodostama satunnainen n-vektori X = selittäjien x 1, x 2,, x k havaittujen arvojen ja ykkösten muodostama n (k + 1)-matriisi β = regressiokertoimien muodostama tuntematon ja kiinteä eli ei-satunnainen (k + 1)-vektori ε = jäännöstermien muodostama ei-havaittu ja satunnainen n-vektori TKK (c) Ilkka Mellin (2004) 45

46 Yleisen lineaarisen mallin matriisiesitys Standardioletukset Jos yleisen lineaarisen mallin y = Xβ + ε selittäjät x 1, x 2,, x k ovat kiinteitä eli ei-satunnaisia muuttujia, mallia koskevat standardioletukset voidaan esittää matriisein seuraavassa muodossa: (i) (ii) (iii) E(ε) = 0 (iv)&(v) Matriisin X alkiot ovat kiinteitä eli ei-satunnaisia vakioita Matriisi X on täysiasteinen: r(x) = k + 1 Cov(ε) = σ 2 I (vi) ε N n (0, σ 2 I) TKK (c) Ilkka Mellin (2004) 46

47 Yleisen lineaarisen mallin matriisiesitys Odotusarvovektori Olkoon z = (z 1, z 2,, z p ) satunnaismuuttujien z 1, z 2,, z p muodostama p-vektori. Määritellään satunnaisvektorin z odotusarvovektori µ kaavalla µ = E( z ) = (E( ),E( ),,E( )) z1 z2 z p p-vektorin µ = E(z) i. alkio µ i on satunnaismuuttujan z i odotusarvo: µ = E( z ), i = 1,2,, p i i TKK (c) Ilkka Mellin (2004) 47

48 Yleisen lineaarisen mallin matriisiesitys Kovarianssimatriisi Olkoon z = (z 1, z 2,, z p ) satunnaismuuttujien z 1, z 2,, z p muodostama p-vektori. Määritellään satunnaisvektorin z kovarianssimatriisi Σ kaavalla Σ = Cov( z) = E ( z E( z))( z E( z)) [ ] p p-matriisin Σ = Cov(z) i. rivin ja j. sarakkeen alkio σ ij on satunnaismuuttujien z i ja z j kovarianssi: σ = Cov( z, z ) ij i j = E ( zi E( zi))( zj E( zj)) TKK (c) Ilkka Mellin (2004) 48

49 Yleinen lineaarinen malli Usean selittäjän lineaarinen regressiomalli Yleisen lineaarisen mallin matriisisesitys >> Yleisen lineaarisen mallin parametrien estimointi Varianssianalyysihajotelma ja selitysaste Päättely yleisestä lineaarisesta mallista Ennustaminen yleisellä lineaarisella mallilla Yleinen lineaarinen malli ja satunnaiset selittäjät TKK (c) Ilkka Mellin (2004) 49

50 Yleisen lineaarisen mallin parametrien estimointi Avainsanat Estimaattoreiden ominaisuudet Estimaattori Estimointi Gaussin ja Markovin lause Harhattomuus Jäännöstermien neliösumma Jäännösvarianssi Lineaarinen regressiomalli Lineaarisuus Minimointi Paremmuus Pienimmän neliösumman estimaattori Pienimmän neliösumman menetelmä Regressiotaso Residuaali Sovite Standardioletukset Yleinen lineaarinen malli TKK (c) Ilkka Mellin (2004) 50

51 Yleisen lineaarisen mallin parametrien estimointi Yleinen lineaarinen malli ja sen osat 1/2 Olkoon yj = β0 + β1xj1+ β2xj2 + " + βkxjk + ε j, j = 1,2,, n yleinen lineaarinen malli, jossa y j = selitettävän muuttujan y satunnainen ja havaittu arvo havaintoyksikössä j x ji = selittävän muuttujan eli selittäjän x i eisatunnainen ja havaittu arvo havaintoyksikössä j, i = 1, 2,, k ε j = jäännös- eli virhetermin ε satunnainen ja ei-havaittu arvo havaintoyksikössä j TKK (c) Ilkka Mellin (2004) 51

52 Yleisen lineaarisen mallin parametrien estimointi Yleinen lineaarinen malli ja sen osat 2/2 Yleisessä lineaarisessa mallissa yj = β0 + β1xj1+ β2xj2 + " + βkxjk + ε j, j = 1,2,, n on seuraavat kertoimet: β 0 = vakioselittäjän regressiokerroin; β 0 on ei-satunnainen ja tuntematon vakio β i = selittäjän x i regressiokerroin; β i on ei-satunnainen ja tuntematon vakio TKK (c) Ilkka Mellin (2004) 52

53 Yleisen lineaarisen mallin parametrien estimointi Yleisen lineaarisen mallin matriisiesitys Yleinen lineaarinen malli voidaan esittää matriisein muodossa y = Xβ + ε jossa y = selitettävän muuttujan y havaittujen arvojen muodostama satunnainen n-vektori X = selittäjien x 1, x 2,, x k havaittujen arvojen ja ykkösten muodostama n (k + 1)-matriisi β = regressiokertoimien muodostama tuntematon ja kiinteä eli ei-satunnainen (k + 1)-vektori ε = jäännöstermien muodostama ei-havaittu ja satunnainen n-vektori TKK (c) Ilkka Mellin (2004) 53

54 Yleisen lineaarisen mallin parametrien estimointi Standardioletukset Jos yleisen lineaarisen mallin y = Xβ + ε selittäjät x 1, x 2,, x k ovat kiinteitä eli ei-satunnaisia muuttujia, mallia koskevat standardioletukset voidaan esittää matriisein seuraavassa muodossa: (i) (ii) (iii) E(ε) = 0 (iv)&(v) Matriisin X alkiot ovat kiinteitä eli ei-satunnaisia vakioita Matriisi X on täysiasteinen: r(x) = k + 1 Cov(ε) = σ 2 I (vi) ε N n (0, σ 2 I) TKK (c) Ilkka Mellin (2004) 54

55 Yleisen lineaarisen mallin parametrien estimointi Regressiokertoimien PNS-estimointi 1/3 Yleisen lineaarisen mallin yj = β0 + β1xj1+ β2xj2 + " + βkxjk + ε j, j = 1,2,, n regressiokertoimet β 0, β 1, β 2,, β k estimoidaan tavallisesti pienimmän neliösumman (PNS-) menetelmällä. PNS-menetelmässä regressiokertoimien β 0, β 1, β 2,, β k estimaattorit määrätään minimoimalla jäännös- eli virhetermien ε j neliösumma n n 2 2 ε j = ( y j β0 β1xj1 β2xj2 βkxjk) j= 1 j= 1 " regressiokertoimien β 0, β 1, β 2,, β k suhteen. TKK (c) Ilkka Mellin (2004) 55

56 Yleisen lineaarisen mallin parametrien estimointi Regressiokertoimien PNS-estimointi 2/3 Neliösumman n n 2 2 ε j = ( y j β0 β1xj1 β2xj2 βkxjk) j= 1 j= 1 " minimointi voidaan tehdä derivoimalla neliösumma regressiokertoimien β 0, β 1, β 2,, β k suhteen ja merkitsemällä derivaatat nolliksi. Tämä johtaa regressiokertoimien β 0, β 1, β 2,, β k suhteen lineaariseen yhtälöryhmään, jossa on (k + 1) yhtälöä. Yhtälöryhmällä on ratkaisu, jos standardioletus (ii) pätee. TKK (c) Ilkka Mellin (2004) 56

57 Yleisen lineaarisen mallin parametrien estimointi Regressiokertoimien PNS-estimointi 3/3 Yhtälöryhmän ratkaisuina saadaan regressiokertoimien β 0, β 1, β 2,, β k PNS-estimaattorit, joita merkitään vastaavilla latinalaisilla kirjaimilla: b i = kertoimen β k PNS-estimaattori, i = 0, 1, 2,, k Regressiokertoimien β 0, β 1, β 2,, β k PNSestimaattoreiden b 0, b 1, b 2,, b k lausekkeet on mukavinta esittää matriisimuodossa. TKK (c) Ilkka Mellin (2004) 57

58 Yleisen lineaarisen mallin parametrien estimointi Regressiokertoimien PNS-estimaattoreiden matriisiesitys Olkoon y = Xβ + ε standardioletuksen (ii) r(x) = k + 1 toteuttava yleinen lineaarinen malli. Tällöin regressiokertoimien vektorin β PNS-estimaattori on b= ( XX ) 1 Xy TKK (c) Ilkka Mellin (2004) 58

59 Yleisen lineaarisen mallin parametrien estimointi PNS-estimaattorin odotusarvo ja kovarianssimatriisi Olkoon b= ( XX ) 1 Xy yleisen lineaarisen mallin y = Xβ + ε regressiokertoimien vektorin β PNS-estimaattori. Jos standardioletukset (i)-(v) pätevät, E( b) = β 2 1 Cov( b) = σ ( XX ) Koska E(b) = β, niin PNS-estimaattori b on regressiokertoimien vektorin β harhaton estimaattori. TKK (c) Ilkka Mellin (2004) 59

60 Yleisen lineaarisen mallin parametrien estimointi PNS-estimaattorin normaalisuus Olkoon b= ( XX ) 1 Xy yleisen lineaarisen mallin y = Xβ + ε regressiokertoimien vektorin β PNS-estimaattori. Jos standardioletukset (i)-(vi) pätevät, ( 2 1 σ ) b N β, ( XX) k+ 1 TKK (c) Ilkka Mellin (2004) 60

61 Yleisen lineaarisen mallin parametrien estimointi PNS-estimaattorin paremmuus: Gaussin ja Markovin lause Olkoon y = Xβ + ε yleinen lineaarinen malli, joka toteuttaa standardioletukset (i)-(v). Tällöin pätee Gaussin ja Markovin lause: Regressiokertoimien vektorin β PNS-estimaattori b= ( XX ) 1 Xy on paras (siinä mielessä, että se on tehokkain) vektorin β lineaaristen ja harhattomien estimaattoreiden joukossa. TKK (c) Ilkka Mellin (2004) 61

62 Yleisen lineaarisen mallin parametrien estimointi PNS-estimaattorin paremmuus: Gaussin ja Markovin lauseen tulkinta 1/3 Regressiokertoimien vektorin β PNS-estimaattorin b paremmuudella tarkoitetaan Gaussin ja Markovin lauseessa seuraavaa: Olkoon b * on mikä tahansa toinen regressiokertoimien vektorin β lineaarinen ja harhaton estimaattori, niin tällöin * Cov( b ) Cov( b) TKK (c) Ilkka Mellin (2004) 62

63 Yleisen lineaarisen mallin parametrien estimointi PNS-estimaattorin paremmuus: Gaussin ja Markovin lauseen tulkinta 2/3 Merkintä * Cov( b ) Cov( b) tarkoittaa sitä, että erotus * Cov( b ) Cov( b) on positiivisesti semidefiniitti matriisi eli * a Cov( b ) Cov( b) a 0 kaikille a 0 ( ) TKK (c) Ilkka Mellin (2004) 63

64 Yleisen lineaarisen mallin parametrien estimointi PNS-estimaattorin paremmuus: Gaussin ja Markovin lauseen tulkinta 3/3 Epäyhtälöstä * a Cov( b ) Cov( b) a 0 kaikille a 0 ( ) seuraa erityisesti se, että yksittäisten regressiokertoimien PNS-estimaattoreiden b i, i = 0, 1, 2,, k varianssit ovat pienimpiä mahdollisia lineaaristen ja harhattomien estimaattoreiden joukossa. Tämä nähdään valitsemalla vektoriksi a vektori, jossa ainoa nollasta poikkeava alkio 1 on paikassa i: a = (0,,0,1,0,,0) i. TKK (c) Ilkka Mellin (2004) 64

65 Yleisen lineaarisen mallin parametrien estimointi PNS-estimaattorin ominaisuudet Yleisen lineaarisen mallin y = Xβ + ε regressiokertoimien vektorin β PNS-estimaattorilla b on standardioletuksien (i)-(vi) pätiessä seuraavat ominaisuudet: (1) b on harhaton. (2) b paras (eli tehokkain) lineaaristen ja harhattomien estimaattoreiden joukossa. (3) b on tyhjentävä. (4) b on (sopivin lisäehdoin) tarkentuva. (5) b on normaalinen. TKK (c) Ilkka Mellin (2004) 65

66 Yleisen lineaarisen mallin parametrien estimointi Sovitteet Olkoot yleisen lineaarisen mallin yj = β0 + β1xj1+ β2xj2 + " + βkxjk + ε j, j = 1,2,, n regressiokertoimien PNS-estimaattorit b 0, b 1, b 2,, b k. Sovite yˆ j = b0 + bx 1 j 1+ b2x j 2 + " + b k x jk, j = 1,2,, n on estimoidun mallin selitettävälle muuttujalle y antama arvo havaintopisteessä ( x, x,, x ) j1 j2 jk Jos standardioletukset (i)-(v) pätevät, E( y ) = β + β x + β x + " + β x, j = 1,2,, n ˆ j 0 1 j 1 2 j 2 k jk TKK (c) Ilkka Mellin (2004) 66

67 Yleisen lineaarisen mallin parametrien estimointi Residuaalit Olkoot yleisen lineaarisen mallin yj = β0 + β1xj1+ β2xj2 + " + βkxjk + ε j, j = 1,2,, n regressiokertoimien PNS-estimaattorit b 0, b 1, b 2,, b k. Residuaali j = 1, 2,, n on selitettävän muuttujan y havaitun arvon y j ja sovitteen y erotus. ˆ j e y y y b bx b x b x j = j ˆ j = j 0 1 j1 2 j2 " k jk, Jos standardioletukset (i)-(v) pätevät, E( e ) = 0, j = 1, 2,, n j TKK (c) Ilkka Mellin (2004) 67

68 Yleisen lineaarisen mallin parametrien estimointi Sovitteet, residuaalit ja regressiomallin hyvyys Regressiomallin hyvyyden tutkimisessa voidaan käyttää hyväksi estimoidun mallin sovitteita ja residuaaleja : (i) Regressiomalli selittää selitettävän muuttujan havaittujen arvojen vaihtelun sitä paremmin mitä lähempänä estimoidun mallin sovitteet yˆ j ovat selitettävän muuttujan havaittuja arvoja y j. (ii) Regressiomalli selittää selitettävän muuttujan havaittujen arvojen vaihtelun sitä paremmin mitä pienempiä ovat estimoidun mallin residuaalit e j. TKK (c) Ilkka Mellin (2004) 68

69 Yleisen lineaarisen mallin parametrien estimointi Sovitteiden ja residuaalien matriisiesitykset 1/2 Olkoon b= ( XX ) 1 Xy yleisen lineaarisen mallin y = Xβ + ε regressiokertoimien vektorin β PNS-estimaattori. Tällöin yˆ = Xb = X( X X) 1 X y = Py on sovitteiden yˆ j, j = 1,2,, n muodostama n-vektori ja 1 e = y yˆ = ( I X( XX ) X ) y = ( I P) y = My on residuaalien e j, j = 1, 2,, n muodostama n-vektori. TKK (c) Ilkka Mellin (2004) 69

70 Yleisen lineaarisen mallin parametrien estimointi Sovitteiden ja residuaalien matriisiesitykset 2/2 Sovitteiden ja residuaalien muodostamien vektoreiden lausekkeissa esiintyvät n n-matriisit 1 P= X( XX ) X 1 M = I P= I X( XX ) X ovat symmetrisiä ja idempotentteja eli projektioita: 2 P = P P = P 2 M = M M = M Lisäksi PM = MP = 0 Näillä matriiseja P ja M koskevilla tuloksilla on keskeinen merkitys johdettaessa lineaarisen mallin estimointiin ja testaukseen liittyviä jakaumatuloksia. TKK (c) Ilkka Mellin (2004) 70

71 Yleisen lineaarisen mallin parametrien estimointi Sovitteiden ja residuaalien ominaisuudet Sovitteiden ja residuaalien muodostamilla vektoreilla on seuraavat stokastiset ominaisuudet: Sovitteiden muodostama vektori ŷ : E( yˆ ) = Xβ Cov( yˆ ) = σ P = σ X( XX ) X Residuaalien muodostama vektori e : E( e) = Cov( e) = σ M = σ ( I P) = σ ( I X( XX ) X ) Huomautus: Residuaalit e j ovat siis (lievästi) korreloituneita, vaikka jäännöstermit ε j on oletettu korreloimattomiksi. TKK (c) Ilkka Mellin (2004) 71

72 Yleisen lineaarisen mallin parametrien estimointi Jäännösvarianssin estimointi Jos yleisen lineaarisen mallin jäännös-eli virhetermejä ε j koskevat standardioletukset (i)-(v) pätevät, jäännösvarianssin Var(ε j ) = σ 2 harhaton estimaattori on jossa s 1 n 2 2 = ej n k 1 j= 1 e j = estimoidun mallin residuaali, j = 1, 2,, n n = havaintojen lukumäärä k = (aitojen) selittäjien x i lukumäärä TKK (c) Ilkka Mellin (2004) 72

73 Yleisen lineaarisen mallin parametrien estimointi Jäännösvarianssin estimointi: Kommentti Estimaattori s 2 on residuaalien e j varianssi. Tämä seuraa siitä, että mallissa on vakioselittäjä, jolloin n i= 1 e i = 0 ja siten myös n 1 e = ei = 0 n i = 1 jolloin s 1 e e 1 e n 2 ( ) 2 n 2 = j = j n k 1 j= 1 n k 1 j= 1 TKK (c) Ilkka Mellin (2004) 73

74 Yleisen lineaarisen mallin parametrien estimointi Estimoitu regressiotaso Yleisen lineaarisen mallin yj = β0 + β1xj1+ β2xj2 + " + βkxjk + ε j, j = 1,2,, n regressiokertoimien β 0, β 1, β 2,, β k PNS-estimaattorit b 0, b 1, b 2,, b k määrittelevät tason y = b + bx + b x + " + b x k k k+1 avaruudessa #. Tasoa kutsutaan estimoiduksi regressiotasoksi. Jäännösvarianssin σ 2 estimaattori s 2 kuvaa havaintopisteiden k+ 1 ( j1, j2,, jk, j) R, = 1,2,, x x x y j n vaihtelua estimoidun regressiotason ympärillä. TKK (c) Ilkka Mellin (2004) 74

75 Yleinen lineaarinen malli Usean selittäjän lineaarinen regressiomalli Yleisen lineaarisen mallin matriisisesitys Yleisen lineaarisen mallin estimointi >> Varianssianalyysihajotelma ja selitysaste Päättely yleisestä lineaarisesta mallista Ennustaminen yleisellä lineaarisella mallilla Yleinen lineaarinen malli ja satunnaiset selittäjät TKK (c) Ilkka Mellin (2004) 75

76 Varianssianalyysihajotelma ja selitysaste Avainsanat Jäännösneliösumma Jäännösvaihtelu Kokonaisneliösumma Kokonaisvaihtelu Korrelaatio Lineaarinen regressiomalli Mallineliösumma Pienimmän neliösumman estimaattori Residuaali Selitysaste Sovite Standardioletukset Varianssianalyysihajotelma Yleinen lineaarinen malli TKK (c) Ilkka Mellin (2004) 76

77 Varianssianalyysihajotelma ja selitysaste Varianssianalyysihajotelman idea Regressiomallin tehtävänä on selittää selitettävän muuttujan y havaittujen arvojen vaihtelu selittävien muuttujien x 1, x 2,, x k havaittujen arvojen vaihtelulla. Tämän tehtävän onnistumista voidaan kuvata ns. varianssianalyysihajotelman avulla. Hajotelmassa selitettävän muuttujan y havaittujen arvojen kokonaisvaihtelua kuvaava ns. kokonaisneliösumma jaetaan kahden osatekijän summaksi: (i) Toinen osatekijä kuvaa estimoidun mallin selittämää osaa kokonaisvaihtelusta. (ii) Toinen osatekijä kuvaa mallilla selittämättä jäänyttä osaa kokonaisvaihtelusta. TKK (c) Ilkka Mellin (2004) 77

78 Varianssianalyysihajotelma ja selitysaste Sovitteet Olkoot yleisen lineaarisen mallin yj = β0 + β1xj1+ β2xj2 + " + βkxjk + ε j, j = 1,2,, n regressiokertoimien PNS-estimaattorit b 0, b 1, b 2,, b k. Sovite yˆ j = b0 + bx 1 j 1+ b2x j 2 + " + b k x jk, j = 1,2,, n on estimoidun mallin selitettävälle muuttujalle y antama arvo havaintopisteessä ( x, x,, x ) j1 j2 jk TKK (c) Ilkka Mellin (2004) 78

79 Varianssianalyysihajotelma ja selitysaste Residuaalit Olkoot yleisen lineaarisen mallin yj = β0 + β1xj1+ β2xj2 + " + βkxjk + ε j, j = 1,2,, n regressiokertoimien PNS-estimaattorit b 0, b 1, b 2,, b k. Residuaali j = 1, 2,, n on selitettävän muuttujan y havaitun arvon y j ja sovitteen y erotus. ˆ j e y y y b bx b x b x j = j ˆ j = j 0 1 j1 2 j2 " k jk, TKK (c) Ilkka Mellin (2004) 79

80 Varianssianalyysihajotelma ja selitysaste Kokonaisneliösumma Yleisen lineaarisen mallin selitettävän muuttujan y havaittujen arvojen y j vaihtelun mittaaminen perustuu kokonaisneliösummaan n SST = ( yj y) j= 1 2 jossa y on selitettävän muuttujan y havaittujen arvojen y j aritmeettinen keskiarvo. Selitettävän muuttujan y havaittujen arvojen y j varianssi voidaan määritellä kaavalla s 2 Y SST = n 1 TKK (c) Ilkka Mellin (2004) 80

81 Varianssianalyysihajotelma ja selitysaste Jäännösneliösumma Residuaalien e j vaihtelun mittaaminen perustuu jäännösneliösummaan Koska mallissa on vakioselittäjä, jolloin e j = 0, residuaalien e j varianssi voidaan määritellä kaavalla s 2 Koska SSE n = e j= 1 = SSE n k 1 E(s 2 ) = σ 2 2 j niin estimaattori s 2 on harhaton jäännösvarianssille σ 2. TKK (c) Ilkka Mellin (2004) 81

82 Varianssianalyysihajotelma ja selitysaste Mallineliösumma Voidaan osoittaa, että jäännösneliösumma on korkeintaan yhtä suuri kuin kokonaisneliösumma: SSE SST Määritellään erotus Koska SSM = SST SSE n SSM = ( yˆ j y) j= 1 2 jossa y on selitettävän muuttujan y havaittujen arvojen y j aritmeettinen keskiarvo, erotusta SSM kutsutaan mallineliösummaksi. TKK (c) Ilkka Mellin (2004) 82

83 Varianssianalyysihajotelma ja selitysaste Varianssianalyysihajotelma 1/2 Edellä esitetyn mukaan kokonaisneliösumma voidaan esittää kahden osatekijän SSM ja SSE summana: jossa ja SST = ( yj y) SST = SSM + SSE SSE n j= 1 SSM = ( yˆ j y) j= 1 n n = e j= 1 2 j 2 2 TKK (c) Ilkka Mellin (2004) 83

84 Varianssianalyysihajotelma ja selitysaste Varianssianalyysihajotelma 2/2 Varianssianalyysihajotelmassa SST = SSM + SSE selitettävän muuttujan y havaittujen arvojen vaihtelua kuvaava kokonaisneliösumma SST on esitetty kahden osatekijän SSM ja SSE summana: (i) Mallineliösumma SSM kuvaa sitä osaa selitettävän muuttujan y havaittujen arvojen vaihtelusta, jonka estimoitu malli on selittänyt. (ii) Jäännösneliösumma SSE kuvaa sitä osaa selitettävän muuttujan y havaittujen arvojen vaihtelusta, jota estimoitu malli ei ole selittänyt. TKK (c) Ilkka Mellin (2004) 84

85 Varianssianalyysihajotelma ja selitysaste Varianssianalyysihajotelman tulkinta Varianssianalyysihajotelma SST = SSM + SSE kuvaa estimoidun regressiomallin hyvyyttä: (i) Mitä suurempi on mallineliösumman SSM osuus kokonaisneliösummasta SST, sitä paremmin estimoitu malli selittää selitettävän muuttujan havaittujen arvojen vaihtelun. (ii) Mitä pienempi on jäännösneliösumman SSE osuus kokonaisneliösummasta SST, sitä paremmin estimoitu malli selittää selitettävän muuttujan havaittujen arvojen vaihtelun. TKK (c) Ilkka Mellin (2004) 85

86 Varianssianalyysihajotelma ja selitysaste Selitysaste Varianssianalyysihajotelma SST = SSM + SSE motivoi tunnusluvun 2 SSE SSM R = 1 = SST SST käytön regressiomallin hyvyyden mittarina. Tunnuslukua R 2 kutsutaan selitysasteeksi ja se mittaa regressiomallin selittämää osuutta selitettävän muuttujan havaintoarvojen kokonaisvaihtelusta. Selitysaste ilmaistaan tavallisesti prosentteina: 100 R 2 % TKK (c) Ilkka Mellin (2004) 86

87 Varianssianalyysihajotelma ja selitysaste Selitysaste ja korrelaatio Voidaan osoittaa, että selitysaste 2 R = [ Cor( y, yˆ )] 2 jossa Cor( yy, ˆ) on selitettävän muuttujan y havaittujen arvojen y j ja sovitteiden y otoskorrelaatiokerroin. ˆ j TKK (c) Ilkka Mellin (2004) 87

88 Varianssianalyysihajotelma ja selitysaste Selitysasteen ominaisuudet 1/2 Selitysasteella R 2 on seuraavat ominaisuudet: (i) (ii) 2 0 R 1 Seuraavat ehdot ovat yhtäpitäviä: (1) R 2 = 1 (2) Kaikki residuaalit häviävät: e j = 0 kaikille j = 1, 2,, n (3) Kaikki havaintopisteet ( x, x,, x, y ), j = 1,2,, n j1 j2 jk j asettuvat samalle tasolle. (4) Malli selittää täydellisesti selitettävän muuttujan arvojen vaihtelun. TKK (c) Ilkka Mellin (2004) 88

89 Varianssianalyysihajotelma ja selitysaste Selitysasteen ominaisuudet 2/2 (iii) Seuraavat ehdot ovat yhtäpitäviä: (1) R 2 = 0 (2) b 1 = b 2 = = b k = 0 (3) Malli ei ollenkaan selitä selitettävän muuttujan arvojen vaihtelua. TKK (c) Ilkka Mellin (2004) 89

90 Yleinen lineaarinen malli Usean selittäjän lineaarinen regressiomalli Yleisen lineaarisen mallin matriisisesitys Yleisen lineaarisen mallin estimointi Varianssianalyysihajotelma ja selitysaste >> Päättely yleisestä lineaarisesta mallista Ennustaminen yleisellä lineaarisella mallilla Yleinen lineaarinen malli ja satunnaiset selittäjät TKK (c) Ilkka Mellin (2004) 90

91 Päättely yleisestä lineaarisesta mallista Avainsanat F-testi Lineaarinen regressiomalli Luottamusväli Otantajakauma Pienimmän neliösumman estimaattori Regressiokerroin Selitysaste Standardioletukset Testaus t-testi Yleinen lineaarinen malli TKK (c) Ilkka Mellin (2004) 91

92 Päättely yleisestä lineaarisesta mallista Mallia koskeva tilastollinen päättely Tässä kappaleessa tarkastellaan seuraavia yleistä lineaarista mallia koskevia päättelyn ongelmia: Regressiokertoimien estimaattoreiden odotusarvot ja varianssit Regressiokertoimien estimaattoreiden otosjakaumat Regressiokertoimien luottamusvälit Yleistesti regression olemassaololle Testit regressiokertoimille TKK (c) Ilkka Mellin (2004) 92

93 Päättely yleisestä lineaarisesta mallista Yleinen lineaarinen malli ja sen osat Yleisessä lineaarisessa mallissa y = Xβ + ε on seuraavat osat: y = selitettävän muuttujan y havaittujen arvojen muodostama satunnainen n-vektori X = selittäjien x 1, x 2,, x k havaittujen arvojen ja ykkösten muodostama n (k + 1)-matriisi β = regressiokertoimien muodostama tuntematon ja kiinteä eli ei-satunnainen (k + 1)-vektori ε = jäännöstermien muodostama ei-havaittu ja satunnainen n-vektori TKK (c) Ilkka Mellin (2004) 93

94 Päättely yleisestä lineaarisesta mallista Standardioletukset Jos yleisen lineaarisen mallin y = Xβ + ε selittäjät x 1, x 2,, x k ovat kiinteitä eli ei-satunnaisia muuttujia, mallia koskevat standardioletukset voidaan esittää matriisein seuraavassa muodossa: (i) (ii) (iii) E(ε) = 0 (iv)&(v) Matriisin X alkiot ovat kiinteitä eli ei-satunnaisia vakioita Matriisi X on täysiasteinen: r(x) = k + 1 Cov(ε) = σ 2 I (vi) ε N n (0, σ 2 I) TKK (c) Ilkka Mellin (2004) 94

95 Päättely yleisestä lineaarisesta mallista Regressiokertoimien PNS-estimointi Yleisen lineaarisen mallin y = Xβ + ε regressiokertoimien vektorin β PNS-estimaattori on b= ( XX ) 1 Xy TKK (c) Ilkka Mellin (2004) 95

96 Päättely yleisestä lineaarisesta mallista PNS-estimaattorin otosjakauma 1/2 Jos standardioletukset (i)-(v) pätevät, regressiokertoimien vektorin β PNS-estimaattorilla b= ( XX ) 1 Xy on seuraavat stokastiset ominaisuudet: E( b) = β 2 1 Cov( b) = σ ( XX ) Jos myös standardioletus (vi) pätee, PNS-estimaattori b noudattaa normaalijakaumaa: b β XX 2 1 N k 1(, σ ( + ) ) TKK (c) Ilkka Mellin (2004) 96

97 Päättely yleisestä lineaarisesta mallista PNS-estimaattorin otosjakauma 2/2 Jos standardioletukset (i)-(v) pätevät, regressiokertoimen β i, i = 0, 1, 2,, k PNS-estimaattorilla b i on seuraavat stokastiset ominaisuudet: E( b ) = i β i D( bi) = σb = σ ( ) i XX i+ 1, i+ 1 Jos myös standardioletus (vi) pätee, PNS-estimaattori b i noudattaa normaalijakaumaa: b 2 i N( βi, σ b i ) TKK (c) Ilkka Mellin (2004) 97

98 Päättely yleisestä lineaarisesta mallista PNS-estimaattoreiden varianssien estimointi Jos standardioletukset (i)-(v) pätevät, regressiokertoimen β i, i = 0, 1, 2,, k PNS-estimaattorin b i varianssin D( b ) = σ = σ ( XX ) i bi i+ 1, i+ 1 harhaton estimaattori on ˆD ( b) = s ( XX ) i i+ 1, i+ 1 jossa n s = ej n k 1 j= 1 on jäännösvarianssin σ 2 harhaton estimaattori. TKK (c) Ilkka Mellin (2004) 98

99 Päättely yleisestä lineaarisesta mallista PNS-estimaattoreiden luottamusvälit Jos standardioletukset (i)-(vi) pätevät, regressiokertoimen β i, i = 0, 1, 2,, k luottamusväli luottamustasolla (1 α) on muotoa jossa b ˆD( i ± tα /2 bi) b i = regressiokertoimen β i PNS-estimaattori ±t α/2 = luottamustasoa (1 α) vastaavat luottamuskertoimet t-jakaumasta, jonka vapausasteiden lukumäärä on (n k 1) 2 ˆD ( b i ) = regressiokertoimen β i PNS-estimaattorin varianssin harhaton estimaattori TKK (c) Ilkka Mellin (2004) 99

100 Päättely yleisestä lineaarisesta mallista PNS-estimaattoreiden luottamusvälien tulkinta Regressiokertoimen β i, i = 0, 1, 2,, k luottamustasoon (1 α) liittyvän luottamusväli b ˆD( i ± tα /2 bi) peittää regressiokertoimen β i todennäköisyydellä (1 α): Pr D( ˆ ) + D( ˆ ) = 1 α ( b t b β b t b ) i α/2 i i i α/2 i Frekvenssitulkinta luottamusvälille: Jos otantaa toistetaan, otoksista konstruoiduista luottamusväleistä 100 (1 α) % peittää parametrin β i todellisen arvon ja 100 α % väleistä ei peitä parametrin β i todellista arvoa. TKK (c) Ilkka Mellin (2004) 100

101 Päättely yleisestä lineaarisesta mallista Yleistesti regression olemassaololle: Nollahypoteesi Olkoon nollahypoteesina H 0 : β1 = β2 = " = β k = 0 Jos nollahypoteesi H 0 pätee, selitettävä muuttuja y ei riipu lineaarisesti yhdestäkään selittäjästä x 1, x 2,, x k. Jos nollahypoteesi H 0 ei päde, selitettävä muuttuja y riippuu lineaarisesti ainakin yhdestä selittäjästä x 1, x 2,, x k. TKK (c) Ilkka Mellin (2004) 101

102 Päättely yleisestä lineaarisesta mallista Yleistesti regression olemassaololle: Testisuure 1/2 Määritellään F-testisuure 2 n k 1 R n k 1 SSM F = = 2 k 1 R k SSE jossa R 2 = estimoidun mallin selitysaste SSM = estimoidun mallin mallineliösumma SSE = estimoidun mallin jäännösneliösumma TKK (c) Ilkka Mellin (2004) 102

103 Päättely yleisestä lineaarisesta mallista Yleistesti regression olemassaololle: Testisuure 2/2 Testisuure 2 n k 1 R n k 1 SSM F = = 2 k 1 R k SSE vertaa toisiinsa residuaalivarianssia 2 SSE s = n k 1 ja mallivarianssia s 2 1 M = k SSM TKK (c) Ilkka Mellin (2004) 103

104 Päättely yleisestä lineaarisesta mallista Yleistesti regression olemassaololle: Testisuureen jakauma Oletetaan, että standardioletukset (i)-(vi) pätevät. Tällöin testisuure F noudattaa nollahypoteesin H 0 pätiessä F-jakaumaa vapausastein k ja (n k 1): F F( k, n k 1) Testisuureen F normaaliarvo eli odotusarvo nollahypoteesin H 0 pätiessä on (suurille n) n k 1 E( F) = 1 n k 3 Suuret testisuureen F arvot viittaavat siihen, että nollahypoteesi H 0 ei päde. TKK (c) Ilkka Mellin (2004) 104

105 Päättely yleisestä lineaarisesta mallista Testit regressiokertoimille: Nollahypoteesit Olkoon nollahypoteesina H 0i : β i = 0, i = 0,1,2,, k Jos nollahypoteesi H 00 pätee, mallissa ei ole vakiota. Jos nollahypoteesi H 0i, i = 1, 2,, k pätee, selitettävä muuttuja y ei riipu lineaarisesti selittäjästä x i. Jos nollahypoteesi H 0i, i = 1, 2,, k ei päde, selitettävä muuttuja y riippuu lineaarisesti selittäjästä x i. TKK (c) Ilkka Mellin (2004) 105

106 Päättely yleisestä lineaarisesta mallista Testit regressiokertoimille: Testisuureet Määritellään t-testisuureet bi ti =, i = 0,1,2,, k ˆD( bi ) jossa b i 2 ˆD ( b i ) = regressiokertoimen β i PNS-estimaattori = regressiokertoimen β i PNS-estimaattorin varianssin harhaton estimaattori TKK (c) Ilkka Mellin (2004) 106

107 Päättely yleisestä lineaarisesta mallista Testit regressiokertoimille: Testisuureiden jakaumat Oletetaan, että standardioletukset (i)-(vi) pätevät. Tällöin testisuure t i noudattaa nollahypoteesin H 0i : β i = 0 pätiessä t-jakaumaa vapausastein (n k 1): t t( n k 1) i Testisuureen t i normaaliarvo eli odotusarvo nollahypoteesin H 0i pätiessä on E( t i ) = 0 Itseisarvoltaan suuret testisuureen arvot t i viittaavat siihen, että nollahypoteesi H 0i ei päde. TKK (c) Ilkka Mellin (2004) 107

108 Yleinen lineaarinen malli Usean selittäjän lineaarinen regressiomalli Yleisen lineaarisen mallin matriisisesitys Yleisen lineaarisen mallin estimointi Varianssianalyysihajotelma ja selitysaste Päättely yleisestä lineaarisesta mallista >> Ennustaminen yleisellä lineaarisella mallilla Yleinen lineaarinen malli ja satunnaiset selittäjät TKK (c) Ilkka Mellin (2004) 108

109 Ennustaminen yleisellä lineaarisella mallilla Avainsanat Ennustaminen Ennuste Lineaarinen regressiomalli Luottamusväli Otantajakauma Pienimmän neliösumman estimaattori Regressiotaso Selitettävän muuttujan arvo Selitettävän muuttujan odotusarvo Standardioletukset Yleinen lineaarinen malli TKK (c) Ilkka Mellin (2004) 109

110 Ennustaminen yleisellä lineaarisella mallilla Ennustaminen Oletetaan, että muuttujien x 1, x 2,, x k ja y havaittujen arvojen x j1, x j2,, x jk ja y j välillä on lineaarinen tilastollinen riippuvuus, joka voidaan ilmaista muodossa yj = β0 + β1xj1+ β2xj2 + " + βkxjk + ε j, j = 1,2,, n Haluamme ennustaa selitettävää muuttujaa y, kun selittävät muuttujat x 1, x 2,, x k saavat arvot x& 1, x& 2,, x& k. Jaetaan tarkastelu kahteen osaan: (i) Tavoitteena on ennustaa selitettävän muuttujan y odotettavissa oleva eli keskimääräinen arvo. (ii) Tavoitteena on ennustaa selitettävän muuttujan y arvo. TKK (c) Ilkka Mellin (2004) 110

111 Ennustaminen yleisellä lineaarisella mallilla Yleinen lineaarinen malli ja sen osat Yleisessä lineaarisessa mallissa y = Xβ + ε on seuraavat osat: y = selitettävän muuttujan y havaittujen arvojen muodostama satunnainen n-vektori X = selittäjien x 1, x 2,, x k havaittujen arvojen ja ykkösten muodostama n (k + 1)-matriisi β = regressiokertoimien muodostama tuntematon ja kiinteä eli ei-satunnainen (k + 1)-vektori ε = jäännöstermien muodostama ei-havaittu ja satunnainen n-vektori TKK (c) Ilkka Mellin (2004) 111

112 Ennustaminen yleisellä lineaarisella mallilla Standardioletukset Jos yleisen lineaarisen mallin y = Xβ + ε selittäjät x 1, x 2,, x k ovat kiinteitä eli ei-satunnaisia muuttujia, mallia koskevat standardioletukset voidaan esittää matriisein seuraavassa muodossa: (i) (ii) (iii) E(ε) = 0 (iv)&(v) Matriisin X alkiot ovat kiinteitä eli ei-satunnaisia vakioita Matriisi X on täysiasteinen: r(x) = k + 1 Cov(ε) = σ 2 I (vi) ε N n (0, σ 2 I) TKK (c) Ilkka Mellin (2004) 112

113 Ennustaminen yleisellä lineaarisella mallilla PNS-estimaattori ja sen odotusarvo Yleisen lineaarisen mallin y = Xβ + ε regressiokertoimien vektorin β PNS-estimaattorilla b= ( XX ) 1 Xy on standardioletuksien (i)-(vi) pätiessä seuraavat stokastiset ominaisuudet: E( b) = β Cov( b) = σ ( XX ) 2 1 b β σ XX 2 1 N k+ 1(, ( ) ) TKK (c) Ilkka Mellin (2004) 113

114 Ennustaminen yleisellä lineaarisella mallilla y:n odotusarvon ennustaminen Oletetaan, että selitettävä muuttuja y saa arvon y& = β0 + β1x& 1+ β2x& 2 + " + βkx& k + & ε jos selittäjät x 1, x 2,, x k saavat arvot x& 1, x& 2,, x& k. Mikä on paras ennuste selitettävän muuttujan y odotettavissa olevalle arvolle E( y&& x1, x& 2,, x& k ), jos selittävät muuttujat x 1, x 2,, x k saavat arvot x& 1, x& 2,, x& k? Selitettävän muuttujan y odotusarvo E( y&& x1, x& 2,, x& k ) kuvaa selitettävän muuttujan y keskimäärin saamia arvoja selittäjien x 1, x 2,, x k saamien arvojen funktiona. TKK (c) Ilkka Mellin (2004) 114

115 Ennustaminen yleisellä lineaarisella mallilla y:n odotusarvon ennustaminen: Ennuste Valitaan selitettävän muuttujan odotusarvon E( yx && 1, x& 2,, x& k ) ennusteeksi (estimaattoriksi) lauseke yx ˆ & 1, x& 2,, x& k = b0 + bx 1& 1+ bx 2& 2 + " + bx k& k jossa b 0, b 1, b 2,, b k ovat regressiokertoimien β 0, β 1, β 2,, β k PNS-estimaattorit. Voidaan osoittaa, että yx ˆ & 1, x& 2,, x& k on (ennustevirheen keskineliövirheen mielessä) paras lineaarinen ja harhaton ennuste odotusarvolle E( yx & & 1, x& 2,, x& k ). Huomautus: Ehdollinen odotusarvo E( yx && 1, x& 2,, x& k ) on kiinteille x& 1, x& 2,, x& k vakio, kun taas ennuste yx ˆ &, x&,, x& on satunnaismuuttuja. 1 2 k TKK (c) Ilkka Mellin (2004) 115