Ilkka Mellin Tilastolliset menetelmät. Osa 4: Lineaarinen regressioanalyysi. Yleinen lineaarinen malli. TKK (c) Ilkka Mellin (2007) 1

Koko: px
Aloita esitys sivulta:

Download "Ilkka Mellin Tilastolliset menetelmät. Osa 4: Lineaarinen regressioanalyysi. Yleinen lineaarinen malli. TKK (c) Ilkka Mellin (2007) 1"

Transkriptio

1 Ilkka Mellin Tilastolliset menetelmät Osa 4: Lineaarinen regressioanalyysi Yleinen lineaarinen malli TKK (c) Ilkka Mellin (2007) 1

2 Yleinen lineaarinen malli >> Usean selittäjän lineaarinen regressiomalli Yleisen lineaarisen mallin matriisisesitys Yleisen lineaarisen mallin estimointi Varianssianalyysihajotelma ja selitysaste Päättely yleisestä lineaarisesta mallista Ennustaminen yleisellä lineaarisella mallilla Yleinen lineaarinen malli ja satunnaiset selittäjät TKK (c) Ilkka Mellin (2007) 2

3 Usean selittäjän lineaarinen regressiomalli Selitettävä muuttuja ja selittävät muuttujat Oletetaan, että selitettävän muuttujan y havaittujen arvojen vaihtelu halutaan selittää selittävien muuttujien eli selittäjien x 1, x 2,, x k havaittujen arvojen vaihtelun avulla. Tehdään seuraavat oletukset: Selitettävä muuttuja y on suhdeasteikollinen satunnaismuuttuja. Selittävät muuttujat x 1, x 2,, x k ovat kiinteitä eli eisatunnaisia muuttujia. Huomautus: Satunnaisten selittäjien tapausta käsitellään erikseen. TKK (c) Ilkka Mellin (2007) 3

4 Usean selittäjän lineaarinen regressiomalli Havainnot 1/3 Olkoot y 1, y 2,, y n selitettävän muuttujan y ja x 1j, x 2j,, x nj selittävän muuttujan x j, j = 1, 2,, k havaittuja arvoja. Oletetaan lisäksi, että havainnot x ij ja y i liittyvät samaan havaintoyksikköön i = 1, 2,, n kaikille j = 1, 2,, k. TKK (c) Ilkka Mellin (2007) 4

5 Usean selittäjän lineaarinen regressiomalli Havainnot 2/3 Järjestetään selitettävää muuttujaa y ja selittäjiä x 1, x 2,, x k koskevat havaintoarvot havaintoyksiköittäin seuraavalla tavalla: Havaintoyksikkö 1: x 11, x 12,, x 1k, y 1 Havaintoyksikkö 2: x 21, x 22,, x 2k, y 2 Havaintoyksikkö n: x n1, x n2,, x nk, y n Havaintoarvoja voidaan asettaa vastaamaan pisteet (k + 1)- ulotteisessa avaruudessa: ( x, x,, x k+ 1, y ) R, i = 1,2,, n i1 i2 ik j TKK (c) Ilkka Mellin (2007) 5

6 Usean selittäjän lineaarinen regressiomalli Havainnot 3/3 Havaintopisteen k+ 1 ( xi1, xi2,, xik, yi) R, i = 1,2,, n koordinaateilla on seuraavat tulkinnat: y i = selitettävän muuttujan y satunnainen ja havaittu arvo havaintoyksikössä i x ij = selitettävän muuttujan eli selittäjän x j eisatunnainen ja havaittu arvo havaintoyksikössä i, j = 1, 2,, k k = (aitojen) selittäjien x j lukumäärä n = havaintojen lukumäärä TKK (c) Ilkka Mellin (2007) 6

7 Usean selittäjän lineaarinen regressiomalli Yleinen lineaarinen malli ja sen osat 1/3 Oletetaan, että muuttujien y ja x 1, x 2,, x k havaittujen arvojen y i ja x ij välillä vallitsee lineaarinen tilastollinen riippuvuus, joka voidaan ilmaista yhtälöllä yi = β0 + β1xi 1+ β2xi2 + + βkxik + εi, i = 1,2,, n Yhtälö määrittelee usean selittäjän lineaarisen regressiomallin, jota kutsutaan tavallisesti yleiseksi lineaariseksi malliksi. TKK (c) Ilkka Mellin (2007) 7

8 Usean selittäjän lineaarinen regressiomalli Yleinen lineaarinen malli ja sen osat 2/3 Yhtälö yi = β0 + β1xi 1+ β2xi2 + + βkxik + εi, i = 1,2,, n määrittelee yleisen lineaarisen mallin, jossa: y i = selitettävän muuttujan y satunnainen ja havaittu arvo havaintoyksikössä i x ij = selittävän muuttujan eli selittäjän x j eisatunnainen ja havaittu arvo havaintoyksikössä i, j = 1, 2,, k ε i = jäännös- eli virhetermin ε satunnainen ja ei-havaittu arvo havaintoyksikössä i TKK (c) Ilkka Mellin (2007) 8

9 Usean selittäjän lineaarinen regressiomalli Yleinen lineaarinen malli ja sen osat 3/3 Yhtälön yi = β0 + β1xi 1+ β2xi2 + + βkxik + εi, i = 1,2,, n määrittelemässä yleisessä lineaarisessa mallissa on seuraavat kertoimet: β 0 = vakioselittäjän regressiokerroin; β 0 on ei-satunnainen ja tuntematon vakio β j = selittäjän x j regressiokerroin, j = 1, 2,, k ; β j on ei-satunnainen ja tuntematon vakio Huomautus: Regressiokertoimet β 0, β 1, β 2,, β k on oletettu samoiksi kaikille havaintoyksiköille i. TKK (c) Ilkka Mellin (2007) 9

10 Usean selittäjän lineaarinen regressiomalli Vakioselittäjä: Kommentti Yleisen lineaarisen mallin yi = β0 + β1xi 1+ β2xi2 + + βkxik + εi, i = 1,2,, n kerrointa β 0 kutsutaan vakioselittäjän regressiokertoimeksi. Nimitys johtuu siitä, että kerrointa β 0 vastaa keinotekoinen selittäjä, joka saa kaikille havaintoyksiköille i = 1, 2,, n vakioarvon 1. Huomautus: Jatkossa esitettävät kaavat eivät välttämättä päde tässä esitettävässä muodossa, jos mallissa ei ole vakioselittäjää. Oletamme jatkossa, että mallissa on aina vakioselittäjä. TKK (c) Ilkka Mellin (2007) 10

11 Usean selittäjän lineaarinen regressiomalli Standardioletukset 1/2 Olkoon yi = β0 + β1xi 1+ β2xi2 + + βkxik + εi, i = 1,2,, n yleinen lineaarinen malli. Mallista tehdään tavallisesti seuraavalla kalvolla esitettävät 6 oletusta, joita kutsutaan yleistä lineaarista mallia koskeviksi standardioletuksiksi. Näiden oletuksien voimassaolo takaa sen, että jatkossa esiteltäviä ns. tavanomaisia estimointi- ja testausmenetelmiä saa käyttää mallin analysointiin. TKK (c) Ilkka Mellin (2007) 11

12 Usean selittäjän lineaarinen regressiomalli Standardioletukset 2/2 Yleistä lineaarista mallia yi = β0 + β1xi 1+ β2xi2 + + βkxik + εi, i = 1,2,, n koskevat standardioletukset: (i) Selittäjien x j arvot x ij ovat kiinteitä eli eisatunnaisia vakioita, i = 1, 2,, n, j = 1, 2,, k (ii) Selittäjien välillä ei ole lineaarisia riippuvuuksia. (iii) E(ε i ) = 0, i = 1, 2,, n (iv) Var(ε i ) = σ 2, i = 1, 2,, n (v) Cor(ε i, ε l ) = 0, i l (vi) ε i ~ N(0, σ 2 ), i = 1, 2,, n TKK (c) Ilkka Mellin (2007) 12

13 Usean selittäjän lineaarinen regressiomalli Standardioletus (i): Kommentteja 1/2 Standardioletus (i): Selittäjän x j arvot x ij ovat kiinteitä eli eisatunnaisia vakioita, i = 1, 2,, n, j = 1, 2,, k On syytä huomata, että tässä luvussa esitettävä lineaaristen regressiomallien perusteoria nojaa voimakkaasti oletukseen (i). Oletus (i) on kuitenkin sangen rajoittava ja se voi toteutua käytännössä vain sellaisissa tilanteissa, joissa selittäjien arvot valitaan. Selittäjien arvot voidaan valita puhtaissa koeasetelmissa, mutta harvoin muunlaisissa tutkimusasetelmissa. TKK (c) Ilkka Mellin (2007) 13

14 Usean selittäjän lineaarinen regressiomalli Standardioletus (i): Kommentteja 2/2 Standardioletus (i): Selittäjän x j arvot x ij ovat kiinteitä eli eisatunnaisia vakioita, i = 1, 2,, n, j = 1, 2,, k Vaikka standardioletus (i) on sangen rajoittava, tässä luvussa esitettävää lineaaristen regressiomallien perusteoriaa voidaan soveltaa jos sopivat lisäehdot pätevät myös monissa sellaisissa tilanteissa, joissa selittäjien arvot ovat satunnaisia; ks. kappaletta Yleinen lineaarinen malli ja satunnaiset selittäjät. TKK (c) Ilkka Mellin (2007) 14

15 Usean selittäjän lineaarinen regressiomalli Standardioletus (ii): Kommentteja Standardioletus (ii): Selittäjien välillä ei ole lineaarisia riippuvuuksia Asialooginen perustelu oletukselle (ii): Jos selittäjä x j riippuu lineaarisesti muista selittäjistä, muuttuja x j on selittäjänä redundantti ja voidaan poistaa mallista. Tekninen perustelu oletukselle (ii): Ehto (ii) takaa sen, että pienimmän neliösumman menetelmä tuottaa regressiokertoimille β 0, β 1, β 2,, β k yksikäsitteiset estimaattorit suljetussa muodossa. TKK (c) Ilkka Mellin (2007) 15

16 Usean selittäjän lineaarinen regressiomalli Standardioletus (iii): Kommentteja Standardioletus (iii): E(ε i ) = 0, i = 1, 2,, n Oletuksen (iii) mukaan kaikilla jäännös- eli virhetermeillä ε i on sama odotusarvo. Oletuksesta (iii) seuraa, että mallin rakenneosan E( y i ) = β0 + β1x i 1+ β2x i β k x ik formuloinnissa ei ole tehty systemaattista virhettä. TKK (c) Ilkka Mellin (2007) 16

17 Usean selittäjän lineaarinen regressiomalli Standardioletus (iv): Kommentteja 1/3 Standardioletus (iv): Var(ε i ) = σ 2, i = 1, 2,, n Oletuksen (iv) mukaan kaikilla jäännös- eli virhetermeillä ε i on sama varianssi. Oletusta (iv) kutsutaan homoskedastisuusoletukseksi. Jos oletus (iv) pätee, jäännöstermejä ε i sanotaan homoskedastisiksi. TKK (c) Ilkka Mellin (2007) 17

18 Usean selittäjän lineaarinen regressiomalli Standardioletus (iv): Kommentteja 2/3 Standardioletus (iv): Var(ε i ) = σ 2, i = 1, 2,, n Jos oletus (iv) ei päde, jäännöstermejä ε i sanotaan heteroskedastisiksi. Heteroskedastisuus tekee regressiokertoimien tavanomaisista estimaattoreista tehottomia. Homoskedastisuusoletusta voidaan testata tilastollisesti. TKK (c) Ilkka Mellin (2007) 18

19 Usean selittäjän lineaarinen regressiomalli Standardioletus (iv): Kommentteja 3/3 Standardioletus (iv): Var(ε i ) = σ 2, i = 1, 2,, n Myös jäännös- eli virhetermien ε i yhteinen varianssi σ 2 on mallin parametri ja se kuvaa havaintopisteiden vaihtelua regressiotason ympärillä. Oletuksien (iii) ja (iv) mukaan jäännös- eli virhetermit ε i vaihtelevat satunnaisesti nollan ympärillä. TKK (c) Ilkka Mellin (2007) 19

20 Usean selittäjän lineaarinen regressiomalli Standardioletus (v): Kommentteja Standardioletus (v): Cor(ε i, ε l ) = 0, i l Oletuksen (v) mukaan jäännös- eli virhetermit ε i eivät korreloi keskenään. Oletusta (v) kutsutaan korreloimattomuusoletukseksi. Jos oletus (v) ei päde, jäännöstermit ε i ovat korreloituneita. Korreloituneisuus tekee regressiokertoimien tavanomaisista estimaattoreista tehottomia ja jopa harhaisia. Korreloimattomuusoletusta voidaan testata tilastollisesti. TKK (c) Ilkka Mellin (2007) 20

21 Usean selittäjän lineaarinen regressiomalli Standardioletus (vi): Kommentteja Standardioletus (vi): ε i ~ N(0, σ 2 ), i = 1, 2,, n Oletuksen (vi) mukaan jäännös- eli virhetermit ε j ovat normaalijakautuneita. Oletusta (vi) kutsutaan normaalisuusoletukseksi. Oletus (vi) sisältää oletukset (iii) ja (iv). Normaalisuusoletusta voidaan testata tilastollisesti. TKK (c) Ilkka Mellin (2007) 21

22 Usean selittäjän lineaarinen regressiomalli Standardioletuksien merkitys Oletamme jatkossa, että oletukset (i)-(vi) pätevät. Oletukset (i)-(vi) takaavat sen, että yleisen lineaarisen mallin estimointi ja testaus voidaan tehdä jatkossa esitettävällä tavalla. Homoskedastisuusoletuksen (iv), korreloimattomuusoletuksen (v) ja normaalisuusoletuksen (vi) voimassaoloa voidaan tutkia regressiodiagnostiikan avulla. Oletuksia (i)-(vi) voidaan lieventää tai niistä voidaan jopa luopua, mutta jos oletuksista (i)-(vi) luovutaan, saattaa olla syytä käyttää muita kuin tässä esitettäviä estimointi- ja testausmenetelmiä. TKK (c) Ilkka Mellin (2007) 22

23 Usean selittäjän lineaarinen regressiomalli Yleisen lineaarisen mallin parametrit Yleisen lineaarisen mallin yi = β0 + β1xi 1+ β2xi2 + + βkxik + εi, i = 1,2,, n parametreja ovat mallin regressiokertoimet β 0, β 1, β 2,, β k sekä jäännös- eli virhetermien ε i yhteinen varianssi 2 Var( εi ) = σ, i = 1,2,, n jota kutsutaan jäännösvarianssiksi. Koska regressiokertoimet β 0, β 1, β 2,, β k ja jäännösvarianssi σ 2 ovat tavallisesti tuntemattomia, ne on estimoitava muuttujien x 1, x 2,, x k ja y havaituista arvoista. TKK (c) Ilkka Mellin (2007) 23

24 Usean selittäjän lineaarinen regressiomalli Selitettävän muuttujan ominaisuudet Jos yleistä lineaarista mallia yi = β0 + β1xi 1+ β2xi2 + + βkxik + εi, i = 1,2,, n koskevat standardioletukset (i)-(vi) pätevät, mallin selitettävän muuttujan y havaituilla arvoilla y i on seuraavat stokastiset ominaisuudet: (iii) E( yi) = β0 + β1xi 1+ β2xi2 + + βkxik, i = 1,2,, n (iv) Var(y i ) = σ 2, i = 1, 2,, n (v) Cor(y i, y l ) = 0, i l (vi) y i ~ N(E(y i ), σ 2 ), i = 1, 2,, n TKK (c) Ilkka Mellin (2007) 24

25 Usean selittäjän lineaarinen regressiomalli Mallin systemaattinen osa ja satunnainen osa 1/2 Oletetaan, että yleistä lineaarista mallia yi = β0 + β1xi 1+ β2xi2 + + βkxik + εi, i = 1,2,, n koskevat standardioletukset (i)-(v) pätevät. Tällöin selitettävän muuttujan y havaitut arvot y i voidaan esittää seuraavalla tavalla kahden osatekijän summana: yi = E( yi) + εi, i = 1,2,, n jossa E( y ) = β + β x + β x + + β x, i = 1,2,, n i 0 1 i1 2 i2 k ik TKK (c) Ilkka Mellin (2007) 25

26 Usean selittäjän lineaarinen regressiomalli Mallin systemaattinen osa ja satunnainen osa 2/2 Odotusarvo E( y i ) = β0 + β1x i 1+ β2x i β k x ik muodostaa yleisen lineaarisen mallin systemaattisen eli rakenneosan, joka riippuu selittäjille x j annetuista arvoista. Jäännös- eli virhetermi ε i muodostaa yleisen lineaarisen mallin satunnaisen osan, joka standardioletusten pätiessä ei riipu selittäjille x j annetuista arvoista. TKK (c) Ilkka Mellin (2007) 26

27 Usean selittäjän lineaarinen regressiomalli Regressiotaso Yleisen lineaarisen mallin yi = β0 + β1xi 1+ β2xi2 + + βkxik + εi, i = 1,2,, n systemaattinen osa E(y i ) määrittelee tason y = β0 + β1x1+ β2x2 + + βkxk k+1 avaruudessa. Tasoa kutsutaan regressiotasoksi. Jäännös- eli virhetermien ε i varianssi σ 2 kuvaa havaintopisteiden k+ 1 ( xi1, xi2,, xik, yi) R, i = 1,2,, n vaihtelua regressiotason ympärillä. TKK (c) Ilkka Mellin (2007) 27

28 Usean selittäjän lineaarinen regressiomalli Regressiokertoimien tulkinta Yleisen lineaarisen mallin määrittelemän regressiotason y = β0 + β1x1+ β2x2 + + βkxk kertoimilla β j, j = 1, 2,, k on seuraavat tulkinnat: Oletetaan, että selittäjän x j, j = 1, 2,, k arvo kasvaa yhdellä yksiköllä: x j x j + 1 ja kaikkien muiden selittäjien arvot pysyvät muuttumattomina. Tällöin kerroin β j kertoo paljonko selitettävän muuttujan y vastaava odotettavissa oleva arvo muuttuu: E(y) E(y) + β j TKK (c) Ilkka Mellin (2007) 28

29 Yleinen lineaarinen malli Usean selittäjän lineaarinen regressiomalli >> Yleisen lineaarisen mallin matriisisesitys Yleisen lineaarisen mallin estimointi Varianssianalyysihajotelma ja selitysaste Päättely yleisestä lineaarisesta mallista Ennustaminen yleisellä lineaarisella mallilla Yleinen lineaarinen malli ja satunnaiset selittäjät TKK (c) Ilkka Mellin (2007) 29

30 Yleisen lineaarisen mallin matriisiesitys Yleinen lineaarinen malli ja sen osat 1/2 Olkoon yi = β0 + β1xi 1+ β2xi2 + + βkxik + εi, i = 1,2,, n yleinen lineaarinen malli, jossa y i = selitettävän muuttujan y satunnainen ja havaittu arvo havaintoyksikössä i x ij = selittävän muuttujan eli selittäjän x j eisatunnainen ja havaittu arvo havaintoyksikössä i, j = 1, 2,, k ε i = jäännös- eli virhetermin ε satunnainen ja ei-havaittu arvo havaintoyksikössä i TKK (c) Ilkka Mellin (2007) 30

31 Yleisen lineaarisen mallin matriisiesitys Yleinen lineaarinen malli ja sen osat 2/2 Yleisessä lineaarisessa mallissa yi = β0 + β1xi 1+ β2xi2 + + βkxik + εi, i = 1,2,, n on seuraavat kertoimet: β 0 = vakioselittäjän regressiokerroin; β 0 on ei-satunnainen ja tuntematon vakio β j = selittäjän x j regressiokerroin; j = 1, 2,, k β j on ei-satunnainen ja tuntematon vakio TKK (c) Ilkka Mellin (2007) 31

32 Yleisen lineaarisen mallin matriisiesitys Selitettävän muuttujan arvojen matriisi Olkoon y1 y 2 y = ( y1, y2,, yn ) = y n selitettävän muuttujan y havaittujen arvojen y i, i = 1, 2,, n muodostama n-vektori. TKK (c) Ilkka Mellin (2007) 32

33 Yleisen lineaarisen mallin matriisiesitys Selittävien muuttujien arvojen matriisi Olkoon 1 x11 x12 x1 k 1 x21 x22 x 2k X = 1 xn 1 xn2 x nk selittävien muuttujien x 1, x 2,, x k havaittujen arvojen x ij, i = 1, 2,, n, j = 1, 2,, k ja ykkösten muodostama n (k + 1)-matriisi. Matriisin X ykkösten muodostama 1. sarake vastaa mallin vakioselittäjää. TKK (c) Ilkka Mellin (2007) 33

34 Yleisen lineaarisen mallin matriisiesitys Regressiokertoimien matriisi Olkoon β0 β 1 β = ( β0, β1, β2,, βk ) = β2 βk regressiokertoimien β 0, β 1, β 2,, β k muodostama (k + 1)-vektori, jossa β 0 = vakioselittäjän regressiokerroin β j = selittäjän x j regressiokerroin, j = 1, 2,, k TKK (c) Ilkka Mellin (2007) 34

35 Yleisen lineaarisen mallin matriisiesitys Jäännöstermien matriisi Olkoon ε 2 = ( ε1, ε2,, εn) = jäännöstermien ε i, i = 1, 2,, n muodostama n-vektori. ε1 ε ε n TKK (c) Ilkka Mellin (2007) 35

36 Yleisen lineaarisen mallin matriisiesitys Yleisen lineaarisen mallin matriisiesitys Yleinen lineaarinen malli voidaan esittää matriisein muodossa y = Xβ + ε jossa y = selitettävän muuttujan y havaittujen arvojen muodostama satunnainen n-vektori X = selittäjien x 1, x 2,, x k havaittujen arvojen ja ykkösten muodostama n (k + 1)-matriisi β = regressiokertoimien muodostama tuntematon ja kiinteä eli ei-satunnainen (k + 1)-vektori ε = jäännöstermien muodostama ei-havaittu ja satunnainen n-vektori TKK (c) Ilkka Mellin (2007) 36

37 Yleisen lineaarisen mallin matriisiesitys Standardioletukset Jos yleisen lineaarisen mallin y = Xβ + ε selittäjät x 1, x 2,, x k ovat kiinteitä eli ei-satunnaisia muuttujia, mallia koskevat standardioletukset voidaan esittää matriisein seuraavassa muodossa: (i) Matriisin X alkiot ovat kiinteitä eli ei-satunnaisia vakioita (ii) Matriisi X on täysiasteinen: r(x) = k + 1 (iii) E( ε) = 0 2 (iv)&(v) Cov( ε) = σ I 2 (vi) ε N (, 0 σ I) n TKK (c) Ilkka Mellin (2007) 37

38 Yleisen lineaarisen mallin matriisiesitys Odotusarvovektori Olkoon z = (z 1, z 2,, z p ) satunnaismuuttujien z 1, z 2,, z p muodostama p-vektori. Määritellään satunnaisvektorin z odotusarvovektori µ kaavalla µ = E( z ) = (E( z1),e( z2),,e( z p )) p-vektorin µ = E(z) j. alkio µ j on satunnaismuuttujan z j odotusarvo: µ = E( z ), j = 1,2,, p j j TKK (c) Ilkka Mellin (2007) 38

39 Yleisen lineaarisen mallin matriisiesitys Kovarianssimatriisi Olkoon z = (z 1, z 2,, z p ) satunnaismuuttujien z 1, z 2,, z p muodostama p-vektori. Määritellään satunnaisvektorin z kovarianssimatriisi Σ kaavalla Σ = Cov( z) = E [( z E( z))( z E( z)) ] p p-matriisin Σ = Cov(z) j. rivin ja l. sarakkeen alkio σ jl on satunnaismuuttujien z j ja z l kovarianssi: σ = Cov( z, z ) jl j l = E ( z j E( zj))( zl E( zl)) TKK (c) Ilkka Mellin (2007) 39

40 Yleinen lineaarinen malli Usean selittäjän lineaarinen regressiomalli Yleisen lineaarisen mallin matriisisesitys >> Yleisen lineaarisen mallin parametrien estimointi Varianssianalyysihajotelma ja selitysaste Päättely yleisestä lineaarisesta mallista Ennustaminen yleisellä lineaarisella mallilla Yleinen lineaarinen malli ja satunnaiset selittäjät TKK (c) Ilkka Mellin (2007) 40

41 Yleisen lineaarisen mallin parametrien estimointi Yleinen lineaarinen malli ja sen osat 1/2 Olkoon yi = β0 + β1xi 1+ β2xi2 + + βkxik + εi, i = 1,2,, n yleinen lineaarinen malli, jossa y i = selitettävän muuttujan y satunnainen ja havaittu arvo havaintoyksikössä i x ij = selittävän muuttujan eli selittäjän x j eisatunnainen ja havaittu arvo havaintoyksikössä i, j = 1, 2,, k ε i = jäännös- eli virhetermin ε satunnainen ja ei-havaittu arvo havaintoyksikössä i TKK (c) Ilkka Mellin (2007) 41

42 Yleisen lineaarisen mallin parametrien estimointi Yleinen lineaarinen malli ja sen osat 2/2 Yleisessä lineaarisessa mallissa yi = β0 + β1xi 1+ β2xi2 + + βkxik + εi, i = 1,2,, n on seuraavat kertoimet: β 0 = vakioselittäjän regressiokerroin; β 0 on ei-satunnainen ja tuntematon vakio β j = selittäjän x i regressiokerroin; j = 1, 2,, k β j on ei-satunnainen ja tuntematon vakio TKK (c) Ilkka Mellin (2007) 42

43 Yleisen lineaarisen mallin parametrien estimointi Yleisen lineaarisen mallin matriisiesitys Yleinen lineaarinen malli voidaan esittää matriisein muodossa y = Xβ + ε jossa y = selitettävän muuttujan y havaittujen arvojen muodostama satunnainen n-vektori X = selittäjien x 1, x 2,, x k havaittujen arvojen ja ykkösten muodostama n (k + 1)-matriisi β = regressiokertoimien muodostama tuntematon ja kiinteä eli ei-satunnainen (k + 1)-vektori ε = jäännöstermien muodostama ei-havaittu ja satunnainen n-vektori TKK (c) Ilkka Mellin (2007) 43

44 Yleisen lineaarisen mallin parametrien estimointi Standardioletukset Jos yleisen lineaarisen mallin y = Xβ + ε selittäjät x 1, x 2,, x k ovat kiinteitä eli ei-satunnaisia muuttujia, mallia koskevat standardioletukset voidaan esittää matriisein seuraavassa muodossa: (i) Matriisin X alkiot ovat kiinteitä eli ei-satunnaisia vakioita (ii) Matriisi X on täysiasteinen: r(x) = k + 1 (iii) E( ε) = 0 2 (iv)&(v) Cov( ε) = σ I 2 (vi) ε N (, 0 σ I) n TKK (c) Ilkka Mellin (2007) 44

45 Yleisen lineaarisen mallin parametrien estimointi Regressiokertoimien PNS-estimointi 1/3 Yleisen lineaarisen mallin yi = β0 + β1xi 1+ β2xi2 + + βkxik + εi, i = 1,2,, n regressiokertoimet β 0, β 1, β 2,, β k estimoidaan tavallisesti pienimmän neliösumman (PNS-) menetelmällä. PNS-menetelmässä regressiokertoimien β 0, β 1, β 2,, β k estimaattorit määrätään minimoimalla jäännös- eli virhetermien ε i neliösumma n n 2 2 εi = ( yi β0 β1xi1 β2xi2 βkxik) i= 1 i= 1 regressiokertoimien β 0, β 1, β 2,, β k suhteen. TKK (c) Ilkka Mellin (2007) 45

46 Yleisen lineaarisen mallin parametrien estimointi Regressiokertoimien PNS-estimointi 2/3 Neliösumman n n 2 2 εi = ( yi β0 β1xi1 β2xi2 βkxik) i= 1 i= 1 minimointi voidaan tehdä derivoimalla neliösumma regressiokertoimien β 0, β 1, β 2,, β k suhteen ja merkitsemällä derivaatat nolliksi. Tämä johtaa regressiokertoimien β 0, β 1, β 2,, β k suhteen lineaariseen yhtälöryhmään, jossa on (k + 1) yhtälöä. Yhtälöryhmällä on ratkaisu, jos standardioletus (ii) pätee. TKK (c) Ilkka Mellin (2007) 46

47 Yleisen lineaarisen mallin parametrien estimointi Regressiokertoimien PNS-estimointi 3/3 Yhtälöryhmän ratkaisuina saadaan regressiokertoimien β 0, β 1, β 2,, β k PNS-estimaattorit, joita merkitään vastaavilla latinalaisilla kirjaimilla: b j = kertoimen β j PNS-estimaattori, j = 0, 1, 2,, k Regressiokertoimien β 0, β 1, β 2,, β k PNSestimaattoreiden b 0, b 1, b 2,, b k lausekkeet on mukavinta esittää matriisimuodossa. TKK (c) Ilkka Mellin (2007) 47

48 Yleisen lineaarisen mallin parametrien estimointi Regressiokertoimien PNS-estimaattoreiden matriisiesitys Olkoon y = Xβ + ε standardioletuksen (ii) r(x) = k + 1 toteuttava yleinen lineaarinen malli. Tällöin regressiokertoimien vektorin β PNS-estimaattori on b= ( XX ) 1 Xy TKK (c) Ilkka Mellin (2007) 48

49 Yleisen lineaarisen mallin parametrien estimointi PNS-estimaattorin odotusarvo ja kovarianssimatriisi Olkoon b= ( XX ) 1 Xy yleisen lineaarisen mallin y = Xβ + ε regressiokertoimien vektorin β PNS-estimaattori. Jos standardioletukset (i)-(v) pätevät, E( b) = β 2 1 Cov( b) = σ ( XX ) Koska E(b) = β, niin PNS-estimaattori b on regressiokertoimien vektorin β harhaton estimaattori. TKK (c) Ilkka Mellin (2007) 49

50 Yleisen lineaarisen mallin parametrien estimointi PNS-estimaattorin normaalisuus Olkoon b= ( XX ) 1 Xy yleisen lineaarisen mallin y = Xβ + ε regressiokertoimien vektorin β PNS-estimaattori. Jos standardioletukset (i)-(vi) pätevät, 2 1 b N β, σ ( XX) ( ) k+ 1 TKK (c) Ilkka Mellin (2007) 50

51 Yleisen lineaarisen mallin parametrien estimointi PNS-estimaattorin paremmuus: Gaussin ja Markovin lause Olkoon y = Xβ + ε yleinen lineaarinen malli, joka toteuttaa standardioletukset (i)-(v). Tällöin pätee Gaussin ja Markovin lause: Regressiokertoimien vektorin β PNS-estimaattori b= ( XX ) 1 Xy on paras (siinä mielessä, että se on tehokkain) vektorin β lineaaristen ja harhattomien estimaattoreiden joukossa. TKK (c) Ilkka Mellin (2007) 51

52 Yleisen lineaarisen mallin parametrien estimointi PNS-estimaattorin paremmuus: Gaussin ja Markovin lauseen tulkinta 1/3 Regressiokertoimien vektorin β PNS-estimaattorin b paremmuudella tarkoitetaan Gaussin ja Markovin lauseessa seuraavaa: Olkoon b * on mikä tahansa toinen regressiokertoimien vektorin β lineaarinen ja harhaton estimaattori, niin tällöin * Cov( b ) Cov( b) TKK (c) Ilkka Mellin (2007) 52

53 Yleisen lineaarisen mallin parametrien estimointi PNS-estimaattorin paremmuus: Gaussin ja Markovin lauseen tulkinta 2/3 Merkintä * Cov( b ) Cov( b) tarkoittaa sitä, että erotus * Cov( b ) Cov( b) on positiivisesti semidefiniitti matriisi eli * a Cov( b ) Cov( b) a 0 kaikille a 0 ( ) TKK (c) Ilkka Mellin (2007) 53

54 Yleisen lineaarisen mallin parametrien estimointi PNS-estimaattorin paremmuus: Gaussin ja Markovin lauseen tulkinta 3/3 Epäyhtälöstä ( * a Cov( b ) Cov( b) ) a 0 kaikille a 0 seuraa erityisesti se, että yksittäisten regressiokertoimien PNS-estimaattoreiden b j, j = 0, 1, 2,, k varianssit ovat pienimpiä mahdollisia lineaaristen ja harhattomien estimaattoreiden joukossa. Tämä nähdään valitsemalla vektoriksi a vektori, jossa ainoa nollasta poikkeava alkio 1 on paikassa j: a = (0,,0,1,0,,0) j. TKK (c) Ilkka Mellin (2007) 54

55 Yleisen lineaarisen mallin parametrien estimointi PNS-estimaattorin ominaisuudet Yleisen lineaarisen mallin y = Xβ + ε regressiokertoimien vektorin β PNS-estimaattorilla b on standardioletuksien (i)-(vi) pätiessä seuraavat ominaisuudet: (1) b on harhaton. (2) b paras (eli tehokkain) lineaaristen ja harhattomien estimaattoreiden joukossa. (3) b on tyhjentävä. (4) b on (sopivin lisäehdoin) tarkentuva. (5) b on normaalinen. TKK (c) Ilkka Mellin (2007) 55

56 Yleisen lineaarisen mallin parametrien estimointi Sovitteet Olkoot yleisen lineaarisen mallin yi = β0 + β1xi 1+ β2xi2 + + βkxik + εi, i = 1,2,, n regressiokertoimien PNS-estimaattorit b 0, b 1, b 2,, b k. Sovite yˆi = b0 + bx 1 i 1+ b2x i b k x ik, i = 1,2,, n on estimoidun mallin selitettävälle muuttujalle y antama arvo havaintopisteessä ( xi1, xi2,, xik) Jos standardioletukset (i)-(v) pätevät, E( y ) = β + β x + β x + + β x, i = 1,2,, n ˆi 0 1 i 1 2 i 2 k ik TKK (c) Ilkka Mellin (2007) 56

57 Yleisen lineaarisen mallin parametrien estimointi Residuaalit Olkoot yleisen lineaarisen mallin yi = β0 + β1xi 1+ β2xi2 + + βkxik + εi, i = 1,2,, n regressiokertoimien PNS-estimaattorit b 0, b 1, b 2,, b k. Residuaali ei = yi yˆ i = yi b0 bx 1 i1 b2xi2 bkxik, i = 1,2,, n on selitettävän muuttujan y havaitun arvon y i ja sovitteen y erotus. ˆi Jos standardioletukset (i)-(v) pätevät, E( e ) = 0, i = 1,2,, n i TKK (c) Ilkka Mellin (2007) 57

58 Yleisen lineaarisen mallin parametrien estimointi Sovitteet, residuaalit ja regressiomallin hyvyys Regressiomallin hyvyyden tutkimisessa voidaan käyttää hyväksi estimoidun mallin sovitteita ja residuaaleja : (i) Regressiomalli selittää selitettävän muuttujan havaittujen arvojen vaihtelun sitä paremmin mitä lähempänä estimoidun mallin sovitteet yˆi ovat selitettävän muuttujan havaittuja arvoja y i. (ii) Regressiomalli selittää selitettävän muuttujan havaittujen arvojen vaihtelun sitä paremmin mitä pienempiä ovat estimoidun mallin residuaalit e i. TKK (c) Ilkka Mellin (2007) 58

59 Yleisen lineaarisen mallin parametrien estimointi Sovitteiden ja residuaalien matriisiesitykset 1/2 Olkoon b= ( XX ) 1 Xy yleisen lineaarisen mallin y = Xβ + ε regressiokertoimien vektorin β PNS-estimaattori. Tällöin yˆ = Xb = X( X X) 1 X y = Py on sovitteiden yˆ i, i = 1,2,, n muodostama n-vektori ja 1 e = y yˆ = ( I X( XX ) X ) y = ( I P) y = My on residuaalien e i, i = 1, 2,, n muodostama n-vektori. TKK (c) Ilkka Mellin (2007) 59

60 Yleisen lineaarisen mallin parametrien estimointi Sovitteiden ja residuaalien matriisiesitykset 2/2 Sovitteiden ja residuaalien muodostamien vektoreiden lausekkeissa esiintyvät n n-matriisit 1 P= X( XX ) X 1 M = I P= I X( XX ) X ovat symmetrisiä ja idempotentteja eli projektioita: 2 P = P P = P 2 M = M M = M Lisäksi PM = MP = 0 Näillä matriiseja P ja M koskevilla tuloksilla on keskeinen merkitys johdettaessa lineaarisen mallin estimointiin ja testaukseen liittyviä jakaumatuloksia. TKK (c) Ilkka Mellin (2007) 60

61 Yleisen lineaarisen mallin parametrien estimointi Sovitteiden ja residuaalien ominaisuudet Sovitteiden ja residuaalien muodostamilla vektoreilla on seuraavat stokastiset ominaisuudet: Sovitteiden muodostama vektori ŷ : E( yˆ ) = Xβ Cov( yˆ ) = σ P = σ X( XX ) X Residuaalien muodostama vektori e : E( e) = Cov( e) = σ M = σ ( I P) = σ ( I X( XX ) X ) Huomautus: Residuaalit e i ovat siis (lievästi) korreloituneita, vaikka jäännöstermit ε i on oletettu korreloimattomiksi. TKK (c) Ilkka Mellin (2007) 61

62 Yleisen lineaarisen mallin parametrien estimointi Jäännösvarianssin estimointi Jos yleisen lineaarisen mallin jäännös-eli virhetermejä ε i koskevat standardioletukset (i)-(v) pätevät, jäännösvarianssin Var(ε i ) = σ 2 harhaton estimaattori on n s = ei n k 1 i= 1 jossa e i = estimoidun mallin residuaali, i = 1, 2,, n n = havaintojen lukumäärä k = (aitojen) selittäjien x j lukumäärä TKK (c) Ilkka Mellin (2007) 62

63 Yleisen lineaarisen mallin parametrien estimointi Jäännösvarianssin estimointi: Kommentti Estimaattori s 2 on residuaalien e i varianssi. Tämä seuraa siitä, että mallissa on vakioselittäjä, jolloin n i= 1 e i = 0 ja siten myös n 1 e = ei = 0 n i = 1 jolloin s 1 e e 1 e n 2 ( ) 2 n 2 = i = i n k 1 i= 1 n k 1 i= 1 TKK (c) Ilkka Mellin (2007) 63

64 Yleisen lineaarisen mallin parametrien estimointi Estimoitu regressiotaso Yleisen lineaarisen mallin yi = β0 + β1xi 1+ β2xi2 + + βkxik + εi, i = 1,2,, n regressiokertoimien β 0, β 1, β 2,, β k PNS-estimaattorit b 0, b 1, b 2,, b k määrittelevät tason y = b0 + bx 1 1+ b2x2 + + bkxk k+1 avaruudessa. Tasoa kutsutaan estimoiduksi regressiotasoksi. Jäännösvarianssin σ 2 estimaattori s 2 kuvaa havaintopisteiden k+ 1 ( xi1, xi2,, xik, yi) R, i = 1,2,, n vaihtelua estimoidun regressiotason ympärillä. TKK (c) Ilkka Mellin (2007) 64

65 Yleinen lineaarinen malli Usean selittäjän lineaarinen regressiomalli Yleisen lineaarisen mallin matriisisesitys Yleisen lineaarisen mallin estimointi >> Varianssianalyysihajotelma ja selitysaste Päättely yleisestä lineaarisesta mallista Ennustaminen yleisellä lineaarisella mallilla Yleinen lineaarinen malli ja satunnaiset selittäjät TKK (c) Ilkka Mellin (2007) 65

66 Varianssianalyysihajotelma ja selitysaste Varianssianalyysihajotelman idea Regressiomallin tehtävänä on selittää selitettävän muuttujan y havaittujen arvojen vaihtelu selittävien muuttujien x 1, x 2,, x k havaittujen arvojen vaihtelulla. Tämän tehtävän onnistumista voidaan kuvata ns. varianssianalyysihajotelman avulla. Hajotelmassa selitettävän muuttujan y havaittujen arvojen kokonaisvaihtelua kuvaava ns. kokonaisneliösumma jaetaan kahden osatekijän summaksi: (i) Toinen osatekijä kuvaa estimoidun mallin selittämää osaa kokonaisvaihtelusta. (ii) Toinen osatekijä kuvaa mallilla selittämättä jäänyttä osaa kokonaisvaihtelusta. TKK (c) Ilkka Mellin (2007) 66

67 Varianssianalyysihajotelma ja selitysaste Sovitteet Olkoot yleisen lineaarisen mallin yi = β0 + β1xi 1+ β2xi2 + + βkxik + εi, i = 1,2,, n regressiokertoimien PNS-estimaattorit b 0, b 1, b 2,, b k. Sovite yˆi = b0 + bx 1 i 1+ b2x i b k x ik, i = 1,2,, n on estimoidun mallin selitettävälle muuttujalle y antama arvo havaintopisteessä ( x, x,, x ), i = 1,2,, n i1 i2 ik TKK (c) Ilkka Mellin (2007) 67

68 Varianssianalyysihajotelma ja selitysaste Residuaalit Olkoot yleisen lineaarisen mallin yi = β0 + β1xi 1+ β2xi2 + + βkxik + εi, i = 1,2,, n regressiokertoimien PNS-estimaattorit b 0, b 1, b 2,, b k. Residuaali ei = yi yˆ i = yi b0 bx 1 i1 b2xi2 bkxik, i = 1,2,, n on selitettävän muuttujan y havaitun arvon y i ja sovitteen y erotus. ˆi TKK (c) Ilkka Mellin (2007) 68

69 Varianssianalyysihajotelma ja selitysaste Kokonaisneliösumma Yleisen lineaarisen mallin selitettävän muuttujan y havaittujen arvojen y i vaihtelun mittaaminen perustuu kokonaisneliösummaan n SST = ( yi y) i= 1 2 jossa y on selitettävän muuttujan y havaittujen arvojen y i aritmeettinen keskiarvo. Selitettävän muuttujan y havaittujen arvojen y i varianssi voidaan määritellä kaavalla 2 SST sy = n 1 TKK (c) Ilkka Mellin (2007) 69

70 Varianssianalyysihajotelma ja selitysaste Jäännösneliösumma Residuaalien e i vaihtelun mittaaminen perustuu jäännösneliösummaan SSE n = e i= 1 2 i Koska mallissa on vakioselittäjä, jolloin e i = 0, residuaalien e i varianssi voidaan määritellä kaavalla 2 SSE s = n k 1 Koska E(s 2 ) = σ 2 niin estimaattori s 2 on harhaton jäännösvarianssille σ 2. TKK (c) Ilkka Mellin (2007) 70

71 Varianssianalyysihajotelma ja selitysaste Mallineliösumma Voidaan osoittaa, että jäännösneliösumma on korkeintaan yhtä suuri kuin kokonaisneliösumma: SSE SST Määritellään erotus SSM = SST SSE Koska n SSM = ( yˆ i y) i= 1 2 jossa y on selitettävän muuttujan y havaittujen arvojen y i aritmeettinen keskiarvo, erotusta SSM kutsutaan mallineliösummaksi. TKK (c) Ilkka Mellin (2007) 71

72 Varianssianalyysihajotelma ja selitysaste Varianssianalyysihajotelma 1/2 Edellä esitetyn mukaan kokonaisneliösumma voidaan esittää kahden osatekijän SSM ja SSE summana: jossa ja SST = ( yi y) SST = SSM + SSE SSE n i= 1 SSM = ( yˆ i y) i= 1 n n = e i= 1 2 i 2 2 TKK (c) Ilkka Mellin (2007) 72

73 Varianssianalyysihajotelma ja selitysaste Varianssianalyysihajotelma 2/2 Varianssianalyysihajotelmassa SST = SSM + SSE selitettävän muuttujan y havaittujen arvojen vaihtelua kuvaava kokonaisneliösumma SST on esitetty kahden osatekijän SSM ja SSE summana: (i) Mallineliösumma SSM kuvaa sitä osaa selitettävän muuttujan y havaittujen arvojen vaihtelusta, jonka estimoitu malli on selittänyt. (ii) Jäännösneliösumma SSE kuvaa sitä osaa selitettävän muuttujan y havaittujen arvojen vaihtelusta, jota estimoitu malli ei ole selittänyt. TKK (c) Ilkka Mellin (2007) 73

74 Varianssianalyysihajotelma ja selitysaste Varianssianalyysihajotelman tulkinta Varianssianalyysihajotelma SST = SSM + SSE kuvaa estimoidun regressiomallin hyvyyttä: (i) Mitä suurempi on mallineliösumman SSM osuus kokonaisneliösummasta SST, sitä paremmin estimoitu malli selittää selitettävän muuttujan havaittujen arvojen vaihtelun. (ii) Mitä pienempi on jäännösneliösumman SSE osuus kokonaisneliösummasta SST, sitä paremmin estimoitu malli selittää selitettävän muuttujan havaittujen arvojen vaihtelun. TKK (c) Ilkka Mellin (2007) 74

75 Varianssianalyysihajotelma ja selitysaste Selitysaste Varianssianalyysihajotelma SST = SSM + SSE motivoi tunnusluvun 2 SSE SSM R = 1 = SST SST käytön regressiomallin hyvyyden mittarina. Tunnuslukua R 2 kutsutaan selitysasteeksi ja se mittaa regressiomallin selittämää osuutta selitettävän muuttujan havaintoarvojen kokonaisvaihtelusta. Selitysaste ilmaistaan tavallisesti prosentteina: 100 R 2 % TKK (c) Ilkka Mellin (2007) 75

76 Varianssianalyysihajotelma ja selitysaste Selitysaste ja korrelaatio Voidaan osoittaa, että selitysaste 2 R = [ Cor( y, yˆ )] 2 jossa Cor( yy, ˆ) on selitettävän muuttujan y havaittujen arvojen y j ja sovitteiden y otoskorrelaatiokerroin. ˆ j TKK (c) Ilkka Mellin (2007) 76

77 Varianssianalyysihajotelma ja selitysaste Selitysasteen ominaisuudet 1/2 Selitysasteella R 2 on seuraavat ominaisuudet: 2 (i) 0 R 1 (ii) Seuraavat ehdot ovat yhtäpitäviä: (1) R 2 = 1 (2) Kaikki residuaalit häviävät: e i = 0 kaikille i = 1, 2,, n (3) Kaikki havaintopisteet ( xi1, xi2,, xik, yi), i = 1,2,, n asettuvat samalle tasolle. (4) Malli selittää täydellisesti selitettävän muuttujan arvojen vaihtelun. TKK (c) Ilkka Mellin (2007) 77

78 Varianssianalyysihajotelma ja selitysaste Selitysasteen ominaisuudet 2/2 (iii) Seuraavat ehdot ovat yhtäpitäviä: (1) R 2 = 0 (2) b 1 = b 2 = = b k = 0 (3) Malli ei ollenkaan selitä selitettävän muuttujan arvojen vaihtelua. TKK (c) Ilkka Mellin (2007) 78

79 Yleinen lineaarinen malli Usean selittäjän lineaarinen regressiomalli Yleisen lineaarisen mallin matriisisesitys Yleisen lineaarisen mallin estimointi Varianssianalyysihajotelma ja selitysaste >> Päättely yleisestä lineaarisesta mallista Ennustaminen yleisellä lineaarisella mallilla Yleinen lineaarinen malli ja satunnaiset selittäjät TKK (c) Ilkka Mellin (2007) 79

80 Päättely yleisestä lineaarisesta mallista Mallia koskeva tilastollinen päättely Tässä kappaleessa tarkastellaan seuraavia yleistä lineaarista mallia koskevia päättelyn ongelmia: Regressiokertoimien estimaattoreiden odotusarvot ja varianssit Regressiokertoimien estimaattoreiden otosjakaumat Regressiokertoimien luottamusvälit Yleistesti regression olemassaololle Testit regressiokertoimille TKK (c) Ilkka Mellin (2007) 80

81 Päättely yleisestä lineaarisesta mallista Yleinen lineaarinen malli ja sen osat Yleisessä lineaarisessa mallissa y = Xβ + ε on seuraavat osat: y = selitettävän muuttujan y havaittujen arvojen muodostama satunnainen n-vektori X = selittäjien x 1, x 2,, x k havaittujen arvojen ja ykkösten muodostama n (k + 1)-matriisi β = regressiokertoimien muodostama tuntematon ja kiinteä eli ei-satunnainen (k + 1)-vektori ε = jäännöstermien muodostama ei-havaittu ja satunnainen n-vektori TKK (c) Ilkka Mellin (2007) 81

82 Päättely yleisestä lineaarisesta mallista Standardioletukset Jos yleisen lineaarisen mallin y = Xβ + ε selittäjät x 1, x 2,, x k ovat kiinteitä eli ei-satunnaisia muuttujia, mallia koskevat standardioletukset voidaan esittää matriisein seuraavassa muodossa: (i) Matriisin X alkiot ovat kiinteitä eli ei-satunnaisia vakioita (ii) (iii) (iv)&(v) (vi) Matriisi X on täysiasteinen: r(x) = k + 1 E( ε) = 0 Cov( ε) 2 = σ I ε 0 I 2 N n(, σ ) TKK (c) Ilkka Mellin (2007) 82

83 Päättely yleisestä lineaarisesta mallista Regressiokertoimien PNS-estimointi Yleisen lineaarisen mallin y = Xβ + ε regressiokertoimien vektorin β PNS-estimaattori on b= ( XX ) 1 Xy TKK (c) Ilkka Mellin (2007) 83

84 Päättely yleisestä lineaarisesta mallista PNS-estimaattorin otosjakauma 1/2 Jos standardioletukset (i)-(v) pätevät, regressiokertoimien vektorin β PNS-estimaattorilla b= ( XX ) 1 Xy on seuraavat stokastiset ominaisuudet: E( b) = β 2 1 Cov( b) = σ ( XX ) Jos myös standardioletus (vi) pätee, PNS-estimaattori b noudattaa normaalijakaumaa: 2 1 b N ( β, σ ( XX) ) k+ 1 TKK (c) Ilkka Mellin (2007) 84

85 Päättely yleisestä lineaarisesta mallista PNS-estimaattorin otosjakauma 2/2 Jos standardioletukset (i)-(v) pätevät, regressiokertoimen β j, j = 0, 1, 2,, k PNS-estimaattorilla b j on seuraavat stokastiset ominaisuudet: E( b ) = β j j D( bj) = σb = σ ( ) j XX j+ 1, j+ 1 Jos myös standardioletus (vi) pätee, PNS-estimaattori b j noudattaa normaalijakaumaa: 2 b N( β, σ ) j j b j TKK (c) Ilkka Mellin (2007) 85

86 Päättely yleisestä lineaarisesta mallista PNS-estimaattoreiden varianssien estimointi Jos standardioletukset (i)-(v) pätevät, regressiokertoimen β j, j = 0, 1, 2,, k PNS-estimaattorin b j varianssin D( b ) = σ = σ ( XX ) j bj j+ 1, j+ 1 harhaton estimaattori on ˆD ( bj ) = s ( XX ) j+ 1, j+ 1 jossa n s = ei n k 1 i= 1 on jäännösvarianssin σ 2 harhaton estimaattori. TKK (c) Ilkka Mellin (2007) 86

87 Päättely yleisestä lineaarisesta mallista PNS-estimaattoreiden luottamusvälit Jos standardioletukset (i)-(vi) pätevät, regressiokertoimen β j, j = 0, 1, 2,, k luottamusväli luottamustasolla (1 α) on muotoa jossa b ˆD( j ± tα /2 bj ) b j = regressiokertoimen β j PNS-estimaattori ±t α/2 = luottamustasoa (1 α) vastaavat luottamuskertoimet t-jakaumasta, jonka vapausasteiden lukumäärä on (n k 1) 2 ˆD ( b j ) = regressiokertoimen β j PNS-estimaattorin varianssin harhaton estimaattori TKK (c) Ilkka Mellin (2007) 87

88 Päättely yleisestä lineaarisesta mallista PNS-estimaattoreiden luottamusvälien tulkinta Regressiokertoimen β j, j = 0, 1, 2,, k luottamustasoon (1 α) liittyvän luottamusväli b ˆD( j ± tα /2 bj ) peittää regressiokertoimen β j todennäköisyydellä (1 α): Pr D( ˆ ) + D( ˆ ) = 1 α ( b t b β b t b ) j α/2 j j j α/2 j Frekvenssitulkinta luottamusvälille: Jos otantaa toistetaan, otoksista konstruoiduista luottamusväleistä 100 (1 α) % peittää parametrin β j todellisen arvon ja 100 α % väleistä ei peitä parametrin β j todellista arvoa. TKK (c) Ilkka Mellin (2007) 88

89 Päättely yleisestä lineaarisesta mallista Yleistesti regression olemassaololle: Nollahypoteesi Olkoon nollahypoteesina H 0 : β1 = β2 = = β k = 0 Jos nollahypoteesi H 0 pätee, selitettävä muuttuja y ei riipu lineaarisesti yhdestäkään selittäjästä x 1, x 2,, x k. Jos nollahypoteesi H 0 ei päde, selitettävä muuttuja y riippuu lineaarisesti ainakin yhdestä selittäjästä x 1, x 2,, x k. TKK (c) Ilkka Mellin (2007) 89

90 Päättely yleisestä lineaarisesta mallista Yleistesti regression olemassaololle: Testisuure 1/2 Määritellään F-testisuure 2 n k 1 R n k 1 SSM F = = 2 k 1 R k SSE jossa R 2 = estimoidun mallin selitysaste SSM = estimoidun mallin mallineliösumma SSE = estimoidun mallin jäännösneliösumma TKK (c) Ilkka Mellin (2007) 90

91 Päättely yleisestä lineaarisesta mallista Yleistesti regression olemassaololle: Testisuure 2/2 Testisuure 2 n k 1 R n k 1 SSM F = = 2 k 1 R k SSE vertaa toisiinsa residuaalivarianssia 2 SSE s = n k 1 ja mallivarianssia s 2 1 M = k SSM TKK (c) Ilkka Mellin (2007) 91

92 Päättely yleisestä lineaarisesta mallista Yleistesti regression olemassaololle: Testisuureen jakauma Oletetaan, että standardioletukset (i)-(vi) pätevät. Tällöin testisuure F noudattaa nollahypoteesin H 0 pätiessä F-jakaumaa vapausastein k ja (n k 1): F F( k, n k 1) Testisuureen F normaaliarvo eli odotusarvo nollahypoteesin H 0 pätiessä on (suurille n) n k 1 E( F) = 1 n k 3 Suuret testisuureen F arvot viittaavat siihen, että nollahypoteesi H 0 ei päde. TKK (c) Ilkka Mellin (2007) 92

93 Päättely yleisestä lineaarisesta mallista Testit regressiokertoimille: Nollahypoteesit Olkoon nollahypoteesina H 0 j : β j = 0, j = 0,1,2,, k Jos nollahypoteesi H 00 pätee, mallissa ei ole vakiota. Jos nollahypoteesi H 0j, j = 1, 2,, k pätee, selitettävä muuttuja y ei riipu lineaarisesti selittäjästä x j. Jos nollahypoteesi H 0j, j = 1, 2,, k ei päde, selitettävä muuttuja y riippuu lineaarisesti selittäjästä x j. TKK (c) Ilkka Mellin (2007) 93

94 Päättely yleisestä lineaarisesta mallista Testit regressiokertoimille: Testisuureet Määritellään t-testisuureet bj t j =, j = 0,1,2,, k ˆD( bj ) jossa b j = regressiokertoimen β j PNS-estimaattori 2 ˆD ( b j ) = regressiokertoimen β j PNS-estimaattorin varianssin harhaton estimaattori TKK (c) Ilkka Mellin (2007) 94

95 Päättely yleisestä lineaarisesta mallista Testit regressiokertoimille: Testisuureiden jakaumat Oletetaan, että standardioletukset (i)-(vi) pätevät. Tällöin testisuure t j noudattaa nollahypoteesin H 0j : β j = 0 pätiessä t-jakaumaa vapausastein (n k 1): tj t( n k 1) Testisuureen t j normaaliarvo eli odotusarvo nollahypoteesin H 0j pätiessä on E( t j ) = 0 Itseisarvoltaan suuret testisuureen arvot t j viittaavat siihen, että nollahypoteesi H 0j ei päde. TKK (c) Ilkka Mellin (2007) 95

96 Yleinen lineaarinen malli Usean selittäjän lineaarinen regressiomalli Yleisen lineaarisen mallin matriisisesitys Yleisen lineaarisen mallin estimointi Varianssianalyysihajotelma ja selitysaste Päättely yleisestä lineaarisesta mallista >> Ennustaminen yleisellä lineaarisella mallilla Yleinen lineaarinen malli ja satunnaiset selittäjät TKK (c) Ilkka Mellin (2007) 96

97 Ennustaminen yleisellä lineaarisella mallilla Ennustaminen Oletetaan, että muuttujien x 1, x 2,, x k ja y havaittujen arvojen x i1, x i2,, x ik ja y i välillä on lineaarinen tilastollinen riippuvuus, joka voidaan ilmaista muodossa yi = β0 + β1xi 1+ β2xi2 + + βkxik + εi, i = 1,2,, n Haluamme ennustaa selitettävää muuttujaa y, kun selittävät muuttujat x 1, x 2,, x k saavat arvot x 1, x 2,, x k. Jaetaan tarkastelu kahteen osaan: (i) Tavoitteena on ennustaa selitettävän muuttujan y odotettavissa oleva eli keskimääräinen arvo. (ii) Tavoitteena on ennustaa selitettävän muuttujan y arvo. TKK (c) Ilkka Mellin (2007) 97

98 Ennustaminen yleisellä lineaarisella mallilla Yleinen lineaarinen malli ja sen osat Yleisessä lineaarisessa mallissa y = Xβ + ε on seuraavat osat: y = selitettävän muuttujan y havaittujen arvojen muodostama satunnainen n-vektori X = selittäjien x 1, x 2,, x k havaittujen arvojen ja ykkösten muodostama n (k + 1)-matriisi β = regressiokertoimien muodostama tuntematon ja kiinteä eli ei-satunnainen (k + 1)-vektori ε = jäännöstermien muodostama ei-havaittu ja satunnainen n-vektori TKK (c) Ilkka Mellin (2007) 98

99 Ennustaminen yleisellä lineaarisella mallilla Standardioletukset Jos yleisen lineaarisen mallin y = Xβ + ε selittäjät x 1, x 2,, x k ovat kiinteitä eli ei-satunnaisia muuttujia, mallia koskevat standardioletukset voidaan esittää matriisein seuraavassa muodossa: (i) Matriisin X alkiot ovat kiinteitä eli ei-satunnaisia vakioita (ii) Matriisi X on täysiasteinen: r(x) = k + 1 (iii) E( ε) = 0 2 (iv)&(v) Cov( ε) = σ I 2 (vi) ε N (, 0 σ I) n TKK (c) Ilkka Mellin (2007) 99

100 Ennustaminen yleisellä lineaarisella mallilla PNS-estimaattori ja sen odotusarvo Yleisen lineaarisen mallin y = Xβ + ε regressiokertoimien vektorin β PNS-estimaattorilla b= ( XX ) 1 Xy on standardioletuksien (i)-(vi) pätiessä seuraavat stokastiset ominaisuudet: E( b) = β Cov( b) = σ ( XX ) 2 1 b β σ XX 2 1 N k+ 1(, ( ) ) TKK (c) Ilkka Mellin (2007) 100

101 Ennustaminen yleisellä lineaarisella mallilla y:n odotusarvon ennustaminen Oletetaan, että selitettävä muuttuja y saa arvon y = β0 + β1x 1+ β2x βkx k + ε jos selittäjät x 1, x 2,, x k saavat arvot x 1, x 2,, x k. Mikä on paras ennuste selitettävän muuttujan y odotettavissa olevalle arvolle E( y x1, x 2,, x k ), jos selittävät muuttujat x 1, x 2,, x k saavat arvot x 1, x 2,, x k? Selitettävän muuttujan y odotusarvo E( y x1, x 2,, x k ) kuvaa selitettävän muuttujan y keskimäärin saamia arvoja selittäjien x 1, x 2,, x k saamien arvojen funktiona. TKK (c) Ilkka Mellin (2007) 101

102 Ennustaminen yleisellä lineaarisella mallilla y:n odotusarvon ennustaminen: Ennuste Valitaan selitettävän muuttujan odotusarvon E( yx 1, x 2,, x k ) ennusteeksi (estimaattoriksi) lauseke yx ˆ 1, x 2,, x k = b0 + bx 1 1+ bx bx k k jossa b 0, b 1, b 2,, b k ovat regressiokertoimien β 0, β 1, β 2,, β k PNS-estimaattorit. Voidaan osoittaa, että yx ˆ 1, x 2,, x k on (ennustevirheen keskineliövirheen mielessä) paras lineaarinen ja harhaton ennuste odotusarvolle E( yx 1, x 2,, x k ). Huomautus: Ehdollinen odotusarvo E( yx 1, x 2,, x k ) on kiinteille x 1, x 2,, x k vakio, kun taas ennuste yx ˆ, x,, x on satunnaismuuttuja. 1 2 k TKK (c) Ilkka Mellin (2007) 102

103 Ennustaminen yleisellä lineaarisella mallilla y:n odotusarvon ennustaminen: Otosjakauma Oletetaan, että standardioletukset (i)-(vi) pätevät. Tällöin ennusteen yx ˆ 1, x 2,, x k = b0 + bx 1 1+ bx bx k k otosjakauma on normaalijakauma: yx ˆ, x,, x 1 2 k ( ) 2 1 ~N β0 + β1x 1+ β2x βkx k, σ z ( XX ) z jossa z = (1, x 1, x 2,, x k ) on (k + 1)-vektori. TKK (c) Ilkka Mellin (2007) 103

104 Ennustaminen yleisellä lineaarisella mallilla y:n odotusarvon ennustaminen: Luottamusväli Odotusarvon E( yx 1, x 2,, x ) = β0 + β1x 1+ β2x β x luottamusväli luottamustasolla (1 α)on ˆ k k k b0 bx 1 1 b2x2 b x t /2 s ( ) k k ± α z XX z jossa t α/2 ja +t α/2 ovat luottamustasoon (1 α) liittyvät luottamuskertoimet Studentin t-jakaumasta, jonka vapausasteiden luku on (n k 1). Luottamusväli muodostaa selittäjien x 1, x 2,, x k arvojen x 1, x 2,, x k funktiona luottamusvyön estimoidun regressiotason b 0 + b 1 x 1 + b 2 x b k x k ympärille. 1 2 TKK (c) Ilkka Mellin (2007) 104

105 Ennustaminen yleisellä lineaarisella mallilla y:n arvon ennustaminen Oletetaan, että selitettävä muuttuja y saa arvon y = β0 + β1x j1+ β2x j2 + + βkx jk + ε j jos selittäjät x 1, x 2,, x k saavat arvot x 1, x 2,, x k. Mikä on paras ennuste selitettävän muuttujan y arvolle y, jos selittävät muuttujat x 1, x 2,, x k saavat arvot x 1, x 2,, x k? TKK (c) Ilkka Mellin (2007) 105

106 Ennustaminen yleisellä lineaarisella mallilla y:n arvon ennustaminen: Ennuste Valitaan selitettävän muuttujan arvon y ennusteeksi (estimaattoriksi) lauseke yx ˆ 1, x 2,, x k = b0 + bx 1 1+ bx bx k k jossa b 0, b 1, b 2,, b k ovat regressiokertoimien β 0, β 1, β 2,, β k PNS-estimaattorit. Voidaan osoittaa, että yx ˆ 1, x 2,, x k on (ennustevirheen keskineliövirheen mielessä) paras lineaarinen ja harhaton ennuste odotusarvolle E( yx 1, x 2,, x k ). Huomautus: y yx ˆ 1 x2 Sekä selitettävän muuttujan y arvo että ennuste ovat satunnaismuuttujia.,,, x k TKK (c) Ilkka Mellin (2007) 106

107 Ennustaminen yleisellä lineaarisella mallilla y:n arvon ennustaminen: Otosjakauma Oletetaan, että standardioletukset (i)-(vi) pätevät. Tällöin ennustevirheen y yˆ x 1, x 2,, x k otosjakauma on normaalijakauma: 2 1 y yˆ x 1, x 2,, x k ~ N 0, σ 1 + z ( XX ) z jossa z = (1, x 1, x 2,, x k ) on (k + 1)-vektori. ( ) TKK (c) Ilkka Mellin (2007) 107

108 Ennustaminen yleisellä lineaarisella mallilla y:n arvon ennustaminen: Luottamusväli Selitettävän muuttujan y arvon y luottamusväli luottamustasolla (1 α)on b0 + bx 1 1+ b2x2 + + b x ± t /2s 1 + ( ) 1 k k α z XX z jossa t α/2 ja +t α/2 ovat luottamustasoon (1 α) liittyvät luottamuskertoimet Studentin t-jakaumasta, jonka vapausasteiden luku on (n k 1). Luottamusväli muodostaa selittäjien x 1, x 2,, x k arvojen x 1, x 2,, x k funktiona luottamusvyön estimoidun regressiotason b 0 + b 1 x 1 + b 2 x b k x k ympärille. 1 2 TKK (c) Ilkka Mellin (2007) 108

109 Ennustaminen yleisellä lineaarisella mallilla y:n arvon luottamusvyö vs y:n odotusarvon luottamusvyö Selitettävän muuttujan y arvon y luottamusvyö on leveämpi kuin selitettävän muuttujan y odotettavissa olevan arvon E( yx ) luottamusvyö. Tämä johtuu siitä, että selitettävän muuttujan y keskimääräisen arvon ennustaminen on helpompaa kuin sen yksittäisen arvon ennustaminen. TKK (c) Ilkka Mellin (2007) 109

110 Yleinen lineaarinen malli Usean selittäjän lineaarinen regressiomalli Yleisen lineaarisen mallin matriisisesitys Yleisen lineaarisen mallin estimointi Varianssianalyysihajotelma ja selitysaste Päättely yleisestä lineaarisesta mallista Ennustaminen yleisellä lineaarisella mallilla >> Yleinen lineaarinen malli ja satunnaiset selittäjät TKK (c) Ilkka Mellin (2007) 110

111 Yleinen lineaarinen malli ja satunnaiset selittäjät Yleinen lineaarinen malli ja sen osat Yleisessä lineaarisessa mallissa y = Xβ + ε on seuraavat osat: y = selitettävän muuttujan y havaittujen arvojen muodostama satunnainen n-vektori X = selittäjien x 1, x 2,, x k havaittujen arvojen ja ykkösten muodostama n (k + 1)-matriisi β = regressiokertoimien muodostama tuntematon ja kiinteä eli ei-satunnainen (k + 1)-vektori ε = jäännöstermien muodostama ei-havaittu ja satunnainen n-vektori TKK (c) Ilkka Mellin (2007) 111

112 Yleinen lineaarinen malli ja satunnaiset selittäjät Standardioletukset kiinteille selittäjille Jos yleisen lineaarisen mallin y = Xβ + ε selittäjät x 1, x 2,, x k ovat kiinteitä eli ei-satunnaisia muuttujia, mallia koskevat standardioletukset voidaan esittää matriisein seuraavassa muodossa: (i) Matriisin X alkiot ovat kiinteitä eli ei-satunnaisia vakioita (ii) Matriisi X on täysiasteinen: r(x) = k + 1 (iii) E( ε) = 0 2 (iv)&(v) Cov( ε) = σ I 2 (vi) ε N (, 0 σ I) n TKK (c) Ilkka Mellin (2007) 112

113 Yleinen lineaarinen malli ja satunnaiset selittäjät Selittäjien satunnaisuus 1/2 Yleisen lineaarisen mallin y = Xβ + ε matriisin X satunnaisuus saattaa aiheuttaa vakavia ongelmia mallin estimoinnille ja mallia koskevalle tilastolliselle päättelylle. Jos matriisi X on satunnainen, PNS-menetelmä ei välttämättä tuota harhattomia tai edes tarkentuvia estimaattoreita regressiokertoimille. Näin käy esimerkiksi silloin, kun virhetermi ja selittäjät korreloivat. Jos regressiokertoimien PNS-estimaattorit eivät ole harhattomia tai tarkentuvia, mallia koskevaa tavanomaista tilastollista päättelyä ei saa soveltaa. TKK (c) Ilkka Mellin (2007) 113

Mat Tilastollisen analyysin perusteet, kevät 2007

Mat Tilastollisen analyysin perusteet, kevät 2007 Mat-.104 Tilastollisen analyysin perusteet, kevät 007 8. luento: Usean selittäjän lineaarinen regressiomalli Kai Virtanen 1 Usean selittäjän lineaarinen regressiomalli Selitettävän muuttujan havaittujen

Lisätiedot

Regressioanalyysi. Vilkkumaa / Kuusinen 1

Regressioanalyysi. Vilkkumaa / Kuusinen 1 Regressioanalyysi Vilkkumaa / Kuusinen 1 Regressioanalyysin idea ja tavoitteet Regressioanalyysin idea: Halutaan selittää selitettävän muuttujan havaittujen arvojen vaihtelua selittävien muuttujien havaittujen

Lisätiedot

Erityiskysymyksiä yleisen lineaarisen mallin soveltamisessa

Erityiskysymyksiä yleisen lineaarisen mallin soveltamisessa Ilkka Mellin Tilastolliset menetelmät Osa 4: Lineaarinen regressioanalyysi Erityiskysymyksiä yleisen lineaarisen mallin soveltamisessa TKK (c) Ilkka Mellin (2007) 1 Erityiskysymyksiä yleisen lineaarisen

Lisätiedot

Yleinen lineaarinen malli

Yleinen lineaarinen malli MS-C2128 Ennustaminen ja Aikasarja-analyysi, Heikki Seppälä Matematiikan ja systeemianalyysin laitos Perustieteiden korkeakoulu Aalto-yliopisto Syksy 2015 Viikko 1: 1 Määritelmä ja standardioletukset 2

Lisätiedot

Harjoitus 9: Excel - Tilastollinen analyysi

Harjoitus 9: Excel - Tilastollinen analyysi Harjoitus 9: Excel - Tilastollinen analyysi Mat-2.2107 Sovelletun matematiikan tietokonetyöt Syksy 2006 Mat-2.2107 Sovelletun matematiikan tietokonetyöt 1 Harjoituksen aiheita Tutustuminen regressioanalyysiin

Lisätiedot

Ilkka Mellin Tilastolliset menetelmät. Osa 4: Lineaarinen regressioanalyysi. Regressiomallin valinta. TKK (c) Ilkka Mellin (2007) 1

Ilkka Mellin Tilastolliset menetelmät. Osa 4: Lineaarinen regressioanalyysi. Regressiomallin valinta. TKK (c) Ilkka Mellin (2007) 1 Ilkka Mellin Tilastolliset menetelmät Osa 4: Lineaarinen regressioanalyysi Regressiomallin valinta TKK (c) Ilkka Mellin (2007) 1 Regressiomallin valinta >> Regressiomallin valinta: Johdanto Mallinvalintatestit

Lisätiedot

Ilkka Mellin Tilastolliset menetelmät. Osa 4: Lineaarinen regressioanalyysi. Regressiodiagnostiikka. TKK (c) Ilkka Mellin (2007) 1

Ilkka Mellin Tilastolliset menetelmät. Osa 4: Lineaarinen regressioanalyysi. Regressiodiagnostiikka. TKK (c) Ilkka Mellin (2007) 1 Ilkka Mellin Tilastolliset menetelmät Osa 4: Lineaarinen regressioanalyysi Regressiodiagnostiikka TKK (c) Ilkka Mellin (2007) 1 Regressiodiagnostiikka >> Yleinen lineaarinen malli ja regressiodiagnostiikka

Lisätiedot

Yhden selittäjän lineaarinen regressiomalli

Yhden selittäjän lineaarinen regressiomalli Ilkka Melli Tilastolliset meetelmät Osa 4: Lieaarie regressioaalyysi Yhde selittäjä lieaarie regressiomalli TKK (c) Ilkka Melli (007) Yhde selittäjä lieaarie regressiomalli >> Yhde selittäjä lieaarie regressiomalli

Lisätiedot

Tilastollisen analyysin perusteet Luento 8: Lineaarinen regressio, testejä ja luottamusvälejä

Tilastollisen analyysin perusteet Luento 8: Lineaarinen regressio, testejä ja luottamusvälejä Tilastollisen analyysin perusteet Luento 8: Lineaarinen regressio, testejä ja luottamusvälejä arvon Sisältö arvon Bootstrap-luottamusvälit arvon arvon Oletetaan, että meillä on n kappaletta (x 1, y 1 ),

Lisätiedot

Johdatus tilastotieteeseen Regressiomallin valinta. TKK (c) Ilkka Mellin (2004) 1

Johdatus tilastotieteeseen Regressiomallin valinta. TKK (c) Ilkka Mellin (2004) 1 Johdatus tilastotieteeseen Regressiomallin valinta TKK (c) Ilkka Mellin (2004) 1 Regressiomallin valinta Regressiomallin valinta: Johdanto Mallinvalintatestit Mallinvalintakriteerit Epälineaaristen riippuvuuksien

Lisätiedot

2. Teoriaharjoitukset

2. Teoriaharjoitukset 2. Teoriaharjoitukset Demotehtävät 2.1 Todista Gauss-Markovin lause. Ratkaisu. Oletetaan että luentokalvojen standardioletukset (i)-(v) ovat voimassa. Huomaa että Gauss-Markovin lause ei vaadi virhetermien

Lisätiedot

Kaksisuuntainen varianssianalyysi. Heliövaara 1

Kaksisuuntainen varianssianalyysi. Heliövaara 1 Kaksisuuntainen varianssianalyysi Heliövaara 1 Kaksi- tai useampisuuntainen varianssianalyysi Kaksi- tai useampisuuntaisessa varianssianalyysissa perusjoukko on jaettu ryhmiin kahden tai useamman tekijän

Lisätiedot

Latinalaiset neliöt. Latinalaiset neliöt. Latinalaiset neliöt. Latinalaiset neliöt: Mitä opimme? Latinalaiset neliöt

Latinalaiset neliöt. Latinalaiset neliöt. Latinalaiset neliöt. Latinalaiset neliöt: Mitä opimme? Latinalaiset neliöt TKK (c) Ilkka Mellin (005) Koesuunnittelu TKK (c) Ilkka Mellin (005) : Mitä opimme? Tarkastelemme tässä luvussa seuraavaa kysymystä: Miten varianssianalyysissa tutkitaan yhden tekijän vaikutusta vastemuuttujaan,

Lisätiedot

Kaksisuuntainen varianssianalyysi. Vilkkumaa / Kuusinen 1

Kaksisuuntainen varianssianalyysi. Vilkkumaa / Kuusinen 1 Kaksisuuntainen varianssianalyysi Vilkkumaa / Kuusinen 1 Motivointi Luennot 6 ja 7: yksisuuntaisella varianssianalyysilla testataan ryhmäkohtaisten odotusarvojen yhtäsuuruutta, kun perusjoukko on jaettu

Lisätiedot

Sovellettu todennäköisyyslaskenta B

Sovellettu todennäköisyyslaskenta B Sovellettu todennäköisyyslaskenta B Antti Rasila 22. marraskuuta 2007 Antti Rasila () TodB 22. marraskuuta 2007 1 / 17 1 Epäparametrisia testejä (jatkoa) χ 2 -riippumattomuustesti 2 Johdatus regressioanalyysiin

Lisätiedot

Osa 2: Otokset, otosjakaumat ja estimointi

Osa 2: Otokset, otosjakaumat ja estimointi Ilkka Mellin Tilastolliset menetelmät Osa 2: Otokset, otosjakaumat ja estimointi Estimointi TKK (c) Ilkka Mellin (2007) 1 Estimointi >> Todennäköisyysjakaumien parametrit ja niiden estimointi Hyvän estimaattorin

Lisätiedot

Korrelaatiokertoinen määrittely 165

Korrelaatiokertoinen määrittely 165 kertoinen määrittely 165 Olkoot X ja Y välimatka- tai suhdeasteikollisia satunnaismuuttujia. Havaintoaineistona on n:n suuruisesta otoksesta mitatut muuttuja-arvoparit (x 1, y 1 ), (x 2, y 2 ),..., (x

Lisätiedot

Johdatus regressioanalyysiin

Johdatus regressioanalyysiin Ilkka Mellin Tilastolliset menetelmät Osa 4: Lineaarinen regressioanalyysi Johdatus regressioanalyysiin TKK (c) Ilkka Mellin (2007) 1 Johdatus regressioanalyysiin >> Regressioanalyysin lähtökohdat ja tavoitteet

Lisätiedot

Testejä suhdeasteikollisille muuttujille

Testejä suhdeasteikollisille muuttujille Ilkka Mellin Tilastolliset menetelmät Osa 3: Tilastolliset testit Testejä suhdeasteikollisille muuttujille TKK (c) Ilkka Mellin (007) 1 Testejä suhdeasteikollisille muuttujille >> Testit normaalijakauman

Lisätiedot

Lohkoasetelmat. Heliövaara 1

Lohkoasetelmat. Heliövaara 1 Lohkoasetelmat Heliövaara 1 Kiusatekijä Kaikissa kokeissa, kokeen tuloksiin voi vaikuttaa vaihtelu joka johtuu kiusatekijästä. Kiusatekijä on tekijä, jolla mahdollisesti on vaikutusta vastemuuttujan arvoon,

Lisätiedot

Lohkoasetelmat. Kuusinen/Heliövaara 1

Lohkoasetelmat. Kuusinen/Heliövaara 1 Lohkoasetelmat Kuusinen/Heliövaara 1 Kiusatekijä Kaikissa kokeissa kokeen tuloksiin voi vaikuttaa vaihtelu, joka johtuu kiusatekijästä. Kiusatekijä on tekijä, jolla on mahdollisesti vaikutusta vastemuuttujan

Lisätiedot

Moniulotteisia todennäköisyysjakaumia

Moniulotteisia todennäköisyysjakaumia Ilkka Mellin Todennäköisyyslaskenta Osa 3: Todennäköisyysjakaumia Moniulotteisia todennäköisyysjakaumia TKK (c) Ilkka Mellin (007) 1 Moniulotteisia todennäköisyysjakaumia >> Multinomijakauma Kaksiulotteinen

Lisätiedot

Testit laatueroasteikollisille muuttujille

Testit laatueroasteikollisille muuttujille Ilkka Mellin Tilastolliset menetelmät Osa 3: Tilastolliset testit Testit laatueroasteikollisille muuttujille TKK (c) Ilkka Mellin (2007) 1 Testit laatueroasteikollisille muuttujille >> Laatueroasteikollisten

Lisätiedot

Johdatus todennäköisyyslaskentaan Moniulotteisia todennäköisyysjakaumia. TKK (c) Ilkka Mellin (2005) 1

Johdatus todennäköisyyslaskentaan Moniulotteisia todennäköisyysjakaumia. TKK (c) Ilkka Mellin (2005) 1 Johdatus todennäköisyyslaskentaan Moniulotteisia todennäköisyysjakaumia TKK (c) Ilkka Mellin (005) 1 Moniulotteisia todennäköisyysjakaumia Multinomijakauma Kaksiulotteinen normaalijakauma TKK (c) Ilkka

Lisätiedot

Moniulotteisia todennäköisyysjakaumia. Moniulotteisia todennäköisyysjakaumia. Moniulotteisia todennäköisyysjakaumia: Mitä opimme?

Moniulotteisia todennäköisyysjakaumia. Moniulotteisia todennäköisyysjakaumia. Moniulotteisia todennäköisyysjakaumia: Mitä opimme? TKK (c) Ilkka Mellin (4) Moniulotteisia todennäköisyysjakaumia Johdatus todennäköisyyslaskentaan Moniulotteisia todennäköisyysjakaumia TKK (c) Ilkka Mellin (4) Moniulotteisia todennäköisyysjakaumia: Mitä

Lisätiedot

Estimointi. Estimointi. Estimointi: Mitä opimme? 2/4. Estimointi: Mitä opimme? 1/4. Estimointi: Mitä opimme? 3/4. Estimointi: Mitä opimme?

Estimointi. Estimointi. Estimointi: Mitä opimme? 2/4. Estimointi: Mitä opimme? 1/4. Estimointi: Mitä opimme? 3/4. Estimointi: Mitä opimme? TKK (c) Ilkka Mellin (2004) 1 Johdatus tilastotieteeseen TKK (c) Ilkka Mellin (2004) 2 Mitä opimme? 1/4 Tilastollisen tutkimuksen tavoitteena on tehdä johtopäätöksiä prosesseista, jotka generoivat reaalimaailman

Lisätiedot

Johdatus tilastotieteeseen Estimointi. TKK (c) Ilkka Mellin (2005) 1

Johdatus tilastotieteeseen Estimointi. TKK (c) Ilkka Mellin (2005) 1 Johdatus tilastotieteeseen Estimointi TKK (c) Ilkka Mellin (2005) 1 Estimointi Todennäköisyysjakaumien parametrit ja niiden estimointi Hyvän estimaattorin ominaisuudet TKK (c) Ilkka Mellin (2005) 2 Estimointi:

Lisätiedot

Johdatus tilastotieteeseen Johdatus regressioanalyysiin. TKK (c) Ilkka Mellin (2005) 1

Johdatus tilastotieteeseen Johdatus regressioanalyysiin. TKK (c) Ilkka Mellin (2005) 1 Johdatus tilastotieteeseen Johdatus regressioanalyysiin TKK (c) Ilkka Mellin (2005) 1 Johdatus regressioanalyysiin Regressioanalyysin lähtökohdat ja tavoitteet Deterministiset mallit ja regressioanalyysi

Lisätiedot

Estimointi. Vilkkumaa / Kuusinen 1

Estimointi. Vilkkumaa / Kuusinen 1 Estimointi Vilkkumaa / Kuusinen 1 Motivointi Tilastollisessa tutkimuksessa oletetaan jonkin jakauman generoineen tutkimuksen kohteena olevaa ilmiötä koskevat havainnot Tämän mallina käytettävän todennäköisyysjakauman

Lisätiedot

Johdatus tilastotieteeseen Väliestimointi. TKK (c) Ilkka Mellin (2005) 1

Johdatus tilastotieteeseen Väliestimointi. TKK (c) Ilkka Mellin (2005) 1 Johdatus tilastotieteeseen Väliestimointi TKK (c) Ilkka Mellin (2005) 1 Väliestimointi Todennäköisyysjakaumien parametrien estimointi Luottamusväli Normaalijakauman odotusarvon luottamusväli Normaalijakauman

Lisätiedot

Vastepintamenetelmä. Kuusinen/Heliövaara 1

Vastepintamenetelmä. Kuusinen/Heliövaara 1 Vastepintamenetelmä Kuusinen/Heliövaara 1 Vastepintamenetelmä Vastepintamenetelmässä pyritään vasteen riippuvuutta siihen vaikuttavista tekijöistä approksimoimaan tekijöiden polynomimuotoisella funktiolla,

Lisätiedot

Todennäköisyyden ominaisuuksia

Todennäköisyyden ominaisuuksia Todennäköisyyden ominaisuuksia 0 P(A) 1 (1) P(S) = 1 (2) A B = P(A B) = P(A) + P(B) (3) P(A) = 1 P(A) (4) P(A B) = P(A) + P(B) P(A B) (5) Tapahtuman todennäköisyys S = {e 1,..., e N }. N A = A. Kun alkeistapaukset

Lisätiedot

Testit järjestysasteikollisille muuttujille

Testit järjestysasteikollisille muuttujille Ilkka Mellin Tilastolliset menetelmät Osa 3: Tilastolliset testit Testit järjestysasteikollisille muuttujille TKK (c) Ilkka Mellin (2007) 1 Testit järjestysasteikollisille muuttujille >> Järjestysasteikollisten

Lisätiedot

Tilastollinen testaus. Vilkkumaa / Kuusinen 1

Tilastollinen testaus. Vilkkumaa / Kuusinen 1 Tilastollinen testaus Vilkkumaa / Kuusinen 1 Motivointi Viime luennolla: havainnot generoineen jakauman muoto on usein tunnettu, mutta parametrit tulee estimoida Joskus parametreista on perusteltua esittää

Lisätiedot

4.0.2 Kuinka hyvä ennuste on?

4.0.2 Kuinka hyvä ennuste on? Luonteva ennuste on käyttää yhtälöä (4.0.1), jolloin estimaattori on muotoa X t = c + φ 1 X t 1 + + φ p X t p ja estimointivirheen varianssi on σ 2. X t }{{} todellinen arvo Xt }{{} esimaattori = ε t Esimerkki

Lisätiedot

TA7, Ekonometrian johdantokurssi HARJOITUS 4 1 RATKAISUEHDOTUKSET

TA7, Ekonometrian johdantokurssi HARJOITUS 4 1 RATKAISUEHDOTUKSET TA7, Ekonometrian johdantokurssi HARJOITUS 4 1 RATKAISUEHDOTUKSET 16..015 1. a Poliisivoimien suuruuden lisäksi piirikuntien rikostilastoihin vaikuttaa monet muutkin tekijät. Esimerkiksi asukkaiden keskimääräinen

Lisätiedot

1. Tutkitaan regressiomallia Y i = β 0 + β 1 X i + u i ja oletetaan, että tavanomaiset

1. Tutkitaan regressiomallia Y i = β 0 + β 1 X i + u i ja oletetaan, että tavanomaiset TA7, Ekonometrian johdantokurssi HARJOITUS 7 RATKAISUEHDOTUKSET 16.3.2015 1. Tutkitaan regressiomallia Y i = β 0 + X i + u i ja oletetaan, että tavanomaiset regressiomallin oletukset pätevät (Key Concept

Lisätiedot

Johdatus tilastotieteeseen Yhden selittäjän lineaarinen regressiomalli. TKK (c) Ilkka Mellin (2005) 1

Johdatus tilastotieteeseen Yhden selittäjän lineaarinen regressiomalli. TKK (c) Ilkka Mellin (2005) 1 Johdatus tilastotieteesee Yhde selittää lieaarie regressiomalli TKK (c) Ilkka Melli (2005) Yhde selittää lieaarie regressiomalli Yhde selittää lieaarie regressiomalli a sitä koskevat oletukset Yhde selittää

Lisätiedot

Sovellettu todennäköisyyslaskenta B

Sovellettu todennäköisyyslaskenta B Sovellettu todennäköisyyslaskenta B Antti Rasila 30. lokakuuta 2007 Antti Rasila () TodB 30. lokakuuta 2007 1 / 23 1 Otos ja otosjakaumat (jatkoa) Frekvenssi ja suhteellinen frekvenssi Frekvenssien odotusarvo

Lisätiedot

Tilastollisen analyysin perusteet Luento 2: Tilastolliset testit

Tilastollisen analyysin perusteet Luento 2: Tilastolliset testit Tilastollisen analyysin perusteet Luento 2: Tilastolliset testit Sisältö Tilastollisia testejä tehdään jatkuvasti lukemattomilla aloilla. Meitä saattaa kiinnostaa esimerkiksi se, että onko miesten ja

Lisätiedot

Ilkka Mellin Tilastolliset menetelmät. Osa 3: Tilastolliset testit. Tilastollinen testaus. TKK (c) Ilkka Mellin (2007) 1

Ilkka Mellin Tilastolliset menetelmät. Osa 3: Tilastolliset testit. Tilastollinen testaus. TKK (c) Ilkka Mellin (2007) 1 Ilkka Mellin Tilastolliset menetelmät Osa 3: Tilastolliset testit Tilastollinen testaus TKK (c) Ilkka Mellin (2007) 1 Tilastolliset testit >> Tilastollinen testaus Tilastolliset hypoteesit Tilastolliset

Lisätiedot

Odotusarvoparien vertailu. Vilkkumaa / Kuusinen 1

Odotusarvoparien vertailu. Vilkkumaa / Kuusinen 1 Odotusarvoparien vertailu Vilkkumaa / Kuusinen 1 Motivointi Viime luennolta: yksisuuntaisella varianssianalyysilla testataan nollahypoteesia H 0 : μ 1 = μ 2 = = μ k = μ Jos H 0 hylätään, tiedetään, että

Lisätiedot

Tilastollisen analyysin perusteet Luento 10: Johdatus varianssianalyysiin

Tilastollisen analyysin perusteet Luento 10: Johdatus varianssianalyysiin Tilastollisen analyysin perusteet Luento 10: Sisältö Varianssianalyysi Varianssianalyysi on kahden riippumattoman otoksen t testin yleistys. Varianssianalyysissä perusjoukko koostuu kahdesta tai useammasta

Lisätiedot

Ilkka Mellin Aikasarja-analyysi Suurimman uskottavuuden menetelmä

Ilkka Mellin Aikasarja-analyysi Suurimman uskottavuuden menetelmä Ilkka Mellin Aikasarja-analyysi Suurimman uskottavuuden menetelmä TKK (c) Ilkka Mellin (2007) 1 Suurimman uskottavuuden menetelmä >> Suurimman uskottavuuden estimointimenetelmä Tarkentuvuus Asymptoottinen

Lisätiedot

2.1. Parametrien estimointi 2.2. Regressiokertoimien estimointi kovariansseista ja korrelaatioista

2.1. Parametrien estimointi 2.2. Regressiokertoimien estimointi kovariansseista ja korrelaatioista Moimuuttujameetelmät: Ilkka Melli. Yleise lieaarise malli määrittelemie.. ja malli oletukset.. Yleise lieaarise malli matriisiesitys. Yleise lieaarise malli parametrie estimoiti.. Parametrie estimoiti..

Lisätiedot

ABHELSINKI UNIVERSITY OF TECHNOLOGY

ABHELSINKI UNIVERSITY OF TECHNOLOGY Tilastollinen testaus Tilastollinen testaus Tilastollisessa testauksessa tutkitaan tutkimuskohteita koskevien oletusten tai väitteiden paikkansapitävyyttä havaintojen avulla. Testattavat oletukset tai

Lisätiedot

tilastotieteen kertaus

tilastotieteen kertaus tilastotieteen kertaus Keskiviikon 24.1. harjoitukset pidetään poikkeuksellisesti klo 14-16 luokassa Y228. Heliövaara 1 Mitä tilastotiede on? Tilastotiede kehittää ja soveltaa menetelmiä, joiden avulla

Lisätiedot

Tilastollisen analyysin perusteet Luento 6: Korrelaatio ja riippuvuus tilastotieteessä

Tilastollisen analyysin perusteet Luento 6: Korrelaatio ja riippuvuus tilastotieteessä Tilastollisen analyysin perusteet Luento 6: Korrelaatio ja riippuvuus tilastotieteessä Sisältö Riippumattomuus Jos P(A B) = P(A)P(B), niin tapahtumat A ja B ovat toisistaan riippumattomia. (Keskustelimme

Lisätiedot

MS-A0204 Differentiaali- ja integraalilaskenta 2 (ELEC2) Luento 7: Pienimmän neliösumman menetelmä ja Newtonin menetelmä.

MS-A0204 Differentiaali- ja integraalilaskenta 2 (ELEC2) Luento 7: Pienimmän neliösumman menetelmä ja Newtonin menetelmä. MS-A0204 Differentiaali- ja integraalilaskenta 2 (ELEC2) Luento 7: Pienimmän neliösumman menetelmä ja Newtonin menetelmä. Antti Rasila Matematiikan ja systeemianalyysin laitos Aalto-yliopisto Kevät 2016

Lisätiedot

Koesuunnittelu 2 k -faktorikokeet. TKK (c) Ilkka Mellin (2005) 1

Koesuunnittelu 2 k -faktorikokeet. TKK (c) Ilkka Mellin (2005) 1 Koesuunnittelu 2 k -faktorikokeet TKK (c) Ilkka Mellin (2005) 2 k -faktorikokeet 2 2 -faktorikokeet 2 3 -faktorikokeet 2 k -faktorikokeet TKK (c) Ilkka Mellin (2005) 2 2 k -faktorikokeet: Mitä opimme?

Lisätiedot

Harjoitus 7: NCSS - Tilastollinen analyysi

Harjoitus 7: NCSS - Tilastollinen analyysi Harjoitus 7: NCSS - Tilastollinen analyysi Mat-2.2107 Sovelletun matematiikan tietokonetyöt Syksy 2006 Mat-2.2107 Sovelletun matematiikan tietokonetyöt 1 Harjoituksen aiheita Tilastollinen testaus Testaukseen

Lisätiedot

Johdatus tilastotieteeseen Tilastollinen riippuvuus ja korrelaatio. TKK (c) Ilkka Mellin (2005) 1

Johdatus tilastotieteeseen Tilastollinen riippuvuus ja korrelaatio. TKK (c) Ilkka Mellin (2005) 1 Johdatus tilastotieteeseen Tilastollinen riippuvuus ja korrelaatio TKK (c) Ilkka Mellin (2005) 1 Tilastollinen riippuvuus ja korrelaatio Tilastollinen riippuvuus, korrelaatio ja regressio Kahden muuttujan

Lisätiedot

Vastepintamenetelmä. Vilkkumaa / Kuusinen 1

Vastepintamenetelmä. Vilkkumaa / Kuusinen 1 Vastepintamenetelmä Vilkkumaa / Kuusinen 1 Motivointi Varianssianalyysissa tutkitaan tekijöiden vaikutusta vasteeseen siten, että tekijöiden tasot on ennalta valittu. - Esim. tutkitaan kemiallisen prosessin

Lisätiedot

Tilastollinen aineisto Luottamusväli

Tilastollinen aineisto Luottamusväli Tilastollinen aineisto Luottamusväli Keijo Ruotsalainen Oulun yliopisto, Teknillinen tiedekunta Matematiikan jaos Tilastollinen aineisto p.1/20 Johdanto Kokeellisessa tutkimuksessa tutkittavien suureiden

Lisätiedot

Kertausluento. Vilkkumaa / Kuusinen 1

Kertausluento. Vilkkumaa / Kuusinen 1 Kertausluento Vilkkumaa / Kuusinen 1 Kokeellinen tutkimus Kokeellisessa tutkimuksessa on tavoitteena selvittää, miten erilaiset käsittelyt vaikuttavat tutkimuksen kohteisiin - Esim. miten lämpötila ja

Lisätiedot

Johdatus tilastotieteeseen Tilastolliset testit. TKK (c) Ilkka Mellin (2005) 1

Johdatus tilastotieteeseen Tilastolliset testit. TKK (c) Ilkka Mellin (2005) 1 Johdatus tilastotieteeseen Tilastolliset testit TKK (c) Ilkka Mellin (2005) 1 Tilastolliset testit Tilastollinen testaus Tilastolliset hypoteesit Tilastolliset testit ja testisuureet Virheet testauksessa

Lisätiedot

Todennäköisyyslaskennan ja tilastotieteen peruskurssi Esimerkkikokoelma 3

Todennäköisyyslaskennan ja tilastotieteen peruskurssi Esimerkkikokoelma 3 Todennäköisyyslaskennan ja tilastotieteen peruskurssi Esimerkkikokoelma 3 Aiheet: Satunnaisvektorit ja moniulotteiset jakaumat Tilastollinen riippuvuus ja lineaarinen korrelaatio Satunnaisvektorit ja moniulotteiset

Lisätiedot

Sovellettu todennäköisyyslaskenta B

Sovellettu todennäköisyyslaskenta B Sovellettu todennäköisyyslaskenta B Antti Rasila 8. marraskuuta 2007 Antti Rasila () TodB 8. marraskuuta 2007 1 / 15 1 Tilastollisia testejä Z-testi Normaalijakauman odotusarvon testaus, keskihajonta tunnetaan

Lisätiedot

9. laskuharjoituskierros, vko 12-13, ratkaisut

9. laskuharjoituskierros, vko 12-13, ratkaisut 9. laskuharjoituskierros, vko 12-13, ratkaisut D1. Olkoot X i, i = 1, 2,..., n riippumattomia, samaa eksponenttijakaumaa noudattavia satunnaismuuttujia, joiden odotusarvo E(X i = β, toisin sanoen X i :t

Lisätiedot

1. Tutkitaan tavallista kahden selittäjän regressiomallia

1. Tutkitaan tavallista kahden selittäjän regressiomallia TA7, Ekonometrian johdantokurssi HARJOITUS 5 RATKAISUEHDOTUKSET 232215 1 Tutkitaan tavallista kahden selittäjän regressiomallia Y i = β + β 1 X 1,i + β 2 X 2,i + u i (a) Kirjoita regressiomalli muodossa

Lisätiedot

1. YKSISUUNTAINEN VARIANSSIANALYYSI: AINEISTON ESITYSMUODOT

1. YKSISUUNTAINEN VARIANSSIANALYYSI: AINEISTON ESITYSMUODOT imat-2.104 Tilastollisen analyysin perusteet / Tehtävät Aiheet: Avainsanat: Ysisuuntainen varianssianalyysi Bartlettin testi, Bonferronin menetelmä, F-testi, Jäännösneliösumma, χ 2 -testi, Koonaisesiarvo,

Lisätiedot

Harha mallin arvioinnissa

Harha mallin arvioinnissa Esitelmä 12 Antti Toppila sivu 1/18 Optimointiopin seminaari Syksy 2010 Harha mallin arvioinnissa Antti Toppila 13.10.2010 Esitelmä 12 Antti Toppila sivu 2/18 Optimointiopin seminaari Syksy 2010 Sisältö

Lisätiedot

Aalto-yliopisto, Matematiikan ja systeemianalyysin laitos /Malmivuori MS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi,

Aalto-yliopisto, Matematiikan ja systeemianalyysin laitos /Malmivuori MS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi, Aalto-yliopisto, Matematiikan ja systeemianalyysin laitos /Malmivuori MS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi, kesä 2016 Laskuharjoitus 5, Kotitehtävien palautus laskuharjoitusten

Lisätiedot

031021P Tilastomatematiikka (5 op) viikko 6

031021P Tilastomatematiikka (5 op) viikko 6 031021P Tilastomatematiikka (5 op) viikko 6 Jukka Kemppainen Mathematics Division Odotusarvojen erotuksen testi, hajonnat σ 1 σ 2 tuntemattomia Oletetaan jälleen, että X ja Y ovat normaalijakautuneita.

Lisätiedot

031021P Tilastomatematiikka (5 op) viikko 6

031021P Tilastomatematiikka (5 op) viikko 6 031021P Tilastomatematiikka (5 op) viikko 6 Jukka Kemppainen Mathematics Division Satunnaismuuttujien välinen riippuvuus Kokeellisen tutkimuksen keskeinen tehtävä on selvittää mitattavien muuttujien välisiä

Lisätiedot

xi = yi = 586 Korrelaatiokerroin r: SS xy = x i y i ( x i ) ( y i )/n = SS xx = x 2 i ( x i ) 2 /n =

xi = yi = 586 Korrelaatiokerroin r: SS xy = x i y i ( x i ) ( y i )/n = SS xx = x 2 i ( x i ) 2 /n = 1. Tutkitaan paperin ominaispainon X(kg/dm 3 ) ja puhkaisulujuuden Y (m 2 ) välistä korrelaatiota. Tiettyä laatua olevasta paperierästä on otettu satunnaisesti 10 arkkia ja määritetty jokaisesta arkista

Lisätiedot

Tilastolliset testit. Tilastolliset testit. Tilastolliset testit: Mitä opimme? 2/5. Tilastolliset testit: Mitä opimme? 1/5

Tilastolliset testit. Tilastolliset testit. Tilastolliset testit: Mitä opimme? 2/5. Tilastolliset testit: Mitä opimme? 1/5 TKK (c) Ilkka Mellin (4) 1 Johdatus tilastotieteeseen TKK (c) Ilkka Mellin (4) : Mitä opimme? 1/5 Tilastollisessa tutkimuksessa tutkimuksen kohteena olevasta perusjoukosta esitetään tavallisesti väitteitä

Lisätiedot

Harjoitus 3: Regressiomallit (Matlab)

Harjoitus 3: Regressiomallit (Matlab) Harjoitus 3: Regressiomallit (Matlab) SCI-C0200 Fysiikan ja matematiikan menetelmien studio SCI-C0200 Fysiikan ja matematiikan menetelmien studio 1 Harjoituksen aiheita Pienimmän neliösumman menetelmä

Lisätiedot

Sovellettu todennäköisyyslaskenta B

Sovellettu todennäköisyyslaskenta B Sovellettu todennäköisyyslaskenta B Antti Rasila 16. marraskuuta 2007 Antti Rasila () TodB 16. marraskuuta 2007 1 / 15 1 Epäparametrisia testejä χ 2 -yhteensopivuustesti Homogeenisuuden testaaminen Antti

Lisätiedot

Olkoon R S otosavaruuksien R ja S karteesinen tulo: Satunnaismuuttujien X ja Y järjestetty pari (X, Y) määrittelee kaksiulotteisen satunnaismuuttujan:

Olkoon R S otosavaruuksien R ja S karteesinen tulo: Satunnaismuuttujien X ja Y järjestetty pari (X, Y) määrittelee kaksiulotteisen satunnaismuuttujan: Mat-.6 Sovellettu todennäköisslaskenta B Mat-.6 Sovellettu todennäköisslaskenta B / Ratkaisut Aiheet: Moniulotteiset satunnaismuuttujat ja todennäköissjakaumat Moniulotteisia jakaumia Avainsanat: Diskreetti

Lisätiedot

Harjoitus 3: Regressiomallit (Matlab)

Harjoitus 3: Regressiomallit (Matlab) Harjoitus 3: Regressiomallit (Matlab) MS-C2107 Sovelletun matematiikan tietokonetyöt MS-C2107 Sovelletun matematiikan tietokonetyöt 1 Harjoituksen aiheita Pienimmän neliösumman menetelmä mallin sovittamisessa

Lisätiedot

Normaalijakaumasta johdettuja jakaumia

Normaalijakaumasta johdettuja jakaumia Ilkka Mellin Todennäköisyyslaskenta Osa 3: Todennäköisyysjakaumia Normaalijakaumasta johdettuja jakaumia TKK (c) Ilkka Mellin (2007) 1 Normaalijakaumasta johdettuja jakaumia >> Johdanto χ 2 -jakauma F-jakauma

Lisätiedot

edellyttää valintaa takaisinpanolla Aritmeettinen keskiarvo Jos, ½ Ò muodostavat satunnaisotoksen :n jakaumasta niin Otosvarianssi Ë ¾

edellyttää valintaa takaisinpanolla Aritmeettinen keskiarvo Jos, ½ Ò muodostavat satunnaisotoksen :n jakaumasta niin Otosvarianssi Ë ¾ ËØÙ ÓØÓ Ø Mitta-asteikot Nominaali- eli laatueroasteikko Ordinaali- eli järjestysasteikko Intervalli- eli välimatka-asteikko ( nolla mielivaltainen ) Suhdeasteikko ( nolla ei ole mielivaltainen ) Otos

Lisätiedot

Estimointi populaation tuntemattoman parametrin arviointia otossuureen avulla Otossuure satunnaisotoksen avulla määritelty funktio

Estimointi populaation tuntemattoman parametrin arviointia otossuureen avulla Otossuure satunnaisotoksen avulla määritelty funktio 17.11.2015/1 MTTTP5, luento 17.11.2015 Luku 5 Parametrien estimointi 5.1 Piste-estimointi Estimointi populaation tuntemattoman parametrin arviointia otossuureen avulla Otossuure satunnaisotoksen avulla

Lisätiedot

Lause 4.2. Lineearinen pienimmän keskineliövirheen estimaattoi on lineaarinen projektio.

Lause 4.2. Lineearinen pienimmän keskineliövirheen estimaattoi on lineaarinen projektio. Määritelmä 4.3. Estimaattoria X(Y ) nimitetään lineaariseksi projektioksi, jos X on lineaarinen kuvaus ja E[(X X(Y )) Y] 0 }{{} virhetermi Lause 4.2. Lineearinen pienimmän keskineliövirheen estimaattoi

Lisätiedot

Jos nyt on saatu havaintoarvot Ü ½ Ü Ò niin suurimman uskottavuuden

Jos nyt on saatu havaintoarvot Ü ½ Ü Ò niin suurimman uskottavuuden 1.12.2006 1. Satunnaisjakauman tiheysfunktio on Ü µ Üe Ü, kun Ü ja kun Ü. Määritä parametrin estimaattori momenttimenetelmällä ja suurimman uskottavuuden menetelmällä. Ratkaisu: Jotta kyseessä todella

Lisätiedot

Tilastotieteen kertaus. Vilkkumaa / Kuusinen 1

Tilastotieteen kertaus. Vilkkumaa / Kuusinen 1 Tilastotieteen kertaus Vilkkumaa / Kuusinen 1 Motivointi Reaalimaailman ilmiöihin liittyy tyypillisesti satunnaisuutta ja epävarmuutta Ilmiöihin liittyvien havaintojen ajatellaan usein olevan peräisin

Lisätiedot

Moniulotteiset satunnaismuuttujat ja jakaumat

Moniulotteiset satunnaismuuttujat ja jakaumat Todennäköisyyslaskenta Osa 2: Satunnaismuuttujat ja todennäköisyysjakaumat Moniulotteiset satunnaismuuttujat ja jakaumat KE (2014) 1 Moniulotteiset satunnaismuuttujat ja todennäköisyysjakaumat >> Kaksiulotteiset

Lisätiedot

Sovellettu todennäköisyyslaskenta B

Sovellettu todennäköisyyslaskenta B Sovellettu todennäköisyyslaskenta B Antti Rasila 18. lokakuuta 2007 Antti Rasila () TodB 18. lokakuuta 2007 1 / 19 1 Tilastollinen aineisto 2 Tilastollinen malli Yksinkertainen satunnaisotos 3 Otostunnusluvut

Lisätiedot

Johdatus todennäköisyyslaskentaan Moniulotteiset satunnaismuuttujat ja todennäköisyysjakaumat. TKK (c) Ilkka Mellin (2005) 1

Johdatus todennäköisyyslaskentaan Moniulotteiset satunnaismuuttujat ja todennäköisyysjakaumat. TKK (c) Ilkka Mellin (2005) 1 Johdatus todennäköisyyslaskentaan Moniulotteiset satunnaismuuttujat ja todennäköisyysjakaumat TKK (c) Ilkka Mellin (2005) 1 Moniulotteiset satunnaismuuttujat ja todennäköisyysjakaumat Kaksiulotteiset todennäköisyysjakaumat

Lisätiedot

Johdatus todennäköisyyslaskentaan Normaalijakaumasta johdettuja jakaumia. TKK (c) Ilkka Mellin (2005) 1

Johdatus todennäköisyyslaskentaan Normaalijakaumasta johdettuja jakaumia. TKK (c) Ilkka Mellin (2005) 1 Johdatus todennäköisyyslaskentaan Normaalijakaumasta johdettuja jakaumia TKK (c) Ilkka Mellin (2005) 1 Normaalijakaumasta johdettuja jakaumia Johdanto χ 2 -jakauma F-jakauma t-jakauma TKK (c) Ilkka Mellin

Lisätiedot

Gripenberg. MS-A0502 Todennäköisyyslaskennan ja tilastotieteen peruskurssi Tentti ja välikoeuusinta

Gripenberg. MS-A0502 Todennäköisyyslaskennan ja tilastotieteen peruskurssi Tentti ja välikoeuusinta MS-A00 Todennäköisyyslaskennan ja tilastotieteen peruskurssi Tentti ja välikoeuusinta 7.. Gripenberg Kirjoita jokaiseen koepaperiin nimesi, opiskelijanumerosi ym. tiedot ja minkä kokeen suoritat! Laskin,

Lisätiedot

Odotusarvo. Odotusarvon ominaisuuksia Satunnaismuuttujien ominaisuuksia 61

Odotusarvo. Odotusarvon ominaisuuksia Satunnaismuuttujien ominaisuuksia 61 3.3. Satunnaismuuttujien ominaisuuksia 61 Odotusarvo Määritelmä 3.5 (Odotusarvo) Olkoon X diskreetti satunnaismuuttuja, jonka arvojoukko on S ja todennäköisyysfunktio f X (x). Silloin X:n odotusarvo on

Lisätiedot

FoA5 Tilastollisen analyysin perusteet puheentutkimuksessa. 6. luento. Pertti Palo

FoA5 Tilastollisen analyysin perusteet puheentutkimuksessa. 6. luento. Pertti Palo FoA5 Tilastollisen analyysin perusteet puheentutkimuksessa 6. luento Pertti Palo 1.11.2012 Käytännön asioita Harjoitustöiden palautus sittenkin sähköpostilla. PalautusDL:n jälkeen tiistaina netistä löytyy

Lisätiedot

Inversio-ongelmien laskennallinen peruskurssi Luento 2

Inversio-ongelmien laskennallinen peruskurssi Luento 2 Inversio-ongelmien laskennallinen peruskurssi Luento 2 Kevät 2012 1 Lineaarinen inversio-ongelma Määritelmä 1.1. Yleinen (reaaliarvoinen) lineaarinen inversio-ongelma voidaan esittää muodossa m = Ax +

Lisätiedot

1. USEAN SELITTÄJÄN LINEAARINEN REGRESSIOMALLI JA OSITTAISKORRELAATIO

1. USEAN SELITTÄJÄN LINEAARINEN REGRESSIOMALLI JA OSITTAISKORRELAATIO Mat-2.104 Tilastollisen analyysin perusteet / Ratkaisut Aiheet: Avainsanat Usean selittäjän lineaarinen regressiomalli Estimaatti, Estimaattori, Estimointi, Jäännösneliösumma, Jäännöstermi, Jäännösvarianssi,

Lisätiedot

Tilastollinen päättely. 5. Väliestimointi Johdanto Luottamusvälien konstruointi Luottamusvälien vertailu

Tilastollinen päättely. 5. Väliestimointi Johdanto Luottamusvälien konstruointi Luottamusvälien vertailu ilastollinen päättely 5.. Johdanto Estimointi, Joukkoestimointi, Kriittinen alue, uottamusjoukko, uottamustaso, uottamusväli, Otos, Parametri, Peittotodennäköisyys, Piste-estimointi, Väliestimaatti, Väliestimaattori,

Lisätiedot

MS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi

MS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi MS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi Viikko 5 Tilastollisten hypoteesien testaaminen Lasse Leskelä, Heikki Seppälä Matematiikan ja systeemianalyysin laitos Perustieteiden korkeakoulu

Lisätiedot

Harjoitusten 5 vastaukset

Harjoitusten 5 vastaukset Harjoitusten 5 vastaukset 1. a) Regressiossa (1 ) selitettävänä on y jaselittäjinävakiojax matriisin muuttujat. Regressiossa (1*) selitettävänä on y:n poikkeamat keskiarvostaan ja selittäjinä X matriisin

Lisätiedot

χ = Mat Sovellettu todennäköisyyslasku 11. harjoitukset/ratkaisut

χ = Mat Sovellettu todennäköisyyslasku 11. harjoitukset/ratkaisut Mat-2.091 Sovellettu todennäköisyyslasku /Ratkaisut Aiheet: Yhteensopivuuden testaaminen Homogeenisuuden testaaminen Riippumattomuuden testaaminen Avainsanat: Estimointi, Havaittu frekvenssi, Homogeenisuus,

Lisätiedot

VALTIOTIETEELLINEN TIEDEKUNTA TILASTOTIETEEN VALINTAKOE Ratkaisut ja arvostelu < X 170

VALTIOTIETEELLINEN TIEDEKUNTA TILASTOTIETEEN VALINTAKOE Ratkaisut ja arvostelu < X 170 VALTIOTIETEELLINEN TIEDEKUNTA TILASTOTIETEEN VALINTAKOE 4.6.2013 Ratkaisut ja arvostelu 1.1 Satunnaismuuttuja X noudattaa normaalijakaumaa a) b) c) d) N(170, 10 2 ). Tällöin P (165 < X < 175) on likimain

Lisätiedot

Matematiikan tukikurssi

Matematiikan tukikurssi Matematiikan tukikurssi Kurssikerta 9 1 Implisiittinen derivointi Tarkastellaan nyt yhtälöä F(x, y) = c, jossa x ja y ovat muuttujia ja c on vakio Esimerkki tällaisesta yhtälöstä on x 2 y 5 + 5xy = 14

Lisätiedot

Spatiaalisiin merkkeihin ja järjestyslukuihin perustuva moniulotteinen regressioanalyysi R-ohjelmistoa käyttäen

Spatiaalisiin merkkeihin ja järjestyslukuihin perustuva moniulotteinen regressioanalyysi R-ohjelmistoa käyttäen Aalto-yliopisto Perustieteiden korkeakoulu Teknillisen fysiikan ja matematiikan tutkinto-ohjelma Spatiaalisiin merkkeihin ja järjestyslukuihin perustuva moniulotteinen regressioanalyysi R-ohjelmistoa käyttäen

Lisätiedot

1. PÄÄTTELY YHDEN SELITTÄJÄN LINEAARISESTA REGRESSIOMALLISTA

1. PÄÄTTELY YHDEN SELITTÄJÄN LINEAARISESTA REGRESSIOMALLISTA Mat-2.104 Tilastollisen analyysin perusteet / Ratkaisut Aiheet: Avainsanat Päättely yhden selittäjän lineaarisesta regressiomallista Ennustaminen, Ennuste, Ennusteen luottamusväli, Estimaatti, Estimaattori,

Lisätiedot

Simuloinnin strategisia kysymyksiä

Simuloinnin strategisia kysymyksiä Simuloinnin strategisia kysymyksiä Timo Tiihonen Tietotekniikan laitos 2010 Simuloinnin strategisia kysymyksiä Miten toimitaan, kun halutaan tietää enemmän kuin yhden simulointimallin tulos. Miten tulos

Lisätiedot

Jos nollahypoteesi pitää paikkansa on F-testisuuren jakautunut Fisherin F-jakauman mukaan

Jos nollahypoteesi pitää paikkansa on F-testisuuren jakautunut Fisherin F-jakauman mukaan 17.11.2006 1. Kahdesta kohteesta (A ja K) kerättiin maanäytteitä ja näistä mitattiin SiO -pitoisuus. Tulokset (otoskoot ja otosten tunnusluvut): A K 10 16 Ü 64.94 57.06 9.0 7.29 Oletetaan mittaustulosten

Lisätiedot

Liittomatriisi. Liittomatriisi. Määritelmä 16 Olkoon A 2 M(n, n). Matriisin A liittomatriisi on cof A 2 M(n, n), missä. 1) i+j det A ij.

Liittomatriisi. Liittomatriisi. Määritelmä 16 Olkoon A 2 M(n, n). Matriisin A liittomatriisi on cof A 2 M(n, n), missä. 1) i+j det A ij. Liittomatriisi Määritelmä 16 Olkoon A 2 M(n, n). Matriisin A liittomatriisi on cof A 2 M(n, n), missä (cof A) ij =( 1) i+j det A ij kaikilla i, j = 1,...,n. Huomautus 8 Olkoon A 2 M(n, n). Tällöin kaikilla

Lisätiedot

Tilastollisen analyysin perusteet Luento 11: Epäparametrinen vastine ANOVAlle

Tilastollisen analyysin perusteet Luento 11: Epäparametrinen vastine ANOVAlle Tilastollisen analyysin perusteet Luento 11: Epäparametrinen vastine ANOVAlle - Sisältö - - - Varianssianalyysi Varianssianalyysissä (ANOVA) testataan oletusta normaalijakautuneiden otosten odotusarvojen

Lisätiedot

3 Lineaariset yhtälöryhmät ja Gaussin eliminointimenetelmä

3 Lineaariset yhtälöryhmät ja Gaussin eliminointimenetelmä 3 Lineaariset yhtälöryhmät ja Gaussin eliminointimenetelmä Lineaarinen m:n yhtälön yhtälöryhmä, jossa on n tuntematonta x 1,, x n on joukko yhtälöitä, jotka ovat muotoa a 11 x 1 + + a 1n x n = b 1 a 21

Lisätiedot