Ilkka Mellin Tilastolliset menetelmät. Osa 4: Lineaarinen regressioanalyysi. Yleinen lineaarinen malli. TKK (c) Ilkka Mellin (2007) 1
|
|
- Mari Kivelä
- 7 vuotta sitten
- Katselukertoja:
Transkriptio
1 Ilkka Mellin Tilastolliset menetelmät Osa 4: Lineaarinen regressioanalyysi Yleinen lineaarinen malli TKK (c) Ilkka Mellin (2007) 1
2 Yleinen lineaarinen malli >> Usean selittäjän lineaarinen regressiomalli Yleisen lineaarisen mallin matriisisesitys Yleisen lineaarisen mallin estimointi Varianssianalyysihajotelma ja selitysaste Päättely yleisestä lineaarisesta mallista Ennustaminen yleisellä lineaarisella mallilla Yleinen lineaarinen malli ja satunnaiset selittäjät TKK (c) Ilkka Mellin (2007) 2
3 Usean selittäjän lineaarinen regressiomalli Selitettävä muuttuja ja selittävät muuttujat Oletetaan, että selitettävän muuttujan y havaittujen arvojen vaihtelu halutaan selittää selittävien muuttujien eli selittäjien x 1, x 2,, x k havaittujen arvojen vaihtelun avulla. Tehdään seuraavat oletukset: Selitettävä muuttuja y on suhdeasteikollinen satunnaismuuttuja. Selittävät muuttujat x 1, x 2,, x k ovat kiinteitä eli eisatunnaisia muuttujia. Huomautus: Satunnaisten selittäjien tapausta käsitellään erikseen. TKK (c) Ilkka Mellin (2007) 3
4 Usean selittäjän lineaarinen regressiomalli Havainnot 1/3 Olkoot y 1, y 2,, y n selitettävän muuttujan y ja x 1j, x 2j,, x nj selittävän muuttujan x j, j = 1, 2,, k havaittuja arvoja. Oletetaan lisäksi, että havainnot x ij ja y i liittyvät samaan havaintoyksikköön i = 1, 2,, n kaikille j = 1, 2,, k. TKK (c) Ilkka Mellin (2007) 4
5 Usean selittäjän lineaarinen regressiomalli Havainnot 2/3 Järjestetään selitettävää muuttujaa y ja selittäjiä x 1, x 2,, x k koskevat havaintoarvot havaintoyksiköittäin seuraavalla tavalla: Havaintoyksikkö 1: x 11, x 12,, x 1k, y 1 Havaintoyksikkö 2: x 21, x 22,, x 2k, y 2 Havaintoyksikkö n: x n1, x n2,, x nk, y n Havaintoarvoja voidaan asettaa vastaamaan pisteet (k + 1)- ulotteisessa avaruudessa: ( x, x,, x k+ 1, y ) R, i = 1,2,, n i1 i2 ik j TKK (c) Ilkka Mellin (2007) 5
6 Usean selittäjän lineaarinen regressiomalli Havainnot 3/3 Havaintopisteen k+ 1 ( xi1, xi2,, xik, yi) R, i = 1,2,, n koordinaateilla on seuraavat tulkinnat: y i = selitettävän muuttujan y satunnainen ja havaittu arvo havaintoyksikössä i x ij = selitettävän muuttujan eli selittäjän x j eisatunnainen ja havaittu arvo havaintoyksikössä i, j = 1, 2,, k k = (aitojen) selittäjien x j lukumäärä n = havaintojen lukumäärä TKK (c) Ilkka Mellin (2007) 6
7 Usean selittäjän lineaarinen regressiomalli Yleinen lineaarinen malli ja sen osat 1/3 Oletetaan, että muuttujien y ja x 1, x 2,, x k havaittujen arvojen y i ja x ij välillä vallitsee lineaarinen tilastollinen riippuvuus, joka voidaan ilmaista yhtälöllä yi = β0 + β1xi 1+ β2xi2 + + βkxik + εi, i = 1,2,, n Yhtälö määrittelee usean selittäjän lineaarisen regressiomallin, jota kutsutaan tavallisesti yleiseksi lineaariseksi malliksi. TKK (c) Ilkka Mellin (2007) 7
8 Usean selittäjän lineaarinen regressiomalli Yleinen lineaarinen malli ja sen osat 2/3 Yhtälö yi = β0 + β1xi 1+ β2xi2 + + βkxik + εi, i = 1,2,, n määrittelee yleisen lineaarisen mallin, jossa: y i = selitettävän muuttujan y satunnainen ja havaittu arvo havaintoyksikössä i x ij = selittävän muuttujan eli selittäjän x j eisatunnainen ja havaittu arvo havaintoyksikössä i, j = 1, 2,, k ε i = jäännös- eli virhetermin ε satunnainen ja ei-havaittu arvo havaintoyksikössä i TKK (c) Ilkka Mellin (2007) 8
9 Usean selittäjän lineaarinen regressiomalli Yleinen lineaarinen malli ja sen osat 3/3 Yhtälön yi = β0 + β1xi 1+ β2xi2 + + βkxik + εi, i = 1,2,, n määrittelemässä yleisessä lineaarisessa mallissa on seuraavat kertoimet: β 0 = vakioselittäjän regressiokerroin; β 0 on ei-satunnainen ja tuntematon vakio β j = selittäjän x j regressiokerroin, j = 1, 2,, k ; β j on ei-satunnainen ja tuntematon vakio Huomautus: Regressiokertoimet β 0, β 1, β 2,, β k on oletettu samoiksi kaikille havaintoyksiköille i. TKK (c) Ilkka Mellin (2007) 9
10 Usean selittäjän lineaarinen regressiomalli Vakioselittäjä: Kommentti Yleisen lineaarisen mallin yi = β0 + β1xi 1+ β2xi2 + + βkxik + εi, i = 1,2,, n kerrointa β 0 kutsutaan vakioselittäjän regressiokertoimeksi. Nimitys johtuu siitä, että kerrointa β 0 vastaa keinotekoinen selittäjä, joka saa kaikille havaintoyksiköille i = 1, 2,, n vakioarvon 1. Huomautus: Jatkossa esitettävät kaavat eivät välttämättä päde tässä esitettävässä muodossa, jos mallissa ei ole vakioselittäjää. Oletamme jatkossa, että mallissa on aina vakioselittäjä. TKK (c) Ilkka Mellin (2007) 10
11 Usean selittäjän lineaarinen regressiomalli Standardioletukset 1/2 Olkoon yi = β0 + β1xi 1+ β2xi2 + + βkxik + εi, i = 1,2,, n yleinen lineaarinen malli. Mallista tehdään tavallisesti seuraavalla kalvolla esitettävät 6 oletusta, joita kutsutaan yleistä lineaarista mallia koskeviksi standardioletuksiksi. Näiden oletuksien voimassaolo takaa sen, että jatkossa esiteltäviä ns. tavanomaisia estimointi- ja testausmenetelmiä saa käyttää mallin analysointiin. TKK (c) Ilkka Mellin (2007) 11
12 Usean selittäjän lineaarinen regressiomalli Standardioletukset 2/2 Yleistä lineaarista mallia yi = β0 + β1xi 1+ β2xi2 + + βkxik + εi, i = 1,2,, n koskevat standardioletukset: (i) Selittäjien x j arvot x ij ovat kiinteitä eli eisatunnaisia vakioita, i = 1, 2,, n, j = 1, 2,, k (ii) Selittäjien välillä ei ole lineaarisia riippuvuuksia. (iii) E(ε i ) = 0, i = 1, 2,, n (iv) Var(ε i ) = σ 2, i = 1, 2,, n (v) Cor(ε i, ε l ) = 0, i l (vi) ε i ~ N(0, σ 2 ), i = 1, 2,, n TKK (c) Ilkka Mellin (2007) 12
13 Usean selittäjän lineaarinen regressiomalli Standardioletus (i): Kommentteja 1/2 Standardioletus (i): Selittäjän x j arvot x ij ovat kiinteitä eli eisatunnaisia vakioita, i = 1, 2,, n, j = 1, 2,, k On syytä huomata, että tässä luvussa esitettävä lineaaristen regressiomallien perusteoria nojaa voimakkaasti oletukseen (i). Oletus (i) on kuitenkin sangen rajoittava ja se voi toteutua käytännössä vain sellaisissa tilanteissa, joissa selittäjien arvot valitaan. Selittäjien arvot voidaan valita puhtaissa koeasetelmissa, mutta harvoin muunlaisissa tutkimusasetelmissa. TKK (c) Ilkka Mellin (2007) 13
14 Usean selittäjän lineaarinen regressiomalli Standardioletus (i): Kommentteja 2/2 Standardioletus (i): Selittäjän x j arvot x ij ovat kiinteitä eli eisatunnaisia vakioita, i = 1, 2,, n, j = 1, 2,, k Vaikka standardioletus (i) on sangen rajoittava, tässä luvussa esitettävää lineaaristen regressiomallien perusteoriaa voidaan soveltaa jos sopivat lisäehdot pätevät myös monissa sellaisissa tilanteissa, joissa selittäjien arvot ovat satunnaisia; ks. kappaletta Yleinen lineaarinen malli ja satunnaiset selittäjät. TKK (c) Ilkka Mellin (2007) 14
15 Usean selittäjän lineaarinen regressiomalli Standardioletus (ii): Kommentteja Standardioletus (ii): Selittäjien välillä ei ole lineaarisia riippuvuuksia Asialooginen perustelu oletukselle (ii): Jos selittäjä x j riippuu lineaarisesti muista selittäjistä, muuttuja x j on selittäjänä redundantti ja voidaan poistaa mallista. Tekninen perustelu oletukselle (ii): Ehto (ii) takaa sen, että pienimmän neliösumman menetelmä tuottaa regressiokertoimille β 0, β 1, β 2,, β k yksikäsitteiset estimaattorit suljetussa muodossa. TKK (c) Ilkka Mellin (2007) 15
16 Usean selittäjän lineaarinen regressiomalli Standardioletus (iii): Kommentteja Standardioletus (iii): E(ε i ) = 0, i = 1, 2,, n Oletuksen (iii) mukaan kaikilla jäännös- eli virhetermeillä ε i on sama odotusarvo. Oletuksesta (iii) seuraa, että mallin rakenneosan E( y i ) = β0 + β1x i 1+ β2x i β k x ik formuloinnissa ei ole tehty systemaattista virhettä. TKK (c) Ilkka Mellin (2007) 16
17 Usean selittäjän lineaarinen regressiomalli Standardioletus (iv): Kommentteja 1/3 Standardioletus (iv): Var(ε i ) = σ 2, i = 1, 2,, n Oletuksen (iv) mukaan kaikilla jäännös- eli virhetermeillä ε i on sama varianssi. Oletusta (iv) kutsutaan homoskedastisuusoletukseksi. Jos oletus (iv) pätee, jäännöstermejä ε i sanotaan homoskedastisiksi. TKK (c) Ilkka Mellin (2007) 17
18 Usean selittäjän lineaarinen regressiomalli Standardioletus (iv): Kommentteja 2/3 Standardioletus (iv): Var(ε i ) = σ 2, i = 1, 2,, n Jos oletus (iv) ei päde, jäännöstermejä ε i sanotaan heteroskedastisiksi. Heteroskedastisuus tekee regressiokertoimien tavanomaisista estimaattoreista tehottomia. Homoskedastisuusoletusta voidaan testata tilastollisesti. TKK (c) Ilkka Mellin (2007) 18
19 Usean selittäjän lineaarinen regressiomalli Standardioletus (iv): Kommentteja 3/3 Standardioletus (iv): Var(ε i ) = σ 2, i = 1, 2,, n Myös jäännös- eli virhetermien ε i yhteinen varianssi σ 2 on mallin parametri ja se kuvaa havaintopisteiden vaihtelua regressiotason ympärillä. Oletuksien (iii) ja (iv) mukaan jäännös- eli virhetermit ε i vaihtelevat satunnaisesti nollan ympärillä. TKK (c) Ilkka Mellin (2007) 19
20 Usean selittäjän lineaarinen regressiomalli Standardioletus (v): Kommentteja Standardioletus (v): Cor(ε i, ε l ) = 0, i l Oletuksen (v) mukaan jäännös- eli virhetermit ε i eivät korreloi keskenään. Oletusta (v) kutsutaan korreloimattomuusoletukseksi. Jos oletus (v) ei päde, jäännöstermit ε i ovat korreloituneita. Korreloituneisuus tekee regressiokertoimien tavanomaisista estimaattoreista tehottomia ja jopa harhaisia. Korreloimattomuusoletusta voidaan testata tilastollisesti. TKK (c) Ilkka Mellin (2007) 20
21 Usean selittäjän lineaarinen regressiomalli Standardioletus (vi): Kommentteja Standardioletus (vi): ε i ~ N(0, σ 2 ), i = 1, 2,, n Oletuksen (vi) mukaan jäännös- eli virhetermit ε j ovat normaalijakautuneita. Oletusta (vi) kutsutaan normaalisuusoletukseksi. Oletus (vi) sisältää oletukset (iii) ja (iv). Normaalisuusoletusta voidaan testata tilastollisesti. TKK (c) Ilkka Mellin (2007) 21
22 Usean selittäjän lineaarinen regressiomalli Standardioletuksien merkitys Oletamme jatkossa, että oletukset (i)-(vi) pätevät. Oletukset (i)-(vi) takaavat sen, että yleisen lineaarisen mallin estimointi ja testaus voidaan tehdä jatkossa esitettävällä tavalla. Homoskedastisuusoletuksen (iv), korreloimattomuusoletuksen (v) ja normaalisuusoletuksen (vi) voimassaoloa voidaan tutkia regressiodiagnostiikan avulla. Oletuksia (i)-(vi) voidaan lieventää tai niistä voidaan jopa luopua, mutta jos oletuksista (i)-(vi) luovutaan, saattaa olla syytä käyttää muita kuin tässä esitettäviä estimointi- ja testausmenetelmiä. TKK (c) Ilkka Mellin (2007) 22
23 Usean selittäjän lineaarinen regressiomalli Yleisen lineaarisen mallin parametrit Yleisen lineaarisen mallin yi = β0 + β1xi 1+ β2xi2 + + βkxik + εi, i = 1,2,, n parametreja ovat mallin regressiokertoimet β 0, β 1, β 2,, β k sekä jäännös- eli virhetermien ε i yhteinen varianssi 2 Var( εi ) = σ, i = 1,2,, n jota kutsutaan jäännösvarianssiksi. Koska regressiokertoimet β 0, β 1, β 2,, β k ja jäännösvarianssi σ 2 ovat tavallisesti tuntemattomia, ne on estimoitava muuttujien x 1, x 2,, x k ja y havaituista arvoista. TKK (c) Ilkka Mellin (2007) 23
24 Usean selittäjän lineaarinen regressiomalli Selitettävän muuttujan ominaisuudet Jos yleistä lineaarista mallia yi = β0 + β1xi 1+ β2xi2 + + βkxik + εi, i = 1,2,, n koskevat standardioletukset (i)-(vi) pätevät, mallin selitettävän muuttujan y havaituilla arvoilla y i on seuraavat stokastiset ominaisuudet: (iii) E( yi) = β0 + β1xi 1+ β2xi2 + + βkxik, i = 1,2,, n (iv) Var(y i ) = σ 2, i = 1, 2,, n (v) Cor(y i, y l ) = 0, i l (vi) y i ~ N(E(y i ), σ 2 ), i = 1, 2,, n TKK (c) Ilkka Mellin (2007) 24
25 Usean selittäjän lineaarinen regressiomalli Mallin systemaattinen osa ja satunnainen osa 1/2 Oletetaan, että yleistä lineaarista mallia yi = β0 + β1xi 1+ β2xi2 + + βkxik + εi, i = 1,2,, n koskevat standardioletukset (i)-(v) pätevät. Tällöin selitettävän muuttujan y havaitut arvot y i voidaan esittää seuraavalla tavalla kahden osatekijän summana: yi = E( yi) + εi, i = 1,2,, n jossa E( y ) = β + β x + β x + + β x, i = 1,2,, n i 0 1 i1 2 i2 k ik TKK (c) Ilkka Mellin (2007) 25
26 Usean selittäjän lineaarinen regressiomalli Mallin systemaattinen osa ja satunnainen osa 2/2 Odotusarvo E( y i ) = β0 + β1x i 1+ β2x i β k x ik muodostaa yleisen lineaarisen mallin systemaattisen eli rakenneosan, joka riippuu selittäjille x j annetuista arvoista. Jäännös- eli virhetermi ε i muodostaa yleisen lineaarisen mallin satunnaisen osan, joka standardioletusten pätiessä ei riipu selittäjille x j annetuista arvoista. TKK (c) Ilkka Mellin (2007) 26
27 Usean selittäjän lineaarinen regressiomalli Regressiotaso Yleisen lineaarisen mallin yi = β0 + β1xi 1+ β2xi2 + + βkxik + εi, i = 1,2,, n systemaattinen osa E(y i ) määrittelee tason y = β0 + β1x1+ β2x2 + + βkxk k+1 avaruudessa. Tasoa kutsutaan regressiotasoksi. Jäännös- eli virhetermien ε i varianssi σ 2 kuvaa havaintopisteiden k+ 1 ( xi1, xi2,, xik, yi) R, i = 1,2,, n vaihtelua regressiotason ympärillä. TKK (c) Ilkka Mellin (2007) 27
28 Usean selittäjän lineaarinen regressiomalli Regressiokertoimien tulkinta Yleisen lineaarisen mallin määrittelemän regressiotason y = β0 + β1x1+ β2x2 + + βkxk kertoimilla β j, j = 1, 2,, k on seuraavat tulkinnat: Oletetaan, että selittäjän x j, j = 1, 2,, k arvo kasvaa yhdellä yksiköllä: x j x j + 1 ja kaikkien muiden selittäjien arvot pysyvät muuttumattomina. Tällöin kerroin β j kertoo paljonko selitettävän muuttujan y vastaava odotettavissa oleva arvo muuttuu: E(y) E(y) + β j TKK (c) Ilkka Mellin (2007) 28
29 Yleinen lineaarinen malli Usean selittäjän lineaarinen regressiomalli >> Yleisen lineaarisen mallin matriisisesitys Yleisen lineaarisen mallin estimointi Varianssianalyysihajotelma ja selitysaste Päättely yleisestä lineaarisesta mallista Ennustaminen yleisellä lineaarisella mallilla Yleinen lineaarinen malli ja satunnaiset selittäjät TKK (c) Ilkka Mellin (2007) 29
30 Yleisen lineaarisen mallin matriisiesitys Yleinen lineaarinen malli ja sen osat 1/2 Olkoon yi = β0 + β1xi 1+ β2xi2 + + βkxik + εi, i = 1,2,, n yleinen lineaarinen malli, jossa y i = selitettävän muuttujan y satunnainen ja havaittu arvo havaintoyksikössä i x ij = selittävän muuttujan eli selittäjän x j eisatunnainen ja havaittu arvo havaintoyksikössä i, j = 1, 2,, k ε i = jäännös- eli virhetermin ε satunnainen ja ei-havaittu arvo havaintoyksikössä i TKK (c) Ilkka Mellin (2007) 30
31 Yleisen lineaarisen mallin matriisiesitys Yleinen lineaarinen malli ja sen osat 2/2 Yleisessä lineaarisessa mallissa yi = β0 + β1xi 1+ β2xi2 + + βkxik + εi, i = 1,2,, n on seuraavat kertoimet: β 0 = vakioselittäjän regressiokerroin; β 0 on ei-satunnainen ja tuntematon vakio β j = selittäjän x j regressiokerroin; j = 1, 2,, k β j on ei-satunnainen ja tuntematon vakio TKK (c) Ilkka Mellin (2007) 31
32 Yleisen lineaarisen mallin matriisiesitys Selitettävän muuttujan arvojen matriisi Olkoon y1 y 2 y = ( y1, y2,, yn ) = y n selitettävän muuttujan y havaittujen arvojen y i, i = 1, 2,, n muodostama n-vektori. TKK (c) Ilkka Mellin (2007) 32
33 Yleisen lineaarisen mallin matriisiesitys Selittävien muuttujien arvojen matriisi Olkoon 1 x11 x12 x1 k 1 x21 x22 x 2k X = 1 xn 1 xn2 x nk selittävien muuttujien x 1, x 2,, x k havaittujen arvojen x ij, i = 1, 2,, n, j = 1, 2,, k ja ykkösten muodostama n (k + 1)-matriisi. Matriisin X ykkösten muodostama 1. sarake vastaa mallin vakioselittäjää. TKK (c) Ilkka Mellin (2007) 33
34 Yleisen lineaarisen mallin matriisiesitys Regressiokertoimien matriisi Olkoon β0 β 1 β = ( β0, β1, β2,, βk ) = β2 βk regressiokertoimien β 0, β 1, β 2,, β k muodostama (k + 1)-vektori, jossa β 0 = vakioselittäjän regressiokerroin β j = selittäjän x j regressiokerroin, j = 1, 2,, k TKK (c) Ilkka Mellin (2007) 34
35 Yleisen lineaarisen mallin matriisiesitys Jäännöstermien matriisi Olkoon ε 2 = ( ε1, ε2,, εn) = jäännöstermien ε i, i = 1, 2,, n muodostama n-vektori. ε1 ε ε n TKK (c) Ilkka Mellin (2007) 35
36 Yleisen lineaarisen mallin matriisiesitys Yleisen lineaarisen mallin matriisiesitys Yleinen lineaarinen malli voidaan esittää matriisein muodossa y = Xβ + ε jossa y = selitettävän muuttujan y havaittujen arvojen muodostama satunnainen n-vektori X = selittäjien x 1, x 2,, x k havaittujen arvojen ja ykkösten muodostama n (k + 1)-matriisi β = regressiokertoimien muodostama tuntematon ja kiinteä eli ei-satunnainen (k + 1)-vektori ε = jäännöstermien muodostama ei-havaittu ja satunnainen n-vektori TKK (c) Ilkka Mellin (2007) 36
37 Yleisen lineaarisen mallin matriisiesitys Standardioletukset Jos yleisen lineaarisen mallin y = Xβ + ε selittäjät x 1, x 2,, x k ovat kiinteitä eli ei-satunnaisia muuttujia, mallia koskevat standardioletukset voidaan esittää matriisein seuraavassa muodossa: (i) Matriisin X alkiot ovat kiinteitä eli ei-satunnaisia vakioita (ii) Matriisi X on täysiasteinen: r(x) = k + 1 (iii) E( ε) = 0 2 (iv)&(v) Cov( ε) = σ I 2 (vi) ε N (, 0 σ I) n TKK (c) Ilkka Mellin (2007) 37
38 Yleisen lineaarisen mallin matriisiesitys Odotusarvovektori Olkoon z = (z 1, z 2,, z p ) satunnaismuuttujien z 1, z 2,, z p muodostama p-vektori. Määritellään satunnaisvektorin z odotusarvovektori µ kaavalla µ = E( z ) = (E( z1),e( z2),,e( z p )) p-vektorin µ = E(z) j. alkio µ j on satunnaismuuttujan z j odotusarvo: µ = E( z ), j = 1,2,, p j j TKK (c) Ilkka Mellin (2007) 38
39 Yleisen lineaarisen mallin matriisiesitys Kovarianssimatriisi Olkoon z = (z 1, z 2,, z p ) satunnaismuuttujien z 1, z 2,, z p muodostama p-vektori. Määritellään satunnaisvektorin z kovarianssimatriisi Σ kaavalla Σ = Cov( z) = E [( z E( z))( z E( z)) ] p p-matriisin Σ = Cov(z) j. rivin ja l. sarakkeen alkio σ jl on satunnaismuuttujien z j ja z l kovarianssi: σ = Cov( z, z ) jl j l = E ( z j E( zj))( zl E( zl)) TKK (c) Ilkka Mellin (2007) 39
40 Yleinen lineaarinen malli Usean selittäjän lineaarinen regressiomalli Yleisen lineaarisen mallin matriisisesitys >> Yleisen lineaarisen mallin parametrien estimointi Varianssianalyysihajotelma ja selitysaste Päättely yleisestä lineaarisesta mallista Ennustaminen yleisellä lineaarisella mallilla Yleinen lineaarinen malli ja satunnaiset selittäjät TKK (c) Ilkka Mellin (2007) 40
41 Yleisen lineaarisen mallin parametrien estimointi Yleinen lineaarinen malli ja sen osat 1/2 Olkoon yi = β0 + β1xi 1+ β2xi2 + + βkxik + εi, i = 1,2,, n yleinen lineaarinen malli, jossa y i = selitettävän muuttujan y satunnainen ja havaittu arvo havaintoyksikössä i x ij = selittävän muuttujan eli selittäjän x j eisatunnainen ja havaittu arvo havaintoyksikössä i, j = 1, 2,, k ε i = jäännös- eli virhetermin ε satunnainen ja ei-havaittu arvo havaintoyksikössä i TKK (c) Ilkka Mellin (2007) 41
42 Yleisen lineaarisen mallin parametrien estimointi Yleinen lineaarinen malli ja sen osat 2/2 Yleisessä lineaarisessa mallissa yi = β0 + β1xi 1+ β2xi2 + + βkxik + εi, i = 1,2,, n on seuraavat kertoimet: β 0 = vakioselittäjän regressiokerroin; β 0 on ei-satunnainen ja tuntematon vakio β j = selittäjän x i regressiokerroin; j = 1, 2,, k β j on ei-satunnainen ja tuntematon vakio TKK (c) Ilkka Mellin (2007) 42
43 Yleisen lineaarisen mallin parametrien estimointi Yleisen lineaarisen mallin matriisiesitys Yleinen lineaarinen malli voidaan esittää matriisein muodossa y = Xβ + ε jossa y = selitettävän muuttujan y havaittujen arvojen muodostama satunnainen n-vektori X = selittäjien x 1, x 2,, x k havaittujen arvojen ja ykkösten muodostama n (k + 1)-matriisi β = regressiokertoimien muodostama tuntematon ja kiinteä eli ei-satunnainen (k + 1)-vektori ε = jäännöstermien muodostama ei-havaittu ja satunnainen n-vektori TKK (c) Ilkka Mellin (2007) 43
44 Yleisen lineaarisen mallin parametrien estimointi Standardioletukset Jos yleisen lineaarisen mallin y = Xβ + ε selittäjät x 1, x 2,, x k ovat kiinteitä eli ei-satunnaisia muuttujia, mallia koskevat standardioletukset voidaan esittää matriisein seuraavassa muodossa: (i) Matriisin X alkiot ovat kiinteitä eli ei-satunnaisia vakioita (ii) Matriisi X on täysiasteinen: r(x) = k + 1 (iii) E( ε) = 0 2 (iv)&(v) Cov( ε) = σ I 2 (vi) ε N (, 0 σ I) n TKK (c) Ilkka Mellin (2007) 44
45 Yleisen lineaarisen mallin parametrien estimointi Regressiokertoimien PNS-estimointi 1/3 Yleisen lineaarisen mallin yi = β0 + β1xi 1+ β2xi2 + + βkxik + εi, i = 1,2,, n regressiokertoimet β 0, β 1, β 2,, β k estimoidaan tavallisesti pienimmän neliösumman (PNS-) menetelmällä. PNS-menetelmässä regressiokertoimien β 0, β 1, β 2,, β k estimaattorit määrätään minimoimalla jäännös- eli virhetermien ε i neliösumma n n 2 2 εi = ( yi β0 β1xi1 β2xi2 βkxik) i= 1 i= 1 regressiokertoimien β 0, β 1, β 2,, β k suhteen. TKK (c) Ilkka Mellin (2007) 45
46 Yleisen lineaarisen mallin parametrien estimointi Regressiokertoimien PNS-estimointi 2/3 Neliösumman n n 2 2 εi = ( yi β0 β1xi1 β2xi2 βkxik) i= 1 i= 1 minimointi voidaan tehdä derivoimalla neliösumma regressiokertoimien β 0, β 1, β 2,, β k suhteen ja merkitsemällä derivaatat nolliksi. Tämä johtaa regressiokertoimien β 0, β 1, β 2,, β k suhteen lineaariseen yhtälöryhmään, jossa on (k + 1) yhtälöä. Yhtälöryhmällä on ratkaisu, jos standardioletus (ii) pätee. TKK (c) Ilkka Mellin (2007) 46
47 Yleisen lineaarisen mallin parametrien estimointi Regressiokertoimien PNS-estimointi 3/3 Yhtälöryhmän ratkaisuina saadaan regressiokertoimien β 0, β 1, β 2,, β k PNS-estimaattorit, joita merkitään vastaavilla latinalaisilla kirjaimilla: b j = kertoimen β j PNS-estimaattori, j = 0, 1, 2,, k Regressiokertoimien β 0, β 1, β 2,, β k PNSestimaattoreiden b 0, b 1, b 2,, b k lausekkeet on mukavinta esittää matriisimuodossa. TKK (c) Ilkka Mellin (2007) 47
48 Yleisen lineaarisen mallin parametrien estimointi Regressiokertoimien PNS-estimaattoreiden matriisiesitys Olkoon y = Xβ + ε standardioletuksen (ii) r(x) = k + 1 toteuttava yleinen lineaarinen malli. Tällöin regressiokertoimien vektorin β PNS-estimaattori on b= ( XX ) 1 Xy TKK (c) Ilkka Mellin (2007) 48
49 Yleisen lineaarisen mallin parametrien estimointi PNS-estimaattorin odotusarvo ja kovarianssimatriisi Olkoon b= ( XX ) 1 Xy yleisen lineaarisen mallin y = Xβ + ε regressiokertoimien vektorin β PNS-estimaattori. Jos standardioletukset (i)-(v) pätevät, E( b) = β 2 1 Cov( b) = σ ( XX ) Koska E(b) = β, niin PNS-estimaattori b on regressiokertoimien vektorin β harhaton estimaattori. TKK (c) Ilkka Mellin (2007) 49
50 Yleisen lineaarisen mallin parametrien estimointi PNS-estimaattorin normaalisuus Olkoon b= ( XX ) 1 Xy yleisen lineaarisen mallin y = Xβ + ε regressiokertoimien vektorin β PNS-estimaattori. Jos standardioletukset (i)-(vi) pätevät, 2 1 b N β, σ ( XX) ( ) k+ 1 TKK (c) Ilkka Mellin (2007) 50
51 Yleisen lineaarisen mallin parametrien estimointi PNS-estimaattorin paremmuus: Gaussin ja Markovin lause Olkoon y = Xβ + ε yleinen lineaarinen malli, joka toteuttaa standardioletukset (i)-(v). Tällöin pätee Gaussin ja Markovin lause: Regressiokertoimien vektorin β PNS-estimaattori b= ( XX ) 1 Xy on paras (siinä mielessä, että se on tehokkain) vektorin β lineaaristen ja harhattomien estimaattoreiden joukossa. TKK (c) Ilkka Mellin (2007) 51
52 Yleisen lineaarisen mallin parametrien estimointi PNS-estimaattorin paremmuus: Gaussin ja Markovin lauseen tulkinta 1/3 Regressiokertoimien vektorin β PNS-estimaattorin b paremmuudella tarkoitetaan Gaussin ja Markovin lauseessa seuraavaa: Olkoon b * on mikä tahansa toinen regressiokertoimien vektorin β lineaarinen ja harhaton estimaattori, niin tällöin * Cov( b ) Cov( b) TKK (c) Ilkka Mellin (2007) 52
53 Yleisen lineaarisen mallin parametrien estimointi PNS-estimaattorin paremmuus: Gaussin ja Markovin lauseen tulkinta 2/3 Merkintä * Cov( b ) Cov( b) tarkoittaa sitä, että erotus * Cov( b ) Cov( b) on positiivisesti semidefiniitti matriisi eli * a Cov( b ) Cov( b) a 0 kaikille a 0 ( ) TKK (c) Ilkka Mellin (2007) 53
54 Yleisen lineaarisen mallin parametrien estimointi PNS-estimaattorin paremmuus: Gaussin ja Markovin lauseen tulkinta 3/3 Epäyhtälöstä ( * a Cov( b ) Cov( b) ) a 0 kaikille a 0 seuraa erityisesti se, että yksittäisten regressiokertoimien PNS-estimaattoreiden b j, j = 0, 1, 2,, k varianssit ovat pienimpiä mahdollisia lineaaristen ja harhattomien estimaattoreiden joukossa. Tämä nähdään valitsemalla vektoriksi a vektori, jossa ainoa nollasta poikkeava alkio 1 on paikassa j: a = (0,,0,1,0,,0) j. TKK (c) Ilkka Mellin (2007) 54
55 Yleisen lineaarisen mallin parametrien estimointi PNS-estimaattorin ominaisuudet Yleisen lineaarisen mallin y = Xβ + ε regressiokertoimien vektorin β PNS-estimaattorilla b on standardioletuksien (i)-(vi) pätiessä seuraavat ominaisuudet: (1) b on harhaton. (2) b paras (eli tehokkain) lineaaristen ja harhattomien estimaattoreiden joukossa. (3) b on tyhjentävä. (4) b on (sopivin lisäehdoin) tarkentuva. (5) b on normaalinen. TKK (c) Ilkka Mellin (2007) 55
56 Yleisen lineaarisen mallin parametrien estimointi Sovitteet Olkoot yleisen lineaarisen mallin yi = β0 + β1xi 1+ β2xi2 + + βkxik + εi, i = 1,2,, n regressiokertoimien PNS-estimaattorit b 0, b 1, b 2,, b k. Sovite yˆi = b0 + bx 1 i 1+ b2x i b k x ik, i = 1,2,, n on estimoidun mallin selitettävälle muuttujalle y antama arvo havaintopisteessä ( xi1, xi2,, xik) Jos standardioletukset (i)-(v) pätevät, E( y ) = β + β x + β x + + β x, i = 1,2,, n ˆi 0 1 i 1 2 i 2 k ik TKK (c) Ilkka Mellin (2007) 56
57 Yleisen lineaarisen mallin parametrien estimointi Residuaalit Olkoot yleisen lineaarisen mallin yi = β0 + β1xi 1+ β2xi2 + + βkxik + εi, i = 1,2,, n regressiokertoimien PNS-estimaattorit b 0, b 1, b 2,, b k. Residuaali ei = yi yˆ i = yi b0 bx 1 i1 b2xi2 bkxik, i = 1,2,, n on selitettävän muuttujan y havaitun arvon y i ja sovitteen y erotus. ˆi Jos standardioletukset (i)-(v) pätevät, E( e ) = 0, i = 1,2,, n i TKK (c) Ilkka Mellin (2007) 57
58 Yleisen lineaarisen mallin parametrien estimointi Sovitteet, residuaalit ja regressiomallin hyvyys Regressiomallin hyvyyden tutkimisessa voidaan käyttää hyväksi estimoidun mallin sovitteita ja residuaaleja : (i) Regressiomalli selittää selitettävän muuttujan havaittujen arvojen vaihtelun sitä paremmin mitä lähempänä estimoidun mallin sovitteet yˆi ovat selitettävän muuttujan havaittuja arvoja y i. (ii) Regressiomalli selittää selitettävän muuttujan havaittujen arvojen vaihtelun sitä paremmin mitä pienempiä ovat estimoidun mallin residuaalit e i. TKK (c) Ilkka Mellin (2007) 58
59 Yleisen lineaarisen mallin parametrien estimointi Sovitteiden ja residuaalien matriisiesitykset 1/2 Olkoon b= ( XX ) 1 Xy yleisen lineaarisen mallin y = Xβ + ε regressiokertoimien vektorin β PNS-estimaattori. Tällöin yˆ = Xb = X( X X) 1 X y = Py on sovitteiden yˆ i, i = 1,2,, n muodostama n-vektori ja 1 e = y yˆ = ( I X( XX ) X ) y = ( I P) y = My on residuaalien e i, i = 1, 2,, n muodostama n-vektori. TKK (c) Ilkka Mellin (2007) 59
60 Yleisen lineaarisen mallin parametrien estimointi Sovitteiden ja residuaalien matriisiesitykset 2/2 Sovitteiden ja residuaalien muodostamien vektoreiden lausekkeissa esiintyvät n n-matriisit 1 P= X( XX ) X 1 M = I P= I X( XX ) X ovat symmetrisiä ja idempotentteja eli projektioita: 2 P = P P = P 2 M = M M = M Lisäksi PM = MP = 0 Näillä matriiseja P ja M koskevilla tuloksilla on keskeinen merkitys johdettaessa lineaarisen mallin estimointiin ja testaukseen liittyviä jakaumatuloksia. TKK (c) Ilkka Mellin (2007) 60
61 Yleisen lineaarisen mallin parametrien estimointi Sovitteiden ja residuaalien ominaisuudet Sovitteiden ja residuaalien muodostamilla vektoreilla on seuraavat stokastiset ominaisuudet: Sovitteiden muodostama vektori ŷ : E( yˆ ) = Xβ Cov( yˆ ) = σ P = σ X( XX ) X Residuaalien muodostama vektori e : E( e) = Cov( e) = σ M = σ ( I P) = σ ( I X( XX ) X ) Huomautus: Residuaalit e i ovat siis (lievästi) korreloituneita, vaikka jäännöstermit ε i on oletettu korreloimattomiksi. TKK (c) Ilkka Mellin (2007) 61
62 Yleisen lineaarisen mallin parametrien estimointi Jäännösvarianssin estimointi Jos yleisen lineaarisen mallin jäännös-eli virhetermejä ε i koskevat standardioletukset (i)-(v) pätevät, jäännösvarianssin Var(ε i ) = σ 2 harhaton estimaattori on n s = ei n k 1 i= 1 jossa e i = estimoidun mallin residuaali, i = 1, 2,, n n = havaintojen lukumäärä k = (aitojen) selittäjien x j lukumäärä TKK (c) Ilkka Mellin (2007) 62
63 Yleisen lineaarisen mallin parametrien estimointi Jäännösvarianssin estimointi: Kommentti Estimaattori s 2 on residuaalien e i varianssi. Tämä seuraa siitä, että mallissa on vakioselittäjä, jolloin n i= 1 e i = 0 ja siten myös n 1 e = ei = 0 n i = 1 jolloin s 1 e e 1 e n 2 ( ) 2 n 2 = i = i n k 1 i= 1 n k 1 i= 1 TKK (c) Ilkka Mellin (2007) 63
64 Yleisen lineaarisen mallin parametrien estimointi Estimoitu regressiotaso Yleisen lineaarisen mallin yi = β0 + β1xi 1+ β2xi2 + + βkxik + εi, i = 1,2,, n regressiokertoimien β 0, β 1, β 2,, β k PNS-estimaattorit b 0, b 1, b 2,, b k määrittelevät tason y = b0 + bx 1 1+ b2x2 + + bkxk k+1 avaruudessa. Tasoa kutsutaan estimoiduksi regressiotasoksi. Jäännösvarianssin σ 2 estimaattori s 2 kuvaa havaintopisteiden k+ 1 ( xi1, xi2,, xik, yi) R, i = 1,2,, n vaihtelua estimoidun regressiotason ympärillä. TKK (c) Ilkka Mellin (2007) 64
65 Yleinen lineaarinen malli Usean selittäjän lineaarinen regressiomalli Yleisen lineaarisen mallin matriisisesitys Yleisen lineaarisen mallin estimointi >> Varianssianalyysihajotelma ja selitysaste Päättely yleisestä lineaarisesta mallista Ennustaminen yleisellä lineaarisella mallilla Yleinen lineaarinen malli ja satunnaiset selittäjät TKK (c) Ilkka Mellin (2007) 65
66 Varianssianalyysihajotelma ja selitysaste Varianssianalyysihajotelman idea Regressiomallin tehtävänä on selittää selitettävän muuttujan y havaittujen arvojen vaihtelu selittävien muuttujien x 1, x 2,, x k havaittujen arvojen vaihtelulla. Tämän tehtävän onnistumista voidaan kuvata ns. varianssianalyysihajotelman avulla. Hajotelmassa selitettävän muuttujan y havaittujen arvojen kokonaisvaihtelua kuvaava ns. kokonaisneliösumma jaetaan kahden osatekijän summaksi: (i) Toinen osatekijä kuvaa estimoidun mallin selittämää osaa kokonaisvaihtelusta. (ii) Toinen osatekijä kuvaa mallilla selittämättä jäänyttä osaa kokonaisvaihtelusta. TKK (c) Ilkka Mellin (2007) 66
67 Varianssianalyysihajotelma ja selitysaste Sovitteet Olkoot yleisen lineaarisen mallin yi = β0 + β1xi 1+ β2xi2 + + βkxik + εi, i = 1,2,, n regressiokertoimien PNS-estimaattorit b 0, b 1, b 2,, b k. Sovite yˆi = b0 + bx 1 i 1+ b2x i b k x ik, i = 1,2,, n on estimoidun mallin selitettävälle muuttujalle y antama arvo havaintopisteessä ( x, x,, x ), i = 1,2,, n i1 i2 ik TKK (c) Ilkka Mellin (2007) 67
68 Varianssianalyysihajotelma ja selitysaste Residuaalit Olkoot yleisen lineaarisen mallin yi = β0 + β1xi 1+ β2xi2 + + βkxik + εi, i = 1,2,, n regressiokertoimien PNS-estimaattorit b 0, b 1, b 2,, b k. Residuaali ei = yi yˆ i = yi b0 bx 1 i1 b2xi2 bkxik, i = 1,2,, n on selitettävän muuttujan y havaitun arvon y i ja sovitteen y erotus. ˆi TKK (c) Ilkka Mellin (2007) 68
69 Varianssianalyysihajotelma ja selitysaste Kokonaisneliösumma Yleisen lineaarisen mallin selitettävän muuttujan y havaittujen arvojen y i vaihtelun mittaaminen perustuu kokonaisneliösummaan n SST = ( yi y) i= 1 2 jossa y on selitettävän muuttujan y havaittujen arvojen y i aritmeettinen keskiarvo. Selitettävän muuttujan y havaittujen arvojen y i varianssi voidaan määritellä kaavalla 2 SST sy = n 1 TKK (c) Ilkka Mellin (2007) 69
70 Varianssianalyysihajotelma ja selitysaste Jäännösneliösumma Residuaalien e i vaihtelun mittaaminen perustuu jäännösneliösummaan SSE n = e i= 1 2 i Koska mallissa on vakioselittäjä, jolloin e i = 0, residuaalien e i varianssi voidaan määritellä kaavalla 2 SSE s = n k 1 Koska E(s 2 ) = σ 2 niin estimaattori s 2 on harhaton jäännösvarianssille σ 2. TKK (c) Ilkka Mellin (2007) 70
71 Varianssianalyysihajotelma ja selitysaste Mallineliösumma Voidaan osoittaa, että jäännösneliösumma on korkeintaan yhtä suuri kuin kokonaisneliösumma: SSE SST Määritellään erotus SSM = SST SSE Koska n SSM = ( yˆ i y) i= 1 2 jossa y on selitettävän muuttujan y havaittujen arvojen y i aritmeettinen keskiarvo, erotusta SSM kutsutaan mallineliösummaksi. TKK (c) Ilkka Mellin (2007) 71
72 Varianssianalyysihajotelma ja selitysaste Varianssianalyysihajotelma 1/2 Edellä esitetyn mukaan kokonaisneliösumma voidaan esittää kahden osatekijän SSM ja SSE summana: jossa ja SST = ( yi y) SST = SSM + SSE SSE n i= 1 SSM = ( yˆ i y) i= 1 n n = e i= 1 2 i 2 2 TKK (c) Ilkka Mellin (2007) 72
73 Varianssianalyysihajotelma ja selitysaste Varianssianalyysihajotelma 2/2 Varianssianalyysihajotelmassa SST = SSM + SSE selitettävän muuttujan y havaittujen arvojen vaihtelua kuvaava kokonaisneliösumma SST on esitetty kahden osatekijän SSM ja SSE summana: (i) Mallineliösumma SSM kuvaa sitä osaa selitettävän muuttujan y havaittujen arvojen vaihtelusta, jonka estimoitu malli on selittänyt. (ii) Jäännösneliösumma SSE kuvaa sitä osaa selitettävän muuttujan y havaittujen arvojen vaihtelusta, jota estimoitu malli ei ole selittänyt. TKK (c) Ilkka Mellin (2007) 73
74 Varianssianalyysihajotelma ja selitysaste Varianssianalyysihajotelman tulkinta Varianssianalyysihajotelma SST = SSM + SSE kuvaa estimoidun regressiomallin hyvyyttä: (i) Mitä suurempi on mallineliösumman SSM osuus kokonaisneliösummasta SST, sitä paremmin estimoitu malli selittää selitettävän muuttujan havaittujen arvojen vaihtelun. (ii) Mitä pienempi on jäännösneliösumman SSE osuus kokonaisneliösummasta SST, sitä paremmin estimoitu malli selittää selitettävän muuttujan havaittujen arvojen vaihtelun. TKK (c) Ilkka Mellin (2007) 74
75 Varianssianalyysihajotelma ja selitysaste Selitysaste Varianssianalyysihajotelma SST = SSM + SSE motivoi tunnusluvun 2 SSE SSM R = 1 = SST SST käytön regressiomallin hyvyyden mittarina. Tunnuslukua R 2 kutsutaan selitysasteeksi ja se mittaa regressiomallin selittämää osuutta selitettävän muuttujan havaintoarvojen kokonaisvaihtelusta. Selitysaste ilmaistaan tavallisesti prosentteina: 100 R 2 % TKK (c) Ilkka Mellin (2007) 75
76 Varianssianalyysihajotelma ja selitysaste Selitysaste ja korrelaatio Voidaan osoittaa, että selitysaste 2 R = [ Cor( y, yˆ )] 2 jossa Cor( yy, ˆ) on selitettävän muuttujan y havaittujen arvojen y j ja sovitteiden y otoskorrelaatiokerroin. ˆ j TKK (c) Ilkka Mellin (2007) 76
77 Varianssianalyysihajotelma ja selitysaste Selitysasteen ominaisuudet 1/2 Selitysasteella R 2 on seuraavat ominaisuudet: 2 (i) 0 R 1 (ii) Seuraavat ehdot ovat yhtäpitäviä: (1) R 2 = 1 (2) Kaikki residuaalit häviävät: e i = 0 kaikille i = 1, 2,, n (3) Kaikki havaintopisteet ( xi1, xi2,, xik, yi), i = 1,2,, n asettuvat samalle tasolle. (4) Malli selittää täydellisesti selitettävän muuttujan arvojen vaihtelun. TKK (c) Ilkka Mellin (2007) 77
78 Varianssianalyysihajotelma ja selitysaste Selitysasteen ominaisuudet 2/2 (iii) Seuraavat ehdot ovat yhtäpitäviä: (1) R 2 = 0 (2) b 1 = b 2 = = b k = 0 (3) Malli ei ollenkaan selitä selitettävän muuttujan arvojen vaihtelua. TKK (c) Ilkka Mellin (2007) 78
79 Yleinen lineaarinen malli Usean selittäjän lineaarinen regressiomalli Yleisen lineaarisen mallin matriisisesitys Yleisen lineaarisen mallin estimointi Varianssianalyysihajotelma ja selitysaste >> Päättely yleisestä lineaarisesta mallista Ennustaminen yleisellä lineaarisella mallilla Yleinen lineaarinen malli ja satunnaiset selittäjät TKK (c) Ilkka Mellin (2007) 79
80 Päättely yleisestä lineaarisesta mallista Mallia koskeva tilastollinen päättely Tässä kappaleessa tarkastellaan seuraavia yleistä lineaarista mallia koskevia päättelyn ongelmia: Regressiokertoimien estimaattoreiden odotusarvot ja varianssit Regressiokertoimien estimaattoreiden otosjakaumat Regressiokertoimien luottamusvälit Yleistesti regression olemassaololle Testit regressiokertoimille TKK (c) Ilkka Mellin (2007) 80
81 Päättely yleisestä lineaarisesta mallista Yleinen lineaarinen malli ja sen osat Yleisessä lineaarisessa mallissa y = Xβ + ε on seuraavat osat: y = selitettävän muuttujan y havaittujen arvojen muodostama satunnainen n-vektori X = selittäjien x 1, x 2,, x k havaittujen arvojen ja ykkösten muodostama n (k + 1)-matriisi β = regressiokertoimien muodostama tuntematon ja kiinteä eli ei-satunnainen (k + 1)-vektori ε = jäännöstermien muodostama ei-havaittu ja satunnainen n-vektori TKK (c) Ilkka Mellin (2007) 81
82 Päättely yleisestä lineaarisesta mallista Standardioletukset Jos yleisen lineaarisen mallin y = Xβ + ε selittäjät x 1, x 2,, x k ovat kiinteitä eli ei-satunnaisia muuttujia, mallia koskevat standardioletukset voidaan esittää matriisein seuraavassa muodossa: (i) Matriisin X alkiot ovat kiinteitä eli ei-satunnaisia vakioita (ii) (iii) (iv)&(v) (vi) Matriisi X on täysiasteinen: r(x) = k + 1 E( ε) = 0 Cov( ε) 2 = σ I ε 0 I 2 N n(, σ ) TKK (c) Ilkka Mellin (2007) 82
83 Päättely yleisestä lineaarisesta mallista Regressiokertoimien PNS-estimointi Yleisen lineaarisen mallin y = Xβ + ε regressiokertoimien vektorin β PNS-estimaattori on b= ( XX ) 1 Xy TKK (c) Ilkka Mellin (2007) 83
84 Päättely yleisestä lineaarisesta mallista PNS-estimaattorin otosjakauma 1/2 Jos standardioletukset (i)-(v) pätevät, regressiokertoimien vektorin β PNS-estimaattorilla b= ( XX ) 1 Xy on seuraavat stokastiset ominaisuudet: E( b) = β 2 1 Cov( b) = σ ( XX ) Jos myös standardioletus (vi) pätee, PNS-estimaattori b noudattaa normaalijakaumaa: 2 1 b N ( β, σ ( XX) ) k+ 1 TKK (c) Ilkka Mellin (2007) 84
85 Päättely yleisestä lineaarisesta mallista PNS-estimaattorin otosjakauma 2/2 Jos standardioletukset (i)-(v) pätevät, regressiokertoimen β j, j = 0, 1, 2,, k PNS-estimaattorilla b j on seuraavat stokastiset ominaisuudet: E( b ) = β j j D( bj) = σb = σ ( ) j XX j+ 1, j+ 1 Jos myös standardioletus (vi) pätee, PNS-estimaattori b j noudattaa normaalijakaumaa: 2 b N( β, σ ) j j b j TKK (c) Ilkka Mellin (2007) 85
86 Päättely yleisestä lineaarisesta mallista PNS-estimaattoreiden varianssien estimointi Jos standardioletukset (i)-(v) pätevät, regressiokertoimen β j, j = 0, 1, 2,, k PNS-estimaattorin b j varianssin D( b ) = σ = σ ( XX ) j bj j+ 1, j+ 1 harhaton estimaattori on ˆD ( bj ) = s ( XX ) j+ 1, j+ 1 jossa n s = ei n k 1 i= 1 on jäännösvarianssin σ 2 harhaton estimaattori. TKK (c) Ilkka Mellin (2007) 86
87 Päättely yleisestä lineaarisesta mallista PNS-estimaattoreiden luottamusvälit Jos standardioletukset (i)-(vi) pätevät, regressiokertoimen β j, j = 0, 1, 2,, k luottamusväli luottamustasolla (1 α) on muotoa jossa b ˆD( j ± tα /2 bj ) b j = regressiokertoimen β j PNS-estimaattori ±t α/2 = luottamustasoa (1 α) vastaavat luottamuskertoimet t-jakaumasta, jonka vapausasteiden lukumäärä on (n k 1) 2 ˆD ( b j ) = regressiokertoimen β j PNS-estimaattorin varianssin harhaton estimaattori TKK (c) Ilkka Mellin (2007) 87
88 Päättely yleisestä lineaarisesta mallista PNS-estimaattoreiden luottamusvälien tulkinta Regressiokertoimen β j, j = 0, 1, 2,, k luottamustasoon (1 α) liittyvän luottamusväli b ˆD( j ± tα /2 bj ) peittää regressiokertoimen β j todennäköisyydellä (1 α): Pr D( ˆ ) + D( ˆ ) = 1 α ( b t b β b t b ) j α/2 j j j α/2 j Frekvenssitulkinta luottamusvälille: Jos otantaa toistetaan, otoksista konstruoiduista luottamusväleistä 100 (1 α) % peittää parametrin β j todellisen arvon ja 100 α % väleistä ei peitä parametrin β j todellista arvoa. TKK (c) Ilkka Mellin (2007) 88
89 Päättely yleisestä lineaarisesta mallista Yleistesti regression olemassaololle: Nollahypoteesi Olkoon nollahypoteesina H 0 : β1 = β2 = = β k = 0 Jos nollahypoteesi H 0 pätee, selitettävä muuttuja y ei riipu lineaarisesti yhdestäkään selittäjästä x 1, x 2,, x k. Jos nollahypoteesi H 0 ei päde, selitettävä muuttuja y riippuu lineaarisesti ainakin yhdestä selittäjästä x 1, x 2,, x k. TKK (c) Ilkka Mellin (2007) 89
90 Päättely yleisestä lineaarisesta mallista Yleistesti regression olemassaololle: Testisuure 1/2 Määritellään F-testisuure 2 n k 1 R n k 1 SSM F = = 2 k 1 R k SSE jossa R 2 = estimoidun mallin selitysaste SSM = estimoidun mallin mallineliösumma SSE = estimoidun mallin jäännösneliösumma TKK (c) Ilkka Mellin (2007) 90
91 Päättely yleisestä lineaarisesta mallista Yleistesti regression olemassaololle: Testisuure 2/2 Testisuure 2 n k 1 R n k 1 SSM F = = 2 k 1 R k SSE vertaa toisiinsa residuaalivarianssia 2 SSE s = n k 1 ja mallivarianssia s 2 1 M = k SSM TKK (c) Ilkka Mellin (2007) 91
92 Päättely yleisestä lineaarisesta mallista Yleistesti regression olemassaololle: Testisuureen jakauma Oletetaan, että standardioletukset (i)-(vi) pätevät. Tällöin testisuure F noudattaa nollahypoteesin H 0 pätiessä F-jakaumaa vapausastein k ja (n k 1): F F( k, n k 1) Testisuureen F normaaliarvo eli odotusarvo nollahypoteesin H 0 pätiessä on (suurille n) n k 1 E( F) = 1 n k 3 Suuret testisuureen F arvot viittaavat siihen, että nollahypoteesi H 0 ei päde. TKK (c) Ilkka Mellin (2007) 92
93 Päättely yleisestä lineaarisesta mallista Testit regressiokertoimille: Nollahypoteesit Olkoon nollahypoteesina H 0 j : β j = 0, j = 0,1,2,, k Jos nollahypoteesi H 00 pätee, mallissa ei ole vakiota. Jos nollahypoteesi H 0j, j = 1, 2,, k pätee, selitettävä muuttuja y ei riipu lineaarisesti selittäjästä x j. Jos nollahypoteesi H 0j, j = 1, 2,, k ei päde, selitettävä muuttuja y riippuu lineaarisesti selittäjästä x j. TKK (c) Ilkka Mellin (2007) 93
94 Päättely yleisestä lineaarisesta mallista Testit regressiokertoimille: Testisuureet Määritellään t-testisuureet bj t j =, j = 0,1,2,, k ˆD( bj ) jossa b j = regressiokertoimen β j PNS-estimaattori 2 ˆD ( b j ) = regressiokertoimen β j PNS-estimaattorin varianssin harhaton estimaattori TKK (c) Ilkka Mellin (2007) 94
95 Päättely yleisestä lineaarisesta mallista Testit regressiokertoimille: Testisuureiden jakaumat Oletetaan, että standardioletukset (i)-(vi) pätevät. Tällöin testisuure t j noudattaa nollahypoteesin H 0j : β j = 0 pätiessä t-jakaumaa vapausastein (n k 1): tj t( n k 1) Testisuureen t j normaaliarvo eli odotusarvo nollahypoteesin H 0j pätiessä on E( t j ) = 0 Itseisarvoltaan suuret testisuureen arvot t j viittaavat siihen, että nollahypoteesi H 0j ei päde. TKK (c) Ilkka Mellin (2007) 95
96 Yleinen lineaarinen malli Usean selittäjän lineaarinen regressiomalli Yleisen lineaarisen mallin matriisisesitys Yleisen lineaarisen mallin estimointi Varianssianalyysihajotelma ja selitysaste Päättely yleisestä lineaarisesta mallista >> Ennustaminen yleisellä lineaarisella mallilla Yleinen lineaarinen malli ja satunnaiset selittäjät TKK (c) Ilkka Mellin (2007) 96
97 Ennustaminen yleisellä lineaarisella mallilla Ennustaminen Oletetaan, että muuttujien x 1, x 2,, x k ja y havaittujen arvojen x i1, x i2,, x ik ja y i välillä on lineaarinen tilastollinen riippuvuus, joka voidaan ilmaista muodossa yi = β0 + β1xi 1+ β2xi2 + + βkxik + εi, i = 1,2,, n Haluamme ennustaa selitettävää muuttujaa y, kun selittävät muuttujat x 1, x 2,, x k saavat arvot x 1, x 2,, x k. Jaetaan tarkastelu kahteen osaan: (i) Tavoitteena on ennustaa selitettävän muuttujan y odotettavissa oleva eli keskimääräinen arvo. (ii) Tavoitteena on ennustaa selitettävän muuttujan y arvo. TKK (c) Ilkka Mellin (2007) 97
98 Ennustaminen yleisellä lineaarisella mallilla Yleinen lineaarinen malli ja sen osat Yleisessä lineaarisessa mallissa y = Xβ + ε on seuraavat osat: y = selitettävän muuttujan y havaittujen arvojen muodostama satunnainen n-vektori X = selittäjien x 1, x 2,, x k havaittujen arvojen ja ykkösten muodostama n (k + 1)-matriisi β = regressiokertoimien muodostama tuntematon ja kiinteä eli ei-satunnainen (k + 1)-vektori ε = jäännöstermien muodostama ei-havaittu ja satunnainen n-vektori TKK (c) Ilkka Mellin (2007) 98
99 Ennustaminen yleisellä lineaarisella mallilla Standardioletukset Jos yleisen lineaarisen mallin y = Xβ + ε selittäjät x 1, x 2,, x k ovat kiinteitä eli ei-satunnaisia muuttujia, mallia koskevat standardioletukset voidaan esittää matriisein seuraavassa muodossa: (i) Matriisin X alkiot ovat kiinteitä eli ei-satunnaisia vakioita (ii) Matriisi X on täysiasteinen: r(x) = k + 1 (iii) E( ε) = 0 2 (iv)&(v) Cov( ε) = σ I 2 (vi) ε N (, 0 σ I) n TKK (c) Ilkka Mellin (2007) 99
100 Ennustaminen yleisellä lineaarisella mallilla PNS-estimaattori ja sen odotusarvo Yleisen lineaarisen mallin y = Xβ + ε regressiokertoimien vektorin β PNS-estimaattorilla b= ( XX ) 1 Xy on standardioletuksien (i)-(vi) pätiessä seuraavat stokastiset ominaisuudet: E( b) = β Cov( b) = σ ( XX ) 2 1 b β σ XX 2 1 N k+ 1(, ( ) ) TKK (c) Ilkka Mellin (2007) 100
101 Ennustaminen yleisellä lineaarisella mallilla y:n odotusarvon ennustaminen Oletetaan, että selitettävä muuttuja y saa arvon y = β0 + β1x 1+ β2x βkx k + ε jos selittäjät x 1, x 2,, x k saavat arvot x 1, x 2,, x k. Mikä on paras ennuste selitettävän muuttujan y odotettavissa olevalle arvolle E( y x1, x 2,, x k ), jos selittävät muuttujat x 1, x 2,, x k saavat arvot x 1, x 2,, x k? Selitettävän muuttujan y odotusarvo E( y x1, x 2,, x k ) kuvaa selitettävän muuttujan y keskimäärin saamia arvoja selittäjien x 1, x 2,, x k saamien arvojen funktiona. TKK (c) Ilkka Mellin (2007) 101
102 Ennustaminen yleisellä lineaarisella mallilla y:n odotusarvon ennustaminen: Ennuste Valitaan selitettävän muuttujan odotusarvon E( yx 1, x 2,, x k ) ennusteeksi (estimaattoriksi) lauseke yx ˆ 1, x 2,, x k = b0 + bx 1 1+ bx bx k k jossa b 0, b 1, b 2,, b k ovat regressiokertoimien β 0, β 1, β 2,, β k PNS-estimaattorit. Voidaan osoittaa, että yx ˆ 1, x 2,, x k on (ennustevirheen keskineliövirheen mielessä) paras lineaarinen ja harhaton ennuste odotusarvolle E( yx 1, x 2,, x k ). Huomautus: Ehdollinen odotusarvo E( yx 1, x 2,, x k ) on kiinteille x 1, x 2,, x k vakio, kun taas ennuste yx ˆ, x,, x on satunnaismuuttuja. 1 2 k TKK (c) Ilkka Mellin (2007) 102
103 Ennustaminen yleisellä lineaarisella mallilla y:n odotusarvon ennustaminen: Otosjakauma Oletetaan, että standardioletukset (i)-(vi) pätevät. Tällöin ennusteen yx ˆ 1, x 2,, x k = b0 + bx 1 1+ bx bx k k otosjakauma on normaalijakauma: yx ˆ, x,, x 1 2 k ( ) 2 1 ~N β0 + β1x 1+ β2x βkx k, σ z ( XX ) z jossa z = (1, x 1, x 2,, x k ) on (k + 1)-vektori. TKK (c) Ilkka Mellin (2007) 103
104 Ennustaminen yleisellä lineaarisella mallilla y:n odotusarvon ennustaminen: Luottamusväli Odotusarvon E( yx 1, x 2,, x ) = β0 + β1x 1+ β2x β x luottamusväli luottamustasolla (1 α)on ˆ k k k b0 bx 1 1 b2x2 b x t /2 s ( ) k k ± α z XX z jossa t α/2 ja +t α/2 ovat luottamustasoon (1 α) liittyvät luottamuskertoimet Studentin t-jakaumasta, jonka vapausasteiden luku on (n k 1). Luottamusväli muodostaa selittäjien x 1, x 2,, x k arvojen x 1, x 2,, x k funktiona luottamusvyön estimoidun regressiotason b 0 + b 1 x 1 + b 2 x b k x k ympärille. 1 2 TKK (c) Ilkka Mellin (2007) 104
105 Ennustaminen yleisellä lineaarisella mallilla y:n arvon ennustaminen Oletetaan, että selitettävä muuttuja y saa arvon y = β0 + β1x j1+ β2x j2 + + βkx jk + ε j jos selittäjät x 1, x 2,, x k saavat arvot x 1, x 2,, x k. Mikä on paras ennuste selitettävän muuttujan y arvolle y, jos selittävät muuttujat x 1, x 2,, x k saavat arvot x 1, x 2,, x k? TKK (c) Ilkka Mellin (2007) 105
106 Ennustaminen yleisellä lineaarisella mallilla y:n arvon ennustaminen: Ennuste Valitaan selitettävän muuttujan arvon y ennusteeksi (estimaattoriksi) lauseke yx ˆ 1, x 2,, x k = b0 + bx 1 1+ bx bx k k jossa b 0, b 1, b 2,, b k ovat regressiokertoimien β 0, β 1, β 2,, β k PNS-estimaattorit. Voidaan osoittaa, että yx ˆ 1, x 2,, x k on (ennustevirheen keskineliövirheen mielessä) paras lineaarinen ja harhaton ennuste odotusarvolle E( yx 1, x 2,, x k ). Huomautus: y yx ˆ 1 x2 Sekä selitettävän muuttujan y arvo että ennuste ovat satunnaismuuttujia.,,, x k TKK (c) Ilkka Mellin (2007) 106
107 Ennustaminen yleisellä lineaarisella mallilla y:n arvon ennustaminen: Otosjakauma Oletetaan, että standardioletukset (i)-(vi) pätevät. Tällöin ennustevirheen y yˆ x 1, x 2,, x k otosjakauma on normaalijakauma: 2 1 y yˆ x 1, x 2,, x k ~ N 0, σ 1 + z ( XX ) z jossa z = (1, x 1, x 2,, x k ) on (k + 1)-vektori. ( ) TKK (c) Ilkka Mellin (2007) 107
108 Ennustaminen yleisellä lineaarisella mallilla y:n arvon ennustaminen: Luottamusväli Selitettävän muuttujan y arvon y luottamusväli luottamustasolla (1 α)on b0 + bx 1 1+ b2x2 + + b x ± t /2s 1 + ( ) 1 k k α z XX z jossa t α/2 ja +t α/2 ovat luottamustasoon (1 α) liittyvät luottamuskertoimet Studentin t-jakaumasta, jonka vapausasteiden luku on (n k 1). Luottamusväli muodostaa selittäjien x 1, x 2,, x k arvojen x 1, x 2,, x k funktiona luottamusvyön estimoidun regressiotason b 0 + b 1 x 1 + b 2 x b k x k ympärille. 1 2 TKK (c) Ilkka Mellin (2007) 108
109 Ennustaminen yleisellä lineaarisella mallilla y:n arvon luottamusvyö vs y:n odotusarvon luottamusvyö Selitettävän muuttujan y arvon y luottamusvyö on leveämpi kuin selitettävän muuttujan y odotettavissa olevan arvon E( yx ) luottamusvyö. Tämä johtuu siitä, että selitettävän muuttujan y keskimääräisen arvon ennustaminen on helpompaa kuin sen yksittäisen arvon ennustaminen. TKK (c) Ilkka Mellin (2007) 109
110 Yleinen lineaarinen malli Usean selittäjän lineaarinen regressiomalli Yleisen lineaarisen mallin matriisisesitys Yleisen lineaarisen mallin estimointi Varianssianalyysihajotelma ja selitysaste Päättely yleisestä lineaarisesta mallista Ennustaminen yleisellä lineaarisella mallilla >> Yleinen lineaarinen malli ja satunnaiset selittäjät TKK (c) Ilkka Mellin (2007) 110
111 Yleinen lineaarinen malli ja satunnaiset selittäjät Yleinen lineaarinen malli ja sen osat Yleisessä lineaarisessa mallissa y = Xβ + ε on seuraavat osat: y = selitettävän muuttujan y havaittujen arvojen muodostama satunnainen n-vektori X = selittäjien x 1, x 2,, x k havaittujen arvojen ja ykkösten muodostama n (k + 1)-matriisi β = regressiokertoimien muodostama tuntematon ja kiinteä eli ei-satunnainen (k + 1)-vektori ε = jäännöstermien muodostama ei-havaittu ja satunnainen n-vektori TKK (c) Ilkka Mellin (2007) 111
112 Yleinen lineaarinen malli ja satunnaiset selittäjät Standardioletukset kiinteille selittäjille Jos yleisen lineaarisen mallin y = Xβ + ε selittäjät x 1, x 2,, x k ovat kiinteitä eli ei-satunnaisia muuttujia, mallia koskevat standardioletukset voidaan esittää matriisein seuraavassa muodossa: (i) Matriisin X alkiot ovat kiinteitä eli ei-satunnaisia vakioita (ii) Matriisi X on täysiasteinen: r(x) = k + 1 (iii) E( ε) = 0 2 (iv)&(v) Cov( ε) = σ I 2 (vi) ε N (, 0 σ I) n TKK (c) Ilkka Mellin (2007) 112
113 Yleinen lineaarinen malli ja satunnaiset selittäjät Selittäjien satunnaisuus 1/2 Yleisen lineaarisen mallin y = Xβ + ε matriisin X satunnaisuus saattaa aiheuttaa vakavia ongelmia mallin estimoinnille ja mallia koskevalle tilastolliselle päättelylle. Jos matriisi X on satunnainen, PNS-menetelmä ei välttämättä tuota harhattomia tai edes tarkentuvia estimaattoreita regressiokertoimille. Näin käy esimerkiksi silloin, kun virhetermi ja selittäjät korreloivat. Jos regressiokertoimien PNS-estimaattorit eivät ole harhattomia tai tarkentuvia, mallia koskevaa tavanomaista tilastollista päättelyä ei saa soveltaa. TKK (c) Ilkka Mellin (2007) 113
Johdatus tilastotieteeseen Yleinen lineaarinen malli. TKK (c) Ilkka Mellin (2004) 1
Johdatus tilastotieteeseen Yleinen lineaarinen malli TKK (c) Ilkka Mellin (2004) 1 Yleinen lineaarinen malli Usean selittäjän lineaarinen regressiomalli Yleisen lineaarisen mallin matriisisesitys Yleisen
LisätiedotRegressioanalyysi. Kuusinen/Heliövaara 1
Regressioanalyysi Kuusinen/Heliövaara 1 Regressioanalyysin idea ja tavoitteet Regressioanalyysin idea: Oletetaan, että haluamme selittää jonkin selitettävän muuttujan havaittujen arvojen vaihtelun joidenkin
LisätiedotMat Tilastollisen analyysin perusteet, kevät 2007
Mat-.104 Tilastollisen analyysin perusteet, kevät 007 8. luento: Usean selittäjän lineaarinen regressiomalli Kai Virtanen 1 Usean selittäjän lineaarinen regressiomalli Selitettävän muuttujan havaittujen
LisätiedotRegressioanalyysi. Vilkkumaa / Kuusinen 1
Regressioanalyysi Vilkkumaa / Kuusinen 1 Regressioanalyysin idea ja tavoitteet Regressioanalyysin idea: Halutaan selittää selitettävän muuttujan havaittujen arvojen vaihtelua selittävien muuttujien havaittujen
LisätiedotYhden selittäjän lineaarinen regressiomalli (jatkoa) Ensi viikolla ei pidetä luentoa eikä harjoituksia. Heliövaara 1
Yhden selittäjän lineaarinen regressiomalli (jatkoa) Ensi viikolla ei pidetä luentoa eikä harjoituksia Heliövaara 1 Regressiokertoimien PNS-estimaattorit Määritellään havaintojen x j ja y j, j = 1, 2,...,n
LisätiedotJohdatus regressioanalyysiin. Heliövaara 1
Johdatus regressioanalyysiin Heliövaara 1 Regressioanalyysin idea Oletetaan, että haluamme selittää jonkin selitettävän muuttujan havaittujen arvojen vaihtelun selittävien muuttujien havaittujen arvojen
LisätiedotErityiskysymyksiä yleisen lineaarisen mallin soveltamisessa
Ilkka Mellin Tilastolliset menetelmät Osa 4: Lineaarinen regressioanalyysi Erityiskysymyksiä yleisen lineaarisen mallin soveltamisessa TKK (c) Ilkka Mellin (2007) 1 Erityiskysymyksiä yleisen lineaarisen
LisätiedotMat Tilastollisen analyysin perusteet, kevät 2007
Mat-.14 Tilastollisen analyysin perusteet, kevät 7 7. luento: Tarina yhden selittään lineaarisesta regressiomallista atkuu Kai Virtanen 1 Luennolla 6 opittua Kuvataan havainnot (y, x ) yhden selittään
LisätiedotYleinen lineaarinen malli
MS-C2128 Ennustaminen ja Aikasarja-analyysi, Heikki Seppälä Matematiikan ja systeemianalyysin laitos Perustieteiden korkeakoulu Aalto-yliopisto Syksy 2015 Viikko 1: 1 Määritelmä ja standardioletukset 2
LisätiedotABHELSINKI UNIVERSITY OF TECHNOLOGY
Johdatus regressioanalyysiin Regressioanalyysin idea Oletetaan, että haluamme selittää jonkin selitettävän muuttujan havaittujen arvojen vaihtelun selittävien muuttujien havaittujen arvojen vaihtelun avulla.
LisätiedotTilastollisen analyysin perusteet Luento 7: Lineaarinen regressio
Tilastollisen analyysin perusteet Luento 7: Lineaarinen regressio Sisältö Regressioanalyysissä tavoitteena on tutkia yhden tai useamman selittävän muuttujan vaikutusta selitettävään muuttujaan. Sen avulla
LisätiedotHarjoitus 9: Excel - Tilastollinen analyysi
Harjoitus 9: Excel - Tilastollinen analyysi Mat-2.2107 Sovelletun matematiikan tietokonetyöt Syksy 2006 Mat-2.2107 Sovelletun matematiikan tietokonetyöt 1 Harjoituksen aiheita Tutustuminen regressioanalyysiin
LisätiedotTilastollisen analyysin perusteet Luento 9: Moniulotteinen lineaarinen. regressio
Tilastollisen analyysin perusteet Luento 9: lineaarinen lineaarinen Sisältö lineaarinen lineaarinen lineaarinen Lineaarinen Oletetaan, että meillä on n kappaletta (x 1, y 1 ), (x 2, y 2 )..., (x n, y n
LisätiedotIlkka Mellin Tilastolliset menetelmät. Osa 4: Lineaarinen regressioanalyysi. Regressiodiagnostiikka. TKK (c) Ilkka Mellin (2007) 1
Ilkka Mellin Tilastolliset menetelmät Osa 4: Lineaarinen regressioanalyysi Regressiodiagnostiikka TKK (c) Ilkka Mellin (2007) 1 Regressiodiagnostiikka >> Yleinen lineaarinen malli ja regressiodiagnostiikka
LisätiedotIlkka Mellin Tilastolliset menetelmät. Osa 4: Lineaarinen regressioanalyysi. Regressiomallin valinta. TKK (c) Ilkka Mellin (2007) 1
Ilkka Mellin Tilastolliset menetelmät Osa 4: Lineaarinen regressioanalyysi Regressiomallin valinta TKK (c) Ilkka Mellin (2007) 1 Regressiomallin valinta >> Regressiomallin valinta: Johdanto Mallinvalintatestit
LisätiedotYhden selittäjän lineaarinen regressiomalli
Ilkka Melli Tilastolliset meetelmät Osa 4: Lieaarie regressioaalyysi Yhde selittäjä lieaarie regressiomalli TKK (c) Ilkka Melli (007) Yhde selittäjä lieaarie regressiomalli >> Yhde selittäjä lieaarie regressiomalli
LisätiedotTilastollisen analyysin perusteet Luento 8: Lineaarinen regressio, testejä ja luottamusvälejä
Tilastollisen analyysin perusteet Luento 8: Lineaarinen regressio, testejä ja luottamusvälejä arvon Sisältö arvon Bootstrap-luottamusvälit arvon arvon Oletetaan, että meillä on n kappaletta (x 1, y 1 ),
Lisätiedot2. Teoriaharjoitukset
2. Teoriaharjoitukset Demotehtävät 2.1 Todista Gauss-Markovin lause. Ratkaisu. Oletetaan että luentokalvojen standardioletukset (i)-(v) ovat voimassa. Huomaa että Gauss-Markovin lause ei vaadi virhetermien
LisätiedotJohdatus tilastotieteeseen Regressiomallin valinta. TKK (c) Ilkka Mellin (2004) 1
Johdatus tilastotieteeseen Regressiomallin valinta TKK (c) Ilkka Mellin (2004) 1 Regressiomallin valinta Regressiomallin valinta: Johdanto Mallinvalintatestit Mallinvalintakriteerit Epälineaaristen riippuvuuksien
LisätiedotLatinalaiset neliöt. Latinalaiset neliöt. Latinalaiset neliöt. Latinalaiset neliöt: Mitä opimme? Latinalaiset neliöt
TKK (c) Ilkka Mellin (005) Koesuunnittelu TKK (c) Ilkka Mellin (005) : Mitä opimme? Tarkastelemme tässä luvussa seuraavaa kysymystä: Miten varianssianalyysissa tutkitaan yhden tekijän vaikutusta vastemuuttujaan,
LisätiedotKaksisuuntainen varianssianalyysi. Heliövaara 1
Kaksisuuntainen varianssianalyysi Heliövaara 1 Kaksi- tai useampisuuntainen varianssianalyysi Kaksi- tai useampisuuntaisessa varianssianalyysissa perusjoukko on jaettu ryhmiin kahden tai useamman tekijän
LisätiedotJohdatus tilastotieteeseen Regressiodiagnostiikka. TKK (c) Ilkka Mellin (2004) 1
Johdatus tilastotieteeseen Regressiodiagnostiikka TKK (c) Ilkka Mellin (2004) 1 Regressiodiagnostiikka Yleinen lineaarinen malli ja regressiodiagnostiikka Regressiografiikka Poikkeavat havainnot Regressiokertoimien
LisätiedotOsa 2: Otokset, otosjakaumat ja estimointi
Ilkka Mellin Tilastolliset menetelmät Osa 2: Otokset, otosjakaumat ja estimointi Estimointi TKK (c) Ilkka Mellin (2007) 1 Estimointi >> Todennäköisyysjakaumien parametrit ja niiden estimointi Hyvän estimaattorin
LisätiedotJohdatus tilastotieteeseen Testit suhdeasteikollisille muuttujille. TKK (c) Ilkka Mellin (2004) 1
Johdatus tilastotieteeseen Testit suhdeasteikollisille muuttujille TKK (c) Ilkka Mellin (004) 1 Testit suhdeasteikollisille muuttujille Testit normaalijakauman parametreille Yhden otoksen t-testi Kahden
LisätiedotLohkoasetelmat. Vilkkumaa / Kuusinen 1
Lohkoasetelmat Vilkkumaa / Kuusinen 1 Motivointi 1/3 Kaksisuuntaisella varianssianalyysilla voidaan tutkia kahden tekijän A ja B vaikutusta sekä niiden yhdysvaikutusta tutkimuksen kohteeseen Kaksisuuntaisessa
LisätiedotSovellettu todennäköisyyslaskenta B
Sovellettu todennäköisyyslaskenta B Antti Rasila 22. marraskuuta 2007 Antti Rasila () TodB 22. marraskuuta 2007 1 / 17 1 Epäparametrisia testejä (jatkoa) χ 2 -riippumattomuustesti 2 Johdatus regressioanalyysiin
LisätiedotKaksisuuntainen varianssianalyysi. Vilkkumaa / Kuusinen 1
Kaksisuuntainen varianssianalyysi Vilkkumaa / Kuusinen 1 Motivointi Luennot 6 ja 7: yksisuuntaisella varianssianalyysilla testataan ryhmäkohtaisten odotusarvojen yhtäsuuruutta, kun perusjoukko on jaettu
LisätiedotTestejä suhdeasteikollisille muuttujille
Ilkka Mellin Tilastolliset menetelmät Osa 3: Tilastolliset testit Testejä suhdeasteikollisille muuttujille TKK (c) Ilkka Mellin (007) 1 Testejä suhdeasteikollisille muuttujille >> Testit normaalijakauman
LisätiedotKorrelaatiokertoinen määrittely 165
kertoinen määrittely 165 Olkoot X ja Y välimatka- tai suhdeasteikollisia satunnaismuuttujia. Havaintoaineistona on n:n suuruisesta otoksesta mitatut muuttuja-arvoparit (x 1, y 1 ), (x 2, y 2 ),..., (x
LisätiedotMoniulotteisia todennäköisyysjakaumia
Ilkka Mellin Todennäköisyyslaskenta Osa 3: Todennäköisyysjakaumia Moniulotteisia todennäköisyysjakaumia TKK (c) Ilkka Mellin (007) 1 Moniulotteisia todennäköisyysjakaumia >> Multinomijakauma Kaksiulotteinen
LisätiedotLohkoasetelmat. Heliövaara 1
Lohkoasetelmat Heliövaara 1 Kiusatekijä Kaikissa kokeissa, kokeen tuloksiin voi vaikuttaa vaihtelu joka johtuu kiusatekijästä. Kiusatekijä on tekijä, jolla mahdollisesti on vaikutusta vastemuuttujan arvoon,
LisätiedotIlkka Mellin Todennäköisyyslaskenta Osa 3: Todennäköisyysjakaumia Moniulotteisia todennäköisyysjakaumia
Ilkka Mellin Todennäköisyyslaskenta Osa 3: Todennäköisyysjakaumia Moniulotteisia todennäköisyysjakaumia TKK (c) Ilkka Mellin (006) 1 Moniulotteisia todennäköisyysjakaumia >> Multinomijakauma Kaksiulotteinen
LisätiedotLohkoasetelmat. Kuusinen/Heliövaara 1
Lohkoasetelmat Kuusinen/Heliövaara 1 Kiusatekijä Kaikissa kokeissa kokeen tuloksiin voi vaikuttaa vaihtelu, joka johtuu kiusatekijästä. Kiusatekijä on tekijä, jolla on mahdollisesti vaikutusta vastemuuttujan
LisätiedotJohdatus regressioanalyysiin
Ilkka Mellin Tilastolliset menetelmät Osa 4: Lineaarinen regressioanalyysi Johdatus regressioanalyysiin TKK (c) Ilkka Mellin (2007) 1 Johdatus regressioanalyysiin >> Regressioanalyysin lähtökohdat ja tavoitteet
LisätiedotTestit laatueroasteikollisille muuttujille
Ilkka Mellin Tilastolliset menetelmät Osa 3: Tilastolliset testit Testit laatueroasteikollisille muuttujille TKK (c) Ilkka Mellin (2007) 1 Testit laatueroasteikollisille muuttujille >> Laatueroasteikollisten
LisätiedotJohdatus todennäköisyyslaskentaan Moniulotteisia todennäköisyysjakaumia. TKK (c) Ilkka Mellin (2005) 1
Johdatus todennäköisyyslaskentaan Moniulotteisia todennäköisyysjakaumia TKK (c) Ilkka Mellin (005) 1 Moniulotteisia todennäköisyysjakaumia Multinomijakauma Kaksiulotteinen normaalijakauma TKK (c) Ilkka
LisätiedotJohdatus tilastotieteeseen Testit suhdeasteikollisille muuttujille. TKK (c) Ilkka Mellin (2005) 1
Johdatus tilastotieteeseen Testit suhdeasteikollisille muuttujille TKK (c) Ilkka Mellin (005) 1 Testit suhdeasteikollisille muuttujille Testit normaalijakauman parametreille Yhden otoksen t-testi Kahden
LisätiedotMoniulotteisia todennäköisyysjakaumia. Moniulotteisia todennäköisyysjakaumia. Moniulotteisia todennäköisyysjakaumia: Mitä opimme?
TKK (c) Ilkka Mellin (4) Moniulotteisia todennäköisyysjakaumia Johdatus todennäköisyyslaskentaan Moniulotteisia todennäköisyysjakaumia TKK (c) Ilkka Mellin (4) Moniulotteisia todennäköisyysjakaumia: Mitä
LisätiedotEstimointi. Estimointi. Estimointi: Mitä opimme? 2/4. Estimointi: Mitä opimme? 1/4. Estimointi: Mitä opimme? 3/4. Estimointi: Mitä opimme?
TKK (c) Ilkka Mellin (2004) 1 Johdatus tilastotieteeseen TKK (c) Ilkka Mellin (2004) 2 Mitä opimme? 1/4 Tilastollisen tutkimuksen tavoitteena on tehdä johtopäätöksiä prosesseista, jotka generoivat reaalimaailman
LisätiedotVäliestimointi (jatkoa) Heliövaara 1
Väliestimointi (jatkoa) Heliövaara 1 Bernoulli-jakauman odotusarvon luottamusväli 1/2 Olkoon havainnot X 1,..., X n yksinkertainen satunnaisotos Bernoulli-jakaumasta parametrilla p. Eli X Bernoulli(p).
LisätiedotIlkka Mellin Tilastolliset menetelmät Osa 2: Otokset, otosjakaumat ja estimointi Estimointi
Ilkka Mellin Tilastolliset menetelmät Osa 2: Otokset, otosjakaumat ja estimointi Estimointi TKK (c) Ilkka Mellin (2006) 1 Estimointi >> Todennäköisyysjakaumien parametrit ja niiden estimointi Hyvän estimaattorin
LisätiedotJohdatus tilastotieteeseen Estimointi. TKK (c) Ilkka Mellin (2005) 1
Johdatus tilastotieteeseen Estimointi TKK (c) Ilkka Mellin (2005) 1 Estimointi Todennäköisyysjakaumien parametrit ja niiden estimointi Hyvän estimaattorin ominaisuudet TKK (c) Ilkka Mellin (2005) 2 Estimointi:
LisätiedotJohdatus varianssianalyysiin. Vilkkumaa / Kuusinen 1
Johdatus varianssianalyysiin Vilkkumaa / Kuusinen 1 Motivointi Luento 4: kahden riippumattoman otoksen odotusarvoja voidaan vertailla t-testillä H 0 : μ 1 = μ 2, T = ˉX 1 ˉX 2 s 2 1 + s2 2 n 1 n 2 a t(min[(n
LisätiedotMat Tilastollisen analyysin perusteet, kevät 2007
Usea selittää lieaarie regressiomalli Mat-.04 Tilastollise aalyysi perusteet, evät 007 8. lueto: Usea selittää lieaarie regressiomalli Selitettävä muuttua havaittue arvoe vaihtelu halutaa selittää selittävie
LisätiedotSovellettu todennäköisyyslaskenta B
Sovellettu todennäköisyyslaskenta B Antti Rasila 30. marraskuuta 2007 Antti Rasila () TodB 30. marraskuuta 2007 1 / 19 1 Lineaarinen regressiomalli ja suurimman uskottavuuden menetelmä Minimin löytäminen
LisätiedotJohdatus tilastotieteeseen Testit laatueroasteikollisille muuttujille. TKK (c) Ilkka Mellin (2004) 1
Johdatus tilastotieteeseen Testit laatueroasteikollisille muuttujille TKK (c) Ilkka Mellin (2004) 1 Testit laatueroasteikollisille muuttujille Laatueroasteikollisten muuttujien testit Testi suhteelliselle
LisätiedotYleistetyistä lineaarisista malleista
Yleistetyistä lineaarisista malleista Tilastotiede käytännön tutkimuksessa -kurssi, kesä 2001 Reijo Sund Klassinen lineaarinen malli y = Xb + e eli E(Y) = m, jossa m = Xb Satunnaiskomponentti: Y:n komponentit
LisätiedotJohdatus tilastotieteeseen Johdatus regressioanalyysiin. TKK (c) Ilkka Mellin (2005) 1
Johdatus tilastotieteeseen Johdatus regressioanalyysiin TKK (c) Ilkka Mellin (2005) 1 Johdatus regressioanalyysiin Regressioanalyysin lähtökohdat ja tavoitteet Deterministiset mallit ja regressioanalyysi
LisätiedotTestit järjestysasteikollisille muuttujille
Ilkka Mellin Tilastolliset menetelmät Osa 3: Tilastolliset testit Testit järjestysasteikollisille muuttujille TKK (c) Ilkka Mellin (2007) 1 Testit järjestysasteikollisille muuttujille >> Järjestysasteikollisten
LisätiedotEstimointi. Vilkkumaa / Kuusinen 1
Estimointi Vilkkumaa / Kuusinen 1 Motivointi Tilastollisessa tutkimuksessa oletetaan jonkin jakauman generoineen tutkimuksen kohteena olevaa ilmiötä koskevat havainnot Tämän mallina käytettävän todennäköisyysjakauman
LisätiedotJohdatus tilastotieteeseen Väliestimointi. TKK (c) Ilkka Mellin (2005) 1
Johdatus tilastotieteeseen Väliestimointi TKK (c) Ilkka Mellin (2005) 1 Väliestimointi Todennäköisyysjakaumien parametrien estimointi Luottamusväli Normaalijakauman odotusarvon luottamusväli Normaalijakauman
LisätiedotMat Tilastollisen analyysin perusteet, kevät 2007
Mat-2.2104 Tilastollisen analyysin erusteet, kevät 2007 10. luento: Regressiomallin (selittäjien) valinta Kai Virtanen 1 Regressiomallin selittäjien valinnasta Mallista uuttuu selittäjiä => harhaiset regressiokertoimien
LisätiedotVastepintamenetelmä. Kuusinen/Heliövaara 1
Vastepintamenetelmä Kuusinen/Heliövaara 1 Vastepintamenetelmä Vastepintamenetelmässä pyritään vasteen riippuvuutta siihen vaikuttavista tekijöistä approksimoimaan tekijöiden polynomimuotoisella funktiolla,
LisätiedotYksisuuntainen varianssianalyysi (jatkoa) Kuusinen/Heliövaara 1
Yksisuuntainen varianssianalyysi (jatkoa) Kuusinen/Heliövaara 1 Odotusarvoparien vertailu Jos yksisuuntaisen varianssianalyysin nollahypoteesi H 0 : µ 1 = µ 2 = = µ k = µ hylätään, tiedetään, että ainakin
LisätiedotTilastollinen testaus. Vilkkumaa / Kuusinen 1
Tilastollinen testaus Vilkkumaa / Kuusinen 1 Motivointi Viime luennolla: havainnot generoineen jakauman muoto on usein tunnettu, mutta parametrit tulee estimoida Joskus parametreista on perusteltua esittää
LisätiedotTodennäköisyyden ominaisuuksia
Todennäköisyyden ominaisuuksia 0 P(A) 1 (1) P(S) = 1 (2) A B = P(A B) = P(A) + P(B) (3) P(A) = 1 P(A) (4) P(A B) = P(A) + P(B) P(A B) (5) Tapahtuman todennäköisyys S = {e 1,..., e N }. N A = A. Kun alkeistapaukset
Lisätiedot4.0.2 Kuinka hyvä ennuste on?
Luonteva ennuste on käyttää yhtälöä (4.0.1), jolloin estimaattori on muotoa X t = c + φ 1 X t 1 + + φ p X t p ja estimointivirheen varianssi on σ 2. X t }{{} todellinen arvo Xt }{{} esimaattori = ε t Esimerkki
LisätiedotYksisuuntainen varianssianalyysi (jatkoa) Heliövaara 1
Yksisuuntainen varianssianalyysi (jatkoa) Heliövaara 1 Odotusarvoparien vertailu Jos yksisuuntaisen varianssianalyysin nollahypoteesi H 0 : µ 1 = µ 2 = = µ k = µ hylätään tiedetään, että ainakin kaksi
LisätiedotMat Tilastollisen analyysin perusteet, kevät 2007
Mat-.104 Tilastollisen analyysin erusteet, kevät 007 Regressiomallin (selittäjien valinta Kai Virtanen 1 Regressiomallin selittäjien valinnasta Mallista uuttuu selittäjiä => harhaiset regressiokertoimien
LisätiedotSovellettu todennäköisyyslaskenta B
Sovellettu todennäköisyyslaskenta B Antti Rasila 30. lokakuuta 2007 Antti Rasila () TodB 30. lokakuuta 2007 1 / 23 1 Otos ja otosjakaumat (jatkoa) Frekvenssi ja suhteellinen frekvenssi Frekvenssien odotusarvo
LisätiedotDynaamiset regressiomallit
MS-C2128 Ennustaminen ja Aikasarja-analyysi, Lauri Viitasaari Matematiikan ja systeemianalyysin laitos Perustieteiden korkeakoulu Aalto-yliopisto Syksy 2016 Tilastolliset aikasarjat voidaan jakaa kahteen
LisätiedotTA7, Ekonometrian johdantokurssi HARJOITUS 4 1 RATKAISUEHDOTUKSET
TA7, Ekonometrian johdantokurssi HARJOITUS 4 1 RATKAISUEHDOTUKSET 16..015 1. a Poliisivoimien suuruuden lisäksi piirikuntien rikostilastoihin vaikuttaa monet muutkin tekijät. Esimerkiksi asukkaiden keskimääräinen
Lisätiedot1. Tutkitaan regressiomallia Y i = β 0 + β 1 X i + u i ja oletetaan, että tavanomaiset
TA7, Ekonometrian johdantokurssi HARJOITUS 7 RATKAISUEHDOTUKSET 16.3.2015 1. Tutkitaan regressiomallia Y i = β 0 + X i + u i ja oletetaan, että tavanomaiset regressiomallin oletukset pätevät (Key Concept
LisätiedotOdotusarvoparien vertailu. Vilkkumaa / Kuusinen 1
Odotusarvoparien vertailu Vilkkumaa / Kuusinen 1 Motivointi Viime luennolta: yksisuuntaisella varianssianalyysilla testataan nollahypoteesia H 0 : μ 1 = μ 2 = = μ k = μ Jos H 0 hylätään, tiedetään, että
LisätiedotJohdatus tilastotieteeseen Yhden selittäjän lineaarinen regressiomalli. TKK (c) Ilkka Mellin (2005) 1
Johdatus tilastotieteesee Yhde selittää lieaarie regressiomalli TKK (c) Ilkka Melli (2005) Yhde selittää lieaarie regressiomalli Yhde selittää lieaarie regressiomalli a sitä koskevat oletukset Yhde selittää
LisätiedotTilastotieteen kertaus. Kuusinen/Heliövaara 1
Tilastotieteen kertaus Kuusinen/Heliövaara 1 Mitä tilastotiede on? Tilastotiede kehittää ja soveltaa menetelmiä, joiden avulla reaalimaailman ilmiöistä voidaan tehdä johtopäätöksiä tilanteissa, joissa
LisätiedotTilastollisen analyysin perusteet Luento 2: Tilastolliset testit
Tilastollisen analyysin perusteet Luento 2: Tilastolliset testit Sisältö Tilastollisia testejä tehdään jatkuvasti lukemattomilla aloilla. Meitä saattaa kiinnostaa esimerkiksi se, että onko miesten ja
LisätiedotIlkka Mellin Tilastolliset menetelmät. Osa 3: Tilastolliset testit. Tilastollinen testaus. TKK (c) Ilkka Mellin (2007) 1
Ilkka Mellin Tilastolliset menetelmät Osa 3: Tilastolliset testit Tilastollinen testaus TKK (c) Ilkka Mellin (2007) 1 Tilastolliset testit >> Tilastollinen testaus Tilastolliset hypoteesit Tilastolliset
LisätiedotIlkka Mellin Aikasarja-analyysi Suurimman uskottavuuden menetelmä
Ilkka Mellin Aikasarja-analyysi Suurimman uskottavuuden menetelmä TKK (c) Ilkka Mellin (2007) 1 Suurimman uskottavuuden menetelmä >> Suurimman uskottavuuden estimointimenetelmä Tarkentuvuus Asymptoottinen
LisätiedotABHELSINKI UNIVERSITY OF TECHNOLOGY
Tilastollinen testaus Tilastollinen testaus Tilastollisessa testauksessa tutkitaan tutkimuskohteita koskevien oletusten tai väitteiden paikkansapitävyyttä havaintojen avulla. Testattavat oletukset tai
LisätiedotTilastolliset menetelmät. Osa 3: Tilastolliset testit. Tilastollinen testaus KE (2014) 1
Tilastolliset menetelmät Osa 3: Tilastolliset testit Tilastollinen testaus KE (2014) 1 Tilastolliset testit >> Tilastollinen testaus Tilastolliset hypoteesit Tilastolliset testit ja testisuureet Virheet
LisätiedotTilastollisen analyysin perusteet Luento 10: Johdatus varianssianalyysiin
Tilastollisen analyysin perusteet Luento 10: Sisältö Varianssianalyysi Varianssianalyysi on kahden riippumattoman otoksen t testin yleistys. Varianssianalyysissä perusjoukko koostuu kahdesta tai useammasta
Lisätiedottilastotieteen kertaus
tilastotieteen kertaus Keskiviikon 24.1. harjoitukset pidetään poikkeuksellisesti klo 14-16 luokassa Y228. Heliövaara 1 Mitä tilastotiede on? Tilastotiede kehittää ja soveltaa menetelmiä, joiden avulla
LisätiedotMat Sovellettu todennäköisyyslasku A. Moniulotteiset jakaumat. Avainsanat:
Mat-.9 Sovellettu todennäköisyyslasku A Mat-.9 Sovellettu todennäköisyyslasku A / Ratkaisut Aiheet: Avainsanat: Moniulotteiset jakaumat Diskreetti jakauma, Ehdollinen jakauma, Ehdollinen odotusarvo, Jatkuva
LisätiedotMTTTP5, luento Otossuureita ja niiden jakaumia (jatkuu)
21.11.2017/1 MTTTP5, luento 21.11.2017 Otossuureita ja niiden jakaumia (jatkuu) 4) Olkoot X 1, X 2,..., X n satunnaisotos (, ):sta ja Y 1, Y 2,..., Y m satunnaisotos (, ):sta sekä otokset riippumattomia.
LisätiedotMS-A0204 Differentiaali- ja integraalilaskenta 2 (ELEC2) Luento 7: Pienimmän neliösumman menetelmä ja Newtonin menetelmä.
MS-A0204 Differentiaali- ja integraalilaskenta 2 (ELEC2) Luento 7: Pienimmän neliösumman menetelmä ja Newtonin menetelmä. Antti Rasila Matematiikan ja systeemianalyysin laitos Aalto-yliopisto Kevät 2016
LisätiedotTilastollisen analyysin perusteet Luento 6: Korrelaatio ja riippuvuus tilastotieteessä
Tilastollisen analyysin perusteet Luento 6: Korrelaatio ja riippuvuus tilastotieteessä Sisältö Riippumattomuus Jos P(A B) = P(A)P(B), niin tapahtumat A ja B ovat toisistaan riippumattomia. (Keskustelimme
LisätiedotRegressiodiagnostiikka ja regressiomallin valinta
Regressiodiagnostiikka ja regressiomallin valinta MS-C2128 Ennustaminen ja Aikasarja-analyysi, Heikki Seppälä Matematiikan ja systeemianalyysin laitos Perustieteiden korkeakoulu Aalto-yliopisto Syksy 2015
Lisätiedot2.1. Parametrien estimointi 2.2. Regressiokertoimien estimointi kovariansseista ja korrelaatioista
Moimuuttujameetelmät: Ilkka Melli. Yleise lieaarise malli määrittelemie.. ja malli oletukset.. Yleise lieaarise malli matriisiesitys. Yleise lieaarise malli parametrie estimoiti.. Parametrie estimoiti..
LisätiedotRegressiodiagnostiikka ja regressiomallin valinta
Regressiodiagnostiikka ja regressiomallin valinta MS-C2128 Ennustaminen ja Aikasarja-analyysi, Lauri Viitasaari Matematiikan ja systeemianalyysin laitos Perustieteiden korkeakoulu Aalto-yliopisto Syksy
LisätiedotSovellettu todennäköisyyslaskenta B
Sovellettu todennäköisyyslaskenta B Antti Rasila 8. marraskuuta 2007 Antti Rasila () TodB 8. marraskuuta 2007 1 / 18 1 Kertausta: momenttimenetelmä ja suurimman uskottavuuden menetelmä 2 Tilastollinen
Lisätiedot1. Tilastollinen malli??
1. Tilastollinen malli?? https://fi.wikipedia.org/wiki/tilastollinen_malli https://en.wikipedia.org/wiki/statistical_model http://projecteuclid.org/euclid.aos/1035844977 Tilastollinen malli?? Numeerinen
LisätiedotMat Tilastollisen analyysin perusteet, kevät 2007
Mat-2.2104 Tilastollisen analyysin perusteet, kevät 2007 2. luento: Tilastolliset testit Kai Virtanen 1 Tilastollinen testaus Tutkimuksen kohteena olevasta perusjoukosta esitetään väitteitä oletuksia joita
LisätiedotHarjoitus 7: NCSS - Tilastollinen analyysi
Harjoitus 7: NCSS - Tilastollinen analyysi Mat-2.2107 Sovelletun matematiikan tietokonetyöt Syksy 2006 Mat-2.2107 Sovelletun matematiikan tietokonetyöt 1 Harjoituksen aiheita Tilastollinen testaus Testaukseen
LisätiedotYleinen lineaarinen malli. Yleinen lineaarinen malli. Yleinen lineaarinen malli: Mitä opimme? 2/4. Yleinen lineaarinen malli: Mitä opimme?
TKK (c) Ila Melli (004) Yleie lieaarie malli Johdatus tilastotieteesee Yleie lieaarie malli Usea selittää lieaarie regressiomalli Yleise lieaarise malli matriisisesitys Yleise lieaarise malli estimoiti
LisätiedotKoesuunnittelu 2 k -faktorikokeet. TKK (c) Ilkka Mellin (2005) 1
Koesuunnittelu 2 k -faktorikokeet TKK (c) Ilkka Mellin (2005) 2 k -faktorikokeet 2 2 -faktorikokeet 2 3 -faktorikokeet 2 k -faktorikokeet TKK (c) Ilkka Mellin (2005) 2 2 k -faktorikokeet: Mitä opimme?
LisätiedotVastepintamenetelmä. Vilkkumaa / Kuusinen 1
Vastepintamenetelmä Vilkkumaa / Kuusinen 1 Motivointi Varianssianalyysissa tutkitaan tekijöiden vaikutusta vasteeseen siten, että tekijöiden tasot on ennalta valittu. - Esim. tutkitaan kemiallisen prosessin
LisätiedotTodennäköisyyslaskennan ja tilastotieteen peruskurssi Esimerkkikokoelma 3
Todennäköisyyslaskennan ja tilastotieteen peruskurssi Esimerkkikokoelma 3 Aiheet: Satunnaisvektorit ja moniulotteiset jakaumat Tilastollinen riippuvuus ja lineaarinen korrelaatio Satunnaisvektorit ja moniulotteiset
LisätiedotTilastollinen aineisto Luottamusväli
Tilastollinen aineisto Luottamusväli Keijo Ruotsalainen Oulun yliopisto, Teknillinen tiedekunta Matematiikan jaos Tilastollinen aineisto p.1/20 Johdanto Kokeellisessa tutkimuksessa tutkittavien suureiden
Lisätiedot9. laskuharjoituskierros, vko 12-13, ratkaisut
9. laskuharjoituskierros, vko 12-13, ratkaisut D1. Olkoot X i, i = 1, 2,..., n riippumattomia, samaa eksponenttijakaumaa noudattavia satunnaismuuttujia, joiden odotusarvo E(X i = β, toisin sanoen X i :t
LisätiedotMat Tilastollisen analyysin perusteet, kevät 2007
Mat-.04 Tilastollisen analsin perusteet, kevät 007. luento: Kaksisuuntainen varianssianalsi Kai Virtanen Kaksisuuntaisen varianssianalsin perusasetelma Jaetaan perusjoukko rhmiin kahden tekän A ja B suhteen
LisätiedotJohdatus tilastotieteeseen Tilastollinen riippuvuus ja korrelaatio. TKK (c) Ilkka Mellin (2005) 1
Johdatus tilastotieteeseen Tilastollinen riippuvuus ja korrelaatio TKK (c) Ilkka Mellin (2005) 1 Tilastollinen riippuvuus ja korrelaatio Tilastollinen riippuvuus, korrelaatio ja regressio Kahden muuttujan
LisätiedotJohdatus tilastotieteeseen Tilastolliset testit. TKK (c) Ilkka Mellin (2005) 1
Johdatus tilastotieteeseen Tilastolliset testit TKK (c) Ilkka Mellin (2005) 1 Tilastolliset testit Tilastollinen testaus Tilastolliset hypoteesit Tilastolliset testit ja testisuureet Virheet testauksessa
LisätiedotSovellettu todennäköisyyslaskenta B
Sovellettu todennäköisyyslaskenta B Antti Rasila 8. marraskuuta 2007 Antti Rasila () TodB 8. marraskuuta 2007 1 / 15 1 Tilastollisia testejä Z-testi Normaalijakauman odotusarvon testaus, keskihajonta tunnetaan
LisätiedotKoesuunnittelu Vastepintamenetelmä. TKK (c) Ilkka Mellin (2005) 1
Koesuunnittelu Vastepintamenetelmä TKK (c) Ilkka Mellin (2005) 1 Vastepintamenetelmä Vastepintamenetelmä: Johdanto 2 k -faktorikokeet Vastefunktion kaarevuuden testaaminen 1. asteen vastepintamallin varianssianalyysihajotelma
Lisätiedot1. YKSISUUNTAINEN VARIANSSIANALYYSI: AINEISTON ESITYSMUODOT
imat-2.104 Tilastollisen analyysin perusteet / Tehtävät Aiheet: Avainsanat: Ysisuuntainen varianssianalyysi Bartlettin testi, Bonferronin menetelmä, F-testi, Jäännösneliösumma, χ 2 -testi, Koonaisesiarvo,
Lisätiedot1. Tutkitaan tavallista kahden selittäjän regressiomallia
TA7, Ekonometrian johdantokurssi HARJOITUS 5 RATKAISUEHDOTUKSET 232215 1 Tutkitaan tavallista kahden selittäjän regressiomallia Y i = β + β 1 X 1,i + β 2 X 2,i + u i (a) Kirjoita regressiomalli muodossa
LisätiedotKertausluento. Vilkkumaa / Kuusinen 1
Kertausluento Vilkkumaa / Kuusinen 1 Kokeellinen tutkimus Kokeellisessa tutkimuksessa on tavoitteena selvittää, miten erilaiset käsittelyt vaikuttavat tutkimuksen kohteisiin - Esim. miten lämpötila ja
LisätiedotJos nyt on saatu havaintoarvot Ü ½ Ü Ò niin suurimman uskottavuuden
1.12.2006 1. Satunnaisjakauman tiheysfunktio on Ü µ Üe Ü, kun Ü ja kun Ü. Määritä parametrin estimaattori momenttimenetelmällä ja suurimman uskottavuuden menetelmällä. Ratkaisu: Jotta kyseessä todella
Lisätiedot1. Jatketaan luentojen esimerkkiä 8.3. Oletetaan kuten esimerkissä X Y Bin(Y, θ) Y Poi(λ) λ y. f X (x) (λθ)x
HY, MTL / Matemaattisten tieteiden kandiohjelma Todennäköisyyslaskenta IIb, syksy 017 Harjoitus 5 Ratkaisuehdotuksia Tehtäväsarja I 1. Jatketaan luentojen esimerkkiä 8.3. Oletetaan kuten esimerkissä X
Lisätiedot