Yleinen lineaarinen malli

Koko: px
Aloita esitys sivulta:

Download "Yleinen lineaarinen malli"

Transkriptio

1 MS-C2128 Ennustaminen ja Aikasarja-analyysi, Heikki Seppälä Matematiikan ja systeemianalyysin laitos Perustieteiden korkeakoulu Aalto-yliopisto Syksy 2015

2 Viikko 1: 1 Määritelmä ja standardioletukset 2 Mallin matriisiesitys 3 PNS-menetelmä 4 Sovitteet ja jäännökset 5 Varianssianalyysihajotelma ja selitysaste 6 Regression merkitsevyyden testaaminen 7 Regressiokertoimien luottamusvälit 8 Selitettävän muuttujan ennusteväli 9 Satunnaiset selittäjät 10 PNS-estimaattorin optimaalisuus

3 Sisältö 1 Määritelmä ja standardioletukset 2 Mallin matriisiesitys 3 PNS-menetelmä 4 Sovitteet ja jäännökset 5 Varianssianalyysihajotelma ja selitysaste 6 Regression merkitsevyyden testaaminen 7 Regressiokertoimien luottamusvälit 8 Selitettävän muuttujan ennusteväli 9 Satunnaiset selittäjät 10 PNS-estimaattorin optimaalisuus

4 Selittävä ja selitettävä muuttuja Huom Selitettävän muuttujan Y arvojen vaihtelu halutaan selittää selittävien muuttujien X 1,..., X k havaittujen arvojen vaihtelun avulla: y 1,..., y n ovat selitettävän muuttujan Y arvoja. x 1j,..., x nj ovat selittävän muuttujan X j arvoja. Havainnot muodostavat havaintoyksiköitä, jotka ovat R k+1 -arvoisia vektoreita (x 11,..., x 1k, y 1 ),..., (x n1,..., x nk, y n ) Selitettävä muuttuja Y ja selittävät muuttujat X 1,..., X k ovat satunnaismuuttujia, joista saadaan havaintoja.

5 Selittävä ja selitettävä muuttuja Kasvuikäisten pituus ja paino Paino (kg) Pituus (cm)

6 Määritelmä Yleisen lineaarisen mallin määrittää yhtälö Y i = β 0 + β 1 X i β k X ik + ɛ i, i = 1,..., n, missä satunnaismuuttujat Y i ja X i1,..., X ik ovat kuten edellä. jäännös- tai virhetermi ɛ i on satunnaismuuttuja. kertoimet β 0, β 1,..., β k ovat vakioita. Huom Yksinkertaisuuden vuoksi oletamme aluksi, että satunnaismuuttujien X i1,..., X ik arvot on jo havaittu, jolloin Y i on edelleen satunnainen, mutta vain virhetermin ɛ kautta. Lisäksi käytämme tilastotieteessä vakiintunutta merkintätapaa y i = β 0 + β 1 x i β k x ik + ɛ i, i = 1,..., n, vaikka osa muuttujista voi olla satunnaisia ja osa ei.

7 Standardioletukset y i = β 0 + β 1 x i β k x ik + ɛ i, i = 1,..., n, (i) Selittäjien arvot ovat ei-satunnaisia vakioita. (ii) Selittäjät ovat lineaarisesti riippumattomat. (iii) E[ɛ i ] = 0 kaikilla i = 1,..., n (iv) var(ɛ i ) = σ 2 kaikilla i = 1,..., n (v) cor(ɛ i, ɛ l ) = 0, kun i l Jos nämä oletukset ovat voimassa, niin mallin tilastollisessa analyysissa voidaan soveltaa tavanomaisia estimointi- ja testausmenetelmiä. Huom Monissa lähteissä oletetaan, että jäännökset ovat normaalijakautuneita, mutta tämä ei ole välttämätöntä.

8 Selittävä ja selitettävä muuttuja Kasvuikäisten pituus ja paino Paino (kg) Pituus (cm)

9 Standardioletus (i) (i) Selittäjän X j havaitut arvot x ij ovat havaittuja ei-satunnaisia vakioita. Oletus on rajoittava ja se voi toteutua käytännössä vain sellaisessa tilanteessa, jossa havainnot on jo tehty. Vaikka standardioletus (i) on rajoittava, niin lineaaristen regressiomallien perusteoriaa voidaan soveltaa myös muissa tilateissa, mikäli standardioletuksia (i)-(v) muokataan hieman. (Tästä lisää myöhemmin.)

10 Standardioletukset (ii) ja (iii): (ii) Selittäjät ovat lineaarisesti riippumattomia. Jos selittäjä x j voidaan kirjoittaa muiden muuttujien lineaarikombinaationa, niin se on tarpeeton ja voidaan poistaa mallista. Ehto (ii) takaa sen, että pienimmän neliösumman menetelmä tuottaa regressiokertoimille β 0, β 1,..., β k yksikäsitteiset ratkaisut suljetussa muodossa. (iii) E[ɛ i ] = 0 kaikilla i = 1,..., n. Kun kaikkien virhetermien odotusarvo on nolla, niin mallin rakenneosan β 0 + β 1 x i β k x ik muotoilussa ei ole tehty systemaattista virhettä: E[y i ] = E [ β 0 + β 1 x i β k x ik + ɛ i ] = β 0 + β 1 x i β k x ik + E [ ɛ i ] = β 0 + β 1 x i β k x ik.

11 Standardioletus (iv): (iv) var(ɛ i ) = σ 2 kaikilla i = 1,..., n. parametria σ 2 kutsutaan jäännösvarianssiksi. Tätä kutsutaan homoskedastisuusoletukseksi. jos oletus pätee, sanotaan virhetermejä ɛ i homoskedastisiksi. jos oletus ei päde, sanotaan virhetermejä ɛ i heteroskedastisiksi. Heteroskedastisuus tekee regressiokertoimien tavanomaisista estimaattoreista tehottomia. Tälläisessa tapauksessa voidaan käyttää yleistettyä PNS-estimaattoria (kts. kirjallisuus). Homoskedastisuusoletusta voidaan testata tilastollisesti. kts. luku Regressiodiagnostiikka.

12 Standardioletus (v): (v) cor(ɛ i, ɛ l ) = 0 kaikilla i = 1,..., n. Virhetermit eivät korreloi keskenään. Kutsutaan korreloimattomuusoletukseksi. jos oletus (v) ei päde, virhetermit ɛ i ovat korreloituneita. Korreloituneisuus tekee regressiokertoimien tavanomaisista estimaattoreista tehottomia ja jopa harhaisia. kts. Dynaamiset regressiomallit. Korreloimattomuusoletusta voidaan testata tilastollisesti. kts. luku Regressiodiagnostiikka.

13 Selitettävän muuttujan ominaisuudet: Yleistä lineearista mallia y i = β 0 + β 1 x i β k x ik + ɛ i, i = 1,..., n, koskevista standardioletuksista (i)-(vi) seuraa, että mallin selitettävälle muuttujalle y i pätee: (iii) E[y i ] = β 0 + β 1 x i β k x ik, i = 1,..., n (iv) var(y i ) = σ 2, i = 1,..., n (v) cor(y i, y j ) = 0, i l Perustelut: (iii) -(v) seuraavat odotusarvon, varianssin ja kovarianssin laskusäännöistä Huom Jos virhetermit oletetaan normaalijakautuneiksi, niin y i N ( E[y i ], σ 2), i = 1,..., n.

14 Systemaattinen ja satunnainen osa: y i = β 0 + β 1 x i β k x ik + ɛ i, i = 1,..., n, voidaan esittää kahden osatekijän summana: y i = E[y i x] = E[y i ] + ɛ i, i = 1,..., n Odotusarvo E[y i ] = β 0 + β 1 x i1 + β 1 x i β 1 x ik muodostaa yleisen lineaarisen mallin systemaattisen- eli rakenneosan, joka riippuu selittäjien x j havaituista/valituista arvoista. Jäännos- eli virhetermi ɛ i muodostaa yleisen lineaarisen mallin satunnaisen osan, joka standardioletusten pätiessä ei riipu selittäjien x j arvoista.

15 Regressiotaso ja regressiokertoimen tulkinta: Systemaattinen osa E[y i ] määrää regressiotason y = β 0 + β 1 x β k x k avaruudessa R k+1. Virhetermien varianssi σ 2 kuvaa havaintopisteiden (x i1,..., x i1, y i ) R k+1 heiluntaa regressiotason ympärillä. Regressiokertoimilla β j on seuraava tulkinta: Oletetaan, että selittäjän x j arvo kasvaa yhdellä yksiköllä (x j x j + 1) ja kaikkien muoiden selittäjien arvot pysyvät muuttumattomina. Silloin kerroin β j kertoo paljonko selitettävän muuttujan y vastaava odotettavissa oleva arvo muuttuu: E[y] E[y] + β j.

16 Sisältö 1 Määritelmä ja standardioletukset 2 Mallin matriisiesitys 3 PNS-menetelmä 4 Sovitteet ja jäännökset 5 Varianssianalyysihajotelma ja selitysaste 6 Regression merkitsevyyden testaaminen 7 Regressiokertoimien luottamusvälit 8 Selitettävän muuttujan ennusteväli 9 Satunnaiset selittäjät 10 PNS-estimaattorin optimaalisuus

17 Matriisiesitys: voidaan esittää matriisien avulla muodossa y = Xβ + ɛ, missä y 1 y = (y 1, y 2,..., y n ) y 2 = β = (β 0,..., β k ) β 1 =.. y n β k 1 x 11 x 12 x 1k ɛ 1 1 x 21 x 22 x 2k X = ɛ = (ɛ 1,..., ɛ n ) ɛ 2 =. 1 x n1 x n2 x nk ɛ n β 0

18 Standardioletusten matriisiesitys: voidaan esittää matriisien avulla muodossa y = Xβ + ɛ (i) Matriisin X alkiot ovat vakioita. (ii) Matriisi X on täysiasteinen, r(x) = k + 1 (iii) E[ɛ] = 0 (iv)-(v) cov(ɛ) = σ 2 I Jos jäännökset oletetaan normaalijakautuneiksi, niin ɛ N n ( 0, σ 2 I ).

19 Huomautus: Vektoriarvoisen satunnaismuuttujan tunnusluvut Olkoon z = (z 1, z 2,..., z p ), satunnaisvektori, missä z 1, z 2,..., z p ovat satunnaislukuja. Vektorin z odotusarvolla µ = E[z] tarkoitetaan vektoria µ = E[z] = ( E[z 1 ], E[z 2 ],..., E[z p ] ) R p Vektorin z kovarianssilla Σ = cov(z) tarkoitetaan matriisia Σ = cov(z) = E [(z E[z])(z E[z]) ] var(z 1 ) cov(z 1, z 2 ) cov(z 1, z 3 ) cov(z 1, z p ) cov(z 2, z 1 ) var(z 2 ) cov(z 2, z 3 ) cov(z 2, z p ) = Rp p cov(z p, z 1 ) cov(z p, z 2 ) cov(z p, z 3 ) var(z p )

20 Sisältö 1 Määritelmä ja standardioletukset 2 Mallin matriisiesitys 3 PNS-menetelmä 4 Sovitteet ja jäännökset 5 Varianssianalyysihajotelma ja selitysaste 6 Regression merkitsevyyden testaaminen 7 Regressiokertoimien luottamusvälit 8 Selitettävän muuttujan ennusteväli 9 Satunnaiset selittäjät 10 PNS-estimaattorin optimaalisuus

21 Regressiokertoimien estimointi PNS-menetelmällä y i = β 0 + β 1 x i β k x ik + ɛ i, i = 1,..., n, Regressiokertoimet β 0, β 1,..., β k estimoidaan tavallisesti pienimmän neliösumman (PNS-) menetelmällä: Minimoidaan virheterimien ɛ i neliösumma n n ɛ 2 ( ) 2 i = yi β 0 β 1 x i1... β k x ik i=1 i=1 regressiokertoimien suhteen: Asetetaan osittaisderivaatat kertoimien β 0, β 1,..., β k suhteen nolliksi. saadaan lineaarinen parametrien β 0, β 1,..., β k yhtälöryhmä (k + 1 yhtälöä) Yhtälöryhmällä on yksikäsitteinen ratkaisu, jos standardioletus (ii) pätee. Ratkaisuina saadaan regressiokertoimien β j PNS-estimaatorit b j.

22 Estimaattori vs estimaatti Kun aineistoa ei ole havaittu, sanotaan satunnaista objektia b j estimaattoriksi. Kun aineisto on havaittu, niin saadaan estimaatti, joka on estimaattorin ei-satunnainen realisaatio. Huom Merkitsemme estimaattoria ja estimaattia samalla symbolilla, kuten kirjallisuudessa yleensä. Tulkinta riippuu aina asiayhteydestä.

23 PNS-estimaattori Olkoon y = Xβ + ɛ standardioletuksen (ii), r(x) = k + 1, toteuttava yleinen lineaarinen malli. Silloin regressiokertoimien vektorin β PNS-estimaattori on b = (b 0,..., b k ) = ( X X ) 1 X y. Jos standardioletukset (i)-(v) pätevät, niin E[b] = β ja cov(b) = σ 2( X X ) 1. Erityisesti, koska E[b] = β, niin PNS-estimaattori b on regressiokertoimien vektorin β harhaton estimaattori. Jos lisäksi virhetermit ovat normaalijakautuneet, niin ( b N k+1 β, σ 2 (X X ) ) 1

24 Sisältö 1 Määritelmä ja standardioletukset 2 Mallin matriisiesitys 3 PNS-menetelmä 4 Sovitteet ja jäännökset 5 Varianssianalyysihajotelma ja selitysaste 6 Regression merkitsevyyden testaaminen 7 Regressiokertoimien luottamusvälit 8 Selitettävän muuttujan ennusteväli 9 Satunnaiset selittäjät 10 PNS-estimaattorin optimaalisuus

25 Sovitteet ja jäännökset Estimoidun mallin sovitteet: ŷ i = b 0 + b 1 x i b k x ik Estimoidun mallin antama arvo selitettävälle muuttujalle y havaintopisteessä i. Estimoidun mallin jäännökset: e i = y i ŷ i = y i b 0 b 1 x i1... b k x ik Selitettävän muuttujan havaitun arvon ja vastaavan sovitteen erotus. Malli selittää muuttujan y havaittujen arvojen vaihtelun sitä paremmin mitä pienempiä ovat estimoidun mallin jäännökset e i

26 Sovitteet ja jäännökset y x Kuva : (x, y) havaintoparit, regressiosuora (musta katkoviiva) ja jäännökset (punaiset janat). Sinisellä merkitty osa regressiosuorasta on alue, jolla ennustaminen on perusteltua.

27 Sovitteiden ja jäännösten ominaisuudet kun oletukset (i)-(v) pätee Sovitteet: ŷ = Xb = X ( X X ) 1 X y = Py E[ŷ] = Xβ cov(ŷ) = σ 2 X ( X X ) 1 X = σ 2 P Jäännökset e = y ŷ = E[e] = 0 ( I X ( X X ) 1 X ) y = ( I P ) y = My cov(e) = σ 2( I X ( X X ) 1 X ) = σ 2( I P ) = σ 2 M

28 Sovitteiden ja jäännösten matriisiesitykset Sovitteiden ja jäännösten muodostamien vektorien lausekkeessa esiintyvät n n-matriisit P = X ( X X ) 1 X M = I P = I X ( X X ) 1 X ovat projektioita, eli symmetrisiä ja idempodentteja: P = P M = M P 2 = P M 2 = M Lisäksi: PM = MP = 0 Näillä matriisien P ja M ominaisuuksilla on keskeinen merkitys johdettaessa lineaarisen mallin estimointiin ja testaukseen liittyviä jakaumatuloksia.

29 Sisältö 1 Määritelmä ja standardioletukset 2 Mallin matriisiesitys 3 PNS-menetelmä 4 Sovitteet ja jäännökset 5 Varianssianalyysihajotelma ja selitysaste 6 Regression merkitsevyyden testaaminen 7 Regressiokertoimien luottamusvälit 8 Selitettävän muuttujan ennusteväli 9 Satunnaiset selittäjät 10 PNS-estimaattorin optimaalisuus

30 Jäännösvarianssin estimointi Jos yleisen lineaarisen mallin jäännös- eli virhetermejä ɛ i koskevat standardioletukset (i)-(v) pätevät, jäännösvarianssin var(ɛ i ) = σ 2 harhaton estimaattori on s 2 = 1 n k 1 n i=1 e 2 i Tulkinta: kyseessä on otosvarianssin kaava, sillä mallissa on vakioselittäjä, jolloin n e i = 0 = ē = 1 n i=1 s 2 = 1 n k 1 n i=1 n e i = 0 i=1 ja ( ei ē ) 2 = 1 n k 1 n i=1 e 2 i

31 Varianssianalyysihajotelma: Idea Regressiomallin tehtävänä on selittää selitettävän muuttujan y havaittujen arvojen vaihtelu selittävän muuttujan x havaittujen arvojen vaihtelulla. Onnistumista tässä tehtävässä voidaan kuvata ns. varianssianalyysihajotelman avulla Varianssianalyysihajotelmassa selitettävän muuttujan y havaittujen arvojen kokonaisvaihtelua kuvaava ns. kokonaisneliösumma (SST ) jaetaan kahden osatekijän summaksi: SSM kuvaa estimoidun mallin selittämää osaa SST :stä SSE kuvaa mallilla selittämättä jäänyttä osaa SST :stä

32 Varianssianalyysihajotelma: Määritelmä Kokonaisneliösumma SST = n i=1 (y i ȳ) 2 kuvaa selitettävän muuttujan y havaittujen arvojen y j vaihtelua y i :n otosvarianssille pätee s 2 y = SST /(n 1) Jäännösneliösumma SSE = n i=1 e2 i kuvaa jäännösten e j vaihtelua e i :n otosvarianssille pätee s 2 = SSE/(n k 1) Mallineliösumma SSM = n i=1 (ŷ i ȳ) 2 kuvaa sitä osaa selitettävän muuttujan y havaittujen arvojen vaihtelusta, jonka estimoitu malli on selittänyt Varianssianalyysihajotelma: SST = SSM + SSE

33 Selitysaste: Määritelmä Varianssianalyysihajotelma SST = SSM + SSE kertoo estimoidun regressiomallin hyvyydestä. Mitä suurempi on mallineliösumman SSM (eli mitä pienempi jäännösneliösumman SSE) osuus kokonaisneliösummasta SST, sitä paremmin estimoitu malli selittää selitettävän muuttujan havaittujen arvojen vaihtelun. Tämä motivoi selitysasteen R 2 = 1 SSE SST = SSM SST [0, 1] käytön regressiomallin hyvyyden mittarina. Mittaa regressiomallin selittämää osuutta selitettävän muuttujan y havaittujen arvojen kokonaisvaihtelusta.

34 Selitysaste: Ominaisuudet R 2 = 1 SSE SST = SSM SST [0, 1] Seuraavat ehdot ovat yhtäpitäviä 1 R 2 = 1 2 e i = 0 kaikille i = 1, 2,..., n 3 kaikki havaintopisteet (x i1, x i2,..., x ik, y i ) ovat samalla tasolla 4 Malli selittää täydellisesti selitettävän muuttujan arvon vaihtelun Seuraavat ehdot ovat yhtäpitäviä 1 R 2 = 0 2 b 1 = b 2 =... = b k = 0 3 Malli ei selitä lainkaan selitettävän muuttujan arvon vaihtelua Selitysaste on yhtä suuri kuin havaittujen arvojen y i ja sovitteiden ŷ i otoskorrelaatiokertoimen neliö.

35 Sisältö 1 Määritelmä ja standardioletukset 2 Mallin matriisiesitys 3 PNS-menetelmä 4 Sovitteet ja jäännökset 5 Varianssianalyysihajotelma ja selitysaste 6 Regression merkitsevyyden testaaminen 7 Regressiokertoimien luottamusvälit 8 Selitettävän muuttujan ennusteväli 9 Satunnaiset selittäjät 10 PNS-estimaattorin optimaalisuus

36 Regression merkitsevyyden testaaminen Jos standardioletukset (i-v) pätevät, niin PNS-estimaattorin b odotusarvovektori ja kovarianssimatriisi ovat E[b] = β = (β 1, β 2,..., β k ) D 2 (b) = σ 2 (X X) 1. Silloin kovarianssimatriisin harhaton estimaattori on ˆD 2 (b) = s 2 (X X) 1 missä s 2 on jäännösvarianssin σ 2 harhaton estimaattori, s 2 = 1 n k 1 n ei 2. i=1

37 Regression merkitsevyyden testaaminen Mallin selitysaste kertoo kuinka suuren osan vaihtelusta malli selittää, mutta se ei kerro johtuuko saatu selitysaste vain sattumasta, vai voidaanko sitä pitää luotettavana. Selitysasteen merkitsevyyttä voidaan testata tarkastelemalla kuinka todennäköistä on saada havaitusta aineistosta lasketun kaltainen tai suurempi selitysaste ehdolla, että mallin todellinen selitysaste on nolla.

38 Regression merkitsevyyden testaaminen Regression merkitsevyyttä voidaan testata permutaatiotestillä seuraavasti: 1 Valitaan nollahypoteesiksi R 2 = 0. 2 Lasketaan R 2 -arvo alkuperäisestä aineistosta. 3 Liitetään jokaiseen selitettävään muuttujaan y i kukin selittäjävektori x l = (x l1,..., x lk ), l = 1,..., n vuorollaan, jolloin saadaan n! otosta, joista jokaisen koko on n. 4 Jokaisesta otoksesta lasketaan selitysaste R 2 p, jolloin saadaan n! selitysasteen arvoa. 5 Järjestetään saadut R 2 p arvot pienimmästä suurimpaan ja lasketaan aineistosta empiirinen (1 α)-kvantiili. Jos alkuperäinen R 2 on suurempi kuin laskettu kvantiili, niin regressio on merkitsevä tasolla α.

39 Regressiokertoimien merkitsevyyden testaaminen Yksittäisten regressiokertoimien β j merkitsevyyttä voidaan testata samalla periaatteella kuin koko regression merkitsevyyttä. 1 Valitaan nollahypoteesiksi muuttuja x j ei vaikuta selitysasteeseen R 2. 2 Lasketaan R 2 -arvo alkuperäisestä aineistosta. 3 Liitetään jokaiseen selitettävään muuttujaan y i alkuperäinen selittäjävektori x i = (x i1,..., x ik ), l = 1,..., n, mutta permutoidaan tarkastelun kohteena olevaa regressiokerrointa β j vastaavaa selittäjää x k, jolloin saadaan n! otosta, joista jokaisen koko on n. 4 Jokaisesta otoksesta lasketaan selitysaste Rk 2, jolloin saadaan n! selitysasteen arvoa. 5 Järjestetään saadut Rk 2 arvot pienimmästä suurimpaan ja lasketaan aineistosta empiirinen (1 α)-kvantiili. Jos alkuperäinen R 2 on suurempi kuin laskettu kvantiili, niin regressiokerroin β j on merkitsevä tasolla α.

40 Merkitsevyyden testaaminen Huom Käytännössä, jos otoskoko n 10, ei kaikkia edellä mainittujen kohtien (3) permutaatioita ole mielekästä tai edes mahdollista laskea. Silloin arvotaan riittävä määrä (esim ) permutaatioita kaikkien permutaation sijaan ja tehdään testi näiden avulla loppuun kohtien (4) ja (5) mukaisesti.

41 Regression merkitsevyyden testaaminen, kun ɛ N(0, σ 2 ) Jos jäännökset ovat normaalijakautuneet, niin normaalijakaumaan perustuvaa F-testiä voidaan käyttää testauksessa. 1 Nollahypoteesi: β 1 = β 2 =... = β k = 0. 2 F-testisuure: F = n k 1 k R 2 1 R 2 = n k 1 k SSM SSE noudattaa F-jakaumaa vapausastein k ja n k 1, kun standardioletusten (i)-(v) lisäksi jäännökset noudattavat normaalijakaumaa. F -testiä käsitellään tarkemmin mm. kurssilla Tilastollisen analyysin perusteet. Myös perus oppikirjoissa (ja verkossa) on paljon tietoa F-testistä.

42 Selittävä ja selitettävä muuttuja F jakauman tiheysfunktio f(x) x Kuva : F(k, n k 1)-jakaumien tiheysfunkitioita, kun n = 20 ja k = 1 (musta), k = 2 (punainen), k = 3 (sininen) sekä k = 8 (violetti).

43 Merkitsevyyden testaaminen, kun ɛ N(0, σ 2 ) Jos jäännökset ovat normaalijakautuneita, niin estimaattorivektori b noudattaa k + 1-ulotteista normaalijakaumaa, missä D 2 (b) = σ 2 (X X) 1. Siten b N k+1 ( β, D 2 (b) ), b j β j s bj t(n k 1), missä t(n k 1) on t-jakauma vapausastein n k 1 ja s 2 bj = [ ˆD2 (b) ] jj on β j :n estimoitu varianssi. Tässä [ ˆD2 (b) ] jj on estimoidun kovarianssimatriisin ˆD 2 (b) = s 2 (X X) 1 alkio jj.

44 Regressiokertoimien merkitsevyyden testaaminen, kun ɛ N(0, σ 2 ) Normaalijakautuneiden jäännösten tapauksessa yksittäisten regressiokertoimien β j merkitsevyyttä voidaan testata t-testillä. 1 Nollahypoteesi: β j = 0. 2 t-testisuure: t = b j s bj, j = 0, 1, 2,..., k, missä s bj on b j :n estimoitu varianssi, noudattaa t-jakaumaa vapausastein n k 1, kun standardioletusten (i)-(v) lisäksi jäännökset noudattavat normaalijakaumaa. t-testiä käsiteltiin Todennäköisyyslaskennan ja tilastotieteen peruskurssilla. Lisätietoja löytyy perus oppikirjoista ja verkosta.

45 Sisältö 1 Määritelmä ja standardioletukset 2 Mallin matriisiesitys 3 PNS-menetelmä 4 Sovitteet ja jäännökset 5 Varianssianalyysihajotelma ja selitysaste 6 Regression merkitsevyyden testaaminen 7 Regressiokertoimien luottamusvälit 8 Selitettävän muuttujan ennusteväli 9 Satunnaiset selittäjät 10 PNS-estimaattorin optimaalisuus

46 Luottamusväli Fakta Parametrin θ tason (1 α) luottamusväli on satunnainen väli, joka peittää parametrin θ todellisen (kiinteän) arvon todennäköisyydellä (1 α). Tulkinta: Jos kerätään lukuisia saman kokoisia riippumattomia otoksia, niin kerätyistä otoksista lasketuista luottamusväleistä 100 (1 α)% peittää parametrin θ todellisen arvon.

47 Regressiokertoimien luottamusvälit: Bootstrap Bootstrap-menetelmän avulla luottamusväli voidaan laskea ilman jakaumaoletuksia. Idea lyhyesti: 1 Estimoidaan aineistosta estimaattorivektori b. 2 Lasketaan estimoidun mallin avulla sovitteet ŷ = X b ja jäännökset e = y ŷ. 3 Arvotaan lasketuista jäännöksistä bootstrap-otos e b = (e b1,..., e bn ) käyttäen yksinkertaista satunnaisotantaa palauttaen. 4 Vasteen bootstrap-otos on vektori y b = (y b1,..., y bn ), missä y b = ŷ + e b. 5 Lasketaan bootstrap-estimaatit b b ratkaisemalla lineaarinen regressio y b = Xb b, jolloin b b = ( X X ) 1 X y b. 6 Toistetaan kohdat (2)-(6) kertaa ja lasketaan saadusta otoksesta luottamusvälit.

48 Regressiokertoimien luottamusvälit simuloimalla Jos on simuloitu m otosta ja jokaisesta on laskettu estimaatti kiinnostuksen kohteena olevalle parametrille θ, niin saadaan realisaatiot θ = ( θ 1,..., θ m ). Silloin parametrin θ (1 α)-luottamusväli saadaan laskettua seuraavasti: 1 Järjestetään simuloidut arvot suuruusjärjestykseen: θ (1) θ (2) θ (m). 2 Luottamusvälin päätepisteet ovat järjestetyn aineiston α 2 ja 1 α 2 kvantiilit, eli järjesteyn aineiston [ α 2 m]:s ja [(1 α 2 ) m]:s alkio, θ (1), θ (2),..., θ ( α 2 m),..., θ ((1 α 2 ) m),..., θ (m)

49 Regressiokertoimien luottamusvälit, kun ɛ N(0, σ 2 ) Kuten aiemmin todettiin, mikäli jäännökset ovat normaalijakautuneita, niin b j β j s bj t(n k 1), missä t(n k 1) on t-jakauma vapausastein n k 1 ja s 2 bj on β j :n estimoitu varianssi.

50 Regressiokertoimien luottamusvälit, kun ɛ N(0, σ 2 ) Jos jäännökset ovat normaalijakautuneita, niin estimaattoreiden b j, j = 0, 1,..., k, luottamusvälit saadaan siis laskettua t-jakauman avulla: Tason (1 α) luottamusväli on ( bj t 1 α/2 s bj, b j + t 1 α/2 s bj ), missä t 1 α/2 on t(n k 1)-jakauman 1 α/2-kvantiili.

51 Sisältö 1 Määritelmä ja standardioletukset 2 Mallin matriisiesitys 3 PNS-menetelmä 4 Sovitteet ja jäännökset 5 Varianssianalyysihajotelma ja selitysaste 6 Regression merkitsevyyden testaaminen 7 Regressiokertoimien luottamusvälit 8 Selitettävän muuttujan ennusteväli 9 Satunnaiset selittäjät 10 PNS-estimaattorin optimaalisuus

52 Selitettävän muuttujan ennusteväli Kun selitettävää muuttujaa y ennustetaan regressiomallin avulla käyttäen kiinnitettyjä selittävien muuttujien arvoja x = ( x 1,..., x k ), saadaan tulokseksi ŷ = b 0 + b 1 x 1 + b 2 x b k x k. Tähän liittyy kuitenkin yleensä epävarmuutta, sillä 1 regressiokertoimet on estimoitu otoksesta ja 2 jäännöstermi tuo satunnaisvaihtelua. = Halutaan tietää väli, jolle ennustettavan muuttujan todellinen arvo kuuluu todennäköisyydellä (1 α).

53 Selitettävän muuttujan ennusteväli Selitettävän muuttujan y ennusteväli selittävän muuttujan arvolla x = ( x 1,..., x k ) pystytään myöskin laskemaan bootstrap-menetelmällä. 1 Tehdään vaiheet (1)-(5) kuten regressiokertointen luottamusvälien laksemisessa bootstrapin avulla, jolloin saadaan bootstrap estimaatit b b. 2 Arvotaan havaituista jäännöstermeistä yksi, e b, ja lasketaan uusi arvo y b = x b b + e b, missä x = (1, x 1,..., x k ). 3 Toistetaan vaiheet (1) ja (2) m (= ) kertaa ja laitetaan havainnot suuruus järjestykseen. Ennustevälin päätepisteet ovat järjestetyn aineiston α/2- ja (1 α/2)-kvantiilit.

54 Selitettävän muuttujan ennusteväli, kun ɛ N(0, σ 2 ) Kun ɛ N(0, σ 2 ), niin voidaan osoittaa, että missä x = (1, x 1,..., x k ). Edelleen, x b N ( x β, σ 2[ x (X X) 1 x ]), x b + ɛ N ( x β, σ 2[ 1 + x (X X) 1 x ]) ja kuten luottamusväli normaalijakautuneiden jäännösten tapauksessa, (1 α)-ennustevälin päätepisteiksi saadaan x b ± t 1 α/2 s [ 1 + x (X X) 1 x ] 1 2, missä s on jäännösvarianssin harhaton estimaatti ja t 1 α/2 on t(n k 1)-jakauman (1 α/2)-kvantiili.

55 Sisältö 1 Määritelmä ja standardioletukset 2 Mallin matriisiesitys 3 PNS-menetelmä 4 Sovitteet ja jäännökset 5 Varianssianalyysihajotelma ja selitysaste 6 Regression merkitsevyyden testaaminen 7 Regressiokertoimien luottamusvälit 8 Selitettävän muuttujan ennusteväli 9 Satunnaiset selittäjät 10 PNS-estimaattorin optimaalisuus

56 Satunnaiset selittäjät Edellä käsiteltyjä tuloksia voi soveltaa suoraan satunnaisiin selittäjiin (eli matriisi X on satunnainen), jos standardioletukset (ii)-(v) ovat voimassa ehdollistettuna matriisilla X

57 Satunnaiset selittäjät Yleisen lineaarisen mallin standardioletukset, kun selittäjät X ovat satunnaisia: (i) Selittäjät ovat satunnaimuuttujia. (ii) Selittäjät ovat lineaarisesti riippumattomat (satunnaismatriisi X on täysiasteinen). (iii) E[ɛ X] = 0 kaikilla i = 1,..., n (iv)-(v) cov(ɛ X) = σ 2 I.

58 Sisältö 1 Määritelmä ja standardioletukset 2 Mallin matriisiesitys 3 PNS-menetelmä 4 Sovitteet ja jäännökset 5 Varianssianalyysihajotelma ja selitysaste 6 Regression merkitsevyyden testaaminen 7 Regressiokertoimien luottamusvälit 8 Selitettävän muuttujan ennusteväli 9 Satunnaiset selittäjät 10 PNS-estimaattorin optimaalisuus

59 PNS-estimaattorin optimaalisuus Jos standardioletukset ovat voimassa, niin regressiokertoimien β PNS-estimaattori b on 1 harhaton (E[b] = β) 2 tehokas, eli paras harhaton lineaarinen estimaattori. Täsmällisesti: jos b on toinen harhaton lineaarinen estimaattori, niin matriisi C := cov(b ) cov(b) on positiivisesti semidefiniitti, eli kaikilla a 0, a Ca 0. (Gauss-Markovin lause) Yllä olevasta ehdosta seuraa, että PNS-estimaattoreiden varianssit ovat pienempiä kuin muiden harhattomien lineearisten estimaatoreiden varianssit. 3 tarkentuva, eli harhaton ja komponenttien varianssit lähestyvät asymptoottisesti nollaa otoskoon kasvaessa.

60 PNS-estimaattorin optimaalisuus PNS-estimaattori ei ole tehokas esimerkiksi seuraavissa tapauksissa: jos standardioletukset (iv) jäännösten homoskedastisuus ja (v) korreloimattomuus eivät ole voimassa, niin yleistetty PNS-estimaattori on tehokas. jos vektorilla β on lineaarisia rajoitteita, niin rajoitettu PNS-estimaattori on tehokas. Näistä enemmän kirjallisuudessa ja laskuharjoituksissa.

61 Ensi viikolla: Regressiodiagnostiikka Regressiografiikka Poikkeavat havainnot Regressiokertoimien vakioisuus Multikollineaarisuus Heteroskedastisuus Normaalisuus Mallin ennustuskyky Regressiomallin valinta Mallinvalintatestit ja askellusstrategiat Mallinvalintakriteerit Regressiomallin linearisointi

62 Luentokalvot pohjautuvat osittain Mellinin ja Liesiön aiempien vuosien kalvoihin.

Regressioanalyysi. Vilkkumaa / Kuusinen 1

Regressioanalyysi. Vilkkumaa / Kuusinen 1 Regressioanalyysi Vilkkumaa / Kuusinen 1 Regressioanalyysin idea ja tavoitteet Regressioanalyysin idea: Halutaan selittää selitettävän muuttujan havaittujen arvojen vaihtelua selittävien muuttujien havaittujen

Lisätiedot

Regressioanalyysi. Kuusinen/Heliövaara 1

Regressioanalyysi. Kuusinen/Heliövaara 1 Regressioanalyysi Kuusinen/Heliövaara 1 Regressioanalyysin idea ja tavoitteet Regressioanalyysin idea: Oletetaan, että haluamme selittää jonkin selitettävän muuttujan havaittujen arvojen vaihtelun joidenkin

Lisätiedot

Mat Tilastollisen analyysin perusteet, kevät 2007

Mat Tilastollisen analyysin perusteet, kevät 2007 Mat-.104 Tilastollisen analyysin perusteet, kevät 007 8. luento: Usean selittäjän lineaarinen regressiomalli Kai Virtanen 1 Usean selittäjän lineaarinen regressiomalli Selitettävän muuttujan havaittujen

Lisätiedot

Ilkka Mellin Tilastolliset menetelmät. Osa 4: Lineaarinen regressioanalyysi. Yleinen lineaarinen malli. TKK (c) Ilkka Mellin (2007) 1

Ilkka Mellin Tilastolliset menetelmät. Osa 4: Lineaarinen regressioanalyysi. Yleinen lineaarinen malli. TKK (c) Ilkka Mellin (2007) 1 Ilkka Mellin Tilastolliset menetelmät Osa 4: Lineaarinen regressioanalyysi Yleinen lineaarinen malli TKK (c) Ilkka Mellin (2007) 1 Yleinen lineaarinen malli >> Usean selittäjän lineaarinen regressiomalli

Lisätiedot

Johdatus regressioanalyysiin. Heliövaara 1

Johdatus regressioanalyysiin. Heliövaara 1 Johdatus regressioanalyysiin Heliövaara 1 Regressioanalyysin idea Oletetaan, että haluamme selittää jonkin selitettävän muuttujan havaittujen arvojen vaihtelun selittävien muuttujien havaittujen arvojen

Lisätiedot

Tilastollisen analyysin perusteet Luento 7: Lineaarinen regressio

Tilastollisen analyysin perusteet Luento 7: Lineaarinen regressio Tilastollisen analyysin perusteet Luento 7: Lineaarinen regressio Sisältö Regressioanalyysissä tavoitteena on tutkia yhden tai useamman selittävän muuttujan vaikutusta selitettävään muuttujaan. Sen avulla

Lisätiedot

2. Teoriaharjoitukset

2. Teoriaharjoitukset 2. Teoriaharjoitukset Demotehtävät 2.1 Todista Gauss-Markovin lause. Ratkaisu. Oletetaan että luentokalvojen standardioletukset (i)-(v) ovat voimassa. Huomaa että Gauss-Markovin lause ei vaadi virhetermien

Lisätiedot

ABHELSINKI UNIVERSITY OF TECHNOLOGY

ABHELSINKI UNIVERSITY OF TECHNOLOGY Johdatus regressioanalyysiin Regressioanalyysin idea Oletetaan, että haluamme selittää jonkin selitettävän muuttujan havaittujen arvojen vaihtelun selittävien muuttujien havaittujen arvojen vaihtelun avulla.

Lisätiedot

Tilastollisen analyysin perusteet Luento 9: Moniulotteinen lineaarinen. regressio

Tilastollisen analyysin perusteet Luento 9: Moniulotteinen lineaarinen. regressio Tilastollisen analyysin perusteet Luento 9: lineaarinen lineaarinen Sisältö lineaarinen lineaarinen lineaarinen Lineaarinen Oletetaan, että meillä on n kappaletta (x 1, y 1 ), (x 2, y 2 )..., (x n, y n

Lisätiedot

Erityiskysymyksiä yleisen lineaarisen mallin soveltamisessa

Erityiskysymyksiä yleisen lineaarisen mallin soveltamisessa Ilkka Mellin Tilastolliset menetelmät Osa 4: Lineaarinen regressioanalyysi Erityiskysymyksiä yleisen lineaarisen mallin soveltamisessa TKK (c) Ilkka Mellin (2007) 1 Erityiskysymyksiä yleisen lineaarisen

Lisätiedot

Harjoitus 9: Excel - Tilastollinen analyysi

Harjoitus 9: Excel - Tilastollinen analyysi Harjoitus 9: Excel - Tilastollinen analyysi Mat-2.2107 Sovelletun matematiikan tietokonetyöt Syksy 2006 Mat-2.2107 Sovelletun matematiikan tietokonetyöt 1 Harjoituksen aiheita Tutustuminen regressioanalyysiin

Lisätiedot

Kertaus. MS-C2128 Ennustaminen ja Aikasarja-analyysi, Heikki Seppälä

Kertaus. MS-C2128 Ennustaminen ja Aikasarja-analyysi, Heikki Seppälä MS-C2128 Ennustaminen ja Aikasarja-analyysi, Heikki Seppälä Matematiikan ja systeemianalyysin laitos Perustieteiden korkeakoulu Aalto-yliopisto Syksy 2015 Viikko 1: Yleinen lineaarinen malli 1 Määritelmä

Lisätiedot

Tilastollisen analyysin perusteet Luento 8: Lineaarinen regressio, testejä ja luottamusvälejä

Tilastollisen analyysin perusteet Luento 8: Lineaarinen regressio, testejä ja luottamusvälejä Tilastollisen analyysin perusteet Luento 8: Lineaarinen regressio, testejä ja luottamusvälejä arvon Sisältö arvon Bootstrap-luottamusvälit arvon arvon Oletetaan, että meillä on n kappaletta (x 1, y 1 ),

Lisätiedot

Dynaamiset regressiomallit

Dynaamiset regressiomallit MS-C2128 Ennustaminen ja Aikasarja-analyysi, Lauri Viitasaari Matematiikan ja systeemianalyysin laitos Perustieteiden korkeakoulu Aalto-yliopisto Syksy 2016 Tilastolliset aikasarjat voidaan jakaa kahteen

Lisätiedot

Tilastollinen testaus. Vilkkumaa / Kuusinen 1

Tilastollinen testaus. Vilkkumaa / Kuusinen 1 Tilastollinen testaus Vilkkumaa / Kuusinen 1 Motivointi Viime luennolla: havainnot generoineen jakauman muoto on usein tunnettu, mutta parametrit tulee estimoida Joskus parametreista on perusteltua esittää

Lisätiedot

Regressiodiagnostiikka ja regressiomallin valinta

Regressiodiagnostiikka ja regressiomallin valinta Regressiodiagnostiikka ja regressiomallin valinta MS-C2128 Ennustaminen ja Aikasarja-analyysi, Lauri Viitasaari Matematiikan ja systeemianalyysin laitos Perustieteiden korkeakoulu Aalto-yliopisto Syksy

Lisätiedot

Regressiodiagnostiikka ja regressiomallin valinta

Regressiodiagnostiikka ja regressiomallin valinta Regressiodiagnostiikka ja regressiomallin valinta MS-C2128 Ennustaminen ja Aikasarja-analyysi, Heikki Seppälä Matematiikan ja systeemianalyysin laitos Perustieteiden korkeakoulu Aalto-yliopisto Syksy 2015

Lisätiedot

Väliestimointi (jatkoa) Heliövaara 1

Väliestimointi (jatkoa) Heliövaara 1 Väliestimointi (jatkoa) Heliövaara 1 Bernoulli-jakauman odotusarvon luottamusväli 1/2 Olkoon havainnot X 1,..., X n yksinkertainen satunnaisotos Bernoulli-jakaumasta parametrilla p. Eli X Bernoulli(p).

Lisätiedot

Kaksisuuntainen varianssianalyysi. Heliövaara 1

Kaksisuuntainen varianssianalyysi. Heliövaara 1 Kaksisuuntainen varianssianalyysi Heliövaara 1 Kaksi- tai useampisuuntainen varianssianalyysi Kaksi- tai useampisuuntaisessa varianssianalyysissa perusjoukko on jaettu ryhmiin kahden tai useamman tekijän

Lisätiedot

Korrelaatiokertoinen määrittely 165

Korrelaatiokertoinen määrittely 165 kertoinen määrittely 165 Olkoot X ja Y välimatka- tai suhdeasteikollisia satunnaismuuttujia. Havaintoaineistona on n:n suuruisesta otoksesta mitatut muuttuja-arvoparit (x 1, y 1 ), (x 2, y 2 ),..., (x

Lisätiedot

Kaksisuuntainen varianssianalyysi. Vilkkumaa / Kuusinen 1

Kaksisuuntainen varianssianalyysi. Vilkkumaa / Kuusinen 1 Kaksisuuntainen varianssianalyysi Vilkkumaa / Kuusinen 1 Motivointi Luennot 6 ja 7: yksisuuntaisella varianssianalyysilla testataan ryhmäkohtaisten odotusarvojen yhtäsuuruutta, kun perusjoukko on jaettu

Lisätiedot

Sovellettu todennäköisyyslaskenta B

Sovellettu todennäköisyyslaskenta B Sovellettu todennäköisyyslaskenta B Antti Rasila 22. marraskuuta 2007 Antti Rasila () TodB 22. marraskuuta 2007 1 / 17 1 Epäparametrisia testejä (jatkoa) χ 2 -riippumattomuustesti 2 Johdatus regressioanalyysiin

Lisätiedot

Lohkoasetelmat. Kuusinen/Heliövaara 1

Lohkoasetelmat. Kuusinen/Heliövaara 1 Lohkoasetelmat Kuusinen/Heliövaara 1 Kiusatekijä Kaikissa kokeissa kokeen tuloksiin voi vaikuttaa vaihtelu, joka johtuu kiusatekijästä. Kiusatekijä on tekijä, jolla on mahdollisesti vaikutusta vastemuuttujan

Lisätiedot

Osa 2: Otokset, otosjakaumat ja estimointi

Osa 2: Otokset, otosjakaumat ja estimointi Ilkka Mellin Tilastolliset menetelmät Osa 2: Otokset, otosjakaumat ja estimointi Estimointi TKK (c) Ilkka Mellin (2007) 1 Estimointi >> Todennäköisyysjakaumien parametrit ja niiden estimointi Hyvän estimaattorin

Lisätiedot

Ilkka Mellin Tilastolliset menetelmät. Osa 4: Lineaarinen regressioanalyysi. Regressiomallin valinta. TKK (c) Ilkka Mellin (2007) 1

Ilkka Mellin Tilastolliset menetelmät. Osa 4: Lineaarinen regressioanalyysi. Regressiomallin valinta. TKK (c) Ilkka Mellin (2007) 1 Ilkka Mellin Tilastolliset menetelmät Osa 4: Lineaarinen regressioanalyysi Regressiomallin valinta TKK (c) Ilkka Mellin (2007) 1 Regressiomallin valinta >> Regressiomallin valinta: Johdanto Mallinvalintatestit

Lisätiedot

Lohkoasetelmat. Heliövaara 1

Lohkoasetelmat. Heliövaara 1 Lohkoasetelmat Heliövaara 1 Kiusatekijä Kaikissa kokeissa, kokeen tuloksiin voi vaikuttaa vaihtelu joka johtuu kiusatekijästä. Kiusatekijä on tekijä, jolla mahdollisesti on vaikutusta vastemuuttujan arvoon,

Lisätiedot

Yksisuuntainen varianssianalyysi (jatkoa) Kuusinen/Heliövaara 1

Yksisuuntainen varianssianalyysi (jatkoa) Kuusinen/Heliövaara 1 Yksisuuntainen varianssianalyysi (jatkoa) Kuusinen/Heliövaara 1 Odotusarvoparien vertailu Jos yksisuuntaisen varianssianalyysin nollahypoteesi H 0 : µ 1 = µ 2 = = µ k = µ hylätään, tiedetään, että ainakin

Lisätiedot

Yleistetyistä lineaarisista malleista

Yleistetyistä lineaarisista malleista Yleistetyistä lineaarisista malleista Tilastotiede käytännön tutkimuksessa -kurssi, kesä 2001 Reijo Sund Klassinen lineaarinen malli y = Xb + e eli E(Y) = m, jossa m = Xb Satunnaiskomponentti: Y:n komponentit

Lisätiedot

Todennäköisyyden ominaisuuksia

Todennäköisyyden ominaisuuksia Todennäköisyyden ominaisuuksia 0 P(A) 1 (1) P(S) = 1 (2) A B = P(A B) = P(A) + P(B) (3) P(A) = 1 P(A) (4) P(A B) = P(A) + P(B) P(A B) (5) Tapahtuman todennäköisyys S = {e 1,..., e N }. N A = A. Kun alkeistapaukset

Lisätiedot

Estimointi. Vilkkumaa / Kuusinen 1

Estimointi. Vilkkumaa / Kuusinen 1 Estimointi Vilkkumaa / Kuusinen 1 Motivointi Tilastollisessa tutkimuksessa oletetaan jonkin jakauman generoineen tutkimuksen kohteena olevaa ilmiötä koskevat havainnot Tämän mallina käytettävän todennäköisyysjakauman

Lisätiedot

Johdatus varianssianalyysiin. Vilkkumaa / Kuusinen 1

Johdatus varianssianalyysiin. Vilkkumaa / Kuusinen 1 Johdatus varianssianalyysiin Vilkkumaa / Kuusinen 1 Motivointi Luento 4: kahden riippumattoman otoksen odotusarvoja voidaan vertailla t-testillä H 0 : μ 1 = μ 2, T = ˉX 1 ˉX 2 s 2 1 + s2 2 n 1 n 2 a t(min[(n

Lisätiedot

Johdatus tilastotieteeseen Regressiomallin valinta. TKK (c) Ilkka Mellin (2004) 1

Johdatus tilastotieteeseen Regressiomallin valinta. TKK (c) Ilkka Mellin (2004) 1 Johdatus tilastotieteeseen Regressiomallin valinta TKK (c) Ilkka Mellin (2004) 1 Regressiomallin valinta Regressiomallin valinta: Johdanto Mallinvalintatestit Mallinvalintakriteerit Epälineaaristen riippuvuuksien

Lisätiedot

Latinalaiset neliöt. Latinalaiset neliöt. Latinalaiset neliöt. Latinalaiset neliöt: Mitä opimme? Latinalaiset neliöt

Latinalaiset neliöt. Latinalaiset neliöt. Latinalaiset neliöt. Latinalaiset neliöt: Mitä opimme? Latinalaiset neliöt TKK (c) Ilkka Mellin (005) Koesuunnittelu TKK (c) Ilkka Mellin (005) : Mitä opimme? Tarkastelemme tässä luvussa seuraavaa kysymystä: Miten varianssianalyysissa tutkitaan yhden tekijän vaikutusta vastemuuttujaan,

Lisätiedot

ABHELSINKI UNIVERSITY OF TECHNOLOGY

ABHELSINKI UNIVERSITY OF TECHNOLOGY Tilastollinen testaus Tilastollinen testaus Tilastollisessa testauksessa tutkitaan tutkimuskohteita koskevien oletusten tai väitteiden paikkansapitävyyttä havaintojen avulla. Testattavat oletukset tai

Lisätiedot

Yksisuuntainen varianssianalyysi (jatkoa) Heliövaara 1

Yksisuuntainen varianssianalyysi (jatkoa) Heliövaara 1 Yksisuuntainen varianssianalyysi (jatkoa) Heliövaara 1 Odotusarvoparien vertailu Jos yksisuuntaisen varianssianalyysin nollahypoteesi H 0 : µ 1 = µ 2 = = µ k = µ hylätään tiedetään, että ainakin kaksi

Lisätiedot

Ilkka Mellin Tilastolliset menetelmät. Osa 4: Lineaarinen regressioanalyysi. Regressiodiagnostiikka. TKK (c) Ilkka Mellin (2007) 1

Ilkka Mellin Tilastolliset menetelmät. Osa 4: Lineaarinen regressioanalyysi. Regressiodiagnostiikka. TKK (c) Ilkka Mellin (2007) 1 Ilkka Mellin Tilastolliset menetelmät Osa 4: Lineaarinen regressioanalyysi Regressiodiagnostiikka TKK (c) Ilkka Mellin (2007) 1 Regressiodiagnostiikka >> Yleinen lineaarinen malli ja regressiodiagnostiikka

Lisätiedot

Odotusarvoparien vertailu. Vilkkumaa / Kuusinen 1

Odotusarvoparien vertailu. Vilkkumaa / Kuusinen 1 Odotusarvoparien vertailu Vilkkumaa / Kuusinen 1 Motivointi Viime luennolta: yksisuuntaisella varianssianalyysilla testataan nollahypoteesia H 0 : μ 1 = μ 2 = = μ k = μ Jos H 0 hylätään, tiedetään, että

Lisätiedot

Johdatus tilastotieteeseen Estimointi. TKK (c) Ilkka Mellin (2005) 1

Johdatus tilastotieteeseen Estimointi. TKK (c) Ilkka Mellin (2005) 1 Johdatus tilastotieteeseen Estimointi TKK (c) Ilkka Mellin (2005) 1 Estimointi Todennäköisyysjakaumien parametrit ja niiden estimointi Hyvän estimaattorin ominaisuudet TKK (c) Ilkka Mellin (2005) 2 Estimointi:

Lisätiedot

Tilastollisen analyysin perusteet Luento 10: Johdatus varianssianalyysiin

Tilastollisen analyysin perusteet Luento 10: Johdatus varianssianalyysiin Tilastollisen analyysin perusteet Luento 10: Sisältö Varianssianalyysi Varianssianalyysi on kahden riippumattoman otoksen t testin yleistys. Varianssianalyysissä perusjoukko koostuu kahdesta tai useammasta

Lisätiedot

Sovellettu todennäköisyyslaskenta B

Sovellettu todennäköisyyslaskenta B Sovellettu todennäköisyyslaskenta B Antti Rasila 30. marraskuuta 2007 Antti Rasila () TodB 30. marraskuuta 2007 1 / 19 1 Lineaarinen regressiomalli ja suurimman uskottavuuden menetelmä Minimin löytäminen

Lisätiedot

1. Tutkitaan regressiomallia Y i = β 0 + β 1 X i + u i ja oletetaan, että tavanomaiset

1. Tutkitaan regressiomallia Y i = β 0 + β 1 X i + u i ja oletetaan, että tavanomaiset TA7, Ekonometrian johdantokurssi HARJOITUS 7 RATKAISUEHDOTUKSET 16.3.2015 1. Tutkitaan regressiomallia Y i = β 0 + X i + u i ja oletetaan, että tavanomaiset regressiomallin oletukset pätevät (Key Concept

Lisätiedot

Harjoitus 7: NCSS - Tilastollinen analyysi

Harjoitus 7: NCSS - Tilastollinen analyysi Harjoitus 7: NCSS - Tilastollinen analyysi Mat-2.2107 Sovelletun matematiikan tietokonetyöt Syksy 2006 Mat-2.2107 Sovelletun matematiikan tietokonetyöt 1 Harjoituksen aiheita Tilastollinen testaus Testaukseen

Lisätiedot

Estimointi. Estimointi. Estimointi: Mitä opimme? 2/4. Estimointi: Mitä opimme? 1/4. Estimointi: Mitä opimme? 3/4. Estimointi: Mitä opimme?

Estimointi. Estimointi. Estimointi: Mitä opimme? 2/4. Estimointi: Mitä opimme? 1/4. Estimointi: Mitä opimme? 3/4. Estimointi: Mitä opimme? TKK (c) Ilkka Mellin (2004) 1 Johdatus tilastotieteeseen TKK (c) Ilkka Mellin (2004) 2 Mitä opimme? 1/4 Tilastollisen tutkimuksen tavoitteena on tehdä johtopäätöksiä prosesseista, jotka generoivat reaalimaailman

Lisätiedot

Sovellettu todennäköisyyslaskenta B

Sovellettu todennäköisyyslaskenta B Sovellettu todennäköisyyslaskenta B Antti Rasila 16. marraskuuta 2007 Antti Rasila () TodB 16. marraskuuta 2007 1 / 15 1 Epäparametrisia testejä χ 2 -yhteensopivuustesti Homogeenisuuden testaaminen Antti

Lisätiedot

Mat Tilastollisen analyysin perusteet, kevät 2007

Mat Tilastollisen analyysin perusteet, kevät 2007 Mat-2.2104 Tilastollisen analyysin erusteet, kevät 2007 10. luento: Regressiomallin (selittäjien) valinta Kai Virtanen 1 Regressiomallin selittäjien valinnasta Mallista uuttuu selittäjiä => harhaiset regressiokertoimien

Lisätiedot

MS-A0502 Todennäköisyyslaskennan ja tilastotieteen peruskurssi

MS-A0502 Todennäköisyyslaskennan ja tilastotieteen peruskurssi MS-A0502 Todennäköisyyslaskennan ja tilastotieteen peruskurssi 4A Parametrien estimointi Lasse Leskelä Matematiikan ja systeemianalyysin laitos Perustieteiden korkeakoulu Aalto-yliopisto Syksy 2016, periodi

Lisätiedot

4.0.2 Kuinka hyvä ennuste on?

4.0.2 Kuinka hyvä ennuste on? Luonteva ennuste on käyttää yhtälöä (4.0.1), jolloin estimaattori on muotoa X t = c + φ 1 X t 1 + + φ p X t p ja estimointivirheen varianssi on σ 2. X t }{{} todellinen arvo Xt }{{} esimaattori = ε t Esimerkki

Lisätiedot

Mat Tilastollisen analyysin perusteet, kevät 2007

Mat Tilastollisen analyysin perusteet, kevät 2007 Mat-.104 Tilastollisen analyysin erusteet, kevät 007 Regressiomallin (selittäjien valinta Kai Virtanen 1 Regressiomallin selittäjien valinnasta Mallista uuttuu selittäjiä => harhaiset regressiokertoimien

Lisätiedot

Ilkka Mellin Tilastolliset menetelmät Osa 2: Otokset, otosjakaumat ja estimointi Estimointi

Ilkka Mellin Tilastolliset menetelmät Osa 2: Otokset, otosjakaumat ja estimointi Estimointi Ilkka Mellin Tilastolliset menetelmät Osa 2: Otokset, otosjakaumat ja estimointi Estimointi TKK (c) Ilkka Mellin (2006) 1 Estimointi >> Todennäköisyysjakaumien parametrit ja niiden estimointi Hyvän estimaattorin

Lisätiedot

Vastepintamenetelmä. Kuusinen/Heliövaara 1

Vastepintamenetelmä. Kuusinen/Heliövaara 1 Vastepintamenetelmä Kuusinen/Heliövaara 1 Vastepintamenetelmä Vastepintamenetelmässä pyritään vasteen riippuvuutta siihen vaikuttavista tekijöistä approksimoimaan tekijöiden polynomimuotoisella funktiolla,

Lisätiedot

Tilastollisen analyysin perusteet Luento 6: Korrelaatio ja riippuvuus tilastotieteessä

Tilastollisen analyysin perusteet Luento 6: Korrelaatio ja riippuvuus tilastotieteessä Tilastollisen analyysin perusteet Luento 6: Korrelaatio ja riippuvuus tilastotieteessä Sisältö Riippumattomuus Jos P(A B) = P(A)P(B), niin tapahtumat A ja B ovat toisistaan riippumattomia. (Keskustelimme

Lisätiedot

Tilastollinen aineisto Luottamusväli

Tilastollinen aineisto Luottamusväli Tilastollinen aineisto Luottamusväli Keijo Ruotsalainen Oulun yliopisto, Teknillinen tiedekunta Matematiikan jaos Tilastollinen aineisto p.1/20 Johdanto Kokeellisessa tutkimuksessa tutkittavien suureiden

Lisätiedot

Oletetaan, että virhetermit eivät korreloi toistensa eikä faktorin f kanssa. Toisin sanoen

Oletetaan, että virhetermit eivät korreloi toistensa eikä faktorin f kanssa. Toisin sanoen Yhden faktorin malli: n kpl sijoituskohteita, joiden tuotot ovat r i, i =, 2,..., n. Olkoon f satunnaismuuttuja ja oletetaan, että tuotot voidaan selittää yhtälön r i = a i + b i f + e i avulla, missä

Lisätiedot

Parametrin estimointi ja bootstrap-otanta

Parametrin estimointi ja bootstrap-otanta Parametrin estimointi ja bootstrap-otanta Hannu Toivonen, Marko Salmenkivi, Inkeri Verkamo Tutkimustiedonhallinnan peruskurssi Parametrin estimointi ja bootstrap-otanta 1/27 Kevät 2003 Käytännön asioista

Lisätiedot

MS-A0204 Differentiaali- ja integraalilaskenta 2 (ELEC2) Luento 7: Pienimmän neliösumman menetelmä ja Newtonin menetelmä.

MS-A0204 Differentiaali- ja integraalilaskenta 2 (ELEC2) Luento 7: Pienimmän neliösumman menetelmä ja Newtonin menetelmä. MS-A0204 Differentiaali- ja integraalilaskenta 2 (ELEC2) Luento 7: Pienimmän neliösumman menetelmä ja Newtonin menetelmä. Antti Rasila Matematiikan ja systeemianalyysin laitos Aalto-yliopisto Kevät 2016

Lisätiedot

Mat Tilastollisen analyysin perusteet, kevät 2007

Mat Tilastollisen analyysin perusteet, kevät 2007 Mat-2.2104 Tilastollisen analyysin perusteet, kevät 2007 2. luento: Tilastolliset testit Kai Virtanen 1 Tilastollinen testaus Tutkimuksen kohteena olevasta perusjoukosta esitetään väitteitä oletuksia joita

Lisätiedot

Aalto-yliopisto, Matematiikan ja systeemianalyysin laitos /Malmivuori MS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi,

Aalto-yliopisto, Matematiikan ja systeemianalyysin laitos /Malmivuori MS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi, Aalto-yliopisto, Matematiikan ja systeemianalyysin laitos /Malmivuori MS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi, kesä 2016 Laskuharjoitus 5, Kotitehtävien palautus laskuharjoitusten

Lisätiedot

TA7, Ekonometrian johdantokurssi HARJOITUS 4 1 RATKAISUEHDOTUKSET

TA7, Ekonometrian johdantokurssi HARJOITUS 4 1 RATKAISUEHDOTUKSET TA7, Ekonometrian johdantokurssi HARJOITUS 4 1 RATKAISUEHDOTUKSET 16..015 1. a Poliisivoimien suuruuden lisäksi piirikuntien rikostilastoihin vaikuttaa monet muutkin tekijät. Esimerkiksi asukkaiden keskimääräinen

Lisätiedot

Sovellettu todennäköisyyslaskenta B

Sovellettu todennäköisyyslaskenta B Sovellettu todennäköisyyslaskenta B Antti Rasila 8. marraskuuta 2007 Antti Rasila () TodB 8. marraskuuta 2007 1 / 15 1 Tilastollisia testejä Z-testi Normaalijakauman odotusarvon testaus, keskihajonta tunnetaan

Lisätiedot

MS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi

MS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi MS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi 5B Tilastollisen merkitsevyyden testaus Osa II Lasse Leskelä Matematiikan ja systeemianalyysin laitos Perustieteiden korkeakoulu Aalto-yliopisto

Lisätiedot

Testejä suhdeasteikollisille muuttujille

Testejä suhdeasteikollisille muuttujille Ilkka Mellin Tilastolliset menetelmät Osa 3: Tilastolliset testit Testejä suhdeasteikollisille muuttujille TKK (c) Ilkka Mellin (007) 1 Testejä suhdeasteikollisille muuttujille >> Testit normaalijakauman

Lisätiedot

Moniulotteisia todennäköisyysjakaumia. Moniulotteisia todennäköisyysjakaumia. Moniulotteisia todennäköisyysjakaumia: Mitä opimme?

Moniulotteisia todennäköisyysjakaumia. Moniulotteisia todennäköisyysjakaumia. Moniulotteisia todennäköisyysjakaumia: Mitä opimme? TKK (c) Ilkka Mellin (4) Moniulotteisia todennäköisyysjakaumia Johdatus todennäköisyyslaskentaan Moniulotteisia todennäköisyysjakaumia TKK (c) Ilkka Mellin (4) Moniulotteisia todennäköisyysjakaumia: Mitä

Lisätiedot

Moniulotteisia todennäköisyysjakaumia

Moniulotteisia todennäköisyysjakaumia Ilkka Mellin Todennäköisyyslaskenta Osa 3: Todennäköisyysjakaumia Moniulotteisia todennäköisyysjakaumia TKK (c) Ilkka Mellin (007) 1 Moniulotteisia todennäköisyysjakaumia >> Multinomijakauma Kaksiulotteinen

Lisätiedot

MS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi

MS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi MS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi Viikko 5 Tilastollisten hypoteesien testaaminen Lasse Leskelä, Heikki Seppälä Matematiikan ja systeemianalyysin laitos Perustieteiden korkeakoulu

Lisätiedot

9. laskuharjoituskierros, vko 12-13, ratkaisut

9. laskuharjoituskierros, vko 12-13, ratkaisut 9. laskuharjoituskierros, vko 12-13, ratkaisut D1. Olkoot X i, i = 1, 2,..., n riippumattomia, samaa eksponenttijakaumaa noudattavia satunnaismuuttujia, joiden odotusarvo E(X i = β, toisin sanoen X i :t

Lisätiedot

MS-A0503 Todennäköisyyslaskennan ja tilastotieteen peruskurssi

MS-A0503 Todennäköisyyslaskennan ja tilastotieteen peruskurssi MS-A0503 Todennäköisyyslaskennan ja tilastotieteen peruskurssi 5B Frekventistiset vs. bayeslaiset menetelmät Lasse Leskelä Matematiikan ja systeemianalyysin laitos Perustieteiden korkeakoulu Aalto-yliopisto

Lisätiedot

Sovellettu todennäköisyyslaskenta B

Sovellettu todennäköisyyslaskenta B Sovellettu todennäköisyyslaskenta B Antti Rasila 30. lokakuuta 2007 Antti Rasila () TodB 30. lokakuuta 2007 1 / 23 1 Otos ja otosjakaumat (jatkoa) Frekvenssi ja suhteellinen frekvenssi Frekvenssien odotusarvo

Lisätiedot

Johdatus regressioanalyysiin

Johdatus regressioanalyysiin Ilkka Mellin Tilastolliset menetelmät Osa 4: Lineaarinen regressioanalyysi Johdatus regressioanalyysiin TKK (c) Ilkka Mellin (2007) 1 Johdatus regressioanalyysiin >> Regressioanalyysin lähtökohdat ja tavoitteet

Lisätiedot

Sovellettu todennäköisyyslaskenta B

Sovellettu todennäköisyyslaskenta B Sovellettu todennäköisyyslaskenta B Antti Rasila 8. marraskuuta 2007 Antti Rasila () TodB 8. marraskuuta 2007 1 / 18 1 Kertausta: momenttimenetelmä ja suurimman uskottavuuden menetelmä 2 Tilastollinen

Lisätiedot

Johdatus todennäköisyyslaskentaan Moniulotteisia todennäköisyysjakaumia. TKK (c) Ilkka Mellin (2005) 1

Johdatus todennäköisyyslaskentaan Moniulotteisia todennäköisyysjakaumia. TKK (c) Ilkka Mellin (2005) 1 Johdatus todennäköisyyslaskentaan Moniulotteisia todennäköisyysjakaumia TKK (c) Ilkka Mellin (005) 1 Moniulotteisia todennäköisyysjakaumia Multinomijakauma Kaksiulotteinen normaalijakauma TKK (c) Ilkka

Lisätiedot

edellyttää valintaa takaisinpanolla Aritmeettinen keskiarvo Jos, ½ Ò muodostavat satunnaisotoksen :n jakaumasta niin Otosvarianssi Ë ¾

edellyttää valintaa takaisinpanolla Aritmeettinen keskiarvo Jos, ½ Ò muodostavat satunnaisotoksen :n jakaumasta niin Otosvarianssi Ë ¾ ËØÙ ÓØÓ Ø Mitta-asteikot Nominaali- eli laatueroasteikko Ordinaali- eli järjestysasteikko Intervalli- eli välimatka-asteikko ( nolla mielivaltainen ) Suhdeasteikko ( nolla ei ole mielivaltainen ) Otos

Lisätiedot

MS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi

MS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi MS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi 6A Tilastolliset luottamusvälit Lasse Leskelä Matematiikan ja systeemianalyysin laitos Perustieteiden korkeakoulu Aalto-yliopisto Syksy 2016,

Lisätiedot

Koska ovat negatiiviset. Keskihajontoja ei pystytä laskemaan mutta pätee ¾.

Koska ovat negatiiviset. Keskihajontoja ei pystytä laskemaan mutta pätee ¾. 24.11.2006 1. Oletetaan, että kaksiulotteinen satunnaismuuttuja µ noudattaa kaksiulotteista normaalijakaumaa. Oletetaan lisäksi, että satunnaismuuttujan regressiofunktio satunnaismuuttujan suhteen on ݵ

Lisätiedot

Kertausluento. Vilkkumaa / Kuusinen 1

Kertausluento. Vilkkumaa / Kuusinen 1 Kertausluento Vilkkumaa / Kuusinen 1 Kokeellinen tutkimus Kokeellisessa tutkimuksessa on tavoitteena selvittää, miten erilaiset käsittelyt vaikuttavat tutkimuksen kohteisiin - Esim. miten lämpötila ja

Lisätiedot

Testit laatueroasteikollisille muuttujille

Testit laatueroasteikollisille muuttujille Ilkka Mellin Tilastolliset menetelmät Osa 3: Tilastolliset testit Testit laatueroasteikollisille muuttujille TKK (c) Ilkka Mellin (2007) 1 Testit laatueroasteikollisille muuttujille >> Laatueroasteikollisten

Lisätiedot

MS-C2103 Koesuunnittelu ja tilastolliset mallit (5 op)

MS-C2103 Koesuunnittelu ja tilastolliset mallit (5 op) MS-C2103 Koesuunnittelu ja tilastolliset mallit (5 op) Aalto-yliopisto 2017 Todennäköisyyslaskennan kertaus Satunnaismuuttujat ja tn-jakaumat Tunnusluvut χ 2 -, F- ja t-jakauma Riippumattomuus Tilastotieteen

Lisätiedot

Yhden selittäjän lineaarinen regressiomalli

Yhden selittäjän lineaarinen regressiomalli Ilkka Melli Tilastolliset meetelmät Osa 4: Lieaarie regressioaalyysi Yhde selittäjä lieaarie regressiomalli TKK (c) Ilkka Melli (007) Yhde selittäjä lieaarie regressiomalli >> Yhde selittäjä lieaarie regressiomalli

Lisätiedot

Tilastollisen analyysin perusteet Luento 2: Tilastolliset testit

Tilastollisen analyysin perusteet Luento 2: Tilastolliset testit Tilastollisen analyysin perusteet Luento 2: Tilastolliset testit Sisältö Tilastollisia testejä tehdään jatkuvasti lukemattomilla aloilla. Meitä saattaa kiinnostaa esimerkiksi se, että onko miesten ja

Lisätiedot

tilastotieteen kertaus

tilastotieteen kertaus tilastotieteen kertaus Keskiviikon 24.1. harjoitukset pidetään poikkeuksellisesti klo 14-16 luokassa Y228. Heliövaara 1 Mitä tilastotiede on? Tilastotiede kehittää ja soveltaa menetelmiä, joiden avulla

Lisätiedot

Tilastollisen analyysin perusteet Luento 1: Lokaatio ja hajonta

Tilastollisen analyysin perusteet Luento 1: Lokaatio ja hajonta Tilastollisen analyysin perusteet Luento 1: ja hajonta Sisältö Havaittujen arvojen jakauma Havaittujen arvojen jakaumaa voidaan kuvailla ja esitellä tiivistämällä havaintoarvot sopivaan muotoon. Jakauman

Lisätiedot

Mat Tilastollisen analyysin perusteet, kevät 2007

Mat Tilastollisen analyysin perusteet, kevät 2007 Mat-2.2104 Tilastollisen analyysin perusteet, kevät 2007 4. luento: Jakaumaoletuksien testaaminen Kai Virtanen 1 Jakaumaoletuksien testaamiseen soveltuvat testit χ 2 -yhteensopivuustesti yksi otos otoksen

Lisätiedot

MS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi

MS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi MS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi 5A Tilastollisen merkitsevyyden testaus (+ jatkuvan parametrin Bayes-päättely) Lasse Leskelä Matematiikan ja systeemianalyysin laitos Perustieteiden

Lisätiedot

Johdatus tilastotieteeseen Väliestimointi. TKK (c) Ilkka Mellin (2005) 1

Johdatus tilastotieteeseen Väliestimointi. TKK (c) Ilkka Mellin (2005) 1 Johdatus tilastotieteeseen Väliestimointi TKK (c) Ilkka Mellin (2005) 1 Väliestimointi Todennäköisyysjakaumien parametrien estimointi Luottamusväli Normaalijakauman odotusarvon luottamusväli Normaalijakauman

Lisätiedot

Todennäköisyyslaskennan ja tilastotieteen peruskurssi Esimerkkikokoelma 3

Todennäköisyyslaskennan ja tilastotieteen peruskurssi Esimerkkikokoelma 3 Todennäköisyyslaskennan ja tilastotieteen peruskurssi Esimerkkikokoelma 3 Aiheet: Satunnaisvektorit ja moniulotteiset jakaumat Tilastollinen riippuvuus ja lineaarinen korrelaatio Satunnaisvektorit ja moniulotteiset

Lisätiedot

Jos nyt on saatu havaintoarvot Ü ½ Ü Ò niin suurimman uskottavuuden

Jos nyt on saatu havaintoarvot Ü ½ Ü Ò niin suurimman uskottavuuden 1.12.2006 1. Satunnaisjakauman tiheysfunktio on Ü µ Üe Ü, kun Ü ja kun Ü. Määritä parametrin estimaattori momenttimenetelmällä ja suurimman uskottavuuden menetelmällä. Ratkaisu: Jotta kyseessä todella

Lisätiedot

Harjoitusten 4 vastaukset

Harjoitusten 4 vastaukset Harjoitusten 4 vastaukset 4.1. Prosessi on = 1 +, jossa»iid( 2 )ja =1 2. PNS estimaattori :lle on (" P P 2 ") = +( X X 2 ) 1 1. =1 Suluissa oleva termi on deterministinen ja suppenee vihjeen mukaan 2 6:teen.

Lisätiedot

Ilkka Mellin Aikasarja-analyysi Suurimman uskottavuuden menetelmä

Ilkka Mellin Aikasarja-analyysi Suurimman uskottavuuden menetelmä Ilkka Mellin Aikasarja-analyysi Suurimman uskottavuuden menetelmä TKK (c) Ilkka Mellin (2007) 1 Suurimman uskottavuuden menetelmä >> Suurimman uskottavuuden estimointimenetelmä Tarkentuvuus Asymptoottinen

Lisätiedot

Tilastolliset menetelmät. Osa 3: Tilastolliset testit. Tilastollinen testaus KE (2014) 1

Tilastolliset menetelmät. Osa 3: Tilastolliset testit. Tilastollinen testaus KE (2014) 1 Tilastolliset menetelmät Osa 3: Tilastolliset testit Tilastollinen testaus KE (2014) 1 Tilastolliset testit >> Tilastollinen testaus Tilastolliset hypoteesit Tilastolliset testit ja testisuureet Virheet

Lisätiedot

Johdatus tilastotieteeseen Johdatus regressioanalyysiin. TKK (c) Ilkka Mellin (2005) 1

Johdatus tilastotieteeseen Johdatus regressioanalyysiin. TKK (c) Ilkka Mellin (2005) 1 Johdatus tilastotieteeseen Johdatus regressioanalyysiin TKK (c) Ilkka Mellin (2005) 1 Johdatus regressioanalyysiin Regressioanalyysin lähtökohdat ja tavoitteet Deterministiset mallit ja regressioanalyysi

Lisätiedot

pitkittäisaineistoissa

pitkittäisaineistoissa Puuttuvan tiedon käsittelystä p. 1/18 Puuttuvan tiedon käsittelystä pitkittäisaineistoissa Tapio Nummi tan@uta.fi Matematiikan, tilastotieteen ja filosofian laitos Tampereen yliopisto Puuttuvan tiedon

Lisätiedot

xi = yi = 586 Korrelaatiokerroin r: SS xy = x i y i ( x i ) ( y i )/n = SS xx = x 2 i ( x i ) 2 /n =

xi = yi = 586 Korrelaatiokerroin r: SS xy = x i y i ( x i ) ( y i )/n = SS xx = x 2 i ( x i ) 2 /n = 1. Tutkitaan paperin ominaispainon X(kg/dm 3 ) ja puhkaisulujuuden Y (m 2 ) välistä korrelaatiota. Tiettyä laatua olevasta paperierästä on otettu satunnaisesti 10 arkkia ja määritetty jokaisesta arkista

Lisätiedot

Dynaamiset regressiomallit

Dynaamiset regressiomallit MS-C2128 Ennustaminen ja Aikasarja-analyysi, Heikki Seppälä Matematiikan ja systeemianalyysin laitos Perustieteiden korkeakoulu Aalto-yliopisto Syksy 2015 Viikko 6: 1 Kalmanin suodatin Aiemmin käsitellyt

Lisätiedot

1. Tutkitaan tavallista kahden selittäjän regressiomallia

1. Tutkitaan tavallista kahden selittäjän regressiomallia TA7, Ekonometrian johdantokurssi HARJOITUS 5 RATKAISUEHDOTUKSET 232215 1 Tutkitaan tavallista kahden selittäjän regressiomallia Y i = β + β 1 X 1,i + β 2 X 2,i + u i (a) Kirjoita regressiomalli muodossa

Lisätiedot

Testit järjestysasteikollisille muuttujille

Testit järjestysasteikollisille muuttujille Ilkka Mellin Tilastolliset menetelmät Osa 3: Tilastolliset testit Testit järjestysasteikollisille muuttujille TKK (c) Ilkka Mellin (2007) 1 Testit järjestysasteikollisille muuttujille >> Järjestysasteikollisten

Lisätiedot

Vastepintamenetelmä. Vilkkumaa / Kuusinen 1

Vastepintamenetelmä. Vilkkumaa / Kuusinen 1 Vastepintamenetelmä Vilkkumaa / Kuusinen 1 Motivointi Varianssianalyysissa tutkitaan tekijöiden vaikutusta vasteeseen siten, että tekijöiden tasot on ennalta valittu. - Esim. tutkitaan kemiallisen prosessin

Lisätiedot

MS-A0502 Todennäköisyyslaskennan ja tilastotieteen peruskurssi

MS-A0502 Todennäköisyyslaskennan ja tilastotieteen peruskurssi MS-A0502 Todennäköisyyslaskennan ja tilastotieteen peruskurssi 4B Tilastolliset luottamusvälit Lasse Leskelä Matematiikan ja systeemianalyysin laitos Perustieteiden korkeakoulu Aalto-yliopisto Syksy 2016,

Lisätiedot

Lause 4.2. Lineearinen pienimmän keskineliövirheen estimaattoi on lineaarinen projektio.

Lause 4.2. Lineearinen pienimmän keskineliövirheen estimaattoi on lineaarinen projektio. Määritelmä 4.3. Estimaattoria X(Y ) nimitetään lineaariseksi projektioksi, jos X on lineaarinen kuvaus ja E[(X X(Y )) Y] 0 }{{} virhetermi Lause 4.2. Lineearinen pienimmän keskineliövirheen estimaattoi

Lisätiedot

MS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi

MS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi MS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi Viikko 4 Tilastollisen aineiston kuvaileminen, mallintaminen ja estimointi Lasse Leskelä, Heikki Seppälä Matematiikan ja systeemianalyysin

Lisätiedot

pitkittäisaineistoissa

pitkittäisaineistoissa Puuttuvan tiedon ongelma p. 1/18 Puuttuvan tiedon ongelma pitkittäisaineistoissa Tapio Nummi tan@uta.fi Matematiikan, tilastotieteen ja filosofian laitos Tampereen yliopisto mtl.uta.fi/tilasto/sekamallit/puupitkit.pdf

Lisätiedot

MS-A0503 Todennäköisyyslaskennan ja tilastotieteen peruskurssi

MS-A0503 Todennäköisyyslaskennan ja tilastotieteen peruskurssi MS-A0503 Todennäköisyyslaskennan ja tilastotieteen peruskurssi 3A Normaaliapproksimaatio Lasse Leskelä Matematiikan ja systeemianalyysin laitos Perustieteiden korkeakoulu Aalto-yliopisto Lukuvuosi 2016

Lisätiedot