Erityiskysymyksiä yleisen lineaarisen mallin soveltamisessa

Koko: px
Aloita esitys sivulta:

Download "Erityiskysymyksiä yleisen lineaarisen mallin soveltamisessa"

Transkriptio

1 Ilkka Mellin Tilastolliset menetelmät Osa 4: Lineaarinen regressioanalyysi Erityiskysymyksiä yleisen lineaarisen mallin soveltamisessa TKK (c) Ilkka Mellin (2007) 1

2 Erityiskysymyksiä yleisen lineaarisen mallin soveltamisessa >> Erityiskysymyksiä yleisen lineaarisen mallin soveltamisessa: Johdanto Yleistetty pienimmän neliösumman menetelmä Rajoitettu pienimmän neliösumman menetelmä Instrumenttimuuttujamenetelmä TKK (c) Ilkka Mellin (2007) 2

3 Erityiskysymyksiä yleisen lineaarisen mallin soveltamisessa: Johdanto Yleinen lineaarinen malli: Määritelmä Olkoon yi = β0 + β1xi 1+ β2xi2 + + βkxik + εi, i = 1,2,, n yleinen lineaarinen malli, jossa y i = selitettävän muuttujan y satunnainen ja havaittu arvo havaintoyksikössä i x ij = selittävän muuttujan eli selittäjän x j havaittu arvo havaintoyksikössä i, j = 1, 2,, k β 0 = vakioselittäjän tuntematon regressiokerroin β j ε i = selittäjän x j tuntematon regressiokerroin = satunnainen ja ei-havaittu jäännös- eli virhetermi havaintoyksikössä i TKK (c) Ilkka Mellin (2007) 3

4 Erityiskysymyksiä yleisen lineaarisen mallin soveltamisessa: Johdanto Yleinen lineaarinen malli: Matriisiesitys Yleisen lineaarisen mallin matriisiesitys on muotoa y = Xβ + ε jossa y = selitettävän muuttujan y havaittujen arvojen muodostama satunnainen n-vektori X = selittäjien x 1, x 2,, x k havaittujen arvojen ja ykkösten muodostama n (k + 1)-matriisi β = regressiokertoimien muodostama tuntematon ja kiinteä eli ei-satunnainen (k + 1)-vektori ε = jäännöstermien muodostama ei-havaittu ja satunnainen n-vektori TKK (c) Ilkka Mellin (2007) 4

5 Erityiskysymyksiä yleisen lineaarisen mallin soveltamisessa: Johdanto Yleinen lineaarinen malli: Standardioletukset kiinteille selittäjille Jos yleisen lineaarisen mallin y = Xβ + ε selittäjät x 1, x 2,, x k ovat kiinteitä eli ei-satunnaisia muuttujia, mallia koskevat standardioletukset voidaan esittää matriisein seuraavassa muodossa: (i) Matriisin X alkiot ovat ei-satunnaisia vakioita. (ii) Matriisi X on täysiasteinen: r(x) = k + 1 (iii) E( ε) = 0 (iv)&(v) Homoskedastisuus- ja korreloimattomuusoletus: 2 Cov( ε) = σ I (vi) Normaalisuusoletus: ε 0 I 2 N n(, σ ) TKK (c) Ilkka Mellin (2007) 5

6 Erityiskysymyksiä yleisen lineaarisen mallin soveltamisessa: Johdanto Yleinen lineaarinen malli: Standardioletukset satunnaisille selittäjille Jos yleisen lineaarisen mallin y = Xβ + ε selittäjät x 1, x 2,, x k ovat satunnaismuuttujia, mallia koskevat standardioletukset voidaan esittää matriisein seuraavassa muodossa: (i) Matriisin X alkiot ovat satunnaismuuttujia. (ii) Matriisi X on täysiasteinen: r(x) = k + 1 (iii) E( ε X) = 0 (iv) &(v) Homoskedastisuus- ja korreloimattomuusoletus: 2 Cov( ε X) = σ I (vi) Normaalisuusoletus: 2 ( ε X) N n( 0, σ I) TKK (c) Ilkka Mellin (2007) 6

7 Erityiskysymyksiä yleisen lineaarisen mallin soveltamisessa: Johdanto Yleinen lineaarinen malli: Regressiokertoimien PNS-estimointi 1/2 Yleisen lineaarisen mallin yi = β0 + β1xi 1+ β2xi2 + + βkxik + εi, i = 1,2,, n regressiokertoimien β 0, β 1, β 2,, β k PNS- eli pienimmän neliösumman estimaattorit b 0, b 1, b 2,, b k minimoivat jäännös- eli virhetermien ε i neliösumman n n 2 2 εi = ( yi β0 β1xi1 β2xi2 βkxik) i= 1 i= 1 kertoimien β 0, β 1, β 2,, β k suhteen. TKK (c) Ilkka Mellin (2007) 7

8 Erityiskysymyksiä yleisen lineaarisen mallin soveltamisessa: Johdanto Yleinen lineaarinen malli: Regressiokertoimien PNS-estimointi 2/2 Yleisen lineaarisen mallin y = Xβ + ε regressiokertoimien vektorin β = (β 0, β 1, β 2,, β k ) tavallinen PNS-estimaattori voidaan esittää matriisein muodossa b= ( XX ) 1 Xy TKK (c) Ilkka Mellin (2007) 8

9 Erityiskysymyksiä yleisen lineaarisen mallin soveltamisessa: Johdanto PNS-estimaattorin paremmuus: Gaussin ja Markovin lause Olkoon y = Xβ + ε yleinen lineaarinen malli, joka toteuttaa standardioletukset (i)-(v). Tällöin pätee Gaussin ja Markovin lause: Regressiokertoimien vektorin β PNS-estimaattori b= ( XX ) 1 Xy on paras (eli tehokkain) vektorin β lineaaristen ja harhattomien estimaattoreiden joukossa. TKK (c) Ilkka Mellin (2007) 9

10 Erityiskysymyksiä yleisen lineaarisen mallin soveltamisessa: Johdanto PNS-estimaattorin paremmuus: Kommentteja Gaussin ja Markovin lauseeseen Gaussin ja Markovin lauseen mukaan tavallinen PNSestimaattori b on paras (eli tehokkain) yleisen lineaarisen mallin regressiokertoimien vektorin β lineaaristen ja harhattomien estimaattoreiden joukossa, jos standardioletukset (i)-(v) pätevät. Tämä ei tarkoita sitä, että regressiokertoimien vektorille β ei voisi löytyä (jossakin mielessä) PNS-estimaattoreita parempia estimaattoreita, jos siirrytään pois lineaaristen ja harhattomien estimaattoreiden joukosta tai standardioletuksista (i)-(v) luovutaan. TKK (c) Ilkka Mellin (2007) 10

11 Erityiskysymyksiä yleisen lineaarisen mallin soveltamisessa: Johdanto Koska PNS-estimaattori ei ole optimaalinen? Tässä luvussa tarkastellaan kahta tilannetta, joissa yleisen lineaarisen mallin regressiokertoimien vektorin β PNS-estimaattori b on harhaton, mutta ei ole optimaalinen: (i) Jos homoskedastisuus-ja korreloimattomuusoletus 2 (iv)&(v) Cov( ε) = σ I ei päde, ns. yleistetty PNS-estimaattori on PNSestimaattoria b parempi. (ii) Jos vektoria β sitovat lineaariset rajoitukset, ns. rajoitettu PNS-estimaattori on PNS-estimaattoria b parempi. TKK (c) Ilkka Mellin (2007) 11

12 Erityiskysymyksiä yleisen lineaarisen mallin soveltamisessa: Johdanto Koska PNS-estimaattori ei saa käyttää? Tarkastelemme myös sellaista tilannetta, jossa yleisen lineaarisen mallin regressiokertoimien vektorin β PNSestimaattori b ei ole harhaton eikä edes tarkentuva, jolloin se ei ole kelvollinen estimaattori vektorille β. Näin saattaa tapahtua esim. tilanteissa, joissa selittäjä on stokastinen ja korreloi jäännöstermin kanssa. Vektorin β tarkentuva estimaattori voidaan tällaisessa tilanteessa kuitenkin joskus muodostaa ns. instrumenttimuuttujamenetelmällä. TKK (c) Ilkka Mellin (2007) 12

13 Erityiskysymyksiä yleisen lineaarisen mallin soveltamisessa Erityiskysymyksiä yleisen lineaarisen mallin soveltamisessa: Johdanto >> Yleistetty pienimmän neliösumman menetelmä Rajoitettu pienimmän neliösumman menetelmä Instrumenttimuuttujamenetelmä TKK (c) Ilkka Mellin (2007) 13

14 Yleistetty pienimmän neliösumman menetelmä Yleistetty PNS-menetelmä: Oletukset 1/2 Yleistä lineaarista mallia y = Xβ+ ε koskevien standardioletuksien (iv)&(v) mukaan 2 Cov( ε) = σ I Oletuksen (iv) mukaan jäännöstermit ε i, i = 1, 2,, n ovat homoskedastisia eli niillä on sama varianssi: Var(ε i ) = σ 2, i = 1, 2,, n Oletuksen (v) mukaan jäännöstermit ε i, i = 1, 2,, n ovat korreloimattomia: Cor(ε i, ε l ) = 0, i l TKK (c) Ilkka Mellin (2007) 14

15 Yleistetty pienimmän neliösumman menetelmä Yleistetty PNS-menetelmä: Oletukset 2/2 Korvataan oletukset (iv)&(v) ja (vi) oletuksilla (iv) * &(v) * 2 Cov( ε) = σ V (vi) * 2 ε N( 0, σ V) jossa V on positiivisesti definiitti matriisi. Oletuksien (iv) * &(v) * ja (vi) * mukaan jäännöstermit ε i, i = 1, 2,, n saavat olla sekä heteroskedastisia eli erivarianssisia että korreloituneita. Huomautus: Koska matriisi V oletettiin positiivisesti definiitiksi, niin se on epäsingulaarinen ja sillä on käänteismatriisi. TKK (c) Ilkka Mellin (2007) 15

16 Yleistetty pienimmän neliösumman menetelmä Yleistetty PNS-estimaattori: Määritelmä Regressiokertoimien vektorin β yleistetty PNS-estimaattori saadaan minimoimalla neliömuoto 1 ( y Xβ) V ( y Xβ) vektorin β suhteen. Vektorin β yleistetty PNS-estimaattori on bgls = ( XV X) XV y GLS = Generalized Least Squares TKK (c) Ilkka Mellin (2007) 16

17 Yleistetty pienimmän neliösumman menetelmä Yleistetyn PNS-estimaattorin paremmuus: Gaussin ja Markovin lause Olkoon y = Xβ+ ε standardioletukset (i)-(iii) ja modifioidut standardioletukset (iv) * &(v) * toteuttava lineaarinen malli. Tällöin pätee modifioitu Gaussin ja Markovin lause: Regressiokertoimien vektorin β yleistetty PNS-estimaattori bgls = ( XV X) XV y on paras (eli tehokkain) vektorin β lineaaristen ja harhattomien estimaattoreiden joukossa. TKK (c) Ilkka Mellin (2007) 17

18 Yleistetty pienimmän neliösumman menetelmä Yleistetyn PNS-estimaattorin ominaisuudet 1/3 Olkoon bgls = ( XV X) XV y yleisen lineaarisen regressiomallin y = Xβ+ ε regressiokertoimien vektorin β yleistetty PNS-estimaattori. Jos modifioidut standardioletukset (i)-(iii) ja (iv) * &(v) * pätevät, E( bgls ) = β Cov( b ) = σ ( XV X) GLS TKK (c) Ilkka Mellin (2007) 18

19 Yleistetty pienimmän neliösumman menetelmä Yleistetyn PNS-estimaattorin ominaisuudet 2/3 Yleisen lineaarisen mallin y = Xβ+ ε regressiokertoimien vektorin β yleistetyllä PNSestimaattorilla b GLS on modifioitujen standardioletuksien (i)-(iii), (iv) * &(v) * ja (vi) * pätiessä seuraavat ominaisuudet: (1) b GLS on harhaton. (2) b GLS paras (eli tehokkain) lineaaristen ja harhattomien estimaattoreiden joukossa. (3) b GLS on (sopivin lisäehdoin) tarkentuva. (4) b GLS on normaalinen. TKK (c) Ilkka Mellin (2007) 19

20 Yleistetty pienimmän neliösumman menetelmä Yleistetyn PNS-estimaattorin ominaisuudet 3/3 Yleistetty PNS-estimaattori b GLS on modifioitujen standardioletusten (i)-(iii), (iv) * &(v) * ja (vi) pätiessä parempi kuin tavallinen PNS-estimaattori b : Cov( b) Cov( b ) GLS TKK (c) Ilkka Mellin (2007) 20

21 Yleistetty pienimmän neliösumman menetelmä Laskettava yleistetty PNS-estimaattori 1/4 Käytännössä jäännöstermin ε kovarianssimatriisissa 2 Cov( ε) = σ V esiintyvä matriisi V on tuntematon. Huomaa, että matriisissa V on n(n + 1)/2 vapaata parametria, jossa n on havaintojen lukumäärä mallissa. Tämä merkitsee sitä, että matriisia V ei voi sellaisenaan estimoida n:stä havainnosta. TKK (c) Ilkka Mellin (2007) 21

22 Yleistetty pienimmän neliösumman menetelmä Laskettava yleistetty PNS-estimaattori 2/4 Oletetaan, että kovarianssimatriisi V riippuu tuntemattomista parametreista δ 1, δ 2,, δ m jossa m < n (= havaintojen lukumäärä) Tavallisesti pätee m << n Oletetaan lisäksi, että parametrit δ 1, δ 2,, δ m voidaan estimoida tarkentuvasti eli siten, että estimaattorit havaintojen lukumäärän kasvaessa lähestyvät stokastisesti parametrien oikeita arvoja. TKK (c) Ilkka Mellin (2007) 22

23 Yleistetty pienimmän neliösumman menetelmä Laskettava yleistetty PNS-estimaattori 3/4 Merkitään δ = (δ 1, δ 2,, δ m ) Käytetään kovarianssimatriisille V merkintää V( δ) korostamaan matriisin V riippuvuutta parametreista δ 1, δ 2,, δ m. TKK (c) Ilkka Mellin (2007) 23

24 Yleistetty pienimmän neliösumman menetelmä Laskettava yleistetty PNS-estimaattori 4/4 Olkoon Vˆ ( δˆ ) matriisin V(δ) estimaattori, joka saadaan sijoittamalla parametrin δ paikalle sen tarkentuva estimaattori ˆδ. Tällöin * ˆ ˆ 1 1 ˆ ˆ 1 bgls = ( X [ V( δ)] X) X [ V( δ)] y on regressiokertoimien vektorin β tarkentuva estimaattori, jota kutsutaan usein laskettavaksi (engl. feasible). TKK (c) Ilkka Mellin (2007) 24

25 Yleistetty pienimmän neliösumman menetelmä Laskettava yleistetty PNS-estimaattori: Matriisin V spesifiointi Matriisi V voidaan spesifioida eli esittää parametrointi tekemällä sopivia oletuksia mallin jäännöstermin ε heteroskedastisuus- tai kovarianssirakenteesta. Esimerkiksi aikasarjojen regressiomalleissa matriisi V voidaan usein spesifioida jäännöstermin autokorrelaatiorakenteen avulla. TKK (c) Ilkka Mellin (2007) 25

26 Yleistetty pienimmän neliösumman menetelmä Yleistetty PNS-estimaattori: Korreloimaton jäännöstermi 1/3 Oletetaan, että yleisen lineaarisen mallin y = Xβ+ ε toteuttaa modifioidut standardioletukset (i)-(iii), (iv) * &(v) *, mutta jäännöstermin ε kovarianssimatriisissa 2 Cov( ε) = σ V esiintyvä matriisi V on diagonaalinen: V = diag( z1, z2,, z n ) ja z 1, z 2,, z n ovat tunnettuja positiivisia lukuja. Tällöin jäännöstermit ovat korreloimattomia, mutta ne saavat yleisessä tapauksessa olla heteroskedastisia. TKK (c) Ilkka Mellin (2007) 26

27 Yleistetty pienimmän neliösumman menetelmä Yleistetty PNS-estimaattori: Korreloimaton jäännöstermi 2/3 Tällöin regressiokertoimien vektorin β yleistetyn PNSestimaattorin kaavassa bgls = ( XV X) XV y matriisin V käänteismatriisi on muotoa V = diag(1/ z1,1/ z2,,1/ z n ) Tällöin estimaattoria b GLS kutsutaan tavallisesti painotetuksi PNS-estimaattoriksi. TKK (c) Ilkka Mellin (2007) 27

28 Yleistetty pienimmän neliösumman menetelmä Yleistetty PNS-estimaattori: Korreloimaton jäännöstermi 3/3 Nimitys painotettu PNS-estimaattori johtuu siitä, että estimaattori voidaan muodostaa soveltamalla tavallista PNS-menetelmää muunnettuihin havaintoarvoihin, jotka saadaan kertomalla alkuperäiset havaintoarvot y i, x i1, x i2,, x ik, i = 1, 2,, n painoilla 1/z i, i = 1, 2,, n TKK (c) Ilkka Mellin (2007) 28

29 Erityiskysymyksiä yleisen lineaarisen mallin soveltamisessa Erityiskysymyksiä yleisen lineaarisen mallin soveltamisessa: Johdanto Yleistetty pienimmän neliösumman menetelmä >> Rajoitettu pienimmän neliösumman menetelmä Instrumenttimuuttujamenetelmä TKK (c) Ilkka Mellin (2007) 29

30 Rajoitettu pienimmän neliösumman menetelmä Rajoitettu PNS-keino: Oletukset Oletetaan, että tavanomaisen lineaarisen regressiomallin y = Xβ+ ε jossa X on n (k +1)-matriisi, n k +1, r(x) = k +1, regressiokertoimia β sitoo lineaarinen rajoitus eli sideehto Rβ = r jossa R on m (k +1)-matriisi, m k +1, r(r) = m. Huomautus: Jos side-ehto Rβ = r pätee, regressiokertoimet β eivät voi k+1 varioida vapaasti (k + 1)-ulotteisessa avaruudessa, vaan ainoastaan side-ehdon määrittelemässä m-ulotteisessa lineaarisessa aliavaruudessa (= m-ulotteinen taso). TKK (c) Ilkka Mellin (2007) 30

31 Rajoitettu pienimmän neliösumman menetelmä Rajoitettu PNS-estimaattori: Määritelmä 1/2 Regressiokertoimien vektorin β rajoitettu PNSestimaattori saadaan minimoimalla neliömuoto ( y Xβ)( y Xβ) vektorin β suhteen ottamalla huomioon side-ehto Rβ = r Tämä on sidottu ääriarvotehtävä, joka voidaan ratkaistaan Lagrangen keinolla. TKK (c) Ilkka Mellin (2007) 31

32 Rajoitettu pienimmän neliösumman menetelmä Rajoitettu PNS-estimaattori: Määritelmä 2/2 Vektorin β rajoitettu PNS-estimaattori on br = b+ URS ( r Rb) jossa 1 U= ( XX ) 1 S= ( RUR ) ja b= UXy on vektorin β tavallinen PNS-estimaattori. R = Restricted TKK (c) Ilkka Mellin (2007) 32

33 Rajoitettu pienimmän neliösumman menetelmä Rajoitetun PNS-estimaattorin paremmuus: Gaussin ja Markovin lause Olkoon y = Xβ+ ε standardioletukset (i)-(v) toteuttava lineaarinen malli. Oletetaan lisäksi, että side-ehto Rβ = r pätee. Tällöin pätee modifioitu Gaussin ja Markovin lause: Regressiokertoimien vektorin β rajoitettu PNS-estimaattori br = b+ URS ( r Rb) on paras (eli tehokkain) sellaisten vektorin β lineaaristen ja harhattomien estimaattoreiden joukossa, joille side-ehto Rβ = r pätee. TKK (c) Ilkka Mellin (2007) 33

34 Rajoitettu pienimmän neliösumman menetelmä Rajoitetun PNS-estimaattorin ominaisuudet 1/3 Olkoon br = b+ URS ( r Rb) regressiokertoimien vektorin β rajoitettu PNSestimaattori. Jos standardioletukset (i)-(v) pätevät ja Rβ = r niin E( b ) = β R 2 Cov( br ) = σ ( U URSRU) TKK (c) Ilkka Mellin (2007) 34

35 Rajoitettu pienimmän neliösumman menetelmä Rajoitetun PNS-estimaattorin ominaisuudet 2/3 Yleisen lineaarisen mallin y = Xβ+ ε regressiokertoimien vektorin β rajoitetulla PNSestimaattorilla b R on standardioletuksien (i)-(v) ja sideehdon Rβ = r pätiessä seuraavat ominaisuudet: (1) b R on harhaton. (2) b R paras (eli tehokkain) lineaaristen ja harhattomien estimaattoreiden joukossa. (3) b R on (sopivin lisäehdoin) tarkentuva. (4) b R on normaalinen. TKK (c) Ilkka Mellin (2007) 35

36 Rajoitettu pienimmän neliösumman menetelmä Rajoitetun PNS-estimaattorin ominaisuudet 3/3 Rajoitettu PNS-estimaattori b R on standardioletuksien (i)-(v) ja side-ehdon Rβ = r pätiessä parempi kuin tavallinen PNS-estimaattori b : Cov( b) Cov( b ) R TKK (c) Ilkka Mellin (2007) 36

37 Rajoitettu pienimmän neliösumman menetelmä Lineaaristen rajoitusten testaus 1/2 Asetetaan nollahypoteesi H 0 : Rβ = r ja määritellään F-testisuure ( r Rb) S( r Rb) F = 2 ms jossa b= UX' y on vektorin β tavallinen PNS-estimaattori ja s = ( y Xb)( y Xb) n k 1 vastaava jäännösvarianssin σ 2 harhaton estimaattori. 2 1 TKK (c) Ilkka Mellin (2007) 37

38 Rajoitettu pienimmän neliösumman menetelmä Lineaaristen rajoitusten testaus 2/2 Jos standardioletukset (i)-(vi) ja nollahypoteesi H 0 : Rβ = r pätevät, testisuure F noudattaa F-jakaumaa vapausastein m ja (n k 1): F F( m, n k 1) Suuret testisuureen F arvot merkitsevät sitä, että nollahypoteesi H 0 on hylättävä. TKK (c) Ilkka Mellin (2007) 38

39 Rajoitettu pienimmän neliösumman menetelmä Lineaaristen rajoitusten testaus: Testisuureen toinen muoto Edellä esitetty F-testisuure nollahypoteesille H 0 voidaan kirjoittaa myös muotoon n k 1 SSER SSE F = m SSE jossa SSE = ( y Xb)( y Xb) on jäännösneliösumma tavallisesta PNS-estimaattorista b ja SSE R = ( y Xb )( R y XbR) on jäännösneliösumma rajoitetusta PNS-estimaattorista b R. TKK (c) Ilkka Mellin (2007) 39

40 Rajoitettu pienimmän neliösumman menetelmä Lineaariset rajoitukset: Kommentteja 1/3 Yleisen lineaarisen mallin soveltamisen yhteydessä tarkastellaan nollahypoteesien H 0T : β 1 = β 2 = = β k = 0 ja H 0j : β j = 0, j = 1, 2,, k testaamista; ks. lukua Yleinen lineaarinen malli. TKK (c) Ilkka Mellin (2007) 40

41 Rajoitettu pienimmän neliösumman menetelmä Lineaariset rajoitukset: Kommentteja 2/3 Nollahypoteesiin H 0T kohdistettu testi on yleistesti regression olemassaololle. Jos nollahypoteesi H 0T jää voimaan, selitettävä muuttujan y havaitut arvot eivät riipu lineaarisesti yhdenkään selittäjän x 1, x 2,, x k havaituista arvoista. Nollahypoteesiin H 0j kohdistetulla testillä testataan selittäjän x j, j = 1, 2,, k vaikutusta selitettävään muuttujaan y. Jos nollahypoteesi H 0j jää voimaan, selitettävä muuttujan y havaitut arvot eivät riipu lineaarisesti selittäjän x j, j = 1, 2,, k havaituista arvoista. TKK (c) Ilkka Mellin (2007) 41

42 Rajoitettu pienimmän neliösumman menetelmä Lineaariset rajoitukset: Kommentteja 3/3 Nollahypoteesien H 0T ja H 0j, j = 1, 2,, k asettaminen merkitsee lineaaristen side-ehtojen esittämistä regressiokertoimille β 0, β 1, β 2,, β k. Yleisen lineaarisen mallin soveltamisen yhteydessä nollahypoteeseille H 0T ja H 0j, j = 1, 2,, k esitetyt testit ovat erikoistapauksia tässä tarkastellusta yleisestä testistä lineaarisille side-ehdoille. TKK (c) Ilkka Mellin (2007) 42

43 Rajoitettu pienimmän neliösumman menetelmä Lineaariset rajoitukset: Rajoitusten spesifiointi Regressiokertoimia koskevat rajoitukset seuraavat tavallisesti tutkimuksen kohteena olevaan satunnaisilmiöön liittyvästä taustateoriasta, mutta myös monet tilastolliset hypoteesit voidaan esittää regressiokertoimia koskevien side-ehtojen muodossa. Jos side-ehdot vastaavat jotakin taustateorian hypoteesia, pyritään esitetty hypoteesi vahvistamaan tai kumoamaan side-ehtojen testaamisella. TKK (c) Ilkka Mellin (2007) 43

44 Erityiskysymyksiä yleisen lineaarisen mallin soveltamisessa Erityiskysymyksiä yleisen lineaarisen mallin soveltamisessa: Johdanto Yleistetty pienimmän neliösumman menetelmä Rajoitettu pienimmän neliösumman menetelmä >> Instrumenttimuuttujamenetelmä TKK (c) Ilkka Mellin (2007) 44

45 Instrumenttimuuttujamenetelmä Yleinen lineaarinen malli ja sen osat Olkoon y = Xβ + ε yleisen lineaarisen mallin matriisiesitys, jossa y = selitettävän muuttujan y havaittujen arvojen muodostama satunnainen n-vektori X = selittäjien x 1, x 2,, x k havaittujen arvojen ja ykkösten muodostama n (k + 1)-matriisi β = regressiokertoimien muodostama tuntematon ja kiinteä eli ei-satunnainen (k + 1)-vektori ε = jäännöstermien muodostama ei-havaittu ja satunnainen n-vektori TKK (c) Ilkka Mellin (2007) 45

46 Instrumenttimuuttujamenetelmä Standardioletukset kiinteille selittäjille Jos yleisen lineaarisen mallin y = Xβ + ε selittäjät x 1, x 2,, x k ovat kiinteitä eli ei-satunnaisia muuttujia, mallia koskevat standardioletukset voidaan esittää matriisein seuraavassa muodossa: (i) Matriisin X alkiot ovat kiinteitä eli ei-satunnaisia vakioita (ii) Matriisi X on täysiasteinen: r(x) = k + 1 (iii) E( ε) = 0 2 (iv)&(v) Cov( ε) = σ I 2 (vi) ε N (, 0 σ I) n TKK (c) Ilkka Mellin (2007) 46

47 Instrumenttimuuttujamenetelmä Selittäjien satunnaisuus Yleisen lineaarisen mallin y = Xβ + ε selittäjien satunnaisuus saattaa aiheuttaa vakavia ongelmia mallin estimoinnille ja mallia koskevalle tilastolliselle päättelylle. Jos matriisi X on satunnainen, PNS-menetelmä ei välttämättä tuota harhattomia tai edes tarkentuvia estimaattoreita regressiokertoimille. Näin käy esimerkiksi silloin, kun virhetermi ja selittäjät korreloivat. Jos regressiokertoimien PNS-estimaattorit eivät ole harhattomia tai tarkentuvia, mallia koskevaa tavanomaista tilastollista päättelyä ei voida soveltaa. TKK (c) Ilkka Mellin (2007) 47

48 Instrumenttimuuttujamenetelmä PNS-estimaattorin harhattomuus 1/3 Olkoon b= ( XX ) 1 Xy lineaarisen mallin y = Xβ + ε regressiokertoimien vektorin β PNS-estimaattori. Estimaattorin b lauseke voidaan kirjoittaa muotoon b = β + ( XX ) 1 Xε Jos matriisi X on kiinteä, estimaattori b on harhaton, koska standardioletuksen (iii) mukaan E(ε) = 0, jolloin 1 E( b) = β + ( XX ) X E( ε) = β TKK (c) Ilkka Mellin (2007) 48

49 Instrumenttimuuttujamenetelmä PNS-estimaattorin harhattomuus 2/3 Jos matriisi X on satunnainen, ei saa kirjoittaa 1 1 E(( XX ) Xε ) = ( XX ) X E( ε) Sen sijaan PNS-estimaattorin b ehdollisessa odotusarvossa matriisin X suhteen matriisia X voidaan pitää kiinteänä ja siten 1 E( bx) = β + E(( XX ) Xε X) = β + XX X ε X 1 ( ) E( ) TKK (c) Ilkka Mellin (2007) 49

50 Instrumenttimuuttujamenetelmä PNS-estimaattorin harhattomuus 3/3 PNS-estimaattorib on siis ehdollisesti harhaton eli E( bx) = β jos oletus E( ε X) = 0 pätee. Tällöin PNS-estimaattori b on myös ehdottomasti harhaton, koska iteroidun odotusarvon lain mukaan E( b) = E(E( b X)) = = E( β) β TKK (c) Ilkka Mellin (2007) 50

51 Instrumenttimuuttujamenetelmä Ehto PNS-estimaattorin harhattomuudelle Edellä esitetystä nähdään, että ehdon E( ε X) = 0 voimassaolo ratkaisee sen, onko PNS-estimaattori b harhaton lineaarisen mallin regressiokertoimien vektorille β. Voidaan osoittaa, että vastaava korjaus muihin yleisen lineaarisen mallin standardioletuksiin (iii)-(vi) pelastaa kiinteiden selittäjien tapauksessa esitetyn teorian. TKK (c) Ilkka Mellin (2007) 51

52 Instrumenttimuuttujamenetelmä Standardioletukset satunnaisille selittäjille Jos yleisen lineaarisen mallin y = Xβ + ε selittäjät x 1, x 2,, x k ovat satunnaismuuttujia, mallia koskevat standardioletukset voidaan esittää matriisein seuraavassa muodossa: (i) Matriisin X alkiot ovat (vakioselittäjän arvoja lukuun ottamatta) satunnaismuuttujia (ii) Matriisi X on täysiasteinen: r(x) = k + 1 (iii) E( ε X) = 0 2 (iv) &(v) Cov( ε X) = σ I 2 (vi) ( ε X) N ( 0, σ I) n TKK (c) Ilkka Mellin (2007) 52

53 Instrumenttimuuttujamenetelmä Kommentteja modifioituihin standardioletuksiin 1/3 Modifioidusta standardioletuksesta (iii) E(ε X) = 0 seuraa, että E( yx ) = Xβ Tämä merkitsee sitä, että selitettävän muuttujan y ehdollinen odotusarvo eli regressiofunktio selittäjien havaittujen arvojen suhteen on lineaarinen. TKK (c) Ilkka Mellin (2007) 53

54 Instrumenttimuuttujamenetelmä Kommentteja modifioituihin standardioletuksiin 2/3 Modifioidusta standardioletuksesta (iii) E(ε X) = 0 seuraa, että E( ziε i) = 0 jossa z i = (1, xi1, xi2,, xik) Siten oletuksesta (iii) seuraa, että selittäjien arvot ja jäännös- eli virhetermit ovat korreloimattomia. TKK (c) Ilkka Mellin (2007) 54

55 Instrumenttimuuttujamenetelmä Kommentteja modifioituihin standardioletuksiin 3/3 Jos modifioidut standardioletukset (i) -(vi) pätevät, tavanomainen ei-satunnaisille selittäjille esitetty estimointi- ja päättelytekniikka pätee. TKK (c) Ilkka Mellin (2007) 55

56 Instrumenttimuuttujamenetelmä Selittäjien satunnaisuus: Kommentteja Myös edellä esitetyt modifioidut ehdot jäännöseli virhetermeille ovat melko rajoittavia ja etenkin aikasarjojen regressiomallien soveltamisen yhteydessä kohdataan tilanteita, joissa eivät edes nämä modifioidut ehdot päde. Tällaisissa tilanteissa PNS-menetelmää ei saa käyttää mallin parametrien estimointiin. Tilastotiede tuntee kuitenkin menetelmiä, joilla regressiomallin parametrit voidaan estimoida (ainakin) tarkentuvasti myös monissa niissä tilanteissa, joissa edellä esitetyt modifioidut ehdot jäännöstermeille eivät päde. TKK (c) Ilkka Mellin (2007) 56

57 Instrumenttimuuttujamenetelmä Instrumenttimuuttujat 1/3 Tarkastellaan nyt tilannetta, jossa yleisen lineaarisen mallin y = Xβ + ε selittäjät x 1, x 2,, x k ovat satunnaismuuttujia ja lisäksi korreloivat mallin jäännöstermin ε kanssa. Tällöin E(ε X) 0 jolloin regressiokertoimien vektorin β PNS-estimaattori b on sekä harhainen että ei-tarkentuva. TKK (c) Ilkka Mellin (2007) 57

58 Instrumenttimuuttujamenetelmä Instrumenttimuuttujat 2/3 Olkoon w ij, i = 1, 2,, n, j = 1, 2,, k muuttujan w j havaittu arvo havaintoyksikössä i. Muodostetaan havaintoarvoista w ij n (k + 1)-matriisi W jossa ensimmäinen sarake on ykkösten muodostama. Oletetaan, että matriisilla W on seuraavat ominaisuudet: (i) E(ε W) = 0 (ii) r(w X) = k + 1 TKK (c) Ilkka Mellin (2007) 58

59 Instrumenttimuuttujamenetelmä Instrumenttimuuttujat 3/3 Tällöin sanomme, että muuttujat w 1, w 2,, w k kelpaavat instrumenteiksi selittäjille x 1, x 2,, x k Muuttujia w 1, w 2,, w k kutsutaan tavallisesti instrumentti- tai välinemuuttujiksi. Huomautuksia: Ehdon (i) mukaan instrumenttimuuttujat w 1, w 2,, w k eivät saa korreloida mallin jäännöstermin ε kanssa. Ehdon (ii) mukaan instrumenttimuuttujien w 1, w 2,, w k pitää korreloida selittäjien x 1, x 2,, x k kanssa niin voimakkaasti, että matriisi W X on epäsingulaarinen. TKK (c) Ilkka Mellin (2007) 59

60 Instrumenttimuuttujamenetelmä Instrumenttimuuttujaestimaattori Määritellään yleisen lineaarisen mallin y = Xβ + ε regressiokertoimien vektorille β instrumenttimuuttujaestimaattori kaavalla 1 biv = ( WX ) Wy Voidaan osoittaa, että instrumenttimuuttujaestimaattori b IV on sopivin, matriisien W W, W X, W ε asymptoottista käyttäytymistä koskevin lisäehdoin regressiokertoimien vektorin β tarkentuva estimaattori. TKK (c) Ilkka Mellin (2007) 60

61 Instrumenttimuuttujamenetelmä Instrumenttimuuttujaestimaattorin stokastiset ominaisuudet Voidaan osoittaa, että instrumenttimuuttujaestimaattorin 1 biv = ( WX ) Wy kovarianssimatriisi on suurissa otoksissa muotoa Cov( biv) = a σ [ XW ( WW ) WX ] jossa σ = εε n k 1 ε = y Xb 2 1 IV TKK (c) Ilkka Mellin (2007) 61

Regressioanalyysi. Vilkkumaa / Kuusinen 1

Regressioanalyysi. Vilkkumaa / Kuusinen 1 Regressioanalyysi Vilkkumaa / Kuusinen 1 Regressioanalyysin idea ja tavoitteet Regressioanalyysin idea: Halutaan selittää selitettävän muuttujan havaittujen arvojen vaihtelua selittävien muuttujien havaittujen

Lisätiedot

Ilkka Mellin Tilastolliset menetelmät. Osa 4: Lineaarinen regressioanalyysi. Yleinen lineaarinen malli. TKK (c) Ilkka Mellin (2007) 1

Ilkka Mellin Tilastolliset menetelmät. Osa 4: Lineaarinen regressioanalyysi. Yleinen lineaarinen malli. TKK (c) Ilkka Mellin (2007) 1 Ilkka Mellin Tilastolliset menetelmät Osa 4: Lineaarinen regressioanalyysi Yleinen lineaarinen malli TKK (c) Ilkka Mellin (2007) 1 Yleinen lineaarinen malli >> Usean selittäjän lineaarinen regressiomalli

Lisätiedot

Mat Tilastollisen analyysin perusteet, kevät 2007

Mat Tilastollisen analyysin perusteet, kevät 2007 Mat-.104 Tilastollisen analyysin perusteet, kevät 007 8. luento: Usean selittäjän lineaarinen regressiomalli Kai Virtanen 1 Usean selittäjän lineaarinen regressiomalli Selitettävän muuttujan havaittujen

Lisätiedot

2. Teoriaharjoitukset

2. Teoriaharjoitukset 2. Teoriaharjoitukset Demotehtävät 2.1 Todista Gauss-Markovin lause. Ratkaisu. Oletetaan että luentokalvojen standardioletukset (i)-(v) ovat voimassa. Huomaa että Gauss-Markovin lause ei vaadi virhetermien

Lisätiedot

Ilkka Mellin Tilastolliset menetelmät. Osa 4: Lineaarinen regressioanalyysi. Regressiomallin valinta. TKK (c) Ilkka Mellin (2007) 1

Ilkka Mellin Tilastolliset menetelmät. Osa 4: Lineaarinen regressioanalyysi. Regressiomallin valinta. TKK (c) Ilkka Mellin (2007) 1 Ilkka Mellin Tilastolliset menetelmät Osa 4: Lineaarinen regressioanalyysi Regressiomallin valinta TKK (c) Ilkka Mellin (2007) 1 Regressiomallin valinta >> Regressiomallin valinta: Johdanto Mallinvalintatestit

Lisätiedot

Ilkka Mellin Tilastolliset menetelmät. Osa 4: Lineaarinen regressioanalyysi. Regressiodiagnostiikka. TKK (c) Ilkka Mellin (2007) 1

Ilkka Mellin Tilastolliset menetelmät. Osa 4: Lineaarinen regressioanalyysi. Regressiodiagnostiikka. TKK (c) Ilkka Mellin (2007) 1 Ilkka Mellin Tilastolliset menetelmät Osa 4: Lineaarinen regressioanalyysi Regressiodiagnostiikka TKK (c) Ilkka Mellin (2007) 1 Regressiodiagnostiikka >> Yleinen lineaarinen malli ja regressiodiagnostiikka

Lisätiedot

Johdatus tilastotieteeseen Regressiomallin valinta. TKK (c) Ilkka Mellin (2004) 1

Johdatus tilastotieteeseen Regressiomallin valinta. TKK (c) Ilkka Mellin (2004) 1 Johdatus tilastotieteeseen Regressiomallin valinta TKK (c) Ilkka Mellin (2004) 1 Regressiomallin valinta Regressiomallin valinta: Johdanto Mallinvalintatestit Mallinvalintakriteerit Epälineaaristen riippuvuuksien

Lisätiedot

Yleinen lineaarinen malli

Yleinen lineaarinen malli MS-C2128 Ennustaminen ja Aikasarja-analyysi, Heikki Seppälä Matematiikan ja systeemianalyysin laitos Perustieteiden korkeakoulu Aalto-yliopisto Syksy 2015 Viikko 1: 1 Määritelmä ja standardioletukset 2

Lisätiedot

Harjoitus 9: Excel - Tilastollinen analyysi

Harjoitus 9: Excel - Tilastollinen analyysi Harjoitus 9: Excel - Tilastollinen analyysi Mat-2.2107 Sovelletun matematiikan tietokonetyöt Syksy 2006 Mat-2.2107 Sovelletun matematiikan tietokonetyöt 1 Harjoituksen aiheita Tutustuminen regressioanalyysiin

Lisätiedot

Tilastollisen analyysin perusteet Luento 8: Lineaarinen regressio, testejä ja luottamusvälejä

Tilastollisen analyysin perusteet Luento 8: Lineaarinen regressio, testejä ja luottamusvälejä Tilastollisen analyysin perusteet Luento 8: Lineaarinen regressio, testejä ja luottamusvälejä arvon Sisältö arvon Bootstrap-luottamusvälit arvon arvon Oletetaan, että meillä on n kappaletta (x 1, y 1 ),

Lisätiedot

Kaksisuuntainen varianssianalyysi. Heliövaara 1

Kaksisuuntainen varianssianalyysi. Heliövaara 1 Kaksisuuntainen varianssianalyysi Heliövaara 1 Kaksi- tai useampisuuntainen varianssianalyysi Kaksi- tai useampisuuntaisessa varianssianalyysissa perusjoukko on jaettu ryhmiin kahden tai useamman tekijän

Lisätiedot

Sovellettu todennäköisyyslaskenta B

Sovellettu todennäköisyyslaskenta B Sovellettu todennäköisyyslaskenta B Antti Rasila 22. marraskuuta 2007 Antti Rasila () TodB 22. marraskuuta 2007 1 / 17 1 Epäparametrisia testejä (jatkoa) χ 2 -riippumattomuustesti 2 Johdatus regressioanalyysiin

Lisätiedot

Moniulotteisia todennäköisyysjakaumia. Moniulotteisia todennäköisyysjakaumia. Moniulotteisia todennäköisyysjakaumia: Mitä opimme?

Moniulotteisia todennäköisyysjakaumia. Moniulotteisia todennäköisyysjakaumia. Moniulotteisia todennäköisyysjakaumia: Mitä opimme? TKK (c) Ilkka Mellin (4) Moniulotteisia todennäköisyysjakaumia Johdatus todennäköisyyslaskentaan Moniulotteisia todennäköisyysjakaumia TKK (c) Ilkka Mellin (4) Moniulotteisia todennäköisyysjakaumia: Mitä

Lisätiedot

1. Tutkitaan regressiomallia Y i = β 0 + β 1 X i + u i ja oletetaan, että tavanomaiset

1. Tutkitaan regressiomallia Y i = β 0 + β 1 X i + u i ja oletetaan, että tavanomaiset TA7, Ekonometrian johdantokurssi HARJOITUS 7 RATKAISUEHDOTUKSET 16.3.2015 1. Tutkitaan regressiomallia Y i = β 0 + X i + u i ja oletetaan, että tavanomaiset regressiomallin oletukset pätevät (Key Concept

Lisätiedot

Testejä suhdeasteikollisille muuttujille

Testejä suhdeasteikollisille muuttujille Ilkka Mellin Tilastolliset menetelmät Osa 3: Tilastolliset testit Testejä suhdeasteikollisille muuttujille TKK (c) Ilkka Mellin (007) 1 Testejä suhdeasteikollisille muuttujille >> Testit normaalijakauman

Lisätiedot

Johdatus regressioanalyysiin

Johdatus regressioanalyysiin Ilkka Mellin Tilastolliset menetelmät Osa 4: Lineaarinen regressioanalyysi Johdatus regressioanalyysiin TKK (c) Ilkka Mellin (2007) 1 Johdatus regressioanalyysiin >> Regressioanalyysin lähtökohdat ja tavoitteet

Lisätiedot

Latinalaiset neliöt. Latinalaiset neliöt. Latinalaiset neliöt. Latinalaiset neliöt: Mitä opimme? Latinalaiset neliöt

Latinalaiset neliöt. Latinalaiset neliöt. Latinalaiset neliöt. Latinalaiset neliöt: Mitä opimme? Latinalaiset neliöt TKK (c) Ilkka Mellin (005) Koesuunnittelu TKK (c) Ilkka Mellin (005) : Mitä opimme? Tarkastelemme tässä luvussa seuraavaa kysymystä: Miten varianssianalyysissa tutkitaan yhden tekijän vaikutusta vastemuuttujaan,

Lisätiedot

Testit laatueroasteikollisille muuttujille

Testit laatueroasteikollisille muuttujille Ilkka Mellin Tilastolliset menetelmät Osa 3: Tilastolliset testit Testit laatueroasteikollisille muuttujille TKK (c) Ilkka Mellin (2007) 1 Testit laatueroasteikollisille muuttujille >> Laatueroasteikollisten

Lisätiedot

Johdatus todennäköisyyslaskentaan Moniulotteisia todennäköisyysjakaumia. TKK (c) Ilkka Mellin (2005) 1

Johdatus todennäköisyyslaskentaan Moniulotteisia todennäköisyysjakaumia. TKK (c) Ilkka Mellin (2005) 1 Johdatus todennäköisyyslaskentaan Moniulotteisia todennäköisyysjakaumia TKK (c) Ilkka Mellin (005) 1 Moniulotteisia todennäköisyysjakaumia Multinomijakauma Kaksiulotteinen normaalijakauma TKK (c) Ilkka

Lisätiedot

TA7, Ekonometrian johdantokurssi HARJOITUS 4 1 RATKAISUEHDOTUKSET

TA7, Ekonometrian johdantokurssi HARJOITUS 4 1 RATKAISUEHDOTUKSET TA7, Ekonometrian johdantokurssi HARJOITUS 4 1 RATKAISUEHDOTUKSET 16..015 1. a Poliisivoimien suuruuden lisäksi piirikuntien rikostilastoihin vaikuttaa monet muutkin tekijät. Esimerkiksi asukkaiden keskimääräinen

Lisätiedot

Yhden selittäjän lineaarinen regressiomalli

Yhden selittäjän lineaarinen regressiomalli Ilkka Melli Tilastolliset meetelmät Osa 4: Lieaarie regressioaalyysi Yhde selittäjä lieaarie regressiomalli TKK (c) Ilkka Melli (007) Yhde selittäjä lieaarie regressiomalli >> Yhde selittäjä lieaarie regressiomalli

Lisätiedot

Kaksisuuntainen varianssianalyysi. Vilkkumaa / Kuusinen 1

Kaksisuuntainen varianssianalyysi. Vilkkumaa / Kuusinen 1 Kaksisuuntainen varianssianalyysi Vilkkumaa / Kuusinen 1 Motivointi Luennot 6 ja 7: yksisuuntaisella varianssianalyysilla testataan ryhmäkohtaisten odotusarvojen yhtäsuuruutta, kun perusjoukko on jaettu

Lisätiedot

Testit järjestysasteikollisille muuttujille

Testit järjestysasteikollisille muuttujille Ilkka Mellin Tilastolliset menetelmät Osa 3: Tilastolliset testit Testit järjestysasteikollisille muuttujille TKK (c) Ilkka Mellin (2007) 1 Testit järjestysasteikollisille muuttujille >> Järjestysasteikollisten

Lisätiedot

Korrelaatiokertoinen määrittely 165

Korrelaatiokertoinen määrittely 165 kertoinen määrittely 165 Olkoot X ja Y välimatka- tai suhdeasteikollisia satunnaismuuttujia. Havaintoaineistona on n:n suuruisesta otoksesta mitatut muuttuja-arvoparit (x 1, y 1 ), (x 2, y 2 ),..., (x

Lisätiedot

Osa 2: Otokset, otosjakaumat ja estimointi

Osa 2: Otokset, otosjakaumat ja estimointi Ilkka Mellin Tilastolliset menetelmät Osa 2: Otokset, otosjakaumat ja estimointi Estimointi TKK (c) Ilkka Mellin (2007) 1 Estimointi >> Todennäköisyysjakaumien parametrit ja niiden estimointi Hyvän estimaattorin

Lisätiedot

Estimointi. Estimointi. Estimointi: Mitä opimme? 2/4. Estimointi: Mitä opimme? 1/4. Estimointi: Mitä opimme? 3/4. Estimointi: Mitä opimme?

Estimointi. Estimointi. Estimointi: Mitä opimme? 2/4. Estimointi: Mitä opimme? 1/4. Estimointi: Mitä opimme? 3/4. Estimointi: Mitä opimme? TKK (c) Ilkka Mellin (2004) 1 Johdatus tilastotieteeseen TKK (c) Ilkka Mellin (2004) 2 Mitä opimme? 1/4 Tilastollisen tutkimuksen tavoitteena on tehdä johtopäätöksiä prosesseista, jotka generoivat reaalimaailman

Lisätiedot

Lohkoasetelmat. Kuusinen/Heliövaara 1

Lohkoasetelmat. Kuusinen/Heliövaara 1 Lohkoasetelmat Kuusinen/Heliövaara 1 Kiusatekijä Kaikissa kokeissa kokeen tuloksiin voi vaikuttaa vaihtelu, joka johtuu kiusatekijästä. Kiusatekijä on tekijä, jolla on mahdollisesti vaikutusta vastemuuttujan

Lisätiedot

Johdatus tilastotieteeseen Johdatus regressioanalyysiin. TKK (c) Ilkka Mellin (2005) 1

Johdatus tilastotieteeseen Johdatus regressioanalyysiin. TKK (c) Ilkka Mellin (2005) 1 Johdatus tilastotieteeseen Johdatus regressioanalyysiin TKK (c) Ilkka Mellin (2005) 1 Johdatus regressioanalyysiin Regressioanalyysin lähtökohdat ja tavoitteet Deterministiset mallit ja regressioanalyysi

Lisätiedot

Odotusarvoparien vertailu. Vilkkumaa / Kuusinen 1

Odotusarvoparien vertailu. Vilkkumaa / Kuusinen 1 Odotusarvoparien vertailu Vilkkumaa / Kuusinen 1 Motivointi Viime luennolta: yksisuuntaisella varianssianalyysilla testataan nollahypoteesia H 0 : μ 1 = μ 2 = = μ k = μ Jos H 0 hylätään, tiedetään, että

Lisätiedot

Lohkoasetelmat. Heliövaara 1

Lohkoasetelmat. Heliövaara 1 Lohkoasetelmat Heliövaara 1 Kiusatekijä Kaikissa kokeissa, kokeen tuloksiin voi vaikuttaa vaihtelu joka johtuu kiusatekijästä. Kiusatekijä on tekijä, jolla mahdollisesti on vaikutusta vastemuuttujan arvoon,

Lisätiedot

1. YKSISUUNTAINEN VARIANSSIANALYYSI: AINEISTON ESITYSMUODOT

1. YKSISUUNTAINEN VARIANSSIANALYYSI: AINEISTON ESITYSMUODOT imat-2.104 Tilastollisen analyysin perusteet / Tehtävät Aiheet: Avainsanat: Ysisuuntainen varianssianalyysi Bartlettin testi, Bonferronin menetelmä, F-testi, Jäännösneliösumma, χ 2 -testi, Koonaisesiarvo,

Lisätiedot

4.0.2 Kuinka hyvä ennuste on?

4.0.2 Kuinka hyvä ennuste on? Luonteva ennuste on käyttää yhtälöä (4.0.1), jolloin estimaattori on muotoa X t = c + φ 1 X t 1 + + φ p X t p ja estimointivirheen varianssi on σ 2. X t }{{} todellinen arvo Xt }{{} esimaattori = ε t Esimerkki

Lisätiedot

Johdatus tilastotieteeseen Estimointi. TKK (c) Ilkka Mellin (2005) 1

Johdatus tilastotieteeseen Estimointi. TKK (c) Ilkka Mellin (2005) 1 Johdatus tilastotieteeseen Estimointi TKK (c) Ilkka Mellin (2005) 1 Estimointi Todennäköisyysjakaumien parametrit ja niiden estimointi Hyvän estimaattorin ominaisuudet TKK (c) Ilkka Mellin (2005) 2 Estimointi:

Lisätiedot

Ilkka Mellin Aikasarja-analyysi. Dynaamiset regressiomallit. TKK (c) Ilkka Mellin (2006) 1

Ilkka Mellin Aikasarja-analyysi. Dynaamiset regressiomallit. TKK (c) Ilkka Mellin (2006) 1 Ilkka Mellin Aikasarja-analyysi Dynaamiset regressiomallit TKK (c) Ilkka Mellin (2006) 1 Dynaamiset regressiomallit >> Staattiset vs dynaamiset regressiomallit Siirtofunktio-kohina-malli Siirtofunktio-kohina-mallin

Lisätiedot

Vastepintamenetelmä. Kuusinen/Heliövaara 1

Vastepintamenetelmä. Kuusinen/Heliövaara 1 Vastepintamenetelmä Kuusinen/Heliövaara 1 Vastepintamenetelmä Vastepintamenetelmässä pyritään vasteen riippuvuutta siihen vaikuttavista tekijöistä approksimoimaan tekijöiden polynomimuotoisella funktiolla,

Lisätiedot

Sovellettu todennäköisyyslaskenta B

Sovellettu todennäköisyyslaskenta B Sovellettu todennäköisyyslaskenta B Antti Rasila 16. marraskuuta 2007 Antti Rasila () TodB 16. marraskuuta 2007 1 / 15 1 Epäparametrisia testejä χ 2 -yhteensopivuustesti Homogeenisuuden testaaminen Antti

Lisätiedot

MS-A0204 Differentiaali- ja integraalilaskenta 2 (ELEC2) Luento 7: Pienimmän neliösumman menetelmä ja Newtonin menetelmä.

MS-A0204 Differentiaali- ja integraalilaskenta 2 (ELEC2) Luento 7: Pienimmän neliösumman menetelmä ja Newtonin menetelmä. MS-A0204 Differentiaali- ja integraalilaskenta 2 (ELEC2) Luento 7: Pienimmän neliösumman menetelmä ja Newtonin menetelmä. Antti Rasila Matematiikan ja systeemianalyysin laitos Aalto-yliopisto Kevät 2016

Lisätiedot

Lause 4.2. Lineearinen pienimmän keskineliövirheen estimaattoi on lineaarinen projektio.

Lause 4.2. Lineearinen pienimmän keskineliövirheen estimaattoi on lineaarinen projektio. Määritelmä 4.3. Estimaattoria X(Y ) nimitetään lineaariseksi projektioksi, jos X on lineaarinen kuvaus ja E[(X X(Y )) Y] 0 }{{} virhetermi Lause 4.2. Lineearinen pienimmän keskineliövirheen estimaattoi

Lisätiedot

ABHELSINKI UNIVERSITY OF TECHNOLOGY

ABHELSINKI UNIVERSITY OF TECHNOLOGY Tilastollinen testaus Tilastollinen testaus Tilastollisessa testauksessa tutkitaan tutkimuskohteita koskevien oletusten tai väitteiden paikkansapitävyyttä havaintojen avulla. Testattavat oletukset tai

Lisätiedot

Olkoon R S otosavaruuksien R ja S karteesinen tulo: Satunnaismuuttujien X ja Y järjestetty pari (X, Y) määrittelee kaksiulotteisen satunnaismuuttujan:

Olkoon R S otosavaruuksien R ja S karteesinen tulo: Satunnaismuuttujien X ja Y järjestetty pari (X, Y) määrittelee kaksiulotteisen satunnaismuuttujan: Mat-.6 Sovellettu todennäköisslaskenta B Mat-.6 Sovellettu todennäköisslaskenta B / Ratkaisut Aiheet: Moniulotteiset satunnaismuuttujat ja todennäköissjakaumat Moniulotteisia jakaumia Avainsanat: Diskreetti

Lisätiedot

Sovellettu todennäköisyyslaskenta B

Sovellettu todennäköisyyslaskenta B Sovellettu todennäköisyyslaskenta B Antti Rasila 8. marraskuuta 2007 Antti Rasila () TodB 8. marraskuuta 2007 1 / 15 1 Tilastollisia testejä Z-testi Normaalijakauman odotusarvon testaus, keskihajonta tunnetaan

Lisätiedot

Johdatus tilastotieteeseen Yhden selittäjän lineaarinen regressiomalli. TKK (c) Ilkka Mellin (2005) 1

Johdatus tilastotieteeseen Yhden selittäjän lineaarinen regressiomalli. TKK (c) Ilkka Mellin (2005) 1 Johdatus tilastotieteesee Yhde selittää lieaarie regressiomalli TKK (c) Ilkka Melli (2005) Yhde selittää lieaarie regressiomalli Yhde selittää lieaarie regressiomalli a sitä koskevat oletukset Yhde selittää

Lisätiedot

Spatiaalisiin merkkeihin ja järjestyslukuihin perustuva moniulotteinen regressioanalyysi R-ohjelmistoa käyttäen

Spatiaalisiin merkkeihin ja järjestyslukuihin perustuva moniulotteinen regressioanalyysi R-ohjelmistoa käyttäen Aalto-yliopisto Perustieteiden korkeakoulu Teknillisen fysiikan ja matematiikan tutkinto-ohjelma Spatiaalisiin merkkeihin ja järjestyslukuihin perustuva moniulotteinen regressioanalyysi R-ohjelmistoa käyttäen

Lisätiedot

Johdatus todennäköisyyslaskentaan Normaalijakaumasta johdettuja jakaumia. TKK (c) Ilkka Mellin (2005) 1

Johdatus todennäköisyyslaskentaan Normaalijakaumasta johdettuja jakaumia. TKK (c) Ilkka Mellin (2005) 1 Johdatus todennäköisyyslaskentaan Normaalijakaumasta johdettuja jakaumia TKK (c) Ilkka Mellin (2005) 1 Normaalijakaumasta johdettuja jakaumia Johdanto χ 2 -jakauma F-jakauma t-jakauma TKK (c) Ilkka Mellin

Lisätiedot

Normaalijakaumasta johdettuja jakaumia

Normaalijakaumasta johdettuja jakaumia Ilkka Mellin Todennäköisyyslaskenta Osa 3: Todennäköisyysjakaumia Normaalijakaumasta johdettuja jakaumia TKK (c) Ilkka Mellin (2007) 1 Normaalijakaumasta johdettuja jakaumia >> Johdanto χ 2 -jakauma F-jakauma

Lisätiedot

Inversio-ongelmien laskennallinen peruskurssi Luento 2

Inversio-ongelmien laskennallinen peruskurssi Luento 2 Inversio-ongelmien laskennallinen peruskurssi Luento 2 Kevät 2012 1 Lineaarinen inversio-ongelma Määritelmä 1.1. Yleinen (reaaliarvoinen) lineaarinen inversio-ongelma voidaan esittää muodossa m = Ax +

Lisätiedot

1. Tutkitaan tavallista kahden selittäjän regressiomallia

1. Tutkitaan tavallista kahden selittäjän regressiomallia TA7, Ekonometrian johdantokurssi HARJOITUS 5 RATKAISUEHDOTUKSET 232215 1 Tutkitaan tavallista kahden selittäjän regressiomallia Y i = β + β 1 X 1,i + β 2 X 2,i + u i (a) Kirjoita regressiomalli muodossa

Lisätiedot

Kannan vektorit siis virittävät aliavaruuden, ja lisäksi kanta on vapaa. Lauseesta 7.6 saadaan seuraava hyvin käyttökelpoinen tulos:

Kannan vektorit siis virittävät aliavaruuden, ja lisäksi kanta on vapaa. Lauseesta 7.6 saadaan seuraava hyvin käyttökelpoinen tulos: 8 Kanta Tässä luvussa tarkastellaan aliavaruuden virittäjävektoreita, jotka muodostavat lineaarisesti riippumattoman jonon. Merkintöjen helpottamiseksi oletetaan luvussa koko ajan, että W on vektoreiden

Lisätiedot

Harha mallin arvioinnissa

Harha mallin arvioinnissa Esitelmä 12 Antti Toppila sivu 1/18 Optimointiopin seminaari Syksy 2010 Harha mallin arvioinnissa Antti Toppila 13.10.2010 Esitelmä 12 Antti Toppila sivu 2/18 Optimointiopin seminaari Syksy 2010 Sisältö

Lisätiedot

Harjoitus 3: Regressiomallit (Matlab)

Harjoitus 3: Regressiomallit (Matlab) Harjoitus 3: Regressiomallit (Matlab) SCI-C0200 Fysiikan ja matematiikan menetelmien studio SCI-C0200 Fysiikan ja matematiikan menetelmien studio 1 Harjoituksen aiheita Pienimmän neliösumman menetelmä

Lisätiedot

Todennäköisyyden ominaisuuksia

Todennäköisyyden ominaisuuksia Todennäköisyyden ominaisuuksia 0 P(A) 1 (1) P(S) = 1 (2) A B = P(A B) = P(A) + P(B) (3) P(A) = 1 P(A) (4) P(A B) = P(A) + P(B) P(A B) (5) Tapahtuman todennäköisyys S = {e 1,..., e N }. N A = A. Kun alkeistapaukset

Lisätiedot

Harjoitus 3: Regressiomallit (Matlab)

Harjoitus 3: Regressiomallit (Matlab) Harjoitus 3: Regressiomallit (Matlab) MS-C2107 Sovelletun matematiikan tietokonetyöt MS-C2107 Sovelletun matematiikan tietokonetyöt 1 Harjoituksen aiheita Pienimmän neliösumman menetelmä mallin sovittamisessa

Lisätiedot

Harjoitus 7: NCSS - Tilastollinen analyysi

Harjoitus 7: NCSS - Tilastollinen analyysi Harjoitus 7: NCSS - Tilastollinen analyysi Mat-2.2107 Sovelletun matematiikan tietokonetyöt Syksy 2006 Mat-2.2107 Sovelletun matematiikan tietokonetyöt 1 Harjoituksen aiheita Tilastollinen testaus Testaukseen

Lisätiedot

Vapaus. Määritelmä. jos c 1 v 1 + c 2 v c k v k = 0 joillakin c 1,..., c k R, niin c 1 = 0, c 2 = 0,..., c k = 0.

Vapaus. Määritelmä. jos c 1 v 1 + c 2 v c k v k = 0 joillakin c 1,..., c k R, niin c 1 = 0, c 2 = 0,..., c k = 0. Vapaus Määritelmä Oletetaan, että v 1, v 2,..., v k R n, missä n {1, 2,... }. Vektorijono ( v 1, v 2,..., v k ) on vapaa eli lineaarisesti riippumaton, jos seuraava ehto pätee: jos c 1 v 1 + c 2 v 2 +

Lisätiedot

Vastepintamenetelmä. Vilkkumaa / Kuusinen 1

Vastepintamenetelmä. Vilkkumaa / Kuusinen 1 Vastepintamenetelmä Vilkkumaa / Kuusinen 1 Motivointi Varianssianalyysissa tutkitaan tekijöiden vaikutusta vasteeseen siten, että tekijöiden tasot on ennalta valittu. - Esim. tutkitaan kemiallisen prosessin

Lisätiedot

Tilastollisen analyysin perusteet Luento 2: Tilastolliset testit

Tilastollisen analyysin perusteet Luento 2: Tilastolliset testit Tilastollisen analyysin perusteet Luento 2: Tilastolliset testit Sisältö Tilastollisia testejä tehdään jatkuvasti lukemattomilla aloilla. Meitä saattaa kiinnostaa esimerkiksi se, että onko miesten ja

Lisätiedot

Pienimmän neliösumman menetelmä (PNS)

Pienimmän neliösumman menetelmä (PNS) neliösumman Perusongelman kuvaus 1 Tarkastellaan neljää pitkää aikasarjaa q 1 = (q 11,q 21,...,q 10,1 ) T, q 2 = (q 12,q 22,...,q 10,2 ) T, q 3 = (q 13,q 23,...,q 10,3 ) T, ja p 1 = (p 11,p 21,...,p 10,1

Lisätiedot

Pienimmän neliösumman menetelmä (PNS)

Pienimmän neliösumman menetelmä (PNS) neliösumman Perusongelman kuvaus 1 Tarkastellaan neljää pitkää aikasarjaa q 1 = (q 11,q 21,...,q 10,1 ) T, q 2 = (q 12,q 22,...,q 10,2 ) T, q 3 = (q 13,q 23,...,q 10,3 ) T, ja p 1 = (p 11,p 21,...,p 10,1

Lisätiedot

Ilkka Mellin Tilastolliset menetelmät. Osa 3: Tilastolliset testit. Tilastollinen testaus. TKK (c) Ilkka Mellin (2007) 1

Ilkka Mellin Tilastolliset menetelmät. Osa 3: Tilastolliset testit. Tilastollinen testaus. TKK (c) Ilkka Mellin (2007) 1 Ilkka Mellin Tilastolliset menetelmät Osa 3: Tilastolliset testit Tilastollinen testaus TKK (c) Ilkka Mellin (2007) 1 Tilastolliset testit >> Tilastollinen testaus Tilastolliset hypoteesit Tilastolliset

Lisätiedot

Koesuunnittelu 2 k -faktorikokeet. TKK (c) Ilkka Mellin (2005) 1

Koesuunnittelu 2 k -faktorikokeet. TKK (c) Ilkka Mellin (2005) 1 Koesuunnittelu 2 k -faktorikokeet TKK (c) Ilkka Mellin (2005) 2 k -faktorikokeet 2 2 -faktorikokeet 2 3 -faktorikokeet 2 k -faktorikokeet TKK (c) Ilkka Mellin (2005) 2 2 k -faktorikokeet: Mitä opimme?

Lisätiedot

Sovellettu todennäköisyyslaskenta B

Sovellettu todennäköisyyslaskenta B Sovellettu todennäköisyyslaskenta B Antti Rasila 30. lokakuuta 2007 Antti Rasila () TodB 30. lokakuuta 2007 1 / 23 1 Otos ja otosjakaumat (jatkoa) Frekvenssi ja suhteellinen frekvenssi Frekvenssien odotusarvo

Lisätiedot

MS-C1340 Lineaarialgebra ja differentiaaliyhtälöt

MS-C1340 Lineaarialgebra ja differentiaaliyhtälöt MS-C1340 Lineaarialgebra ja differentiaaliyhtälöt ja pienimmän neliösumman menetelmä Riikka Kangaslampi Matematiikan ja systeemianalyysin laitos Aalto-yliopisto 2015 1 / 18 R. Kangaslampi QR ja PNS PNS-ongelma

Lisätiedot

Johdatus tilastotieteeseen Tilastollinen riippuvuus ja korrelaatio. TKK (c) Ilkka Mellin (2005) 1

Johdatus tilastotieteeseen Tilastollinen riippuvuus ja korrelaatio. TKK (c) Ilkka Mellin (2005) 1 Johdatus tilastotieteeseen Tilastollinen riippuvuus ja korrelaatio TKK (c) Ilkka Mellin (2005) 1 Tilastollinen riippuvuus ja korrelaatio Tilastollinen riippuvuus, korrelaatio ja regressio Kahden muuttujan

Lisätiedot

Pienimmän Neliösumman menetelmä (PNS)

Pienimmän Neliösumman menetelmä (PNS) neliösumman Perusongelman kuvaus 1 Tarkastellaan neljää pitkää aikasarjaa q 1 = (q 11,q 21,...,q 10,1 ) T, q 2 = (q 12,q 22,...,q 10,2 ) T, q 3 = (q 13,q 23,...,q 10,3 ) T, ja p 1 = (p 11,p 21,...,p 10,1

Lisätiedot

Aalto-yliopisto, Matematiikan ja systeemianalyysin laitos /Malmivuori MS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi,

Aalto-yliopisto, Matematiikan ja systeemianalyysin laitos /Malmivuori MS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi, Aalto-yliopisto, Matematiikan ja systeemianalyysin laitos /Malmivuori MS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi, kesä 2016 Laskuharjoitus 5, Kotitehtävien palautus laskuharjoitusten

Lisätiedot

Johdatus tilastotieteeseen Tilastolliset testit. TKK (c) Ilkka Mellin (2005) 1

Johdatus tilastotieteeseen Tilastolliset testit. TKK (c) Ilkka Mellin (2005) 1 Johdatus tilastotieteeseen Tilastolliset testit TKK (c) Ilkka Mellin (2005) 1 Tilastolliset testit Tilastollinen testaus Tilastolliset hypoteesit Tilastolliset testit ja testisuureet Virheet testauksessa

Lisätiedot

Gripenberg. MS-A0502 Todennäköisyyslaskennan ja tilastotieteen peruskurssi Tentti ja välikoeuusinta

Gripenberg. MS-A0502 Todennäköisyyslaskennan ja tilastotieteen peruskurssi Tentti ja välikoeuusinta MS-A00 Todennäköisyyslaskennan ja tilastotieteen peruskurssi Tentti ja välikoeuusinta 7.. Gripenberg Kirjoita jokaiseen koepaperiin nimesi, opiskelijanumerosi ym. tiedot ja minkä kokeen suoritat! Laskin,

Lisätiedot

Simuloinnin strategisia kysymyksiä

Simuloinnin strategisia kysymyksiä Simuloinnin strategisia kysymyksiä Timo Tiihonen Tietotekniikan laitos 2010 Simuloinnin strategisia kysymyksiä Miten toimitaan, kun halutaan tietää enemmän kuin yhden simulointimallin tulos. Miten tulos

Lisätiedot

Tilastollinen päättely. 5. Väliestimointi Johdanto Luottamusvälien konstruointi Luottamusvälien vertailu

Tilastollinen päättely. 5. Väliestimointi Johdanto Luottamusvälien konstruointi Luottamusvälien vertailu ilastollinen päättely 5.. Johdanto Estimointi, Joukkoestimointi, Kriittinen alue, uottamusjoukko, uottamustaso, uottamusväli, Otos, Parametri, Peittotodennäköisyys, Piste-estimointi, Väliestimaatti, Väliestimaattori,

Lisätiedot

edellyttää valintaa takaisinpanolla Aritmeettinen keskiarvo Jos, ½ Ò muodostavat satunnaisotoksen :n jakaumasta niin Otosvarianssi Ë ¾

edellyttää valintaa takaisinpanolla Aritmeettinen keskiarvo Jos, ½ Ò muodostavat satunnaisotoksen :n jakaumasta niin Otosvarianssi Ë ¾ ËØÙ ÓØÓ Ø Mitta-asteikot Nominaali- eli laatueroasteikko Ordinaali- eli järjestysasteikko Intervalli- eli välimatka-asteikko ( nolla mielivaltainen ) Suhdeasteikko ( nolla ei ole mielivaltainen ) Otos

Lisätiedot

Liittomatriisi. Liittomatriisi. Määritelmä 16 Olkoon A 2 M(n, n). Matriisin A liittomatriisi on cof A 2 M(n, n), missä. 1) i+j det A ij.

Liittomatriisi. Liittomatriisi. Määritelmä 16 Olkoon A 2 M(n, n). Matriisin A liittomatriisi on cof A 2 M(n, n), missä. 1) i+j det A ij. Liittomatriisi Määritelmä 16 Olkoon A 2 M(n, n). Matriisin A liittomatriisi on cof A 2 M(n, n), missä (cof A) ij =( 1) i+j det A ij kaikilla i, j = 1,...,n. Huomautus 8 Olkoon A 2 M(n, n). Tällöin kaikilla

Lisätiedot

Tilastollisen analyysin perusteet Luento 10: Johdatus varianssianalyysiin

Tilastollisen analyysin perusteet Luento 10: Johdatus varianssianalyysiin Tilastollisen analyysin perusteet Luento 10: Sisältö Varianssianalyysi Varianssianalyysi on kahden riippumattoman otoksen t testin yleistys. Varianssianalyysissä perusjoukko koostuu kahdesta tai useammasta

Lisätiedot

Simuloinnin strategisia kysymyksiä

Simuloinnin strategisia kysymyksiä Simuloinnin strategisia kysymyksiä Miten toimitaan, kun halutaan tietää enemmän kuin yhden simulointimallin tulos. Miten tulos riippuu mallin syöttötiedoista. Miten tulos riippuu mallin rakenteellisista

Lisätiedot

12. Hessen matriisi. Ääriarvoteoriaa

12. Hessen matriisi. Ääriarvoteoriaa 179 12. Hessen matriisi. Ääriarvoteoriaa Tarkastelemme tässä luvussa useamman muuttujan (eli vektorimuuttujan) n reaaliarvoisia unktioita : R R. Edellisessä luvussa todettiin, että riittävän säännöllisellä

Lisätiedot

Vapaus. Määritelmä. jos c 1 v 1 + c 2 v c k v k = 0 joillakin c 1,..., c k R, niin c 1 = 0, c 2 = 0,..., c k = 0.

Vapaus. Määritelmä. jos c 1 v 1 + c 2 v c k v k = 0 joillakin c 1,..., c k R, niin c 1 = 0, c 2 = 0,..., c k = 0. Vapaus Määritelmä Oletetaan, että v 1, v 2,..., v k R n, missä n {1, 2,... }. Vektorijono ( v 1, v 2,..., v k ) on vapaa eli lineaarisesti riippumaton, jos seuraava ehto pätee: jos c 1 v 1 + c 2 v 2 +

Lisätiedot

Tilastolliset testit. Tilastolliset testit. Tilastolliset testit: Mitä opimme? 2/5. Tilastolliset testit: Mitä opimme? 1/5

Tilastolliset testit. Tilastolliset testit. Tilastolliset testit: Mitä opimme? 2/5. Tilastolliset testit: Mitä opimme? 1/5 TKK (c) Ilkka Mellin (4) 1 Johdatus tilastotieteeseen TKK (c) Ilkka Mellin (4) : Mitä opimme? 1/5 Tilastollisessa tutkimuksessa tutkimuksen kohteena olevasta perusjoukosta esitetään tavallisesti väitteitä

Lisätiedot

pitkittäisaineistoissa

pitkittäisaineistoissa Puuttuvan tiedon käsittelystä p. 1/18 Puuttuvan tiedon käsittelystä pitkittäisaineistoissa Tapio Nummi tan@uta.fi Matematiikan, tilastotieteen ja filosofian laitos Tampereen yliopisto Puuttuvan tiedon

Lisätiedot

Todennäköisyyslaskennan ja tilastotieteen peruskurssi Esimerkkikokoelma 3

Todennäköisyyslaskennan ja tilastotieteen peruskurssi Esimerkkikokoelma 3 Todennäköisyyslaskennan ja tilastotieteen peruskurssi Esimerkkikokoelma 3 Aiheet: Satunnaisvektorit ja moniulotteiset jakaumat Tilastollinen riippuvuus ja lineaarinen korrelaatio Satunnaisvektorit ja moniulotteiset

Lisätiedot

xi = yi = 586 Korrelaatiokerroin r: SS xy = x i y i ( x i ) ( y i )/n = SS xx = x 2 i ( x i ) 2 /n =

xi = yi = 586 Korrelaatiokerroin r: SS xy = x i y i ( x i ) ( y i )/n = SS xx = x 2 i ( x i ) 2 /n = 1. Tutkitaan paperin ominaispainon X(kg/dm 3 ) ja puhkaisulujuuden Y (m 2 ) välistä korrelaatiota. Tiettyä laatua olevasta paperierästä on otettu satunnaisesti 10 arkkia ja määritetty jokaisesta arkista

Lisätiedot

1. REGRESSIOMALLIN SYSTEMAATTISEN OSAN MUOTO

1. REGRESSIOMALLIN SYSTEMAATTISEN OSAN MUOTO Mat-2.104 Tilastollisen analyysin perusteet / Ratkaisut Aiheet: Avainsanat: Regressiodiagnostiikka Cooken etäisyys, Funktionaalinen muoto, Diagnostinen grafiikka, Diagnostiset testit, Heteroskedastisuus,

Lisätiedot

Numeeriset menetelmät TIEA381. Luento 8. Kirsi Valjus. Jyväskylän yliopisto. Luento 8 () Numeeriset menetelmät / 35

Numeeriset menetelmät TIEA381. Luento 8. Kirsi Valjus. Jyväskylän yliopisto. Luento 8 () Numeeriset menetelmät / 35 Numeeriset menetelmät TIEA381 Luento 8 Kirsi Valjus Jyväskylän yliopisto Luento 8 () Numeeriset menetelmät 11.4.2013 1 / 35 Luennon 8 sisältö Interpolointi ja approksimointi Funktion approksimointi Tasainen

Lisätiedot

Tilastolliset menetelmät. β versio. Tilastolliset menetelmät. Ilkka Mellin. Teknillinen korkeakoulu, Matematiikan laboratorio

Tilastolliset menetelmät. β versio. Tilastolliset menetelmät. Ilkka Mellin. Teknillinen korkeakoulu, Matematiikan laboratorio β versio Tilastolliset menetelmät Ilkka Mellin Teknillinen korkeakoulu, Matematiikan laboratorio TKK @ Ilkka Mellin (2006) I Esipuhe Tämä moniste antaa perustiedot tilastollisista menetelmistä ja niiden

Lisätiedot

Tilastolliset menetelmät

Tilastolliset menetelmät Tilastolliset menetelmät Ilkka Mellin 1. korjattu painos Ilkka Mellin I Ilkka Mellin II Esipuhe Tämä moniste pyrkii antamaan perustiedot tilastollisista menetelmistä ja niiden soveltamisesta. Tämä on monisteen

Lisätiedot

MS-A0502 Todennäköisyyslaskennan ja tilastotieteen peruskurssi

MS-A0502 Todennäköisyyslaskennan ja tilastotieteen peruskurssi MS-A0502 Todennäköisyyslaskennan ja tilastotieteen peruskurssi 4A Parametrien estimointi Lasse Leskelä Matematiikan ja systeemianalyysin laitos Perustieteiden korkeakoulu Aalto-yliopisto Syksy 2016, periodi

Lisätiedot

8.3. Yleinen lineaarinen malli ja yleistetty pienimmän neliösumman menetelmä

8.3. Yleinen lineaarinen malli ja yleistetty pienimmän neliösumman menetelmä Mat-1.361 Tilastollie päättely Tilastollie päättely 8. Yleie lieaarie malli 8.1. Yleie lieaarie malli ja se parametrie estimoiti Estimoiti, Estimaattori hyvyys, Gaussi ja Markovi lause, Harhattomuus, Homoskedastisuus,

Lisätiedot

VALTIOTIETEELLINEN TIEDEKUNTA TILASTOTIETEEN VALINTAKOE Ratkaisut ja arvostelu < X 170

VALTIOTIETEELLINEN TIEDEKUNTA TILASTOTIETEEN VALINTAKOE Ratkaisut ja arvostelu < X 170 VALTIOTIETEELLINEN TIEDEKUNTA TILASTOTIETEEN VALINTAKOE 4.6.2013 Ratkaisut ja arvostelu 1.1 Satunnaismuuttuja X noudattaa normaalijakaumaa a) b) c) d) N(170, 10 2 ). Tällöin P (165 < X < 175) on likimain

Lisätiedot

χ = Mat Sovellettu todennäköisyyslasku 11. harjoitukset/ratkaisut

χ = Mat Sovellettu todennäköisyyslasku 11. harjoitukset/ratkaisut Mat-2.091 Sovellettu todennäköisyyslasku /Ratkaisut Aiheet: Yhteensopivuuden testaaminen Homogeenisuuden testaaminen Riippumattomuuden testaaminen Avainsanat: Estimointi, Havaittu frekvenssi, Homogeenisuus,

Lisätiedot

Harjoitusten 5 vastaukset

Harjoitusten 5 vastaukset Harjoitusten 5 vastaukset 1. a) Regressiossa (1 ) selitettävänä on y jaselittäjinävakiojax matriisin muuttujat. Regressiossa (1*) selitettävänä on y:n poikkeamat keskiarvostaan ja selittäjinä X matriisin

Lisätiedot

Tilastollisen analyysin perusteet Luento 6: Korrelaatio ja riippuvuus tilastotieteessä

Tilastollisen analyysin perusteet Luento 6: Korrelaatio ja riippuvuus tilastotieteessä Tilastollisen analyysin perusteet Luento 6: Korrelaatio ja riippuvuus tilastotieteessä Sisältö Riippumattomuus Jos P(A B) = P(A)P(B), niin tapahtumat A ja B ovat toisistaan riippumattomia. (Keskustelimme

Lisätiedot

3. Teoriaharjoitukset

3. Teoriaharjoitukset 3. Teoriaharjoitukset Demotehtävät 3.1 a Olkoot u ja v satunnaumuuttujia, joilla on seuraavat ominaisuudet: E(u = E(v = 0 Var(u = Var(v = σ 2 Cov(u, v = E(uv = 0 Näytä että deterministinen prosessi. x

Lisätiedot

MS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi

MS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi MS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi Viikko 5 Tilastollisten hypoteesien testaaminen Lasse Leskelä, Heikki Seppälä Matematiikan ja systeemianalyysin laitos Perustieteiden korkeakoulu

Lisätiedot

Kertausluento. Vilkkumaa / Kuusinen 1

Kertausluento. Vilkkumaa / Kuusinen 1 Kertausluento Vilkkumaa / Kuusinen 1 Kokeellinen tutkimus Kokeellisessa tutkimuksessa on tavoitteena selvittää, miten erilaiset käsittelyt vaikuttavat tutkimuksen kohteisiin - Esim. miten lämpötila ja

Lisätiedot

9. Tila-avaruusmallit

9. Tila-avaruusmallit 9. Tila-avaruusmallit Aikasarjan stokastinen malli ja aikasarjasta tehdyt havainnot voidaan esittää joustavassa ja monipuolisessa muodossa ns. tila-avaruusmallina. Useat aikasarjat edustavat dynaamisia

Lisätiedot

Matematiikka B2 - Avoin yliopisto

Matematiikka B2 - Avoin yliopisto 6. elokuuta 2012 Opetusjärjestelyt Luennot 9:15-11:30 Harjoitukset 12:30-15:00 Tentti Kurssin sisältö (1/2) Matriisit Laskutoimitukset Lineaariset yhtälöryhmät Gaussin eliminointi Lineaarinen riippumattomuus

Lisätiedot

USEAN MUUTTUJAN REGRESSIOMALLIT JA NIIDEN ANA- LYYSI

USEAN MUUTTUJAN REGRESSIOMALLIT JA NIIDEN ANA- LYYSI TEORIA USEAN MUUTTUJAN REGRESSIOMALLIT JA NIIDEN ANA- LYYSI Regressiomalleilla kuvataan tilanteita, jossa suureen y arvot riippuvat joukosta ns selittäviä muuttujia x 1, x 2,..., x p oletetun funktiomuotoisen

Lisätiedot

1. USEAN SELITTÄJÄN LINEAARINEN REGRESSIOMALLI JA OSITTAISKORRELAATIO

1. USEAN SELITTÄJÄN LINEAARINEN REGRESSIOMALLI JA OSITTAISKORRELAATIO Mat-2.104 Tilastollisen analyysin perusteet / Ratkaisut Aiheet: Avainsanat Usean selittäjän lineaarinen regressiomalli Estimaatti, Estimaattori, Estimointi, Jäännösneliösumma, Jäännöstermi, Jäännösvarianssi,

Lisätiedot

Maximum likelihood-estimointi Alkeet

Maximum likelihood-estimointi Alkeet Maximum likelihood-estimointi Alkeet Keijo Ruotsalainen Oulun yliopisto, Teknillinen tiedekunta Matematiikan jaos Maximum likelihood-estimointi p.1/20 Maximum Likelihood-estimointi satunnaismuuttujan X

Lisätiedot

3.2.2 Tikhonovin regularisaatio

3.2.2 Tikhonovin regularisaatio 3 Tikhonovin regularisaatio Olkoon x 0 R n tuntematon, M R m n teoriamatriisi ja y Mx + ε R m (316 annettu data Häiriöherkässä ongelmassa pienimmän neliösumman miniminormiratkaisu x M + y Q N (M x + M

Lisätiedot

3 Lineaariset yhtälöryhmät ja Gaussin eliminointimenetelmä

3 Lineaariset yhtälöryhmät ja Gaussin eliminointimenetelmä 3 Lineaariset yhtälöryhmät ja Gaussin eliminointimenetelmä Lineaarinen m:n yhtälön yhtälöryhmä, jossa on n tuntematonta x 1,, x n on joukko yhtälöitä, jotka ovat muotoa a 11 x 1 + + a 1n x n = b 1 a 21

Lisätiedot