Ilkka Mellin Aikasarja-analyysi Suurimman uskottavuuden menetelmä

Save this PDF as:
 WORD  PNG  TXT  JPG

Koko: px
Aloita esitys sivulta:

Download "Ilkka Mellin Aikasarja-analyysi Suurimman uskottavuuden menetelmä"

Transkriptio

1 Ilkka Mellin Aikasarja-analyysi Suurimman uskottavuuden menetelmä TKK (c) Ilkka Mellin (2007) 1

2 Suurimman uskottavuuden menetelmä >> Suurimman uskottavuuden estimointimenetelmä Tarkentuvuus Asymptoottinen normaalisuus Suurimman uskottavuuden estimaattorin asymptoottiset ominaisuudet Osamäärätesti Waldin testi Lagrangen kertojatesti Numeerinen optimointi TKK (c) Ilkka Mellin (2007) 2

3 Suurimman uskottavuuden estimointimenetelmä Otos ja sen jakauma 1/3 Olkoot X 1, X 2,, X n satunnaismuuttujia, joiden yhteisjakauman pistetodennäköisyys- tai tiheysfunktio f(x 1, x 2,, x n ; θ) riippuu tuntemattomasta parametrista θ = (θ 1, θ 2,, θ p ) TKK (c) Ilkka Mellin (2007) 3

4 Suurimman uskottavuuden estimointimenetelmä Otos ja sen jakauma 2/3 Oletetaan, että satunnaismuuttujat X 1, X 2,, X n generoivat havaituiksi arvoikseen reaaliluvut x 1, x 2,, x n Kutsumme satunnaismuuttujia X 1, X 2,, X n havainnoiksi ja niiden havaittuja arvoja x 1, x 2,, x n havaintoarvoiksi. Satunnaismuuttujat X 1, X 2,, X n muodostavat otoksen, jonka jakauman määrittelee niiden yhteisjakauman pistetodennäköisyys- tai tiheysfunktio f(x 1, x 2,, x n ; θ) TKK (c) Ilkka Mellin (2007) 4

5 Suurimman uskottavuuden estimointimenetelmä Otos ja sen jakauma 3/3 Havaintoarvot x 1, x 2,, x n ovat kiinteitä eli ei-satunnaisia, mutta ne vaihtelevat otoksesta toiseen satunnaismuuttujien X 1, X 2,, X n yhteisjakauman f määräämin todennäköisyyksin. TKK (c) Ilkka Mellin (2007) 5

6 Suurimman uskottavuuden estimointimenetelmä Uskottavuusfunktio Otoksen X 1, X 2,, X n uskottavuusfunktio on otoksen (eli satunnaismuuttujien X 1, X 2,, X n ) yhteisjakauman pistetodennäköisyys- tai tiheysfunktion f(x 1, x 2,, x n ; θ) arvo pisteessä x 1, x 2,, x n tulkittuna jakauman parametrin θ funktioksi. Merkitään: L(θ)= L(θ ; x 1, x 2,, x n ) = f(x 1, x 2,, x n ; θ) Uskottavuusfunktio sisältää kaiken informaation otoksesta. TKK (c) Ilkka Mellin (2007) 6

7 Suurimman uskottavuuden estimointimenetelmä Suurimman uskottavuuden estimaattori 1/2 Olkoon otoksen X 1, X 2,, X n uskottavuusfunktio L(θ)= L(θ ; x 1, x 2,, x n ) Olkoon t = g(x 1, x 2,, x n ) parametrin θ arvo, joka maksimoi uskottavuusfunktion L(θ). Huomautus: Uskottavuusfunktion L maksimin antava parametrin θ arvo t on havaintoarvojen x 1, x 2,, x n funktio. TKK (c) Ilkka Mellin (2007) 7

8 Suurimman uskottavuuden estimointimenetelmä Suurimman uskottavuuden estimaattori 2/2 Valitaan parametrin θ estimaattoriksi satunnaismuuttuja θ ˆ = T = g( X1, X2,, X n ) Estimaattoria ˆθ kutsutaan parametrin θ suurimman uskottavuuden estimaattoriksi eli SU-estimaattoriksi. Suurimman uskottavuuden estimaattori ˆθ tuottaa parametrille θ arvon, joka maksimoi havaintoarvojen x 1, x 2,, x n uskottavuuden (todennäköisyyden). TKK (c) Ilkka Mellin (2007) 8

9 Suurimman uskottavuuden estimointimenetelmä SU-estimointi Parametrin θ suurimman uskottavuuden estimaattori määrätään maksimoimalla uskottavuusfunktio L(θ) = L(θ ; x 1, x 2,, x n ) parametrin θ suhteen. Kaikissa säännöllisissä tapauksissa maksimi löydetään merkitsemällä uskottavuusfunktion L(θ) derivaatta L (θ) nollaksi ja ratkaisemalla θ saadusta normaaliyhtälöstä L (θ) = 0 TKK (c) Ilkka Mellin (2007) 9

10 Suurimman uskottavuuden estimointimenetelmä Logaritminen uskottavuusfunktio Uskottavuusfunktion maksimin antava parametrin θ arvo löytyy usein ratkaisevasti helpommin maksimoimalla logaritmista uskottavuusfunktio eli uskottavuusfunktion logaritmi l(θ) = log L(θ ; x 1, x 2,, x n ) parametrin θ suhteen. Huomautus: Logaritminen uskottavuusfunktio saavuttaa maksiminsa samassa pisteessä kuin uskottavuusfunktio. TKK (c) Ilkka Mellin (2007) 10

11 Suurimman uskottavuuden estimointimenetelmä Uskottavuusfunktio ja riippumattomat havainnot 1/3 Olkoon X 1, X 2,, X n (yksinkertaisen) satunnaisotos jakaumasta f X (x ; θ), jossa θ on jakauman muodon määräävä tuntematon parametri. Tällöin satunnaismuuttujat X 1, X 2,, X n ovat riippumattomia ja noudattavat samaa jakaumaa f X (x ; θ): X1, X2,, Xn X f ( x; θ), i = 1,2,, n i X TKK (c) Ilkka Mellin (2007) 11

12 Suurimman uskottavuuden estimointimenetelmä Uskottavuusfunktio ja riippumattomat havainnot 2/3 Satunnaismuuttujien X 1, X 2,, X n riippumattomuuden nojalla otoksen uskottavuusfunktio voidaan esittää muodossa L(θ ; x 1, x 2,, x n ) = f(x 1 ; θ)f(x 2 ; θ) f(x n ; θ) jossa f(x i ; θ), i = 1, 2,, n on havaintoarvoon x i liittyvä pistetodennäköisyys- tai tiheysfunktio. TKK (c) Ilkka Mellin (2007) 12

13 Suurimman uskottavuuden estimointimenetelmä Uskottavuusfunktio ja riippumattomat havainnot 3/3 Vastaava logaritminen uskottavuusfunktio voidaan esittää muodossa l( θ) = log L( θ) = log f( x ; θ) f( x ; θ) f( x ; θ) ( ) 1 2 = log f( x ; θ) + log f( x ; θ) + + log f( x ; θ) 1 2 = l( θ; x1) + l( θ; x2) + + l( θ; xn ) jossa l(θ ; x i ) = log L(θ ; x i ), i = 1, 2,, n on havaintoarvoon x i liittyvä logaritminen uskottavuusfunktio. n n TKK (c) Ilkka Mellin (2007) 13

14 Suurimman uskottavuuden estimointimenetelmä SU-estimointi ja riippumattomat havainnot Riippumattomien havaintojen tapauksessa logaritmisen uskottavuusfunktion summaesityksen l( θ) = log L( θ) = log f( x ; θ) + log f( x ; θ) + + log f( x ; θ) 1 2 = l( θ; x1) + l( θ; x2) + + l( θ; xn ) maksimointi on usein ratkaisevasti helpompaa kuin uskottavuusfunktion itsensä maksimointi. Huomautus: Logaritminen uskottavuusfunktio saavuttaa maksiminsa samassa pisteessä kuin uskottavuusfunktio. n TKK (c) Ilkka Mellin (2007) 14

15 Suurimman uskottavuuden estimointimenetelmä SU-estimaattorin ominaisuudet Äärellisellä otoskoolla SU-estimaattori ˆθ ei välttämättä toteuta tavanomaisia hyvälle estimaattorille asetettavia kriteereitä: (i) SU-estimaattori ei välttämättä ole harhaton. (ii) SU-estimaattorin jakaumaa ei välttämättä tunneta. TKK (c) Ilkka Mellin (2007) 15

16 Suurimman uskottavuuden estimointimenetelmä SU-estimaattorin asymptoottiset ominaisuudet SU-estimaattorilla ˆθ on hyvin yleisin ehdoin seuraavat asymptoottiset ominaisuudet: (i) SU-estimaattori on tarkentuva. SU-estimaattorin tarkentuvuus merkitsee sitä, että SU-estimaattori toteuttaa hyvin yleisin ehdoin suurten lukujen lain. (ii) SU-estimaattori on asymptoottisesti normaalinen. SU-estimaattorin asymptoottinen normaalisuus merkitsee sitä, että SU-estimaattori toteuttaa hyvin yleisin ehdoin keskeisen raja-arvolauseen. TKK (c) Ilkka Mellin (2007) 16

17 Suurimman uskottavuuden estimointimenetelmä SU-estimaattorin asymptoottinen normaalisuus: Kommentteja Oletetaan, että SU-estimaattori ˆθ on asymptoottisesti normaalinen. Tällöin: (i) SU-estimaattorin jakaumaa voidaan suurissa otoksissa approksimoida normaalijakaumalla. (ii) Parametrien luottamusvälit ja parametreja koskevat testit voidaan perustaa normaalijakaumaan tai t-jakaumaan. TKK (c) Ilkka Mellin (2007) 17

18 Suurimman uskottavuuden estimointimenetelmä SU-estimaattorin asymptoottiset ominaisuudet: Oletuksien merkitys 1/2 On melko yksinkertaista todistaa SU-estimaattorin tarkentuvuus ja asymptoottinen normaalisuus, jos otos muodostuu riippumattomista, samaa jakaumaa noudattavista havainnoista. Oletuksista havaintojen riippumattomuudesta ja samasta jakaumasta voidaan tietyin ehdoin luopua; tällä on suuri merkitys aikasarjamallien SU-estimoinnissa. TKK (c) Ilkka Mellin (2007) 18

19 Suurimman uskottavuuden estimointimenetelmä SU-estimaattorin asymptoottiset ominaisuudet: Oletuksien merkitys 2/2 Tilastollinen aikasarja-analyysi perustuu siihen, että aikasarja tulkitaan jonkin stokastisen prosessin realisaatioksi. Aikasarjamallien parametrien SU-estimaattoreiden tarkentuvuus ja asymptoottinen normaalisuus voidaan todistaa esimerkiksi silloin, kun aikasarjan generoinut prosessi on jotakin seuraavista tyypeistä: ergodinen stationaarinen martingaalidifferenssi TKK (c) Ilkka Mellin (2007) 19

20 Suurimman uskottavuuden estimointimenetelmä Normaalijakauma ja SU-menetelmä: Normaalijakauma ja sen parametrointi Satunnaismuuttuja X noudattaa normaalijakaumaa N(µ, σ 2 ), jos sen tiheysfunktio on x µ f( x; µσ, ) = exp σ 2π 2 σ Normaalijakauman parametreina ovat jakauman odotusarvo E( X ) = µ ja varianssi Var( X ) 2 = σ TKK (c) Ilkka Mellin (2007) 20

21 Suurimman uskottavuuden estimointimenetelmä Normaalijakauma ja SU-menetelmä: Otos normaalijakaumasta Olkoon X 1, X 2,, X n (yksinkertainen) satunnaisotos normaalijakaumasta N(µ, σ 2 ) Tällöin satunnaismuuttujat X 1, X 2,, X n ovat riippumattomia ja noudattavat samaa normaalijakaumaa N(µ, σ 2 ) TKK (c) Ilkka Mellin (2007) 21

22 Suurimman uskottavuuden estimointimenetelmä Normaalijakauma ja SU-menetelmä: Uskottavuusfunktio Otoksen X 1, X 2,, X n uskottavuusfunktio on 2 L( µσ, ; x, x,, x ) = 1 2 n µ σ 2 µ σ n µ σ f( x ;, ) f( x ;, ) f( x ;, ) 1 n n n = σ (2 π ) exp ( x ) 2 i µ 2σ i= 1 Vastaava logaritminen uskottavuusfunktio on 2 l( µσ, ; x, x,, x ) = 1 2 n 2 log L( µσ, ; x1, x2,, xn ) n n logσ nlog(2 π ) ( x ) 2 i µ 2 2 2σ i = 1 = TKK (c) Ilkka Mellin (2007) 22

23 Suurimman uskottavuuden estimointimenetelmä Normaalijakauma ja SU-menetelmä: Parametrien µ ja σ 2 estimointi Normaalijakauman N(µ, σ 2 ) parametrien µ ja σ 2 SU-estimaattorit ovat havaintojen X 1, X 2,, X n aritmeettinen keskiarvo n 1 ˆ µ = Xi = X n i= 1 ja otosvarianssi n 1 ˆ σ = ( Xi X) n 2 2 i= 1 TKK (c) Ilkka Mellin (2007) 23

24 Suurimman uskottavuuden estimointimenetelmä Normaalijakauma ja SU-menetelmä: Estimaattoreiden ominaisuudet 1/3 Normaalijakauman N(µ, σ 2 ) odotusarvon µ SU-estimaattorilla ˆµ on seuraavat ominaisuudet: (i) ˆµ on harhaton. (ii) 2 ˆµ ja σˆ ovat yhdessä tyhjentäviä parametreille µ, σ 2. (iii) ˆµ on tehokas eli minimivarianssinen estimaattori. (iv) ˆµ on tarkentuva. (v) ˆµ noudattaa normaalijakaumaa: 2 σ ˆ~N µ µ, n TKK (c) Ilkka Mellin (2007) 24

25 Suurimman uskottavuuden estimointimenetelmä Normaalijakauma ja SU-menetelmä: Estimaattoreiden ominaisuudet 2/3 Normaalijakauman N(µ, σ 2 ) varianssin σ 2 2 SU-estimaattorilla σˆ on seuraavat ominaisuudet: 2 (i) σˆ on harhainen. 2 (ii) ˆµ ja σˆ ovat yhdessä tyhjentäviä parametreille µ, σ 2. 2 (iii) σˆ ei ole tehokas eli minimivarianssinen estimaattori. 2 (iv) σˆ on tarkentuva. (v) (n 1) s 2 /σ 2 noudattaa χ 2 -jakaumaa: 2 ( n 1) s 2 χ ( n 1) 2 σ TKK (c) Ilkka Mellin (2007) 25

26 Suurimman uskottavuuden estimointimenetelmä Normaalijakauma ja SU-menetelmä: Estimaattoreiden ominaisuudet 3/3 Normaalijakauman N(µ, σ 2 ) varianssin σ 2 2 SU-estimaattori σˆ on harhainen, mutta estimaattori n 2 n s = ˆ σ = ( Xi X) n 1 n 1 on harhaton. i= 1 TKK (c) Ilkka Mellin (2007) 26

27 Suurimman uskottavuuden estimointimenetelmä Yleinen lineaarinen malli ja SU-menetelmä: Malli ja sen parametrit Olkoon y = Xβ + ε yleinen lineaarinen malli, jossa on seuraavat osat: y = selitettävän muuttujan y havaittujen arvojen muodostama satunnainen n-vektori X = selittäjien x 1, x 2,, x k havaittujen arvojen ja ykkösten muodostama n (k + 1)-matriisi β = regressiokertoimien muodostama tuntematon ja kiinteä eli ei-satunnainen (k + 1)-vektori ε = jäännöstermien muodostama ei-havaittu ja satunnainen n-vektori TKK (c) Ilkka Mellin (2007) 27

28 Suurimman uskottavuuden estimointimenetelmä Yleinen lineaarinen malli ja SU-menetelmä: Standardioletukset Oletetaan, että yleistä lineaarista mallia y = Xβ + ε koskevat standardioletukset pätevät: (i) Matriisin X alkiot ovat ei-satunnaisia vakioita. (ii) Matriisi X on täysiasteinen: r(x) = k + 1 (iii) E(ε) = 0 (iv)&(v) Homoskedastisuus- ja korreloimattomuusoletus: Cov(ε) = σ 2 I (vi) Normaalisuusoletus: ε N n (0, σ 2 I) TKK (c) Ilkka Mellin (2007) 28

29 Suurimman uskottavuuden estimointimenetelmä Yleinen lineaarinen malli ja SU-menetelmä: Uskottavuusfunktio Standardioletusten pätiessä havaintojen y 1, y 2,, y n uskottavuusfunktio on 2 L( β, σ ; y, y,, y ) 1 2 n { } 1 n 2 n 1 = (2 π) σ exp ( y Xβ)( y Xβ) 2 2σ Vastaava logaritminen uskottavuusfunktio on 2 l( β, σ ; y1, y2,, y n ) 1 1 = nlog(2 π) nlog σ ( y Xβ) ( y Xβ) 2 2 2σ TKK (c) Ilkka Mellin (2007) 29

30 Suurimman uskottavuuden estimointimenetelmä Yleinen lineaarinen malli ja SU-menetelmä: Parametrien estimointi Lineaarisen mallin y = Xβ + ε regressiokertoimien vektorin β SU-estimaattori yhtyy standardioletusten pätiessä vektorin β PNS-estimaattoriin: βˆ = b= ( XX ) 1 Xy Jäännösvarianssin σ 2 SU-estimaattori on ˆ σ = SSE n SSE = ( y Xb) ( y Xb) 2 1 TKK (c) Ilkka Mellin (2007) 30

31 Suurimman uskottavuuden estimointimenetelmä Yleinen lineaarinen malli ja SU-menetelmä: Estimaattoreiden ominaisuudet 1/3 Lineaarisen mallin y = Xβ + ε regressiokertoimien vektorin β SU-estimaattorilla b on seuraavat ominaisuudet: (i) b on harhaton. 2 (ii) b ja σˆ ovat yhdessä tyhjentäviä parametreille β, σ 2. (iii) b on tehokas eli minimivarianssinen estimaattori. (iv) b on tarkentuva. (v) b noudattaa normaalijakaumaa: 2 1 b ~N( β, σ ( XX ) ) TKK (c) Ilkka Mellin (2007) 31

32 Suurimman uskottavuuden estimointimenetelmä Yleinen lineaarinen malli ja SU-menetelmä: Estimaattoreiden ominaisuudet 2/3 Lineaarisen mallin y = Xβ + ε jäännösvarianssin σ 2 SUestimaattorilla σˆ on seuraavat ominaisuudet: 2 2 (i) σˆ on harhainen. 2 (ii) b ja σˆ ovat yhdessä tyhjentäviä parametreille β, σ 2. 2 (iii) σˆ ei ole tehokas eli minimivarianssinen estimaattori. 2 (iv) σˆ on tarkentuva. (v) (n k 1) s 2 /σ 2 noudattaa χ 2 -jakaumaa: 2 ( n k 1) s 2 χ ( n k 1) 2 σ TKK (c) Ilkka Mellin (2007) 32

33 Suurimman uskottavuuden estimointimenetelmä Yleinen lineaarinen malli ja SU-menetelmä: Estimaattoreiden ominaisuudet 3/3 Lineaarisen mallin y = Xβ + ε jäännösvarianssin σ 2 SUestimaattori σˆ on harhainen, mutta 2 estimaattori 2 n 2 1 s = ˆ ( )( ) n k 1 σ = y Xβ n k 1 y Xβ on harhaton. TKK (c) Ilkka Mellin (2007) 33

34 Suurimman uskottavuuden menetelmä Suurimman uskottavuuden estimointimenetelmä >> Tarkentuvuus Asymptoottinen normaalisuus Suurimman uskottavuuden estimaattorin asymptoottiset ominaisuudet Osamäärätesti Waldin testi Lagrangen kertojatesti Numeerinen optimointi TKK (c) Ilkka Mellin (2007) 34

35 Tarkentuvuus Suurten lukujen lait 1/2 Olkoon X i, i = 1, 2, jono riippumattomia, samoin jakautuneita satunnaismuuttujia. Tällöin satunnaismuuttujilla X i on sama odotusarvo ja varianssi: E(X i ) = µ, i = 1, 2,, n D 2 (X i ) = σ 2, i = 1, 2,, n Olkoon X n 1 n n i = 1 = X i satunnaismuuttujien X i, i = 1, 2,, n aritmeettinen keskiarvo. TKK (c) Ilkka Mellin (2007) 35

36 Tarkentuvuus Suurten lukujen lait 2/2 Heikko suurten lukujen laki: lim Pr( X µ > ε) = 0 kaikille ε > 0 n + Vahva suurten lukujen laki: Pr( lim X = µ ) = 1 n + n n Vahva suurten lukujen laki implikoi heikon suurten lukujen lain, mutta ei kääntäen. TKK (c) Ilkka Mellin (2007) 36

37 Tarkentuvuus Suurten lukujen lait: Kommentteja Heikko suurten lukujen laki sanoin: Samoin jakautuneiden satunnaismuuttujien aritmeettinen keskiarvo lähestyy muuttujien lukumäärän kasvaessa muuttujien yhteistä odotusarvoa sellaisella tavalla, että suuret poikkeamat yhteisestä odotusarvosta tulevat yhä epätodennäköisemmiksi eli harvinaisemmiksi. Vahva suurten lukujen laki sanoin: Samoin jakautuneiden satunnaismuuttujien aritmeettinen keskiarvo lähestyy muuttujien lukumäärän kasvaessa muuttujien yhteistä odotusarvoa todennäköisyydellä 1. TKK (c) Ilkka Mellin (2007) 37

38 Tarkentuvuus Tarkentuvuuden määritelmä ˆ n Olkoon θ parametrin θ estimaattori, joka perustuu n:ään havaintoon. Jos estimaattori θ toteuttaa suurten lukujen lain, sanomme, että θˆ n on tarkentuva parametrille θ. Heikko tarkentuvuus: lim Pr( θˆ θ > ε) = 0 kaikille ε > 0 n + Vahva tarkentuvuus: Pr( lim θˆ = θ) = 1 n + n n ˆ n TKK (c) Ilkka Mellin (2007) 38

39 Tarkentuvuus Tarkentuvuus: Kommentteja Vahvasta tarkentuvuudesta seuraa heikko tarkentuvuus, mutta ei kääntäen. Tarkentuvuus on keskeinen vaatimus estimaattorille sellaisissa tilanteissa, joissa parametrille johdettu osoittautuu harhaiseksi. Tällöin tilanteen pelastaa ts. johdettu estimaattori on käyttökelpoinen, jos se on tarkentuva. TKK (c) Ilkka Mellin (2007) 39

40 Tarkentuvuus Suurten lukujen lait: Oletuksien merkitys 1/2 On melko yksinkertaista todistaa SU-estimaattorin tarkentuvuus, jos otos muodostuu riippumattomista, samaa jakaumaa noudattavista havainnoista. Oletuksista havaintojen riippumattomuudesta ja samasta jakaumasta voidaan tietyin ehdoin luopua; tällä on suuri merkitys aikasarjamallien SU-estimoinnissa. TKK (c) Ilkka Mellin (2007) 40

41 Tarkentuvuus Suurten lukujen lait: Oletuksien merkitys 2/2 Tilastollinen aikasarja-analyysi perustuu siihen, että aikasarja tulkitaan jonkin stokastisen prosessin realisaatioksi. Aikasarjamallien parametrien SU-estimaattoreiden tarkentuvuus voidaan todistaa esimerkiksi silloin, kun aikasarjan generoinut prosessi on jotakin seuraavista tyypeistä: ergodinen stationaarinen martingaalidifferenssi TKK (c) Ilkka Mellin (2007) 41

42 Suurimman uskottavuuden menetelmä Suurimman uskottavuuden estimointimenetelmä Tarkentuvuus >> Asymptoottinen normaalisuus Suurimman uskottavuuden estimaattorin asymptoottiset ominaisuudet Osamäärätesti Waldin testi Lagrangen kertojatesti Numeerinen optimointi TKK (c) Ilkka Mellin (2007) 42

43 Asymptoottinen normaalisuus Keskeinen raja-arvolause 1/3 Olkoon X i, i = 1, 2, jono riippumattomia, samoin jakautuneita satunnaismuuttujia. Tällöin satunnaismuuttujilla X i on sama odotusarvo ja varianssi: E(X i ) = µ, i = 1, 2,, n D 2 (X i ) = σ 2, i = 1, 2,, n Olkoon Y n n = X i= 1 i satunnaismuuttujien X i, i = 1, 2,, n summa. TKK (c) Ilkka Mellin (2007) 43

44 Asymptoottinen normaalisuus Keskeinen raja-arvolause 2/3 Summan Y n odotusarvo ja varianssi ovat E(Y n ) = nµ D 2 (Y n ) = nσ 2 Standardoidaan summa Y n : Yn nµ Zn = σ n Annetaan n + Tällöin satunnaismuuttujan Z n jakauma lähestyy standardoitua normaalijakaumaa N(0, 1). TKK (c) Ilkka Mellin (2007) 44

45 Asymptoottinen normaalisuus Keskeinen raja-arvolause 3/3 Keskeisen raja-arvolauseen mukaan n X nµ i i= 1 lim Pr z =Φ( z) n + σ n jossa Φ on standardoidun normaalijakauman N(0, 1) kertymäfunktio. Merkintä: n i= Xi nµ 1 a N(0,1) σ n TKK (c) Ilkka Mellin (2007) 45

46 Asymptoottinen normaalisuus Aritmeettisen keskiarvon approksimatiivinen jakauma Keskeisestä raja-arvolauseesta seuraa: Riippumattomien samoin jakautuneiden satunnaismuuttujien X i, i = 1, 2,, n aritmeettinen keskiarvo X n 1 n n i = 1 = X i on suurille (mutta äärellisille) n approksimatiivisesti normaalinen parametrein µ, σ 2 /n. TKK (c) Ilkka Mellin (2007) 46

47 Asymptoottinen normaalisuus Keskeinen raja-arvolause: Oletuksien merkitys 1/2 On melko yksinkertaista todistaa SU-estimaattorin asymptoottinen normaalisuus, jos otos muodostuu riippumattomista, samaa jakaumaa noudattavista havainnoista. Oletuksista havaintojen riippumattomuudesta ja samasta jakaumasta voidaan tietyin ehdoin luopua; tällä on suuri merkitys aikasarjamallien SU-estimoinnissa. TKK (c) Ilkka Mellin (2007) 47

48 Asymptoottinen normaalisuus Keskeinen raja-arvolause: Oletuksien merkitys 2/2 Tilastollinen aikasarja-analyysi perustuu siihen, että aikasarja tulkitaan jonkin stokastisen prosessin realisaatioksi. Aikasarjamallien parametrien SU-estimaattoreiden asymptoottinen normaalisuus voidaan todistaa esimerkiksi silloin, kun aikasarjan generoinut prosessi on jotakin seuraavista tyypeistä: ergodinen stationaarinen martingaalidifferenssi TKK (c) Ilkka Mellin (2007) 48

49 Asymptoottinen normaalisuus Keskeinen raja-arvolause: Kommentteja SU-estimaattorin asymptoottisesta normaalisuudesta seuraa se, että SU-estimaattorin jakaumaa voidaan suurissa otoksissa approksimoida normaalijakaumalla. SU-estimaattorin asymptoottisesta normaalisuudesta seuraa se, että parametrien luottamusvälit ja parametreja koskevat testit voidaan tavallisesti perustaa normaalijakaumaan tai t-jakaumaan. TKK (c) Ilkka Mellin (2007) 49

50 Suurimman uskottavuuden menetelmä Suurimman uskottavuuden estimointimenetelmä Tarkentuvuus Asymptoottinen normaalisuus >> Suurimman uskottavuuden estimaattorin asymptoottiset ominaisuudet Osamäärätesti Waldin testi Lagrangen kertojatesti Numeerinen optimointi TKK (c) Ilkka Mellin (2007) 50

51 Suurimman uskottavuuden estimaattorin asymptoottiset ominaisuudet 1. kertaluvun osittaisderivaattojen vektori Olkoon θ = (θ 1,, θ p ) p-vektori. Olkoon θ 1 D =,, = θ1 θp θ p 1. kertaluvun osittaisderivaattaoperaattoreiden, i = 1,2,..., p θ i muodostama vektori. TKK (c) Ilkka Mellin (2007) 51

52 Suurimman uskottavuuden estimaattorin asymptoottiset ominaisuudet 2. kertaluvun osittaisderivaattojen matriisi Olkoon θ = (θ 1,, θ p ) p-vektori. Olkoon θ1 θ1 θ p 2 D = DD = θp θ1 θ p 2. kertaluvun osittaisderivaattaoperaattoreiden θ θ i muodostama matriisi. j, i = 1,2,..., p, j = 1,2,..., p TKK (c) Ilkka Mellin (2007) 52

53 Suurimman uskottavuuden estimaattorin asymptoottiset ominaisuudet Otos ja sen jakauma 1/2 Olkoot X 1, X 2,, X n satunnaismuuttujia, joiden yhteisjakauman pistetodennäköisyys- tai tiheysfunktio f(x 1, x 2,, x n ; θ) riippuu tuntemattomasta parametrista θ = (θ 1, θ 2,, θ p ) TKK (c) Ilkka Mellin (2007) 53

54 Suurimman uskottavuuden estimaattorin asymptoottiset ominaisuudet Otos ja sen jakauma 2/2 Oletetaan, että satunnaismuuttujat X 1, X 2,, X n generoivat havaituiksi arvoikseen reaaliluvut x 1, x 2,, x n Satunnaismuuttujat X 1, X 2,, X n muodostavat otoksen, jonka jakauman määrittelee niiden yhteisjakauman pistetodennäköisyys- tai tiheysfunktio f(x 1, x 2,, x n ; θ) TKK (c) Ilkka Mellin (2007) 54

55 Suurimman uskottavuuden estimaattorin asymptoottiset ominaisuudet Uskottavuusfunktio Olkoon L(θ) = L(θ ; x 1, x 2,, x n ) = f(x 1, x 2,, x n ; θ) otoksen X 1, X 2,, X n uskottavuusfunktio. Olkoon vastaava logaritminen uskottavuusfunktio l(θ) = log L(θ ; x 1, x 2,, x n ) TKK (c) Ilkka Mellin (2007) 55

56 Suurimman uskottavuuden estimaattorin asymptoottiset ominaisuudet SU-estimointi ja logaritminen uskottavuusfunktio Olkoon θ = (θ 1,, θ p ) parametrien θ 1,, θ p muodostama p-vektori. Uskottavuusfunktiolla L on lokaali maksimi pisteessä ˆθ, jos Dl( θˆ ) = 0 2 D l( θˆ ) > 0 TKK (c) Ilkka Mellin (2007) 56

57 Suurimman uskottavuuden estimaattorin asymptoottiset ominaisuudet Tehokas pistemäärä ja Fisherin informaatiomatriisi Vektoria Dl( θ) kutsutaan tehokkaaksi pistemääräksi (engl. score). Matriisia 2 I( θ) = E[ D l( θ)] = E[( Dl( θ))( Dl( θ)) ] kutsutaan Fisherin informaatiomatriisiksi. TKK (c) Ilkka Mellin (2007) 57

58 Suurimman uskottavuuden estimaattorin asymptoottiset ominaisuudet SU-estimaattorin asymptoottinen normaalisuus Olkoon ˆθ parametrin θ = (θ 1,, θ p ) SU-estimaattori. SU-estimaattori ˆθ on hyvin yleisin ehdoin asymptoottisesti normaalinen: θ 1 θ IA n θ jossa 1 IA( θ) = lim I( θ) n + n ˆ 1 a N p, ( ) on Fisherin informaatiomatriisin I(θ) asymptoottinen arvo. TKK (c) Ilkka Mellin (2007) 58

59 Suurimman uskottavuuden estimaattorin asymptoottiset ominaisuudet SU-estimaattorin asymptoottinen normaalisuus: Seuraukset tilastollisessa päättelyssä 1/3 Oletetaan, että on voitu osoittaa, että parametrin θ = (θ 1,, θ p ) SU-estimaattori ˆθ on tarkasteltavassa tilanteessa asymptoottisesti normaalinen. Tällöin parametreja θ i, i = 1, 2,, p koskevassa tilastollisessa päättelyssä voidaan nojata SU-estimaattorin approksimatiiviseen normaalisuuteen suurissa otoksissa: (i) Parametrien θ i, i = 1, 2,, p luottamusvälien luottamuskertoimet voidaan määrätä normaalijakaumasta. (ii) Parametreja θ i, i = 1, 2,, p koskevissa testeissä testien kriittiset arvot tai p-arvot voidaan määrätä normaalijakaumasta. TKK (c) Ilkka Mellin (2007) 59

60 Suurimman uskottavuuden estimaattorin asymptoottiset ominaisuudet SU-estimaattorin asymptoottinen normaalisuus: Seuraukset tilastollisessa päättelyssä 2/3 Kommentteja: (i) SU-estimaattorin normaalisuutta koskeva tulos on luonteeltaan asymptoottinen. (ii) Otokset ovat todellisuudessa aina äärellisiä. (iii) SU-estimaattorin normaalisuuteen perustuvat luottamusvälit ja testit eivät ole äärellisissä otoksissa eksakteja, vaan ainoastaan approksimatiivisia. Tästä johtuen luottamuskertoimia ja testien merkitsevyystasoja tai p-arvoja määrättäessä SUpäättelyssä ei tavallisesti käytetä normaalijakaumaa, vaan t-jakaumaa. TKK (c) Ilkka Mellin (2007) 60

61 Suurimman uskottavuuden estimaattorin asymptoottiset ominaisuudet SU-estimaattorin asymptoottinen normaalisuus: Seuraukset tilastollisessa päättelyssä 3/3 t-jakauman käyttö luottamuskertoimia ja testien merkitsevyystasoja tai p-arvojen määrättäessä johtaa (jonkin verran) konservatiivisempiin luottamusväleihin ja testeihin kuin normaalijakauman käyttö: (i) (ii) t-jakaumaan perustuvat luottamusvälit ovat leveämpiä kuin normaalijakaumaan perustuvat luottamusvälit. t-jakaumaan perustuvissa testeissä testattavan nollahypoteesin hylkääminen ei tapahdu yhtä helposti kuin normaalijakaumaan perustuvissa testeissä. TKK (c) Ilkka Mellin (2007) 61

62 Suurimman uskottavuuden menetelmä Suurimman uskottavuuden estimointimenetelmä Tarkentuvuus Asymptoottinen normaalisuus Suurimman uskottavuuden estimaattorin asymptoottiset ominaisuudet >> Osamäärätesti Waldin testi Lagrangen kertojatesti Numeerinen optimointi TKK (c) Ilkka Mellin (2007) 62

63 Osamäärätesti Testiprobleeman tausta Olkoot S = otosavaruus H=yleinen hypoteesi, joka kiinnittää otoksen jakauman H 0 = nollahypoteesi, joka kiinnittää jotkin yleisessä hypoteesissa kiinnitetyn jakauman parametreista TKK (c) Ilkka Mellin (2007) 63

64 Osamäärätesti Testiprobleema Tilastollisella testillä tarkoitetaan päätössääntöä, jonka mukaan jätämme nollahypoteesin voimaan tai hylkäämme nollahypoteesin. Päätössääntö jakaa otosavaruuden S hyväksymisalueeseen ja hylkäysalueeseen. TKK (c) Ilkka Mellin (2007) 64

65 Osamäärätesti Testiprobleema ja virheet testauksessa Jos joudutaan hylkäys-eli kriittiselle alueelle silloin, kun nollahypoteesi pätee, tehdään I lajin virheen. Jos joudutaan hyväksymisalueelle silloin, kun nollahypoteesi ei päde, tehdään II lajin virhe. Testin merkitsevyystason valinta tarkoittaa I lajin virheen todennäköisyyden kiinnittämistä etukäteen. Jos merkitsevyystaso on valittu etukäteen, voidaan niiden testien joukosta, joilla on sama I lajin virheen todennäköisyys, yrittää löytää se, joka minimoi II lajin virheen todennäköisyyden. Tällaista testiä sanotaan tasaisesti voimakkaimmaksi. TKK (c) Ilkka Mellin (2007) 65

66 Osamäärätesti Osamäärätestisuure 1/2 Oletukset: θˆ = parametrin θ SU-estimaattori, joka on määrätty olettaen, että testin yleinen hypoteesi H pätee L( θˆ) = otoksen uskottavuusfunktion arvo pisteessä θˆ θˆ 0 = parametrin θ SU-estimaattori, joka on määrätty oletettaen, että testin nollahypoteesi H 0 pätee L ( θˆ ) = otoksen uskottavuusfunktion arvo pisteessä θˆ 0 0 TKK (c) Ilkka Mellin (2007) 66

67 Osamäärätesti Osamäärätestisuure 2/2 Tällöin satunnaismuuttuja L( ˆ θ0) λ = L( ˆ θ ) on (uskottavuus-) osamäärätestisuure nollahypoteesille H 0. TKK (c) Ilkka Mellin (2007) 67

68 Osamäärätesti Osamäärätestisuure: Kommentti Osamäärätestisuuretta muodostettaessa mallin parametrit joudutaan estimoimaan SU-menetelmällä kahdella eri tavalla: (1) Osamäärätestisuureen nimittäjä saadaan etsimällä uskottavuusfunktion maksimi yleisen hypoteesin H pätiessä. Tämä merkitsee vapaan ääriarvotehtävän ratkaisemista. (2) Osamäärätestisuureen osoittaja saadaan etsimällä uskottavuusfunktion maksimi nollahypoteesin H 0 pätiessä. Tämä merkitsee sidotun ääriarvotehtävän ratkaisemista. TKK (c) Ilkka Mellin (2007) 68

69 Osamäärätesti Osamäärätesti: Eksakti muoto Jos nollahypoteesi H 0 ei päde, osamäärätestisuureella λ on taipumus saada pieniä arvoja. Siksi testin kriittiseksi alueeksi voidaan valita otosavaruuden S alue { x S λ< λ( α) } jossa kriittinen arvo λ(α) valitaan siten, että Pr { x S λ< λ( α) } = α jos nollahypoteesi H 0 pätee. Jos osamäärätestisuureen arvo joutuu kriittiselle alueelle, nollahypoteesi H 0 hylätään. TKK (c) Ilkka Mellin (2007) 69

70 Osamäärätesti Osamäärätestisuureen asymptoottinen jakauma Osamäärätestin käytössä on usein se ongelma, että osamäärätestisuureen λ jakaumaa ei tunneta. Osamäärätestisuureelle λ pätee kuitenkin tiettyjen ehtojen vallitessa ja nollahypoteesin pätiessä seuraava asymptoottinen jakaumatulos: 2 2logλ = 2( l θˆ) 2( l θˆ 0) a χ ( m) jossa m = nollahypoteesin kiinnittämien parametrien lukumäärä TKK (c) Ilkka Mellin (2007) 70

71 Osamäärätesti Osamäärätesti: Asymptoottinen muoto Jos nollahypoteesi H 0 ei päde, muunnetulla osamäärätestisuureella 2logλ on taipumus saada suuria arvoja. Siksi testin kriittiseksi alueeksi valitaan otosavaruuden S alue { 2 x S 2log λ > χ } m( α) jossa kriittinen arvo χ 2 m( α) valitaan siten, että { 2 Pr x S 2log λ > χ } m( α) = α jos nollahypoteesi H 0 pätee. Jos muunnetun osamäärätestisuureen arvo joutuu kriittiselle alueelle, nollahypoteesi H 0 hylätään. TKK (c) Ilkka Mellin (2007) 71

72 Osamäärätesti Lineaarinen malli ja lineaaristen rajoitusten testaus osamäärätestillä: Oletukset Olkoon y = Xβ+ ε yleinen lineaarinen malli, jossa X on ei-satunnainen n (k + 1)-matriisi, n k + 1, r(x) = k +1. Oletetaan, että regressiokertoimille β on asetettu nollahypoteesi H 0 : Rβ = r jossa R on ei-satunnainen m (k + 1)-matriisi, m k +1, r(r) = m. Nollahypoteesin H 0 mukaan regressiokertoimia sitoo m lineaarisia rajoitusta eli side-ehtoa. TKK (c) Ilkka Mellin (2007) 72

73 Osamäärätesti Lineaarisen mallin estimointi lineaarisin rajoituksin Yleisen lineaarisen mallin y = Xβ+ ε parametrien rajoitettu PNS-estimaattori on br = b+ URS ( r Rb) jossa b= UXy on vektorin β PNS - estimaattori U= ( XX ) 1 S= ( RUR ) 1 TKK (c) Ilkka Mellin (2007) 73

74 Osamäärätesti Lineaaristen rajoitusten testaus osamäärätestillä 1/4 Määritellään jäännösneliösummat SSE SSE = ( y Xb) ( y Xb) = ( y Xb ) ( y Xb ) R R R Tällöin osamäärätestisuure nollahypoteesille H 0 : Rβ = r on muotoa SSE λ = SSE R n 2 TKK (c) Ilkka Mellin (2007) 74

75 Osamäärätesti Lineaaristen rajoitusten testaus osamäärätestillä 2/4 Osamäärätestisuureen asymptoottista jakaumaa koskevasta yleisestä tuloksesta seuraa, että nollahypoteesin pätiessä 2 2logλ = nlog( SSER) nlog( SSE) a χ ( m) jossa m = rajoitusten eli side-ehtojen lukumäärä = rivien lukumäärä matriisissa R Suuret muunnetun osamäärätestisuureen 2logλ arvot merkitsevät sitä, että nollahypoteesi on asetettava kyseenalaiseksi. TKK (c) Ilkka Mellin (2007) 75

76 Osamäärätesti Lineaaristen rajoitusten testaus osamäärätestillä 3/4 Vaikka testisuureen λ jakauma ei ole mitään tunnettua muotoa äärellisellä otoskoolla, muunnettu testisuure n k 1 1 F = 1 2 m n λ n k 1 SSER SSE = m SSE Fmn (, k 1) jos nollahypoteesi H 0 pätee. TKK (c) Ilkka Mellin (2007) 76

77 Osamäärätesti Lineaaristen rajoitusten testaus osamäärätestillä 4/4 Voidaan osoittaa, että tämä F-testisuure on ekvivalentti yleisen lineaarisen mallin käsittelyn yhteydessä lineaarisille rajoituksille esitetyn testisuureen kanssa (ks. monisteen Tilastolliset menetelmät lukua Erityiskysymyksiä yleisen lineaarisen mallin soveltamisessa): F n k 1 SSER SSE = m SSE ( r Rb) S( r Rb) = 2 ms jossa 2 ( n k 1) s = y Xb y Xb = SSE ( ) ( ) TKK (c) Ilkka Mellin (2007) 77

78 Osamäärätesti Osamäärätesti, Waldin testi, Lagrangen kertojatesti 1/2 Osamäärätestisuuretta muodostettaessa joudutaan mallin parametrit estimoimaan (ts. uskottavuusfunktio maksimoimaan) sekä yleisen hypoteesin H että nollahypoteesin H 0 pätiessä. Monissa testausasetelmissa toinen näistä ääriarvotehtävistä on vaikea, mutta toinen on helppo. TKK (c) Ilkka Mellin (2007) 78

79 Osamäärätesti Osamäärätesti, Waldin testi, Lagrangen kertojatesti 2/2 Tämä havainto on johtanut seuraavien (asymptoottisten) testien konstruointiin: (i) Waldin testissä parametrit tarvitsee estimoida olettaen vain, että yleinen hypoteesi H pätee. Ks. kappaletta Waldin testi. (ii) Lagrangen kertojatestissä parametrit tarvitsee estimoida olettaen vain, että (yleisen hypoteesin H lisäksi) nollahypoteesi H 0 pätee. Ks. kappaletta Lagrangen kertojatesti. Osamäärätestin, Waldin testin ja Lagrangen kertojatestin vertailu: ks. kappaleen Lagrangen kertojatesti loppua. TKK (c) Ilkka Mellin (2007) 79

80 Suurimman uskottavuuden menetelmä Suurimman uskottavuuden estimointimenetelmä Tarkentuvuus Asymptoottinen normaalisuus Suurimman uskottavuuden estimaattorin asymptoottiset ominaisuudet Osamäärätesti >> Waldin testi Lagrangen kertojatesti Numeerinen optimointi TKK (c) Ilkka Mellin (2007) 80

81 Waldin testi Waldin testisuure lineaarisille rajoituksille Olkoon ˆθ parametrin θ SU-estimaattori yleisen hypoteesin H pätiessä. Olkoon nollahypoteesina H 0 : Rθ = r, R on m p-matriisi, jolle r( R) = m Tällöin satunnaismuuttuja 1 ˆ 1 W = ( Rθ r ) ˆ ˆ RI (θ)r ( Rθ r ) on Waldin testisuure nollahypoteesille H 0. Matriisi I(θ) on Fisherin informaatiomatriisi 2 I( θ) = E D l( θ) TKK (c) Ilkka Mellin (2007) 81

82 Waldin testi Waldin testi lineaarisille rajoituksille 1/2 Voidaan osoittaa (hyvin yleisten ehtojen pätiessä), että jos nollahypoteesi H 0 pätee, niin W 2 a χ ( m) jossa m = nollahypoteesin kiinnittämien parametrien lukumäärä TKK (c) Ilkka Mellin (2007) 82

83 Waldin testi Waldin testi lineaarisille rajoituksille 2/2 Jos nollahypoteesi H 0 ei päde, Waldin testisuureella W on taipumus saada suuria arvoja. Testin kriittiseksi alueeksi valitaan otosavaruuden S alue { x SW > W( α) } jossa W ( α) valitaan siten, että Pr { x SW > W( α) } = α jos nollahypoteesi H 0 pätee. Jos Waldin testisuureen arvo joutuu kriittiselle alueelle, nollahypoteesi H 0 hylätään. TKK (c) Ilkka Mellin (2007) 83

84 Waldin testi Waldin testisuure epälineaarisille rajoituksille 1/2 Olkoon ˆθ parametrin θ SU-estimaattori yleisen hypoteesin H pätiessä. Olkoon nollahypoteesina H 0 : h( θ) = ( h1( θ),, h m ( θ) ) = 0 jossa funktiot h i ovat epälineaarisia reaaliarvoisia funktioita. Määritellään p m-matriisi H = hij = hj ( θ) θ i TKK (c) Ilkka Mellin (2007) 84

85 Waldin testi Waldin testisuure epälineaarisille rajoituksille 2/2 Tällöin Waldin testisuure nollahypoteesille H 0 on 1 ˆ ˆ 1 W = ( ) ˆ ˆ ˆ h θ HI ( θ) H h( θ) jossa matriisi I on Fisherin informaatiomatriisi 2 I( θ) = E D l( θ) ja h ( ) ˆ θ H = j θ i θ = θ ˆ TKK (c) Ilkka Mellin (2007) 85

86 Waldin testi Waldin testi epälineaarisille rajoituksille 1/2 Voidaan osoittaa (hyvin yleisten ehtojen pätiessä), että jos nollahypoteesi H 0 pätee, niin W 2 a χ ( m) jossa m = nollahypoteesin kiinnittämien parametrien lukumäärä TKK (c) Ilkka Mellin (2007) 86

87 Waldin testi Waldin testi epälineaarisille rajoituksille 2/2 Jos nollahypoteesi H 0 ei päde, Waldin testisuureella W on taipumus saada suuria arvoja. Testin kriittiseksi alueeksi valitaan otosavaruuden S alue { x SW > W( α) } jossa W ( α) valitaan siten, että Pr { x SW > W( α) } = α jos nollahypoteesi H 0 pätee. Jos Waldin testisuureen arvo joutuu kriittiselle alueelle, nollahypoteesi H 0 hylätään. TKK (c) Ilkka Mellin (2007) 87

88 Waldin testi Osamäärätesti, Waldin testi, Lagrangen kertojatesti 1/2 Osamäärätestisuuretta (ks. kappaletta Osamäärätesti) muodostettaessa joudutaan mallin parametrit estimoimaan (ts. uskottavuusfunktio maksimoimaan) sekä yleisen hypoteesin H että nollahypoteesin H 0 pätiessä. Monissa testausasetelmissa toinen näistä ääriarvotehtävistä on vaikea, mutta toinen on helppo. TKK (c) Ilkka Mellin (2007) 88

89 Waldin testi Osamäärätesti, Waldin testi, Lagrangen kertojatesti 2/2 Tämä havainto on johtanut seuraavien (asymptoottisten) testien konstruointiin: (i) Waldin testissä parametrit tarvitsee estimoida olettaen vain, että yleinen hypoteesi H pätee. (ii) Lagrangen kertojatestissä parametrit tarvitsee estimoida olettaen vain, että (yleisen hypoteesin H lisäksi) nollahypoteesi H 0 pätee. Ks. kappaletta Lagrangen kertojatesti. Osamäärätestin, Waldin testin ja Lagrangen kertojatestin vertailu: ks. kappaleen Lagrangen kertojatesti loppua. TKK (c) Ilkka Mellin (2007) 89

90 Suurimman uskottavuuden menetelmä Suurimman uskottavuuden estimointimenetelmä Tarkentuvuus Asymptoottinen normaalisuus Suurimman uskottavuuden estimaattorin asymptoottiset ominaisuudet Osamäärätesti Waldin testi >> Lagrangen kertojatesti Numeerinen optimointi TKK (c) Ilkka Mellin (2007) 90

91 Lagrangen kertojatesti Lagrangen kertojatestisuure Olkoon ˆθ 0 parametrin θ SU-estimaattori nollahypoteesin H 0 pätiessä. Tällöin satunnaismuuttuja ˆ 1 LM = ( 0) ˆ ˆ D θ I ( θ0) D( θ0) on Lagrangen kertojatestisuure nollahypoteesille H 0 Matriisi I(θ) on Fisherin informaatiomatriisi 2 I( θ) = E D l( θ) ja D(θ) on tehokas pistemäärä (engl. score). TKK (c) Ilkka Mellin (2007) 91

92 Lagrangen kertojatesti Lagrangen kertojatesti 1/2 Voidaan osoittaa (hyvin yleisten ehtojen pätiessä), että jos nollahypoteesi H 0 pätee, niin LM 2 a χ ( m) jossa m = nollahypoteesin kiinnittämien parametrien lukumäärä TKK (c) Ilkka Mellin (2007) 92

93 Lagrangen kertojatesti Lagrangen kertojatesti 2/2 Jos nollahypoteesi H 0 ei päde Lagrangen kertojatestisuureella LM on taipumus saada suuria arvoja. Testin kriittiseksi alueeksi valitaan otosavaruuden S alue { x S LM > LM ( α) } jossa LM ( α) valitaan siten, että Pr { x S LM > LM ( α) } = α jos nollahypoteesi H 0 pätee. Jos Lagrangen kertojatestisuureen arvo joutuu kriittiselle alueelle, nollahypoteesi H 0 hylätään. TKK (c) Ilkka Mellin (2007) 93

94 Lagrangen kertojatesti Suurimman uskottavuuden estimointi ja PNS-menetelmä Oletetaan, että logaritminen uskottavuusfunktio on (vakiotekijää vaille) verrannollinen neliösummaan: l 1 n 2 ( θ) ε ( ) 2 i θ 2σ i = 1 Tällöin parametrin θ suurimman uskottavuuden estimaattori voidaan määrätä pienimmän neliösumman menetelmällä. Tämä on tavanomainen tilanne sekä lineaarisia että epälineaarisia regressiomalleja sovellettaessa. TKK (c) Ilkka Mellin (2007) 94

95 Lagrangen kertojatesti Lagrangen kertojatesti ja PNS-menetelmä 1/2 Oletetaan, että SU-estimaattori voidaan määrätä PNSmenetelmällä. Muodostetaan apuregressio ˆ ε0i = zˆ 0iγ + δi, i = 1,2,, n jossa εi = εi( θ) zi = zi( θ) = Dεi( θ) ˆ ε ˆ ˆ 0i = εi( θ0) zˆ 0i = zi( θ0) ja ˆθ 0 on parametrin θ rajoitettu SU-estimaattori. TKK (c) Ilkka Mellin (2007) 95

96 Lagrangen kertojatesti Lagrangen kertojatesti ja PNS-menetelmä 2/2 Tällöin Lagrangen kertojatestisuure LM voidaan määrätä apuregression selitysasteen avulla: 2 LM = nr 0 Kuvattu tapa muodostaa LM-testisuure on erityisen kätevä silloin, kun nollahypoteesin mukaiset rajoitukset ovat nollarajoituksia, jotka yksinkertaistavat yleisen hypoteesin kiinnittämää mallia. Useimmat estimoitua regressiomallia koskevat diagnostiset testit voidaan tulkita LM-testeiksi. Tällaisia ovat esimerkiksi tavalliset homoskedastisuus-ja autokorreloimattomuustestit. TKK (c) Ilkka Mellin (2007) 96

97 Lagrangen kertojatesti Osamäärätesti, Waldin testi, Lagrangen kertojatesti 1/2 Osamäärätestisuuretta (ks. kappaletta Osamäärätesti) muodostettaessa joudutaan mallin parametrit estimoimaan (ts. uskottavuusfunktio maksimoimaan) sekä yleisen hypoteesin H että nollahypoteesin H 0 pätiessä. Monissa testausasetelmissa toinen näistä ääriarvotehtävistä on vaikea, mutta toinen on helppo. TKK (c) Ilkka Mellin (2007) 97

98 Lagrangen kertojatesti Osamäärätesti, Waldin testi, Lagrangen kertojatesti 2/2 Tämä havainto on johtanut seuraavien (asymptoottisten) testien konstruointiin: (i) Waldin testissä parametrit tarvitsee estimoida olettaen vain, että yleinen hypoteesi H pätee. Ks. kappaletta Waldin testi. (ii) Lagrangen kertojatestissä parametrit tarvitsee estimoida olettaen vain, että (yleisen hypoteesin H lisäksi) nollahypoteesi H 0 pätee. Osamäärätestin, Waldin testin ja Lagrangen kertojatestin vertailu: ks.. TKK (c) Ilkka Mellin (2007) 98

99 Lagrangen kertojatesti Osamäärätesti, Waldin testi, Lagrangen kertojatesti: Vertailu 1/3 Oletetaan, että sovellamme osamäärätestiä, Waldin testiä ja Lagrangen kertojatestiä samassa testausasetelmassa (saman nollahypoteesin testaamiseen). Olkoon LR = osamäärätestisuure W = Waldin testisuure LM = Lagrangen testisuure TKK (c) Ilkka Mellin (2007) 99

100 Lagrangen kertojatesti Osamäärätesti, Waldin testi, Lagrangen kertojatesti: Vertailu 2/3 Aina pätee: LR < 1 Jos nollahypoteesi H 0 pätee, 2logLR 2 W a χ ( m) LM jossa m = nollahypoteesin kiinnittämien parametrien lukumäärä TKK (c) Ilkka Mellin (2007) 100

101 Lagrangen kertojatesti Osamäärätesti, Waldin testi, Lagrangen kertojatesti: Vertailu 3/3 Osamäärätesti, Waldin testi ja Lagrangen kertojatesti johtavat asymptoottisesti (suurissa otoksissa) samaan johtopäätökseen nollahypoteesin hylkäämisestä. Pienissä otoksissa testit saattavat kuitenkin johtaa erilaisiin johtopäätöksiin. Testin valinta tehdään yleensä mukavuuden, kuten laskutyön helppouden, perusteella. Juuri mukavuussyistä monet tilastollisten mallien käytön yhteydessä sovellettavista tavanomaisista diagnostisista testeistä ovat Lagrangen kertojatestejä. TKK (c) Ilkka Mellin (2007) 101

102 Suurimman uskottavuuden menetelmä Suurimman uskottavuuden estimointimenetelmä Tarkentuvuus Asymptoottinen normaalisuus Suurimman uskottavuuden estimaattorin asymptoottiset ominaisuudet Osamäärätesti Waldin testi Lagrangen kertojatesti >> Numeerinen optimointi TKK (c) Ilkka Mellin (2007) 102

103 Numeerinen optimointi Funktion minimi Haluamme minimoida kriteerifunktion g(θ) muuttujan (tai parametrin) θ = (θ 1, θ 2,, θ p ) suhteen. Funktio g saavuttaa (tietyin ehdoin) lokaalin minimin pisteessä ˆθ, jos Dg( θˆ ) = 0 2 D g( θˆ ) > 0 jossa Dg( θˆ) = funktion g gradientti pisteessä θˆ ( ˆ) funktion pisteessä 2 D g θ = g Hessen matriisi θ ˆ TKK (c) Ilkka Mellin (2007) 103

104 Numeerinen optimointi Funktion minimin määrääminen Funktion g minimin määräämiseksi pitää ratkaista normaaliyhtälöt Dg ( θ) = 0 Jos normaaliyhtälöiden ratkaiseminen ei onnistu suljetussa muodossa, on turvauduttava numeerisiin optimointimenetelmiin. Huomautus: Esimerkiksi tavanomaisen lineaarisen mallin PNS-estimoinnin yhteydessä syntyvien normaaliyhtälöiden ratkaisu voidaan esittää suljetussa muodossa, jolloin siis numeeriseen optimointiin ei tarvitse turvautua. TKK (c) Ilkka Mellin (2007) 104

105 Numeerinen optimointi Funktion minimin määrääminen iteratiivisesti Minimi voidaan löytää iteratiivisesti algoritmilla θ ˆ = θ ˆ +λd 1 ( θ ˆ t+ t t) jossa θˆ t = iteraatioaskeleessa t saatu approksimaatio minimipisteen paikasta λ = askelpituus d( θˆ ˆ t) = suuntavektorin arvo pisteessä θt θˆ t+ 1 = iteraatioaskeleessa t + 1 saatava approksimaatio minimipisteen paikasta Erilaiset valinnat suuntavektoriksi d(θ t ) johtavat erilaisiin minimointialgoritmeihin. TKK (c) Ilkka Mellin (2007) 105

106 Numeerinen optimointi Askelpituuden määrääminen Optimaalisen askelpituuden λ määräämisessä käytetään tavallisesti erillistä hakumenetelmää. Nämä hakumenetelmät perustuvat usein funktion φ( λ) = g( θt + λd( θt)) minimointiin askelpituuden λ suhteen. TKK (c) Ilkka Mellin (2007) 106

107 Numeerinen optimointi Jyrkimmän laskun algoritmi Jyrkimmän laskun algoritmi perustuu iteraatioon θ ˆ = θ ˆ λd ˆ t+ 1 t ( θ t) jossa D( θˆ ) = funktion g gradientin arvo pisteessä θˆ t Jyrkimmän laskun algoritmi perustuu siihen, että funktio kasvaa nopeimmin gradientin suuntaan. t TKK (c) Ilkka Mellin (2007) 107

108 Numeerinen optimointi Newtonin ja Raphsonin algoritmi 1/2 Newtonin ja Raphsonin algoritmi perustuu iteraatioon 2 1 θˆ ˆ ˆ ˆ t+ 1 = θt λ D ( θ ) t D( θt) jossa D( θˆ ˆ t) = funktion g gradientin arvo pisteessä θt 2 D ( θˆ ˆ t ) = funktion g Hessen matriisin arvo pisteessä θ NR-algoritmi konvergoi, jos minimoitava funktio g on konkaavi, minkä takaa se, että matriisi 2 D g ( θ) > 0 kaikille θ. t TKK (c) Ilkka Mellin (2007) 108

109 Numeerinen optimointi Newtonin ja Raphsonin algoritmi 2/2 NR-algoritmi voidaan muuntaa sellaiseen muotoon, jossa funktion g mahdollisesta lokaalista epäkonkaavisuudesta ei ole haittaa. 2 Tunnetuin tällainen algoritmi (jossa matriisin D ( θˆ t ) diagonaalille lisätään sopiva, iteraatioaskeleesta toiseen vaihteleva vakio) on Marquardtin algoritmi. TKK (c) Ilkka Mellin (2007) 109

110 Numeerinen optimointi Newtonin ja Raphsonin algoritmi ja SU-estimointi 1/2 Olkoon X 1, X 2,, X n joukko satunnaismuuttujia, joiden tiheysfunktio f(x 1, x 2,, x n ; θ) riippuu parametrista θ. Otoksen X 1, X 2,, X n uskottavuusfunktion L(θ) = f(x 1, x 2,, x n ; θ) maksimi voidaan löytää etsimällä logaritmisen uskottavuusfunktion vastaluvun l( θ) = log L( θ) = g( θ) minimi. TKK (c) Ilkka Mellin (2007) 110

111 Numeerinen optimointi Newtonin ja Raphsonin algoritmi ja SU-estimointi 2/2 Tällöin Newtonin ja Raphsonin algoritmi saa muodon 2 1 θˆ ˆ ˆ ˆ t+ 1 = θt λ D l( θ ) t Dl( θt) Olkoon θmax = θ Max ( x1, x2,, xn ) uskottavuusfunktion maksimin antava piste. Tällöin parametrin θ suurimman uskottavuuden estimaattori on θ ˆ = θ ( X, X,, X ) Max 1 2 n TKK (c) Ilkka Mellin (2007) 111

112 Numeerinen optimointi Scoring-algoritmi ja SU-estimointi 1/2 Olkoon θmax = θ Max ( x1, x2,, xn ) uskottavuusfunktion maksimin antava piste. Parametrin θ suurimman uskottavuuden estimaattori on θ ˆ = θ (,,, ) Max X1 X2 Xn Korvataan NR-algoritmissa matriisi D 2 l(θ) informaatiomatriisilla I(θ): 2 I( θ) = E[ D l( θ)] = E[( Dl( θ))( Dl( θ)) ] TKK (c) Ilkka Mellin (2007) 112

113 Numeerinen optimointi Scoring-algoritmi ja SU-estimointi 2/2 Scoring-algoritmi perustuu iteraatioon 1 θˆ ˆ ˆ ˆ t+ 1 = θt + λ I( θt) Dl( θt) jossa D( θˆ t ) = funktion l gradientin eli tehokkaan pistemäärän (engl. score) arvo pisteessä θˆ I( θˆ ) = informaatiomatriisin arvo pisteessä θˆ t t t TKK (c) Ilkka Mellin (2007) 113

114 Numeerinen optimointi Gaussin ja Newtonin algoritmi ja SU-estimointi 1/3 Parametrin θ estimaattori halutaan usein määrätä PNSmenetelmällä minimoimalla neliösumma n 2 ( θ) = ( θ) = j ( θ) j= 1 f S ε Tällöin NR-algoritmi voidaan muokata ns. Gaussin ja Newtonin algoritmiksi. TKK (c) Ilkka Mellin (2007) 114

115 Numeerinen optimointi Gaussin ja Newtonin algoritmi ja SU-estimointi 2/3 Gaussin ja Newtonin algoritmi perustuu iteraatioon 1 n ε ( ˆ ) ( ˆ ) n ( ˆ ) ˆ ˆ j θt ε j θ t ε j θt θ ˆ t+ 1 = θt λ εt( θt) j= 1 θ θ j= 1 θ TKK (c) Ilkka Mellin (2007) 115

116 Numeerinen optimointi Gaussin ja Newtonin algoritmi ja SU-estimointi 3/3 Merkitsemällä ε ( ˆ j θt) z j = θ ε ( θˆ ) = ε j t j GN-algoritmi saa muodon 1 n n ˆ ˆ θt+ 1 = θt + λ zz j j z jε j j= 1 j= 1 mikä voidaan tulkita sarjaksi peräkkäisiä apuregressioita εt = z tγ + δt, t = 1,2,, n joiden avulla minimipisteen approksimaatiota θˆ t päivitetään. TKK (c) Ilkka Mellin (2007) 116

117 Numeerinen optimointi Parametrien kovarianssimatriisi 1/2 Newtonin ja Raphsonin algoritmin minimipisteen approksimaation päivityskaavassa käytetään logaritmisen uskottavuusfunktion 2. kertaluvun osittaisderivaattojen matriisia. Scoring-algoritmissa minimipisteen approksimaation päivityskaavassa käytetään informaatiomatriisia ( = 2. kertaluvun osittaisderivaattojen matriisiin odotusarvoa. Gaussin ja Newtonin algoritmissa minimipisteen approksimaation päivityskaavassa käytetään minimoitavan neliösummafunktion 2. kertaluvun osittaisderivaattojen matriisia. TKK (c) Ilkka Mellin (2007) 117

118 Numeerinen optimointi Parametrien kovarianssimatriisi 2/2 Ko. matriisit tuottavat parametrien kovarianssimatriisin, kun ääriarvo on saavutettu (eli kun konvergenssi on tapahtunut). Siten parametrien varianssit ja kovarianssit saadaan optimointialgoritmin sivutuotteena. Huomautus: Parametrien variansseja tarvitaan, kun parametreille muodostetaan asymptoottisia luottamusvälejä ja testejä. TKK (c) Ilkka Mellin (2007) 118

Erityiskysymyksiä yleisen lineaarisen mallin soveltamisessa

Erityiskysymyksiä yleisen lineaarisen mallin soveltamisessa Ilkka Mellin Tilastolliset menetelmät Osa 4: Lineaarinen regressioanalyysi Erityiskysymyksiä yleisen lineaarisen mallin soveltamisessa TKK (c) Ilkka Mellin (2007) 1 Erityiskysymyksiä yleisen lineaarisen

Lisätiedot

Osa 2: Otokset, otosjakaumat ja estimointi

Osa 2: Otokset, otosjakaumat ja estimointi Ilkka Mellin Tilastolliset menetelmät Osa 2: Otokset, otosjakaumat ja estimointi Estimointi TKK (c) Ilkka Mellin (2007) 1 Estimointi >> Todennäköisyysjakaumien parametrit ja niiden estimointi Hyvän estimaattorin

Lisätiedot

Johdatus tilastotieteeseen Estimointi. TKK (c) Ilkka Mellin (2005) 1

Johdatus tilastotieteeseen Estimointi. TKK (c) Ilkka Mellin (2005) 1 Johdatus tilastotieteeseen Estimointi TKK (c) Ilkka Mellin (2005) 1 Estimointi Todennäköisyysjakaumien parametrit ja niiden estimointi Hyvän estimaattorin ominaisuudet TKK (c) Ilkka Mellin (2005) 2 Estimointi:

Lisätiedot

Väliestimointi (jatkoa) Heliövaara 1

Väliestimointi (jatkoa) Heliövaara 1 Väliestimointi (jatkoa) Heliövaara 1 Bernoulli-jakauman odotusarvon luottamusväli 1/2 Olkoon havainnot X 1,..., X n yksinkertainen satunnaisotos Bernoulli-jakaumasta parametrilla p. Eli X Bernoulli(p).

Lisätiedot

Ilkka Mellin Tilastolliset menetelmät Osa 2: Otokset, otosjakaumat ja estimointi Estimointi

Ilkka Mellin Tilastolliset menetelmät Osa 2: Otokset, otosjakaumat ja estimointi Estimointi Ilkka Mellin Tilastolliset menetelmät Osa 2: Otokset, otosjakaumat ja estimointi Estimointi TKK (c) Ilkka Mellin (2006) 1 Estimointi >> Todennäköisyysjakaumien parametrit ja niiden estimointi Hyvän estimaattorin

Lisätiedot

Regressioanalyysi. Vilkkumaa / Kuusinen 1

Regressioanalyysi. Vilkkumaa / Kuusinen 1 Regressioanalyysi Vilkkumaa / Kuusinen 1 Regressioanalyysin idea ja tavoitteet Regressioanalyysin idea: Halutaan selittää selitettävän muuttujan havaittujen arvojen vaihtelua selittävien muuttujien havaittujen

Lisätiedot

Estimointi. Estimointi. Estimointi: Mitä opimme? 2/4. Estimointi: Mitä opimme? 1/4. Estimointi: Mitä opimme? 3/4. Estimointi: Mitä opimme?

Estimointi. Estimointi. Estimointi: Mitä opimme? 2/4. Estimointi: Mitä opimme? 1/4. Estimointi: Mitä opimme? 3/4. Estimointi: Mitä opimme? TKK (c) Ilkka Mellin (2004) 1 Johdatus tilastotieteeseen TKK (c) Ilkka Mellin (2004) 2 Mitä opimme? 1/4 Tilastollisen tutkimuksen tavoitteena on tehdä johtopäätöksiä prosesseista, jotka generoivat reaalimaailman

Lisätiedot

Regressioanalyysi. Kuusinen/Heliövaara 1

Regressioanalyysi. Kuusinen/Heliövaara 1 Regressioanalyysi Kuusinen/Heliövaara 1 Regressioanalyysin idea ja tavoitteet Regressioanalyysin idea: Oletetaan, että haluamme selittää jonkin selitettävän muuttujan havaittujen arvojen vaihtelun joidenkin

Lisätiedot

Tilastollinen testaus. Vilkkumaa / Kuusinen 1

Tilastollinen testaus. Vilkkumaa / Kuusinen 1 Tilastollinen testaus Vilkkumaa / Kuusinen 1 Motivointi Viime luennolla: havainnot generoineen jakauman muoto on usein tunnettu, mutta parametrit tulee estimoida Joskus parametreista on perusteltua esittää

Lisätiedot

3.6 Su-estimaattorien asymptotiikka

3.6 Su-estimaattorien asymptotiikka 3.6 Su-estimaattorien asymptotiikka su-estimaattorit ovat usein olleet puutteellisia : ne ovat usein harhaisia ja eikä ne välttämättä ole täystehokkaita asymptoottisilta ominaisuuksiltaan ne ovat yleensä

Lisätiedot

Tilastolliset menetelmät. Osa 1: Johdanto. Johdanto tilastotieteeseen KE (2014) 1

Tilastolliset menetelmät. Osa 1: Johdanto. Johdanto tilastotieteeseen KE (2014) 1 Tilastolliset menetelmät Osa 1: Johdanto Johdanto tilastotieteeseen KE (2014) 1 Mitä tilastotiede on? Tilastotiede kehittää ja soveltaa menetelmiä ja malleja, joiden avulla reaalimaailman ilmiöistä voidaan

Lisätiedot

Sovellettu todennäköisyyslaskenta B

Sovellettu todennäköisyyslaskenta B Sovellettu todennäköisyyslaskenta B Antti Rasila 8. marraskuuta 2007 Antti Rasila () TodB 8. marraskuuta 2007 1 / 18 1 Kertausta: momenttimenetelmä ja suurimman uskottavuuden menetelmä 2 Tilastollinen

Lisätiedot

Estimointi. Vilkkumaa / Kuusinen 1

Estimointi. Vilkkumaa / Kuusinen 1 Estimointi Vilkkumaa / Kuusinen 1 Motivointi Tilastollisessa tutkimuksessa oletetaan jonkin jakauman generoineen tutkimuksen kohteena olevaa ilmiötä koskevat havainnot Tämän mallina käytettävän todennäköisyysjakauman

Lisätiedot

ABHELSINKI UNIVERSITY OF TECHNOLOGY

ABHELSINKI UNIVERSITY OF TECHNOLOGY Tilastollinen testaus Tilastollinen testaus Tilastollisessa testauksessa tutkitaan tutkimuskohteita koskevien oletusten tai väitteiden paikkansapitävyyttä havaintojen avulla. Testattavat oletukset tai

Lisätiedot

Tilastolliset menetelmät. Osa 3: Tilastolliset testit. Tilastollinen testaus KE (2014) 1

Tilastolliset menetelmät. Osa 3: Tilastolliset testit. Tilastollinen testaus KE (2014) 1 Tilastolliset menetelmät Osa 3: Tilastolliset testit Tilastollinen testaus KE (2014) 1 Tilastolliset testit >> Tilastollinen testaus Tilastolliset hypoteesit Tilastolliset testit ja testisuureet Virheet

Lisätiedot

Testit laatueroasteikollisille muuttujille

Testit laatueroasteikollisille muuttujille Ilkka Mellin Tilastolliset menetelmät Osa 3: Tilastolliset testit Testit laatueroasteikollisille muuttujille TKK (c) Ilkka Mellin (2007) 1 Testit laatueroasteikollisille muuttujille >> Laatueroasteikollisten

Lisätiedot

Sovellettu todennäköisyyslaskenta B

Sovellettu todennäköisyyslaskenta B Sovellettu todennäköisyyslaskenta B Antti Rasila 30. lokakuuta 2007 Antti Rasila () TodB 30. lokakuuta 2007 1 / 23 1 Otos ja otosjakaumat (jatkoa) Frekvenssi ja suhteellinen frekvenssi Frekvenssien odotusarvo

Lisätiedot

Johdatus tilastotieteeseen Yleinen lineaarinen malli. TKK (c) Ilkka Mellin (2004) 1

Johdatus tilastotieteeseen Yleinen lineaarinen malli. TKK (c) Ilkka Mellin (2004) 1 Johdatus tilastotieteeseen Yleinen lineaarinen malli TKK (c) Ilkka Mellin (2004) 1 Yleinen lineaarinen malli Usean selittäjän lineaarinen regressiomalli Yleisen lineaarisen mallin matriisisesitys Yleisen

Lisätiedot

Mat Tilastollisen analyysin perusteet, kevät 2007

Mat Tilastollisen analyysin perusteet, kevät 2007 Mat-.104 Tilastollisen analyysin perusteet, kevät 007 8. luento: Usean selittäjän lineaarinen regressiomalli Kai Virtanen 1 Usean selittäjän lineaarinen regressiomalli Selitettävän muuttujan havaittujen

Lisätiedot

Johdatus tilastotieteeseen Testit laatueroasteikollisille muuttujille. TKK (c) Ilkka Mellin (2004) 1

Johdatus tilastotieteeseen Testit laatueroasteikollisille muuttujille. TKK (c) Ilkka Mellin (2004) 1 Johdatus tilastotieteeseen Testit laatueroasteikollisille muuttujille TKK (c) Ilkka Mellin (2004) 1 Testit laatueroasteikollisille muuttujille Laatueroasteikollisten muuttujien testit Testi suhteelliselle

Lisätiedot

Johdatus tilastotieteeseen Tilastolliset testit. TKK (c) Ilkka Mellin (2005) 1

Johdatus tilastotieteeseen Tilastolliset testit. TKK (c) Ilkka Mellin (2005) 1 Johdatus tilastotieteeseen Tilastolliset testit TKK (c) Ilkka Mellin (2005) 1 Tilastolliset testit Tilastollinen testaus Tilastolliset hypoteesit Tilastolliset testit ja testisuureet Virheet testauksessa

Lisätiedot

Mat Tilastollisen analyysin perusteet, kevät 2007

Mat Tilastollisen analyysin perusteet, kevät 2007 Mat-2.2104 Tilastollisen analyysin perusteet, kevät 2007 2. luento: Tilastolliset testit Kai Virtanen 1 Tilastollinen testaus Tutkimuksen kohteena olevasta perusjoukosta esitetään väitteitä oletuksia joita

Lisätiedot

Ilkka Mellin Tilastolliset menetelmät. Osa 4: Lineaarinen regressioanalyysi. Yleinen lineaarinen malli. TKK (c) Ilkka Mellin (2007) 1

Ilkka Mellin Tilastolliset menetelmät. Osa 4: Lineaarinen regressioanalyysi. Yleinen lineaarinen malli. TKK (c) Ilkka Mellin (2007) 1 Ilkka Mellin Tilastolliset menetelmät Osa 4: Lineaarinen regressioanalyysi Yleinen lineaarinen malli TKK (c) Ilkka Mellin (2007) 1 Yleinen lineaarinen malli >> Usean selittäjän lineaarinen regressiomalli

Lisätiedot

Johdatus tilastotieteeseen Väliestimointi. TKK (c) Ilkka Mellin (2005) 1

Johdatus tilastotieteeseen Väliestimointi. TKK (c) Ilkka Mellin (2005) 1 Johdatus tilastotieteeseen Väliestimointi TKK (c) Ilkka Mellin (2005) 1 Väliestimointi Todennäköisyysjakaumien parametrien estimointi Luottamusväli Normaalijakauman odotusarvon luottamusväli Normaalijakauman

Lisätiedot

tilastotieteen kertaus

tilastotieteen kertaus tilastotieteen kertaus Keskiviikon 24.1. harjoitukset pidetään poikkeuksellisesti klo 14-16 luokassa Y228. Heliövaara 1 Mitä tilastotiede on? Tilastotiede kehittää ja soveltaa menetelmiä, joiden avulla

Lisätiedot

Johdatus todennäköisyyslaskentaan Normaalijakaumasta johdettuja jakaumia. TKK (c) Ilkka Mellin (2005) 1

Johdatus todennäköisyyslaskentaan Normaalijakaumasta johdettuja jakaumia. TKK (c) Ilkka Mellin (2005) 1 Johdatus todennäköisyyslaskentaan Normaalijakaumasta johdettuja jakaumia TKK (c) Ilkka Mellin (2005) 1 Normaalijakaumasta johdettuja jakaumia Johdanto χ 2 -jakauma F-jakauma t-jakauma TKK (c) Ilkka Mellin

Lisätiedot

Testejä suhdeasteikollisille muuttujille

Testejä suhdeasteikollisille muuttujille Ilkka Mellin Tilastolliset menetelmät Osa 3: Tilastolliset testit Testejä suhdeasteikollisille muuttujille TKK (c) Ilkka Mellin (007) 1 Testejä suhdeasteikollisille muuttujille >> Testit normaalijakauman

Lisätiedot

2. Teoriaharjoitukset

2. Teoriaharjoitukset 2. Teoriaharjoitukset Demotehtävät 2.1 Todista Gauss-Markovin lause. Ratkaisu. Oletetaan että luentokalvojen standardioletukset (i)-(v) ovat voimassa. Huomaa että Gauss-Markovin lause ei vaadi virhetermien

Lisätiedot

Tilastolliset testit. Tilastolliset testit. Tilastolliset testit: Mitä opimme? 2/5. Tilastolliset testit: Mitä opimme? 1/5

Tilastolliset testit. Tilastolliset testit. Tilastolliset testit: Mitä opimme? 2/5. Tilastolliset testit: Mitä opimme? 1/5 TKK (c) Ilkka Mellin (4) 1 Johdatus tilastotieteeseen TKK (c) Ilkka Mellin (4) : Mitä opimme? 1/5 Tilastollisessa tutkimuksessa tutkimuksen kohteena olevasta perusjoukosta esitetään tavallisesti väitteitä

Lisätiedot

Harjoitus 7: NCSS - Tilastollinen analyysi

Harjoitus 7: NCSS - Tilastollinen analyysi Harjoitus 7: NCSS - Tilastollinen analyysi Mat-2.2107 Sovelletun matematiikan tietokonetyöt Syksy 2006 Mat-2.2107 Sovelletun matematiikan tietokonetyöt 1 Harjoituksen aiheita Tilastollinen testaus Testaukseen

Lisätiedot

Testit järjestysasteikollisille muuttujille

Testit järjestysasteikollisille muuttujille Ilkka Mellin Tilastolliset menetelmät Osa 3: Tilastolliset testit Testit järjestysasteikollisille muuttujille TKK (c) Ilkka Mellin (2007) 1 Testit järjestysasteikollisille muuttujille >> Järjestysasteikollisten

Lisätiedot

Tilastollinen aineisto Luottamusväli

Tilastollinen aineisto Luottamusväli Tilastollinen aineisto Luottamusväli Keijo Ruotsalainen Oulun yliopisto, Teknillinen tiedekunta Matematiikan jaos Tilastollinen aineisto p.1/20 Johdanto Kokeellisessa tutkimuksessa tutkittavien suureiden

Lisätiedot

Maximum likelihood-estimointi Alkeet

Maximum likelihood-estimointi Alkeet Maximum likelihood-estimointi Alkeet Keijo Ruotsalainen Oulun yliopisto, Teknillinen tiedekunta Matematiikan jaos Maximum likelihood-estimointi p.1/20 Maximum Likelihood-estimointi satunnaismuuttujan X

Lisätiedot

Normaalijakaumasta johdettuja jakaumia

Normaalijakaumasta johdettuja jakaumia Ilkka Mellin Todennäköisyyslaskenta Osa 3: Todennäköisyysjakaumia Normaalijakaumasta johdettuja jakaumia TKK (c) Ilkka Mellin (2007) 1 Normaalijakaumasta johdettuja jakaumia >> Johdanto χ 2 -jakauma F-jakauma

Lisätiedot

Tilastollisen analyysin perusteet Luento 8: Lineaarinen regressio, testejä ja luottamusvälejä

Tilastollisen analyysin perusteet Luento 8: Lineaarinen regressio, testejä ja luottamusvälejä Tilastollisen analyysin perusteet Luento 8: Lineaarinen regressio, testejä ja luottamusvälejä arvon Sisältö arvon Bootstrap-luottamusvälit arvon arvon Oletetaan, että meillä on n kappaletta (x 1, y 1 ),

Lisätiedot

ABHELSINKI UNIVERSITY OF TECHNOLOGY

ABHELSINKI UNIVERSITY OF TECHNOLOGY Johdatus regressioanalyysiin Regressioanalyysin idea Oletetaan, että haluamme selittää jonkin selitettävän muuttujan havaittujen arvojen vaihtelun selittävien muuttujien havaittujen arvojen vaihtelun avulla.

Lisätiedot

Johdatus regressioanalyysiin. Heliövaara 1

Johdatus regressioanalyysiin. Heliövaara 1 Johdatus regressioanalyysiin Heliövaara 1 Regressioanalyysin idea Oletetaan, että haluamme selittää jonkin selitettävän muuttujan havaittujen arvojen vaihtelun selittävien muuttujien havaittujen arvojen

Lisätiedot

Yksisuuntainen varianssianalyysi (jatkoa) Heliövaara 1

Yksisuuntainen varianssianalyysi (jatkoa) Heliövaara 1 Yksisuuntainen varianssianalyysi (jatkoa) Heliövaara 1 Odotusarvoparien vertailu Jos yksisuuntaisen varianssianalyysin nollahypoteesi H 0 : µ 1 = µ 2 = = µ k = µ hylätään tiedetään, että ainakin kaksi

Lisätiedot

Moniulotteisia todennäköisyysjakaumia

Moniulotteisia todennäköisyysjakaumia Ilkka Mellin Todennäköisyyslaskenta Osa 3: Todennäköisyysjakaumia Moniulotteisia todennäköisyysjakaumia TKK (c) Ilkka Mellin (007) 1 Moniulotteisia todennäköisyysjakaumia >> Multinomijakauma Kaksiulotteinen

Lisätiedot

Yksisuuntainen varianssianalyysi (jatkoa) Kuusinen/Heliövaara 1

Yksisuuntainen varianssianalyysi (jatkoa) Kuusinen/Heliövaara 1 Yksisuuntainen varianssianalyysi (jatkoa) Kuusinen/Heliövaara 1 Odotusarvoparien vertailu Jos yksisuuntaisen varianssianalyysin nollahypoteesi H 0 : µ 1 = µ 2 = = µ k = µ hylätään, tiedetään, että ainakin

Lisätiedot

Tilastotieteen kertaus. Vilkkumaa / Kuusinen 1

Tilastotieteen kertaus. Vilkkumaa / Kuusinen 1 Tilastotieteen kertaus Vilkkumaa / Kuusinen 1 Motivointi Reaalimaailman ilmiöihin liittyy tyypillisesti satunnaisuutta ja epävarmuutta Ilmiöihin liittyvien havaintojen ajatellaan usein olevan peräisin

Lisätiedot

Sovellettu todennäköisyyslaskenta B

Sovellettu todennäköisyyslaskenta B Sovellettu todennäköisyyslaskenta B Antti Rasila 8. marraskuuta 2007 Antti Rasila () TodB 8. marraskuuta 2007 1 / 15 1 Tilastollisia testejä Z-testi Normaalijakauman odotusarvon testaus, keskihajonta tunnetaan

Lisätiedot

Sovellettu todennäköisyyslaskenta B

Sovellettu todennäköisyyslaskenta B Sovellettu todennäköisyyslaskenta B Antti Rasila 22. marraskuuta 2007 Antti Rasila () TodB 22. marraskuuta 2007 1 / 17 1 Epäparametrisia testejä (jatkoa) χ 2 -riippumattomuustesti 2 Johdatus regressioanalyysiin

Lisätiedot

edellyttää valintaa takaisinpanolla Aritmeettinen keskiarvo Jos, ½ Ò muodostavat satunnaisotoksen :n jakaumasta niin Otosvarianssi Ë ¾

edellyttää valintaa takaisinpanolla Aritmeettinen keskiarvo Jos, ½ Ò muodostavat satunnaisotoksen :n jakaumasta niin Otosvarianssi Ë ¾ ËØÙ ÓØÓ Ø Mitta-asteikot Nominaali- eli laatueroasteikko Ordinaali- eli järjestysasteikko Intervalli- eli välimatka-asteikko ( nolla mielivaltainen ) Suhdeasteikko ( nolla ei ole mielivaltainen ) Otos

Lisätiedot

9. laskuharjoituskierros, vko 12-13, ratkaisut

9. laskuharjoituskierros, vko 12-13, ratkaisut 9. laskuharjoituskierros, vko 12-13, ratkaisut D1. Olkoot X i, i = 1, 2,..., n riippumattomia, samaa eksponenttijakaumaa noudattavia satunnaismuuttujia, joiden odotusarvo E(X i = β, toisin sanoen X i :t

Lisätiedot

Tilastollisen analyysin perusteet Luento 2: Tilastolliset testit

Tilastollisen analyysin perusteet Luento 2: Tilastolliset testit Tilastollisen analyysin perusteet Luento 2: Tilastolliset testit Sisältö Tilastollisia testejä tehdään jatkuvasti lukemattomilla aloilla. Meitä saattaa kiinnostaa esimerkiksi se, että onko miesten ja

Lisätiedot

Odotusarvoparien vertailu. Vilkkumaa / Kuusinen 1

Odotusarvoparien vertailu. Vilkkumaa / Kuusinen 1 Odotusarvoparien vertailu Vilkkumaa / Kuusinen 1 Motivointi Viime luennolta: yksisuuntaisella varianssianalyysilla testataan nollahypoteesia H 0 : μ 1 = μ 2 = = μ k = μ Jos H 0 hylätään, tiedetään, että

Lisätiedot

Ilkka Mellin Tilastolliset menetelmät. Osa 3: Tilastolliset testit. Tilastollinen testaus. TKK (c) Ilkka Mellin (2007) 1

Ilkka Mellin Tilastolliset menetelmät. Osa 3: Tilastolliset testit. Tilastollinen testaus. TKK (c) Ilkka Mellin (2007) 1 Ilkka Mellin Tilastolliset menetelmät Osa 3: Tilastolliset testit Tilastollinen testaus TKK (c) Ilkka Mellin (2007) 1 Tilastolliset testit >> Tilastollinen testaus Tilastolliset hypoteesit Tilastolliset

Lisätiedot

Johdatus todennäköisyyslaskentaan Moniulotteisia todennäköisyysjakaumia. TKK (c) Ilkka Mellin (2005) 1

Johdatus todennäköisyyslaskentaan Moniulotteisia todennäköisyysjakaumia. TKK (c) Ilkka Mellin (2005) 1 Johdatus todennäköisyyslaskentaan Moniulotteisia todennäköisyysjakaumia TKK (c) Ilkka Mellin (005) 1 Moniulotteisia todennäköisyysjakaumia Multinomijakauma Kaksiulotteinen normaalijakauma TKK (c) Ilkka

Lisätiedot

MS-A0502 Todennäköisyyslaskennan ja tilastotieteen peruskurssi

MS-A0502 Todennäköisyyslaskennan ja tilastotieteen peruskurssi MS-A0502 Todennäköisyyslaskennan ja tilastotieteen peruskurssi 4A Parametrien estimointi Lasse Leskelä Matematiikan ja systeemianalyysin laitos Perustieteiden korkeakoulu Aalto-yliopisto Syksy 2016, periodi

Lisätiedot

Ilkka Mellin Todennäköisyyslaskenta Osa 3: Todennäköisyysjakaumia Jatkuvia jakaumia

Ilkka Mellin Todennäköisyyslaskenta Osa 3: Todennäköisyysjakaumia Jatkuvia jakaumia Ilkka Mellin Todennäköisyyslaskenta Osa 3: Todennäköisyysjakaumia Jatkuvia jakaumia TKK (c) Ilkka Mellin (2006) 1 Jatkuvia jakaumia >> Jatkuva tasainen jakauma Eksponenttijakauma Normaalijakauma Keskeinen

Lisätiedot

Todennäköisyyden ominaisuuksia

Todennäköisyyden ominaisuuksia Todennäköisyyden ominaisuuksia 0 P(A) 1 (1) P(S) = 1 (2) A B = P(A B) = P(A) + P(B) (3) P(A) = 1 P(A) (4) P(A B) = P(A) + P(B) P(A B) (5) Tapahtuman todennäköisyys S = {e 1,..., e N }. N A = A. Kun alkeistapaukset

Lisätiedot

Johdatus todennäköisyyslaskentaan Jatkuvia jakaumia. TKK (c) Ilkka Mellin (2005) 1

Johdatus todennäköisyyslaskentaan Jatkuvia jakaumia. TKK (c) Ilkka Mellin (2005) 1 Johdatus todennäköisyyslaskentaan Jatkuvia jakaumia TKK (c) Ilkka Mellin (2005) 1 Jatkuvia jakaumia Jatkuva tasainen jakauma Eksponenttijakauma Normaalijakauma Keskeinen raja-arvolause TKK (c) Ilkka Mellin

Lisätiedot

Gripenberg. MS-A0502 Todennäköisyyslaskennan ja tilastotieteen peruskurssi Tentti ja välikoeuusinta

Gripenberg. MS-A0502 Todennäköisyyslaskennan ja tilastotieteen peruskurssi Tentti ja välikoeuusinta MS-A00 Todennäköisyyslaskennan ja tilastotieteen peruskurssi Tentti ja välikoeuusinta 7.. Gripenberg Kirjoita jokaiseen koepaperiin nimesi, opiskelijanumerosi ym. tiedot ja minkä kokeen suoritat! Laskin,

Lisätiedot

Moniulotteisia todennäköisyysjakaumia. Moniulotteisia todennäköisyysjakaumia. Moniulotteisia todennäköisyysjakaumia: Mitä opimme?

Moniulotteisia todennäköisyysjakaumia. Moniulotteisia todennäköisyysjakaumia. Moniulotteisia todennäköisyysjakaumia: Mitä opimme? TKK (c) Ilkka Mellin (4) Moniulotteisia todennäköisyysjakaumia Johdatus todennäköisyyslaskentaan Moniulotteisia todennäköisyysjakaumia TKK (c) Ilkka Mellin (4) Moniulotteisia todennäköisyysjakaumia: Mitä

Lisätiedot

Lisää Diskreettejä jakaumia Lisää Jatkuvia jakaumia Normaalijakaumasta johdettuja jakaumia

Lisää Diskreettejä jakaumia Lisää Jatkuvia jakaumia Normaalijakaumasta johdettuja jakaumia Todennäköisyyslaskenta Osa 3: Todennäköisyysjakaumia Lisää Diskreettejä jakaumia Lisää Jatkuvia jakaumia Normaalijakaumasta johdettuja jakaumia KE (2014) 1 Hypergeometrinen jakauma Hypergeometrinen jakauma

Lisätiedot

Jos nyt on saatu havaintoarvot Ü ½ Ü Ò niin suurimman uskottavuuden

Jos nyt on saatu havaintoarvot Ü ½ Ü Ò niin suurimman uskottavuuden 1.12.2006 1. Satunnaisjakauman tiheysfunktio on Ü µ Üe Ü, kun Ü ja kun Ü. Määritä parametrin estimaattori momenttimenetelmällä ja suurimman uskottavuuden menetelmällä. Ratkaisu: Jotta kyseessä todella

Lisätiedot

P(X = x T (X ) = t, θ) = p(x = x T (X ) = t) ei riipu tuntemattomasta θ:sta. Silloin uskottavuusfunktio faktorisoituu

P(X = x T (X ) = t, θ) = p(x = x T (X ) = t) ei riipu tuntemattomasta θ:sta. Silloin uskottavuusfunktio faktorisoituu 1. Tyhjentävä tunnusluku (sucient statistics ) Olkoon (P(X = x θ) : θ Θ) todennäköisyysmalli havainnolle X. Datan funktio T (X ) on Tyhjentävä tunnusluku jos ehdollinen todennäköisyys (ehdollinen tiheysfunktio)

Lisätiedot

4.0.2 Kuinka hyvä ennuste on?

4.0.2 Kuinka hyvä ennuste on? Luonteva ennuste on käyttää yhtälöä (4.0.1), jolloin estimaattori on muotoa X t = c + φ 1 X t 1 + + φ p X t p ja estimointivirheen varianssi on σ 2. X t }{{} todellinen arvo Xt }{{} esimaattori = ε t Esimerkki

Lisätiedot

Kaksisuuntainen varianssianalyysi. Heliövaara 1

Kaksisuuntainen varianssianalyysi. Heliövaara 1 Kaksisuuntainen varianssianalyysi Heliövaara 1 Kaksi- tai useampisuuntainen varianssianalyysi Kaksi- tai useampisuuntaisessa varianssianalyysissa perusjoukko on jaettu ryhmiin kahden tai useamman tekijän

Lisätiedot

Jos nollahypoteesi pitää paikkansa on F-testisuuren jakautunut Fisherin F-jakauman mukaan

Jos nollahypoteesi pitää paikkansa on F-testisuuren jakautunut Fisherin F-jakauman mukaan 17.11.2006 1. Kahdesta kohteesta (A ja K) kerättiin maanäytteitä ja näistä mitattiin SiO -pitoisuus. Tulokset (otoskoot ja otosten tunnusluvut): A K 10 16 Ü 64.94 57.06 9.0 7.29 Oletetaan mittaustulosten

Lisätiedot

Tilastollinen päättely. 5. Väliestimointi Johdanto Luottamusvälien konstruointi Luottamusvälien vertailu

Tilastollinen päättely. 5. Väliestimointi Johdanto Luottamusvälien konstruointi Luottamusvälien vertailu ilastollinen päättely 5.. Johdanto Estimointi, Joukkoestimointi, Kriittinen alue, uottamusjoukko, uottamustaso, uottamusväli, Otos, Parametri, Peittotodennäköisyys, Piste-estimointi, Väliestimaatti, Väliestimaattori,

Lisätiedot

Ilkka Mellin Todennäköisyyslaskenta. Osa 2: Satunnaismuuttujat ja todennäköisyysjakaumat. Momenttiemäfunktio ja karakteristinen funktio

Ilkka Mellin Todennäköisyyslaskenta. Osa 2: Satunnaismuuttujat ja todennäköisyysjakaumat. Momenttiemäfunktio ja karakteristinen funktio Ilkka Mellin Todennäköisyyslaskenta Osa : Satunnaismuuttujat ja todennäköisyysjakaumat Momenttiemäfunktio ja karakteristinen funktio TKK (c) Ilkka Mellin (7) 1 Momenttiemäfunktio ja karakteristinen funktio

Lisätiedot

3 Yleistä estimointiteoriaa. Olemme perehtuneet jo piste-estimointiin su-estimoinnin kautta Tässä luvussa tarkastellaan piste-estimointiin yleisemmin

3 Yleistä estimointiteoriaa. Olemme perehtuneet jo piste-estimointiin su-estimoinnin kautta Tässä luvussa tarkastellaan piste-estimointiin yleisemmin 3 Yleistä estimointiteoriaa Olemme perehtuneet jo piste-estimointiin su-estimoinnin kautta Tässä luvussa tarkastellaan piste-estimointiin yleisemmin 3.1 Johdanto Tähän mennessä olemme tarkastelleet estimointia

Lisätiedot

Sovellettu todennäköisyyslaskenta B

Sovellettu todennäköisyyslaskenta B Sovellettu todennäköisyyslaskenta B Antti Rasila 16. marraskuuta 2007 Antti Rasila () TodB 16. marraskuuta 2007 1 / 15 1 Epäparametrisia testejä χ 2 -yhteensopivuustesti Homogeenisuuden testaaminen Antti

Lisätiedot

Latinalaiset neliöt. Latinalaiset neliöt. Latinalaiset neliöt. Latinalaiset neliöt: Mitä opimme? Latinalaiset neliöt

Latinalaiset neliöt. Latinalaiset neliöt. Latinalaiset neliöt. Latinalaiset neliöt: Mitä opimme? Latinalaiset neliöt TKK (c) Ilkka Mellin (005) Koesuunnittelu TKK (c) Ilkka Mellin (005) : Mitä opimme? Tarkastelemme tässä luvussa seuraavaa kysymystä: Miten varianssianalyysissa tutkitaan yhden tekijän vaikutusta vastemuuttujaan,

Lisätiedot

Johdatus tilastotieteeseen Regressiomallin valinta. TKK (c) Ilkka Mellin (2004) 1

Johdatus tilastotieteeseen Regressiomallin valinta. TKK (c) Ilkka Mellin (2004) 1 Johdatus tilastotieteeseen Regressiomallin valinta TKK (c) Ilkka Mellin (2004) 1 Regressiomallin valinta Regressiomallin valinta: Johdanto Mallinvalintatestit Mallinvalintakriteerit Epälineaaristen riippuvuuksien

Lisätiedot

MS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi

MS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi MS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi Viikko 5 Tilastollisten hypoteesien testaaminen Lasse Leskelä, Heikki Seppälä Matematiikan ja systeemianalyysin laitos Perustieteiden korkeakoulu

Lisätiedot

Sovellettu todennäköisyyslaskenta B

Sovellettu todennäköisyyslaskenta B Sovellettu todennäköisyyslaskenta B Antti Rasila 18. lokakuuta 2007 Antti Rasila () TodB 18. lokakuuta 2007 1 / 19 1 Tilastollinen aineisto 2 Tilastollinen malli Yksinkertainen satunnaisotos 3 Otostunnusluvut

Lisätiedot

Yleinen lineaarinen malli

Yleinen lineaarinen malli MS-C2128 Ennustaminen ja Aikasarja-analyysi, Heikki Seppälä Matematiikan ja systeemianalyysin laitos Perustieteiden korkeakoulu Aalto-yliopisto Syksy 2015 Viikko 1: 1 Määritelmä ja standardioletukset 2

Lisätiedot

Ilkka Mellin Tilastolliset menetelmät. Osa 4: Lineaarinen regressioanalyysi. Regressiomallin valinta. TKK (c) Ilkka Mellin (2007) 1

Ilkka Mellin Tilastolliset menetelmät. Osa 4: Lineaarinen regressioanalyysi. Regressiomallin valinta. TKK (c) Ilkka Mellin (2007) 1 Ilkka Mellin Tilastolliset menetelmät Osa 4: Lineaarinen regressioanalyysi Regressiomallin valinta TKK (c) Ilkka Mellin (2007) 1 Regressiomallin valinta >> Regressiomallin valinta: Johdanto Mallinvalintatestit

Lisätiedot

Mat Tilastollisen analyysin perusteet, kevät 2007

Mat Tilastollisen analyysin perusteet, kevät 2007 Mat-2.2104 Tilastollisen analyysin perusteet, kevät 2007 4. luento: Jakaumaoletuksien testaaminen Kai Virtanen 1 Jakaumaoletuksien testaamiseen soveltuvat testit χ 2 -yhteensopivuustesti yksi otos otoksen

Lisätiedot

Tilastollisen analyysin perusteet Luento 10: Johdatus varianssianalyysiin

Tilastollisen analyysin perusteet Luento 10: Johdatus varianssianalyysiin Tilastollisen analyysin perusteet Luento 10: Sisältö Varianssianalyysi Varianssianalyysi on kahden riippumattoman otoksen t testin yleistys. Varianssianalyysissä perusjoukko koostuu kahdesta tai useammasta

Lisätiedot

11 Raja-arvolauseita ja approksimaatioita

11 Raja-arvolauseita ja approksimaatioita 11 Raja-arvolauseita ja approksimaatioita Tässä luvussa esitellään sellaisia kuuluisia todennäköisyysteorian raja-arvolauseita, joita sovelletaan usein tilastollisessa päättelyssä. Näiden raja-arvolauseiden

Lisätiedot

χ = Mat Sovellettu todennäköisyyslasku 11. harjoitukset/ratkaisut

χ = Mat Sovellettu todennäköisyyslasku 11. harjoitukset/ratkaisut Mat-2.091 Sovellettu todennäköisyyslasku /Ratkaisut Aiheet: Yhteensopivuuden testaaminen Homogeenisuuden testaaminen Riippumattomuuden testaaminen Avainsanat: Estimointi, Havaittu frekvenssi, Homogeenisuus,

Lisätiedot

Vastepintamenetelmä. Kuusinen/Heliövaara 1

Vastepintamenetelmä. Kuusinen/Heliövaara 1 Vastepintamenetelmä Kuusinen/Heliövaara 1 Vastepintamenetelmä Vastepintamenetelmässä pyritään vasteen riippuvuutta siihen vaikuttavista tekijöistä approksimoimaan tekijöiden polynomimuotoisella funktiolla,

Lisätiedot

Mat Tilastollisen analyysin perusteet, kevät 2007

Mat Tilastollisen analyysin perusteet, kevät 2007 Mat-.04 Tilastollisen analyysin perusteet, kevät 007 4. luento: Jakaumaoletuksien testaaminen Kai Virtanen Jakaumaoletuksien testaamiseen soveltuvat testit χ -yhteensopivuustesti yksi otos otoksen vertaaminen

Lisätiedot

VALTIOTIETEELLINEN TIEDEKUNTA TILASTOTIETEEN VALINTAKOE Ratkaisut ja arvostelu < X 170

VALTIOTIETEELLINEN TIEDEKUNTA TILASTOTIETEEN VALINTAKOE Ratkaisut ja arvostelu < X 170 VALTIOTIETEELLINEN TIEDEKUNTA TILASTOTIETEEN VALINTAKOE 4.6.2013 Ratkaisut ja arvostelu 1.1 Satunnaismuuttuja X noudattaa normaalijakaumaa a) b) c) d) N(170, 10 2 ). Tällöin P (165 < X < 175) on likimain

Lisätiedot

Johdatus varianssianalyysiin. Vilkkumaa / Kuusinen 1

Johdatus varianssianalyysiin. Vilkkumaa / Kuusinen 1 Johdatus varianssianalyysiin Vilkkumaa / Kuusinen 1 Motivointi Luento 4: kahden riippumattoman otoksen odotusarvoja voidaan vertailla t-testillä H 0 : μ 1 = μ 2, T = ˉX 1 ˉX 2 s 2 1 + s2 2 n 1 n 2 a t(min[(n

Lisätiedot

MS-A0503 Todennäköisyyslaskennan ja tilastotieteen peruskurssi

MS-A0503 Todennäköisyyslaskennan ja tilastotieteen peruskurssi MS-A0503 Todennäköisyyslaskennan ja tilastotieteen peruskurssi Viikko 5 Tilastollisten hypoteesien testaaminen Lasse Leskelä Matematiikan ja systeemianalyysin laitos Perustieteiden korkeakoulu Aalto-yliopisto

Lisätiedot

Todennäköisyyslaskun kertaus. Vilkkumaa / Kuusinen 1

Todennäköisyyslaskun kertaus. Vilkkumaa / Kuusinen 1 Todennäköisyyslaskun kertaus Vilkkumaa / Kuusinen 1 Satunnaismuuttujat ja todennäköisyysjakaumat Vilkkumaa / Kuusinen 2 Motivointi Kokeellisessa tutkimuksessa tutkittaviin ilmiöihin liittyvien havaintojen

Lisätiedot

MS-A0502 Todennäköisyyslaskennan ja tilastotieteen peruskurssi Luennot, osa II

MS-A0502 Todennäköisyyslaskennan ja tilastotieteen peruskurssi Luennot, osa II MS-A0502 Todennäköisyyslaskennan ja tilastotieteen peruskurssi Luennot, osa II G. Gripenberg Aalto-yliopisto 11. helmikuuta 2015 G. Gripenberg (Aalto-yliopisto) MS-A0502 Todennäköisyyslaskennan ja tilastotieteen

Lisätiedot

2. Uskottavuus ja informaatio

2. Uskottavuus ja informaatio 2. Uskottavuus ja informaatio Viimeksi käsittelimme uskottavuusfunktioita, log-uskottavuusfunktioita ja su-estimaatteja Seuraavaksi tarkastelemme parametrin muunnoksia ja kuinka su-estimaatit käyttäytyvät

Lisätiedot

Tilastollisen analyysin perusteet Luento 6: Korrelaatio ja riippuvuus tilastotieteessä

Tilastollisen analyysin perusteet Luento 6: Korrelaatio ja riippuvuus tilastotieteessä Tilastollisen analyysin perusteet Luento 6: Korrelaatio ja riippuvuus tilastotieteessä Sisältö Riippumattomuus Jos P(A B) = P(A)P(B), niin tapahtumat A ja B ovat toisistaan riippumattomia. (Keskustelimme

Lisätiedot

MS-A0204 Differentiaali- ja integraalilaskenta 2 (ELEC2) Luento 7: Pienimmän neliösumman menetelmä ja Newtonin menetelmä.

MS-A0204 Differentiaali- ja integraalilaskenta 2 (ELEC2) Luento 7: Pienimmän neliösumman menetelmä ja Newtonin menetelmä. MS-A0204 Differentiaali- ja integraalilaskenta 2 (ELEC2) Luento 7: Pienimmän neliösumman menetelmä ja Newtonin menetelmä. Antti Rasila Matematiikan ja systeemianalyysin laitos Aalto-yliopisto Kevät 2016

Lisätiedot

MS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi

MS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi MS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi 5A Tilastollisen merkitsevyyden testaus (+ jatkuvan parametrin Bayes-päättely) Lasse Leskelä Matematiikan ja systeemianalyysin laitos Perustieteiden

Lisätiedot

Dynaamiset regressiomallit

Dynaamiset regressiomallit MS-C2128 Ennustaminen ja Aikasarja-analyysi, Lauri Viitasaari Matematiikan ja systeemianalyysin laitos Perustieteiden korkeakoulu Aalto-yliopisto Syksy 2016 Tilastolliset aikasarjat voidaan jakaa kahteen

Lisätiedot

Tilastollinen päättely II, kevät 2017 Harjoitus 2A

Tilastollinen päättely II, kevät 2017 Harjoitus 2A Tilastollinen päättely II, kevät 07 Harjoitus A Heikki Korpela 3. tammikuuta 07 Tehtävä. (Monisteen tehtävä.3 Olkoot Y,..., Y n Exp(λ. Kirjoita vastaava tilastollisen mallin lauseke (ytf. Muodosta sitten

Lisätiedot

Tilastollisen analyysin perusteet Luento 9: Moniulotteinen lineaarinen. regressio

Tilastollisen analyysin perusteet Luento 9: Moniulotteinen lineaarinen. regressio Tilastollisen analyysin perusteet Luento 9: lineaarinen lineaarinen Sisältö lineaarinen lineaarinen lineaarinen Lineaarinen Oletetaan, että meillä on n kappaletta (x 1, y 1 ), (x 2, y 2 )..., (x n, y n

Lisätiedot

Johdatus todennäköisyyslaskentaan Momenttiemäfunktio ja karakteristinen funktio. TKK (c) Ilkka Mellin (2005) 1

Johdatus todennäköisyyslaskentaan Momenttiemäfunktio ja karakteristinen funktio. TKK (c) Ilkka Mellin (2005) 1 Johdatus todennäköisyyslaskentaan Momenttiemäfunktio ja karakteristinen funktio TKK (c) Ilkka Mellin (5) 1 Momenttiemäfunktio ja karakteristinen funktio Momenttiemäfunktio Diskreettien jakaumien momenttiemäfunktioita

Lisätiedot

031021P Tilastomatematiikka (5 op) viikko 4

031021P Tilastomatematiikka (5 op) viikko 4 031021P Tilastomatematiikka (5 op) viikko 4 Jukka Kemppainen Mathematics Division Tilastollinen aineisto Tilastolliset menetelmät ovat eräs keino tutkia numeerista havaintoaineistoa todennäköisyyslaskentaa

Lisätiedot

Harjoitus 2: Matlab - Statistical Toolbox

Harjoitus 2: Matlab - Statistical Toolbox Harjoitus 2: Matlab - Statistical Toolbox Mat-2.2107 Sovelletun matematiikan tietokonetyöt Syksy 2006 Mat-2.2107 Sovelletun matematiikan tietokonetyöt 1 Harjoituksen tavoitteet Satunnaismuuttujat ja todennäköisyysjakaumat

Lisätiedot

031021P Tilastomatematiikka (5 op) viikko 5

031021P Tilastomatematiikka (5 op) viikko 5 031021P Tilastomatematiikka (5 op) viikko 5 Jukka Kemppainen Mathematics Division Hypoteesin testauksesta Tilastollisessa testauksessa on kyse havainnoista tapahtuvasta päätöksenteosta. Kokeellisen tutkimuksen

Lisätiedot

MS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi

MS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi MS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi 5B Tilastollisen merkitsevyyden testaus Osa II Lasse Leskelä Matematiikan ja systeemianalyysin laitos Perustieteiden korkeakoulu Aalto-yliopisto

Lisätiedot

Parametrin estimointi ja bootstrap-otanta

Parametrin estimointi ja bootstrap-otanta Parametrin estimointi ja bootstrap-otanta Hannu Toivonen, Marko Salmenkivi, Inkeri Verkamo Tutkimustiedonhallinnan peruskurssi Parametrin estimointi ja bootstrap-otanta 1/27 Kevät 2003 Käytännön asioista

Lisätiedot

Kaksisuuntainen varianssianalyysi. Vilkkumaa / Kuusinen 1

Kaksisuuntainen varianssianalyysi. Vilkkumaa / Kuusinen 1 Kaksisuuntainen varianssianalyysi Vilkkumaa / Kuusinen 1 Motivointi Luennot 6 ja 7: yksisuuntaisella varianssianalyysilla testataan ryhmäkohtaisten odotusarvojen yhtäsuuruutta, kun perusjoukko on jaettu

Lisätiedot

Korrelaatiokertoinen määrittely 165

Korrelaatiokertoinen määrittely 165 kertoinen määrittely 165 Olkoot X ja Y välimatka- tai suhdeasteikollisia satunnaismuuttujia. Havaintoaineistona on n:n suuruisesta otoksesta mitatut muuttuja-arvoparit (x 1, y 1 ), (x 2, y 2 ),..., (x

Lisätiedot

Harjoitus 9: Excel - Tilastollinen analyysi

Harjoitus 9: Excel - Tilastollinen analyysi Harjoitus 9: Excel - Tilastollinen analyysi Mat-2.2107 Sovelletun matematiikan tietokonetyöt Syksy 2006 Mat-2.2107 Sovelletun matematiikan tietokonetyöt 1 Harjoituksen aiheita Tutustuminen regressioanalyysiin

Lisätiedot

Mat Sovellettu todennäköisyyslasku A

Mat Sovellettu todennäköisyyslasku A TKK / Systeemianalyysin laboratorio Mat-.090 Sovellettu todennäköisyyslasku A Harjoitus 11 (vko 48/003) (Aihe: Tilastollisia testejä, Laininen luvut 4.9, 15.1-15.4, 15.7) Nordlund 1. Kemiallisen prosessin

Lisätiedot

Sovellettu todennäköisyyslaskenta B

Sovellettu todennäköisyyslaskenta B Sovellettu todennäköisyyslaskenta B Antti Rasila 30. marraskuuta 2007 Antti Rasila () TodB 30. marraskuuta 2007 1 / 19 1 Lineaarinen regressiomalli ja suurimman uskottavuuden menetelmä Minimin löytäminen

Lisätiedot