Ilkka Mellin Aikasarja-analyysi Suurimman uskottavuuden menetelmä

Ilkka Mellin Aikasarja-analyysi Suurimman uskottavuuden menetelmä TKK (c) Ilkka Mellin (2007) 1

Suurimman uskottavuuden menetelmä >> Suurimman uskottavuuden estimointimenetelmä Tarkentuvuus Asymptoottinen normaalisuus Suurimman uskottavuuden estimaattorin asymptoottiset ominaisuudet Osamäärätesti Waldin testi Lagrangen kertojatesti Numeerinen optimointi TKK (c) Ilkka Mellin (2007) 2

Suurimman uskottavuuden estimointimenetelmä Otos ja sen jakauma 1/3 Olkoot X 1, X 2,, X n satunnaismuuttujia, joiden yhteisjakauman pistetodennäköisyys- tai tiheysfunktio f(x 1, x 2,, x n ; θ) riippuu tuntemattomasta parametrista θ = (θ 1, θ 2,, θ p ) TKK (c) Ilkka Mellin (2007) 3

Suurimman uskottavuuden estimointimenetelmä Otos ja sen jakauma 2/3 Oletetaan, että satunnaismuuttujat X 1, X 2,, X n generoivat havaituiksi arvoikseen reaaliluvut x 1, x 2,, x n Kutsumme satunnaismuuttujia X 1, X 2,, X n havainnoiksi ja niiden havaittuja arvoja x 1, x 2,, x n havaintoarvoiksi. Satunnaismuuttujat X 1, X 2,, X n muodostavat otoksen, jonka jakauman määrittelee niiden yhteisjakauman pistetodennäköisyys- tai tiheysfunktio f(x 1, x 2,, x n ; θ) TKK (c) Ilkka Mellin (2007) 4

Suurimman uskottavuuden estimointimenetelmä Otos ja sen jakauma 3/3 Havaintoarvot x 1, x 2,, x n ovat kiinteitä eli ei-satunnaisia, mutta ne vaihtelevat otoksesta toiseen satunnaismuuttujien X 1, X 2,, X n yhteisjakauman f määräämin todennäköisyyksin. TKK (c) Ilkka Mellin (2007) 5

Suurimman uskottavuuden estimointimenetelmä Uskottavuusfunktio Otoksen X 1, X 2,, X n uskottavuusfunktio on otoksen (eli satunnaismuuttujien X 1, X 2,, X n ) yhteisjakauman pistetodennäköisyys- tai tiheysfunktion f(x 1, x 2,, x n ; θ) arvo pisteessä x 1, x 2,, x n tulkittuna jakauman parametrin θ funktioksi. Merkitään: L(θ)= L(θ ; x 1, x 2,, x n ) = f(x 1, x 2,, x n ; θ) Uskottavuusfunktio sisältää kaiken informaation otoksesta. TKK (c) Ilkka Mellin (2007) 6

Suurimman uskottavuuden estimointimenetelmä Suurimman uskottavuuden estimaattori 1/2 Olkoon otoksen X 1, X 2,, X n uskottavuusfunktio L(θ)= L(θ ; x 1, x 2,, x n ) Olkoon t = g(x 1, x 2,, x n ) parametrin θ arvo, joka maksimoi uskottavuusfunktion L(θ). Huomautus: Uskottavuusfunktion L maksimin antava parametrin θ arvo t on havaintoarvojen x 1, x 2,, x n funktio. TKK (c) Ilkka Mellin (2007) 7

Suurimman uskottavuuden estimointimenetelmä Suurimman uskottavuuden estimaattori 2/2 Valitaan parametrin θ estimaattoriksi satunnaismuuttuja θ ˆ = T = g( X1, X2,, X n ) Estimaattoria ˆθ kutsutaan parametrin θ suurimman uskottavuuden estimaattoriksi eli SU-estimaattoriksi. Suurimman uskottavuuden estimaattori ˆθ tuottaa parametrille θ arvon, joka maksimoi havaintoarvojen x 1, x 2,, x n uskottavuuden (todennäköisyyden). TKK (c) Ilkka Mellin (2007) 8

Suurimman uskottavuuden estimointimenetelmä SU-estimointi Parametrin θ suurimman uskottavuuden estimaattori määrätään maksimoimalla uskottavuusfunktio L(θ) = L(θ ; x 1, x 2,, x n ) parametrin θ suhteen. Kaikissa säännöllisissä tapauksissa maksimi löydetään merkitsemällä uskottavuusfunktion L(θ) derivaatta L (θ) nollaksi ja ratkaisemalla θ saadusta normaaliyhtälöstä L (θ) = 0 TKK (c) Ilkka Mellin (2007) 9

Suurimman uskottavuuden estimointimenetelmä Logaritminen uskottavuusfunktio Uskottavuusfunktion maksimin antava parametrin θ arvo löytyy usein ratkaisevasti helpommin maksimoimalla logaritmista uskottavuusfunktio eli uskottavuusfunktion logaritmi l(θ) = log L(θ ; x 1, x 2,, x n ) parametrin θ suhteen. Huomautus: Logaritminen uskottavuusfunktio saavuttaa maksiminsa samassa pisteessä kuin uskottavuusfunktio. TKK (c) Ilkka Mellin (2007) 10

Suurimman uskottavuuden estimointimenetelmä Uskottavuusfunktio ja riippumattomat havainnot 1/3 Olkoon X 1, X 2,, X n (yksinkertaisen) satunnaisotos jakaumasta f X (x ; θ), jossa θ on jakauman muodon määräävä tuntematon parametri. Tällöin satunnaismuuttujat X 1, X 2,, X n ovat riippumattomia ja noudattavat samaa jakaumaa f X (x ; θ): X1, X2,, Xn X f ( x; θ), i = 1,2,, n i X TKK (c) Ilkka Mellin (2007) 11

Suurimman uskottavuuden estimointimenetelmä Uskottavuusfunktio ja riippumattomat havainnot 2/3 Satunnaismuuttujien X 1, X 2,, X n riippumattomuuden nojalla otoksen uskottavuusfunktio voidaan esittää muodossa L(θ ; x 1, x 2,, x n ) = f(x 1 ; θ)f(x 2 ; θ) f(x n ; θ) jossa f(x i ; θ), i = 1, 2,, n on havaintoarvoon x i liittyvä pistetodennäköisyys- tai tiheysfunktio. TKK (c) Ilkka Mellin (2007) 12

Suurimman uskottavuuden estimointimenetelmä Uskottavuusfunktio ja riippumattomat havainnot 3/3 Vastaava logaritminen uskottavuusfunktio voidaan esittää muodossa l( θ) = log L( θ) = log f( x ; θ) f( x ; θ) f( x ; θ) ( ) 1 2 = log f( x ; θ) + log f( x ; θ) + + log f( x ; θ) 1 2 = l( θ; x1) + l( θ; x2) + + l( θ; xn ) jossa l(θ ; x i ) = log L(θ ; x i ), i = 1, 2,, n on havaintoarvoon x i liittyvä logaritminen uskottavuusfunktio. n n TKK (c) Ilkka Mellin (2007) 13

Suurimman uskottavuuden estimointimenetelmä SU-estimointi ja riippumattomat havainnot Riippumattomien havaintojen tapauksessa logaritmisen uskottavuusfunktion summaesityksen l( θ) = log L( θ) = log f( x ; θ) + log f( x ; θ) + + log f( x ; θ) 1 2 = l( θ; x1) + l( θ; x2) + + l( θ; xn ) maksimointi on usein ratkaisevasti helpompaa kuin uskottavuusfunktion itsensä maksimointi. Huomautus: Logaritminen uskottavuusfunktio saavuttaa maksiminsa samassa pisteessä kuin uskottavuusfunktio. n TKK (c) Ilkka Mellin (2007) 14

Suurimman uskottavuuden estimointimenetelmä SU-estimaattorin ominaisuudet Äärellisellä otoskoolla SU-estimaattori ˆθ ei välttämättä toteuta tavanomaisia hyvälle estimaattorille asetettavia kriteereitä: (i) SU-estimaattori ei välttämättä ole harhaton. (ii) SU-estimaattorin jakaumaa ei välttämättä tunneta. TKK (c) Ilkka Mellin (2007) 15

Suurimman uskottavuuden estimointimenetelmä SU-estimaattorin asymptoottiset ominaisuudet SU-estimaattorilla ˆθ on hyvin yleisin ehdoin seuraavat asymptoottiset ominaisuudet: (i) SU-estimaattori on tarkentuva. SU-estimaattorin tarkentuvuus merkitsee sitä, että SU-estimaattori toteuttaa hyvin yleisin ehdoin suurten lukujen lain. (ii) SU-estimaattori on asymptoottisesti normaalinen. SU-estimaattorin asymptoottinen normaalisuus merkitsee sitä, että SU-estimaattori toteuttaa hyvin yleisin ehdoin keskeisen raja-arvolauseen. TKK (c) Ilkka Mellin (2007) 16

Suurimman uskottavuuden estimointimenetelmä SU-estimaattorin asymptoottinen normaalisuus: Kommentteja Oletetaan, että SU-estimaattori ˆθ on asymptoottisesti normaalinen. Tällöin: (i) SU-estimaattorin jakaumaa voidaan suurissa otoksissa approksimoida normaalijakaumalla. (ii) Parametrien luottamusvälit ja parametreja koskevat testit voidaan perustaa normaalijakaumaan tai t-jakaumaan. TKK (c) Ilkka Mellin (2007) 17

Suurimman uskottavuuden estimointimenetelmä SU-estimaattorin asymptoottiset ominaisuudet: Oletuksien merkitys 1/2 On melko yksinkertaista todistaa SU-estimaattorin tarkentuvuus ja asymptoottinen normaalisuus, jos otos muodostuu riippumattomista, samaa jakaumaa noudattavista havainnoista. Oletuksista havaintojen riippumattomuudesta ja samasta jakaumasta voidaan tietyin ehdoin luopua; tällä on suuri merkitys aikasarjamallien SU-estimoinnissa. TKK (c) Ilkka Mellin (2007) 18

Suurimman uskottavuuden estimointimenetelmä SU-estimaattorin asymptoottiset ominaisuudet: Oletuksien merkitys 2/2 Tilastollinen aikasarja-analyysi perustuu siihen, että aikasarja tulkitaan jonkin stokastisen prosessin realisaatioksi. Aikasarjamallien parametrien SU-estimaattoreiden tarkentuvuus ja asymptoottinen normaalisuus voidaan todistaa esimerkiksi silloin, kun aikasarjan generoinut prosessi on jotakin seuraavista tyypeistä: ergodinen stationaarinen martingaalidifferenssi TKK (c) Ilkka Mellin (2007) 19

Suurimman uskottavuuden estimointimenetelmä Normaalijakauma ja SU-menetelmä: Normaalijakauma ja sen parametrointi Satunnaismuuttuja X noudattaa normaalijakaumaa N(µ, σ 2 ), jos sen tiheysfunktio on 2 2 1 1 x µ f( x; µσ, ) = exp σ 2π 2 σ Normaalijakauman parametreina ovat jakauman odotusarvo E( X ) = µ ja varianssi Var( X ) 2 = σ TKK (c) Ilkka Mellin (2007) 20

Suurimman uskottavuuden estimointimenetelmä Normaalijakauma ja SU-menetelmä: Otos normaalijakaumasta Olkoon X 1, X 2,, X n (yksinkertainen) satunnaisotos normaalijakaumasta N(µ, σ 2 ) Tällöin satunnaismuuttujat X 1, X 2,, X n ovat riippumattomia ja noudattavat samaa normaalijakaumaa N(µ, σ 2 ) TKK (c) Ilkka Mellin (2007) 21

Suurimman uskottavuuden estimointimenetelmä Normaalijakauma ja SU-menetelmä: Uskottavuusfunktio Otoksen X 1, X 2,, X n uskottavuusfunktio on 2 L( µσ, ; x, x,, x ) = 1 2 n 2 2 2 1 µ σ 2 µ σ n µ σ f( x ;, ) f( x ;, ) f( x ;, ) 1 n n n 2 1 2 = σ (2 π ) exp ( x ) 2 i µ 2σ i= 1 Vastaava logaritminen uskottavuusfunktio on 2 l( µσ, ; x, x,, x ) = 1 2 n 2 log L( µσ, ; x1, x2,, xn ) n n 2 1 1 2 logσ nlog(2 π ) ( x ) 2 i µ 2 2 2σ i = 1 = TKK (c) Ilkka Mellin (2007) 22

Suurimman uskottavuuden estimointimenetelmä Normaalijakauma ja SU-menetelmä: Parametrien µ ja σ 2 estimointi Normaalijakauman N(µ, σ 2 ) parametrien µ ja σ 2 SU-estimaattorit ovat havaintojen X 1, X 2,, X n aritmeettinen keskiarvo n 1 ˆ µ = Xi = X n i= 1 ja otosvarianssi n 1 ˆ σ = ( Xi X) n 2 2 i= 1 TKK (c) Ilkka Mellin (2007) 23

Suurimman uskottavuuden estimointimenetelmä Normaalijakauma ja SU-menetelmä: Estimaattoreiden ominaisuudet 1/3 Normaalijakauman N(µ, σ 2 ) odotusarvon µ SU-estimaattorilla ˆµ on seuraavat ominaisuudet: (i) ˆµ on harhaton. (ii) 2 ˆµ ja σˆ ovat yhdessä tyhjentäviä parametreille µ, σ 2. (iii) ˆµ on tehokas eli minimivarianssinen estimaattori. (iv) ˆµ on tarkentuva. (v) ˆµ noudattaa normaalijakaumaa: 2 σ ˆ~N µ µ, n TKK (c) Ilkka Mellin (2007) 24

Suurimman uskottavuuden estimointimenetelmä Normaalijakauma ja SU-menetelmä: Estimaattoreiden ominaisuudet 2/3 Normaalijakauman N(µ, σ 2 ) varianssin σ 2 2 SU-estimaattorilla σˆ on seuraavat ominaisuudet: 2 (i) σˆ on harhainen. 2 (ii) ˆµ ja σˆ ovat yhdessä tyhjentäviä parametreille µ, σ 2. 2 (iii) σˆ ei ole tehokas eli minimivarianssinen estimaattori. 2 (iv) σˆ on tarkentuva. (v) (n 1) s 2 /σ 2 noudattaa χ 2 -jakaumaa: 2 ( n 1) s 2 χ ( n 1) 2 σ TKK (c) Ilkka Mellin (2007) 25

Suurimman uskottavuuden estimointimenetelmä Normaalijakauma ja SU-menetelmä: Estimaattoreiden ominaisuudet 3/3 Normaalijakauman N(µ, σ 2 ) varianssin σ 2 2 SU-estimaattori σˆ on harhainen, mutta estimaattori n 2 n 2 1 2 s = ˆ σ = ( Xi X) n 1 n 1 on harhaton. i= 1 TKK (c) Ilkka Mellin (2007) 26

Suurimman uskottavuuden estimointimenetelmä Yleinen lineaarinen malli ja SU-menetelmä: Malli ja sen parametrit Olkoon y = Xβ + ε yleinen lineaarinen malli, jossa on seuraavat osat: y = selitettävän muuttujan y havaittujen arvojen muodostama satunnainen n-vektori X = selittäjien x 1, x 2,, x k havaittujen arvojen ja ykkösten muodostama n (k + 1)-matriisi β = regressiokertoimien muodostama tuntematon ja kiinteä eli ei-satunnainen (k + 1)-vektori ε = jäännöstermien muodostama ei-havaittu ja satunnainen n-vektori TKK (c) Ilkka Mellin (2007) 27

Suurimman uskottavuuden estimointimenetelmä Yleinen lineaarinen malli ja SU-menetelmä: Standardioletukset Oletetaan, että yleistä lineaarista mallia y = Xβ + ε koskevat standardioletukset pätevät: (i) Matriisin X alkiot ovat ei-satunnaisia vakioita. (ii) Matriisi X on täysiasteinen: r(x) = k + 1 (iii) E(ε) = 0 (iv)&(v) Homoskedastisuus- ja korreloimattomuusoletus: Cov(ε) = σ 2 I (vi) Normaalisuusoletus: ε N n (0, σ 2 I) TKK (c) Ilkka Mellin (2007) 28

Suurimman uskottavuuden estimointimenetelmä Yleinen lineaarinen malli ja SU-menetelmä: Uskottavuusfunktio Standardioletusten pätiessä havaintojen y 1, y 2,, y n uskottavuusfunktio on 2 L( β, σ ; y, y,, y ) 1 2 n { } 1 n 2 n 1 = (2 π) σ exp ( y Xβ)( y Xβ) 2 2σ Vastaava logaritminen uskottavuusfunktio on 2 l( β, σ ; y1, y2,, y n ) 1 1 = nlog(2 π) nlog σ ( y Xβ) ( y Xβ) 2 2 2σ TKK (c) Ilkka Mellin (2007) 29

Suurimman uskottavuuden estimointimenetelmä Yleinen lineaarinen malli ja SU-menetelmä: Parametrien estimointi Lineaarisen mallin y = Xβ + ε regressiokertoimien vektorin β SU-estimaattori yhtyy standardioletusten pätiessä vektorin β PNS-estimaattoriin: βˆ = b= ( XX ) 1 Xy Jäännösvarianssin σ 2 SU-estimaattori on ˆ σ = SSE n SSE = ( y Xb) ( y Xb) 2 1 TKK (c) Ilkka Mellin (2007) 30

Suurimman uskottavuuden estimointimenetelmä Yleinen lineaarinen malli ja SU-menetelmä: Estimaattoreiden ominaisuudet 1/3 Lineaarisen mallin y = Xβ + ε regressiokertoimien vektorin β SU-estimaattorilla b on seuraavat ominaisuudet: (i) b on harhaton. 2 (ii) b ja σˆ ovat yhdessä tyhjentäviä parametreille β, σ 2. (iii) b on tehokas eli minimivarianssinen estimaattori. (iv) b on tarkentuva. (v) b noudattaa normaalijakaumaa: 2 1 b ~N( β, σ ( XX ) ) TKK (c) Ilkka Mellin (2007) 31

Suurimman uskottavuuden estimointimenetelmä Yleinen lineaarinen malli ja SU-menetelmä: Estimaattoreiden ominaisuudet 2/3 Lineaarisen mallin y = Xβ + ε jäännösvarianssin σ 2 SUestimaattorilla σˆ on seuraavat ominaisuudet: 2 2 (i) σˆ on harhainen. 2 (ii) b ja σˆ ovat yhdessä tyhjentäviä parametreille β, σ 2. 2 (iii) σˆ ei ole tehokas eli minimivarianssinen estimaattori. 2 (iv) σˆ on tarkentuva. (v) (n k 1) s 2 /σ 2 noudattaa χ 2 -jakaumaa: 2 ( n k 1) s 2 χ ( n k 1) 2 σ TKK (c) Ilkka Mellin (2007) 32

Suurimman uskottavuuden estimointimenetelmä Yleinen lineaarinen malli ja SU-menetelmä: Estimaattoreiden ominaisuudet 3/3 Lineaarisen mallin y = Xβ + ε jäännösvarianssin σ 2 SUestimaattori σˆ on harhainen, mutta 2 estimaattori 2 n 2 1 s = ˆ ( )( ) n k 1 σ = y Xβ n k 1 y Xβ on harhaton. TKK (c) Ilkka Mellin (2007) 33

Suurimman uskottavuuden menetelmä Suurimman uskottavuuden estimointimenetelmä >> Tarkentuvuus Asymptoottinen normaalisuus Suurimman uskottavuuden estimaattorin asymptoottiset ominaisuudet Osamäärätesti Waldin testi Lagrangen kertojatesti Numeerinen optimointi TKK (c) Ilkka Mellin (2007) 34

Tarkentuvuus Suurten lukujen lait 1/2 Olkoon X i, i = 1, 2, jono riippumattomia, samoin jakautuneita satunnaismuuttujia. Tällöin satunnaismuuttujilla X i on sama odotusarvo ja varianssi: E(X i ) = µ, i = 1, 2,, n D 2 (X i ) = σ 2, i = 1, 2,, n Olkoon X n 1 n n i = 1 = X i satunnaismuuttujien X i, i = 1, 2,, n aritmeettinen keskiarvo. TKK (c) Ilkka Mellin (2007) 35

Tarkentuvuus Suurten lukujen lait 2/2 Heikko suurten lukujen laki: lim Pr( X µ > ε) = 0 kaikille ε > 0 n + Vahva suurten lukujen laki: Pr( lim X = µ ) = 1 n + n n Vahva suurten lukujen laki implikoi heikon suurten lukujen lain, mutta ei kääntäen. TKK (c) Ilkka Mellin (2007) 36

Tarkentuvuus Suurten lukujen lait: Kommentteja Heikko suurten lukujen laki sanoin: Samoin jakautuneiden satunnaismuuttujien aritmeettinen keskiarvo lähestyy muuttujien lukumäärän kasvaessa muuttujien yhteistä odotusarvoa sellaisella tavalla, että suuret poikkeamat yhteisestä odotusarvosta tulevat yhä epätodennäköisemmiksi eli harvinaisemmiksi. Vahva suurten lukujen laki sanoin: Samoin jakautuneiden satunnaismuuttujien aritmeettinen keskiarvo lähestyy muuttujien lukumäärän kasvaessa muuttujien yhteistä odotusarvoa todennäköisyydellä 1. TKK (c) Ilkka Mellin (2007) 37

Tarkentuvuus Tarkentuvuuden määritelmä ˆ n Olkoon θ parametrin θ estimaattori, joka perustuu n:ään havaintoon. Jos estimaattori θ toteuttaa suurten lukujen lain, sanomme, että θˆ n on tarkentuva parametrille θ. Heikko tarkentuvuus: lim Pr( θˆ θ > ε) = 0 kaikille ε > 0 n + Vahva tarkentuvuus: Pr( lim θˆ = θ) = 1 n + n n ˆ n TKK (c) Ilkka Mellin (2007) 38

Tarkentuvuus Tarkentuvuus: Kommentteja Vahvasta tarkentuvuudesta seuraa heikko tarkentuvuus, mutta ei kääntäen. Tarkentuvuus on keskeinen vaatimus estimaattorille sellaisissa tilanteissa, joissa parametrille johdettu osoittautuu harhaiseksi. Tällöin tilanteen pelastaa ts. johdettu estimaattori on käyttökelpoinen, jos se on tarkentuva. TKK (c) Ilkka Mellin (2007) 39

Tarkentuvuus Suurten lukujen lait: Oletuksien merkitys 1/2 On melko yksinkertaista todistaa SU-estimaattorin tarkentuvuus, jos otos muodostuu riippumattomista, samaa jakaumaa noudattavista havainnoista. Oletuksista havaintojen riippumattomuudesta ja samasta jakaumasta voidaan tietyin ehdoin luopua; tällä on suuri merkitys aikasarjamallien SU-estimoinnissa. TKK (c) Ilkka Mellin (2007) 40

Tarkentuvuus Suurten lukujen lait: Oletuksien merkitys 2/2 Tilastollinen aikasarja-analyysi perustuu siihen, että aikasarja tulkitaan jonkin stokastisen prosessin realisaatioksi. Aikasarjamallien parametrien SU-estimaattoreiden tarkentuvuus voidaan todistaa esimerkiksi silloin, kun aikasarjan generoinut prosessi on jotakin seuraavista tyypeistä: ergodinen stationaarinen martingaalidifferenssi TKK (c) Ilkka Mellin (2007) 41

Suurimman uskottavuuden menetelmä Suurimman uskottavuuden estimointimenetelmä Tarkentuvuus >> Asymptoottinen normaalisuus Suurimman uskottavuuden estimaattorin asymptoottiset ominaisuudet Osamäärätesti Waldin testi Lagrangen kertojatesti Numeerinen optimointi TKK (c) Ilkka Mellin (2007) 42

Asymptoottinen normaalisuus Keskeinen raja-arvolause 1/3 Olkoon X i, i = 1, 2, jono riippumattomia, samoin jakautuneita satunnaismuuttujia. Tällöin satunnaismuuttujilla X i on sama odotusarvo ja varianssi: E(X i ) = µ, i = 1, 2,, n D 2 (X i ) = σ 2, i = 1, 2,, n Olkoon Y n n = X i= 1 i satunnaismuuttujien X i, i = 1, 2,, n summa. TKK (c) Ilkka Mellin (2007) 43

Asymptoottinen normaalisuus Keskeinen raja-arvolause 2/3 Summan Y n odotusarvo ja varianssi ovat E(Y n ) = nµ D 2 (Y n ) = nσ 2 Standardoidaan summa Y n : Yn nµ Zn = σ n Annetaan n + Tällöin satunnaismuuttujan Z n jakauma lähestyy standardoitua normaalijakaumaa N(0, 1). TKK (c) Ilkka Mellin (2007) 44

Asymptoottinen normaalisuus Keskeinen raja-arvolause 3/3 Keskeisen raja-arvolauseen mukaan n X nµ i i= 1 lim Pr z =Φ( z) n + σ n jossa Φ on standardoidun normaalijakauman N(0, 1) kertymäfunktio. Merkintä: n i= Xi nµ 1 a N(0,1) σ n TKK (c) Ilkka Mellin (2007) 45

Asymptoottinen normaalisuus Aritmeettisen keskiarvon approksimatiivinen jakauma Keskeisestä raja-arvolauseesta seuraa: Riippumattomien samoin jakautuneiden satunnaismuuttujien X i, i = 1, 2,, n aritmeettinen keskiarvo X n 1 n n i = 1 = X i on suurille (mutta äärellisille) n approksimatiivisesti normaalinen parametrein µ, σ 2 /n. TKK (c) Ilkka Mellin (2007) 46

Asymptoottinen normaalisuus Keskeinen raja-arvolause: Oletuksien merkitys 1/2 On melko yksinkertaista todistaa SU-estimaattorin asymptoottinen normaalisuus, jos otos muodostuu riippumattomista, samaa jakaumaa noudattavista havainnoista. Oletuksista havaintojen riippumattomuudesta ja samasta jakaumasta voidaan tietyin ehdoin luopua; tällä on suuri merkitys aikasarjamallien SU-estimoinnissa. TKK (c) Ilkka Mellin (2007) 47

Asymptoottinen normaalisuus Keskeinen raja-arvolause: Oletuksien merkitys 2/2 Tilastollinen aikasarja-analyysi perustuu siihen, että aikasarja tulkitaan jonkin stokastisen prosessin realisaatioksi. Aikasarjamallien parametrien SU-estimaattoreiden asymptoottinen normaalisuus voidaan todistaa esimerkiksi silloin, kun aikasarjan generoinut prosessi on jotakin seuraavista tyypeistä: ergodinen stationaarinen martingaalidifferenssi TKK (c) Ilkka Mellin (2007) 48

Asymptoottinen normaalisuus Keskeinen raja-arvolause: Kommentteja SU-estimaattorin asymptoottisesta normaalisuudesta seuraa se, että SU-estimaattorin jakaumaa voidaan suurissa otoksissa approksimoida normaalijakaumalla. SU-estimaattorin asymptoottisesta normaalisuudesta seuraa se, että parametrien luottamusvälit ja parametreja koskevat testit voidaan tavallisesti perustaa normaalijakaumaan tai t-jakaumaan. TKK (c) Ilkka Mellin (2007) 49

Suurimman uskottavuuden menetelmä Suurimman uskottavuuden estimointimenetelmä Tarkentuvuus Asymptoottinen normaalisuus >> Suurimman uskottavuuden estimaattorin asymptoottiset ominaisuudet Osamäärätesti Waldin testi Lagrangen kertojatesti Numeerinen optimointi TKK (c) Ilkka Mellin (2007) 50

Suurimman uskottavuuden estimaattorin asymptoottiset ominaisuudet 1. kertaluvun osittaisderivaattojen vektori Olkoon θ = (θ 1,, θ p ) p-vektori. Olkoon θ 1 D =,, = θ1 θp θ p 1. kertaluvun osittaisderivaattaoperaattoreiden, i = 1,2,..., p θ i muodostama vektori. TKK (c) Ilkka Mellin (2007) 51

Suurimman uskottavuuden estimaattorin asymptoottiset ominaisuudet 2. kertaluvun osittaisderivaattojen matriisi Olkoon θ = (θ 1,, θ p ) p-vektori. Olkoon 2 2 2 θ1 θ1 θ p 2 D = DD = 2 2 2 θp θ1 θ p 2. kertaluvun osittaisderivaattaoperaattoreiden θ θ i muodostama matriisi. j, i = 1,2,..., p, j = 1,2,..., p TKK (c) Ilkka Mellin (2007) 52

Suurimman uskottavuuden estimaattorin asymptoottiset ominaisuudet Otos ja sen jakauma 1/2 Olkoot X 1, X 2,, X n satunnaismuuttujia, joiden yhteisjakauman pistetodennäköisyys- tai tiheysfunktio f(x 1, x 2,, x n ; θ) riippuu tuntemattomasta parametrista θ = (θ 1, θ 2,, θ p ) TKK (c) Ilkka Mellin (2007) 53

Suurimman uskottavuuden estimaattorin asymptoottiset ominaisuudet Otos ja sen jakauma 2/2 Oletetaan, että satunnaismuuttujat X 1, X 2,, X n generoivat havaituiksi arvoikseen reaaliluvut x 1, x 2,, x n Satunnaismuuttujat X 1, X 2,, X n muodostavat otoksen, jonka jakauman määrittelee niiden yhteisjakauman pistetodennäköisyys- tai tiheysfunktio f(x 1, x 2,, x n ; θ) TKK (c) Ilkka Mellin (2007) 54

Suurimman uskottavuuden estimaattorin asymptoottiset ominaisuudet Uskottavuusfunktio Olkoon L(θ) = L(θ ; x 1, x 2,, x n ) = f(x 1, x 2,, x n ; θ) otoksen X 1, X 2,, X n uskottavuusfunktio. Olkoon vastaava logaritminen uskottavuusfunktio l(θ) = log L(θ ; x 1, x 2,, x n ) TKK (c) Ilkka Mellin (2007) 55

Suurimman uskottavuuden estimaattorin asymptoottiset ominaisuudet SU-estimointi ja logaritminen uskottavuusfunktio Olkoon θ = (θ 1,, θ p ) parametrien θ 1,, θ p muodostama p-vektori. Uskottavuusfunktiolla L on lokaali maksimi pisteessä ˆθ, jos Dl( θˆ ) = 0 2 D l( θˆ ) > 0 TKK (c) Ilkka Mellin (2007) 56

Suurimman uskottavuuden estimaattorin asymptoottiset ominaisuudet Tehokas pistemäärä ja Fisherin informaatiomatriisi Vektoria Dl( θ) kutsutaan tehokkaaksi pistemääräksi (engl. score). Matriisia 2 I( θ) = E[ D l( θ)] = E[( Dl( θ))( Dl( θ)) ] kutsutaan Fisherin informaatiomatriisiksi. TKK (c) Ilkka Mellin (2007) 57

Suurimman uskottavuuden estimaattorin asymptoottiset ominaisuudet SU-estimaattorin asymptoottinen normaalisuus Olkoon ˆθ parametrin θ = (θ 1,, θ p ) SU-estimaattori. SU-estimaattori ˆθ on hyvin yleisin ehdoin asymptoottisesti normaalinen: θ 1 θ IA n θ jossa 1 IA( θ) = lim I( θ) n + n ˆ 1 a N p, ( ) on Fisherin informaatiomatriisin I(θ) asymptoottinen arvo. TKK (c) Ilkka Mellin (2007) 58

Suurimman uskottavuuden estimaattorin asymptoottiset ominaisuudet SU-estimaattorin asymptoottinen normaalisuus: Seuraukset tilastollisessa päättelyssä 1/3 Oletetaan, että on voitu osoittaa, että parametrin θ = (θ 1,, θ p ) SU-estimaattori ˆθ on tarkasteltavassa tilanteessa asymptoottisesti normaalinen. Tällöin parametreja θ i, i = 1, 2,, p koskevassa tilastollisessa päättelyssä voidaan nojata SU-estimaattorin approksimatiiviseen normaalisuuteen suurissa otoksissa: (i) Parametrien θ i, i = 1, 2,, p luottamusvälien luottamuskertoimet voidaan määrätä normaalijakaumasta. (ii) Parametreja θ i, i = 1, 2,, p koskevissa testeissä testien kriittiset arvot tai p-arvot voidaan määrätä normaalijakaumasta. TKK (c) Ilkka Mellin (2007) 59

Suurimman uskottavuuden estimaattorin asymptoottiset ominaisuudet SU-estimaattorin asymptoottinen normaalisuus: Seuraukset tilastollisessa päättelyssä 2/3 Kommentteja: (i) SU-estimaattorin normaalisuutta koskeva tulos on luonteeltaan asymptoottinen. (ii) Otokset ovat todellisuudessa aina äärellisiä. (iii) SU-estimaattorin normaalisuuteen perustuvat luottamusvälit ja testit eivät ole äärellisissä otoksissa eksakteja, vaan ainoastaan approksimatiivisia. Tästä johtuen luottamuskertoimia ja testien merkitsevyystasoja tai p-arvoja määrättäessä SUpäättelyssä ei tavallisesti käytetä normaalijakaumaa, vaan t-jakaumaa. TKK (c) Ilkka Mellin (2007) 60

Suurimman uskottavuuden estimaattorin asymptoottiset ominaisuudet SU-estimaattorin asymptoottinen normaalisuus: Seuraukset tilastollisessa päättelyssä 3/3 t-jakauman käyttö luottamuskertoimia ja testien merkitsevyystasoja tai p-arvojen määrättäessä johtaa (jonkin verran) konservatiivisempiin luottamusväleihin ja testeihin kuin normaalijakauman käyttö: (i) (ii) t-jakaumaan perustuvat luottamusvälit ovat leveämpiä kuin normaalijakaumaan perustuvat luottamusvälit. t-jakaumaan perustuvissa testeissä testattavan nollahypoteesin hylkääminen ei tapahdu yhtä helposti kuin normaalijakaumaan perustuvissa testeissä. TKK (c) Ilkka Mellin (2007) 61

Suurimman uskottavuuden menetelmä Suurimman uskottavuuden estimointimenetelmä Tarkentuvuus Asymptoottinen normaalisuus Suurimman uskottavuuden estimaattorin asymptoottiset ominaisuudet >> Osamäärätesti Waldin testi Lagrangen kertojatesti Numeerinen optimointi TKK (c) Ilkka Mellin (2007) 62

Osamäärätesti Testiprobleeman tausta Olkoot S = otosavaruus H=yleinen hypoteesi, joka kiinnittää otoksen jakauman H 0 = nollahypoteesi, joka kiinnittää jotkin yleisessä hypoteesissa kiinnitetyn jakauman parametreista TKK (c) Ilkka Mellin (2007) 63

Osamäärätesti Testiprobleema Tilastollisella testillä tarkoitetaan päätössääntöä, jonka mukaan jätämme nollahypoteesin voimaan tai hylkäämme nollahypoteesin. Päätössääntö jakaa otosavaruuden S hyväksymisalueeseen ja hylkäysalueeseen. TKK (c) Ilkka Mellin (2007) 64

Osamäärätesti Testiprobleema ja virheet testauksessa Jos joudutaan hylkäys-eli kriittiselle alueelle silloin, kun nollahypoteesi pätee, tehdään I lajin virheen. Jos joudutaan hyväksymisalueelle silloin, kun nollahypoteesi ei päde, tehdään II lajin virhe. Testin merkitsevyystason valinta tarkoittaa I lajin virheen todennäköisyyden kiinnittämistä etukäteen. Jos merkitsevyystaso on valittu etukäteen, voidaan niiden testien joukosta, joilla on sama I lajin virheen todennäköisyys, yrittää löytää se, joka minimoi II lajin virheen todennäköisyyden. Tällaista testiä sanotaan tasaisesti voimakkaimmaksi. TKK (c) Ilkka Mellin (2007) 65

Osamäärätesti Osamäärätestisuure 1/2 Oletukset: θˆ = parametrin θ SU-estimaattori, joka on määrätty olettaen, että testin yleinen hypoteesi H pätee L( θˆ) = otoksen uskottavuusfunktion arvo pisteessä θˆ θˆ 0 = parametrin θ SU-estimaattori, joka on määrätty oletettaen, että testin nollahypoteesi H 0 pätee L ( θˆ ) = otoksen uskottavuusfunktion arvo pisteessä θˆ 0 0 TKK (c) Ilkka Mellin (2007) 66

Osamäärätesti Osamäärätestisuure 2/2 Tällöin satunnaismuuttuja L( ˆ θ0) λ = L( ˆ θ ) on (uskottavuus-) osamäärätestisuure nollahypoteesille H 0. TKK (c) Ilkka Mellin (2007) 67

Osamäärätesti Osamäärätestisuure: Kommentti Osamäärätestisuuretta muodostettaessa mallin parametrit joudutaan estimoimaan SU-menetelmällä kahdella eri tavalla: (1) Osamäärätestisuureen nimittäjä saadaan etsimällä uskottavuusfunktion maksimi yleisen hypoteesin H pätiessä. Tämä merkitsee vapaan ääriarvotehtävän ratkaisemista. (2) Osamäärätestisuureen osoittaja saadaan etsimällä uskottavuusfunktion maksimi nollahypoteesin H 0 pätiessä. Tämä merkitsee sidotun ääriarvotehtävän ratkaisemista. TKK (c) Ilkka Mellin (2007) 68

Osamäärätesti Osamäärätesti: Eksakti muoto Jos nollahypoteesi H 0 ei päde, osamäärätestisuureella λ on taipumus saada pieniä arvoja. Siksi testin kriittiseksi alueeksi voidaan valita otosavaruuden S alue { x S λ< λ( α) } jossa kriittinen arvo λ(α) valitaan siten, että Pr { x S λ< λ( α) } = α jos nollahypoteesi H 0 pätee. Jos osamäärätestisuureen arvo joutuu kriittiselle alueelle, nollahypoteesi H 0 hylätään. TKK (c) Ilkka Mellin (2007) 69

Osamäärätesti Osamäärätestisuureen asymptoottinen jakauma Osamäärätestin käytössä on usein se ongelma, että osamäärätestisuureen λ jakaumaa ei tunneta. Osamäärätestisuureelle λ pätee kuitenkin tiettyjen ehtojen vallitessa ja nollahypoteesin pätiessä seuraava asymptoottinen jakaumatulos: 2 2logλ = 2( l θˆ) 2( l θˆ 0) a χ ( m) jossa m = nollahypoteesin kiinnittämien parametrien lukumäärä TKK (c) Ilkka Mellin (2007) 70

Osamäärätesti Osamäärätesti: Asymptoottinen muoto Jos nollahypoteesi H 0 ei päde, muunnetulla osamäärätestisuureella 2logλ on taipumus saada suuria arvoja. Siksi testin kriittiseksi alueeksi valitaan otosavaruuden S alue { 2 x S 2log λ > χ } m( α) jossa kriittinen arvo χ 2 m( α) valitaan siten, että { 2 Pr x S 2log λ > χ } m( α) = α jos nollahypoteesi H 0 pätee. Jos muunnetun osamäärätestisuureen arvo joutuu kriittiselle alueelle, nollahypoteesi H 0 hylätään. TKK (c) Ilkka Mellin (2007) 71

Osamäärätesti Lineaarinen malli ja lineaaristen rajoitusten testaus osamäärätestillä: Oletukset Olkoon y = Xβ+ ε yleinen lineaarinen malli, jossa X on ei-satunnainen n (k + 1)-matriisi, n k + 1, r(x) = k +1. Oletetaan, että regressiokertoimille β on asetettu nollahypoteesi H 0 : Rβ = r jossa R on ei-satunnainen m (k + 1)-matriisi, m k +1, r(r) = m. Nollahypoteesin H 0 mukaan regressiokertoimia sitoo m lineaarisia rajoitusta eli side-ehtoa. TKK (c) Ilkka Mellin (2007) 72

Osamäärätesti Lineaarisen mallin estimointi lineaarisin rajoituksin Yleisen lineaarisen mallin y = Xβ+ ε parametrien rajoitettu PNS-estimaattori on br = b+ URS ( r Rb) jossa b= UXy on vektorin β PNS - estimaattori U= ( XX ) 1 S= ( RUR ) 1 TKK (c) Ilkka Mellin (2007) 73

Osamäärätesti Lineaaristen rajoitusten testaus osamäärätestillä 1/4 Määritellään jäännösneliösummat SSE SSE = ( y Xb) ( y Xb) = ( y Xb ) ( y Xb ) R R R Tällöin osamäärätestisuure nollahypoteesille H 0 : Rβ = r on muotoa SSE λ = SSE R n 2 TKK (c) Ilkka Mellin (2007) 74

Osamäärätesti Lineaaristen rajoitusten testaus osamäärätestillä 2/4 Osamäärätestisuureen asymptoottista jakaumaa koskevasta yleisestä tuloksesta seuraa, että nollahypoteesin pätiessä 2 2logλ = nlog( SSER) nlog( SSE) a χ ( m) jossa m = rajoitusten eli side-ehtojen lukumäärä = rivien lukumäärä matriisissa R Suuret muunnetun osamäärätestisuureen 2logλ arvot merkitsevät sitä, että nollahypoteesi on asetettava kyseenalaiseksi. TKK (c) Ilkka Mellin (2007) 75

Osamäärätesti Lineaaristen rajoitusten testaus osamäärätestillä 3/4 Vaikka testisuureen λ jakauma ei ole mitään tunnettua muotoa äärellisellä otoskoolla, muunnettu testisuure n k 1 1 F = 1 2 m n λ n k 1 SSER SSE = m SSE Fmn (, k 1) jos nollahypoteesi H 0 pätee. TKK (c) Ilkka Mellin (2007) 76

Osamäärätesti Lineaaristen rajoitusten testaus osamäärätestillä 4/4 Voidaan osoittaa, että tämä F-testisuure on ekvivalentti yleisen lineaarisen mallin käsittelyn yhteydessä lineaarisille rajoituksille esitetyn testisuureen kanssa (ks. monisteen Tilastolliset menetelmät lukua Erityiskysymyksiä yleisen lineaarisen mallin soveltamisessa): F n k 1 SSER SSE = m SSE ( r Rb) S( r Rb) = 2 ms jossa 2 ( n k 1) s = y Xb y Xb = SSE ( ) ( ) TKK (c) Ilkka Mellin (2007) 77

Osamäärätesti Osamäärätesti, Waldin testi, Lagrangen kertojatesti 1/2 Osamäärätestisuuretta muodostettaessa joudutaan mallin parametrit estimoimaan (ts. uskottavuusfunktio maksimoimaan) sekä yleisen hypoteesin H että nollahypoteesin H 0 pätiessä. Monissa testausasetelmissa toinen näistä ääriarvotehtävistä on vaikea, mutta toinen on helppo. TKK (c) Ilkka Mellin (2007) 78

Osamäärätesti Osamäärätesti, Waldin testi, Lagrangen kertojatesti 2/2 Tämä havainto on johtanut seuraavien (asymptoottisten) testien konstruointiin: (i) Waldin testissä parametrit tarvitsee estimoida olettaen vain, että yleinen hypoteesi H pätee. Ks. kappaletta Waldin testi. (ii) Lagrangen kertojatestissä parametrit tarvitsee estimoida olettaen vain, että (yleisen hypoteesin H lisäksi) nollahypoteesi H 0 pätee. Ks. kappaletta Lagrangen kertojatesti. Osamäärätestin, Waldin testin ja Lagrangen kertojatestin vertailu: ks. kappaleen Lagrangen kertojatesti loppua. TKK (c) Ilkka Mellin (2007) 79

Suurimman uskottavuuden menetelmä Suurimman uskottavuuden estimointimenetelmä Tarkentuvuus Asymptoottinen normaalisuus Suurimman uskottavuuden estimaattorin asymptoottiset ominaisuudet Osamäärätesti >> Waldin testi Lagrangen kertojatesti Numeerinen optimointi TKK (c) Ilkka Mellin (2007) 80

Waldin testi Waldin testisuure lineaarisille rajoituksille Olkoon ˆθ parametrin θ SU-estimaattori yleisen hypoteesin H pätiessä. Olkoon nollahypoteesina H 0 : Rθ = r, R on m p-matriisi, jolle r( R) = m Tällöin satunnaismuuttuja 1 ˆ 1 W = ( Rθ r ) ˆ ˆ RI (θ)r ( Rθ r ) on Waldin testisuure nollahypoteesille H 0. Matriisi I(θ) on Fisherin informaatiomatriisi 2 I( θ) = E D l( θ) TKK (c) Ilkka Mellin (2007) 81

Waldin testi Waldin testi lineaarisille rajoituksille 1/2 Voidaan osoittaa (hyvin yleisten ehtojen pätiessä), että jos nollahypoteesi H 0 pätee, niin W 2 a χ ( m) jossa m = nollahypoteesin kiinnittämien parametrien lukumäärä TKK (c) Ilkka Mellin (2007) 82

Waldin testi Waldin testi lineaarisille rajoituksille 2/2 Jos nollahypoteesi H 0 ei päde, Waldin testisuureella W on taipumus saada suuria arvoja. Testin kriittiseksi alueeksi valitaan otosavaruuden S alue { x SW > W( α) } jossa W ( α) valitaan siten, että Pr { x SW > W( α) } = α jos nollahypoteesi H 0 pätee. Jos Waldin testisuureen arvo joutuu kriittiselle alueelle, nollahypoteesi H 0 hylätään. TKK (c) Ilkka Mellin (2007) 83

Waldin testi Waldin testisuure epälineaarisille rajoituksille 1/2 Olkoon ˆθ parametrin θ SU-estimaattori yleisen hypoteesin H pätiessä. Olkoon nollahypoteesina H 0 : h( θ) = ( h1( θ),, h m ( θ) ) = 0 jossa funktiot h i ovat epälineaarisia reaaliarvoisia funktioita. Määritellään p m-matriisi H = hij = hj ( θ) θ i TKK (c) Ilkka Mellin (2007) 84

Waldin testi Waldin testisuure epälineaarisille rajoituksille 2/2 Tällöin Waldin testisuure nollahypoteesille H 0 on 1 ˆ ˆ 1 W = ( ) ˆ ˆ ˆ h θ HI ( θ) H h( θ) jossa matriisi I on Fisherin informaatiomatriisi 2 I( θ) = E D l( θ) ja h ( ) ˆ θ H = j θ i θ = θ ˆ TKK (c) Ilkka Mellin (2007) 85

Waldin testi Waldin testi epälineaarisille rajoituksille 1/2 Voidaan osoittaa (hyvin yleisten ehtojen pätiessä), että jos nollahypoteesi H 0 pätee, niin W 2 a χ ( m) jossa m = nollahypoteesin kiinnittämien parametrien lukumäärä TKK (c) Ilkka Mellin (2007) 86

Waldin testi Waldin testi epälineaarisille rajoituksille 2/2 Jos nollahypoteesi H 0 ei päde, Waldin testisuureella W on taipumus saada suuria arvoja. Testin kriittiseksi alueeksi valitaan otosavaruuden S alue { x SW > W( α) } jossa W ( α) valitaan siten, että Pr { x SW > W( α) } = α jos nollahypoteesi H 0 pätee. Jos Waldin testisuureen arvo joutuu kriittiselle alueelle, nollahypoteesi H 0 hylätään. TKK (c) Ilkka Mellin (2007) 87

Waldin testi Osamäärätesti, Waldin testi, Lagrangen kertojatesti 1/2 Osamäärätestisuuretta (ks. kappaletta Osamäärätesti) muodostettaessa joudutaan mallin parametrit estimoimaan (ts. uskottavuusfunktio maksimoimaan) sekä yleisen hypoteesin H että nollahypoteesin H 0 pätiessä. Monissa testausasetelmissa toinen näistä ääriarvotehtävistä on vaikea, mutta toinen on helppo. TKK (c) Ilkka Mellin (2007) 88

Waldin testi Osamäärätesti, Waldin testi, Lagrangen kertojatesti 2/2 Tämä havainto on johtanut seuraavien (asymptoottisten) testien konstruointiin: (i) Waldin testissä parametrit tarvitsee estimoida olettaen vain, että yleinen hypoteesi H pätee. (ii) Lagrangen kertojatestissä parametrit tarvitsee estimoida olettaen vain, että (yleisen hypoteesin H lisäksi) nollahypoteesi H 0 pätee. Ks. kappaletta Lagrangen kertojatesti. Osamäärätestin, Waldin testin ja Lagrangen kertojatestin vertailu: ks. kappaleen Lagrangen kertojatesti loppua. TKK (c) Ilkka Mellin (2007) 89

Suurimman uskottavuuden menetelmä Suurimman uskottavuuden estimointimenetelmä Tarkentuvuus Asymptoottinen normaalisuus Suurimman uskottavuuden estimaattorin asymptoottiset ominaisuudet Osamäärätesti Waldin testi >> Lagrangen kertojatesti Numeerinen optimointi TKK (c) Ilkka Mellin (2007) 90

Lagrangen kertojatesti Lagrangen kertojatestisuure Olkoon ˆθ 0 parametrin θ SU-estimaattori nollahypoteesin H 0 pätiessä. Tällöin satunnaismuuttuja ˆ 1 LM = ( 0) ˆ ˆ D θ I ( θ0) D( θ0) on Lagrangen kertojatestisuure nollahypoteesille H 0 Matriisi I(θ) on Fisherin informaatiomatriisi 2 I( θ) = E D l( θ) ja D(θ) on tehokas pistemäärä (engl. score). TKK (c) Ilkka Mellin (2007) 91

Lagrangen kertojatesti Lagrangen kertojatesti 1/2 Voidaan osoittaa (hyvin yleisten ehtojen pätiessä), että jos nollahypoteesi H 0 pätee, niin LM 2 a χ ( m) jossa m = nollahypoteesin kiinnittämien parametrien lukumäärä TKK (c) Ilkka Mellin (2007) 92

Lagrangen kertojatesti Lagrangen kertojatesti 2/2 Jos nollahypoteesi H 0 ei päde Lagrangen kertojatestisuureella LM on taipumus saada suuria arvoja. Testin kriittiseksi alueeksi valitaan otosavaruuden S alue { x S LM > LM ( α) } jossa LM ( α) valitaan siten, että Pr { x S LM > LM ( α) } = α jos nollahypoteesi H 0 pätee. Jos Lagrangen kertojatestisuureen arvo joutuu kriittiselle alueelle, nollahypoteesi H 0 hylätään. TKK (c) Ilkka Mellin (2007) 93

Lagrangen kertojatesti Suurimman uskottavuuden estimointi ja PNS-menetelmä Oletetaan, että logaritminen uskottavuusfunktio on (vakiotekijää vaille) verrannollinen neliösummaan: l 1 n 2 ( θ) ε ( ) 2 i θ 2σ i = 1 Tällöin parametrin θ suurimman uskottavuuden estimaattori voidaan määrätä pienimmän neliösumman menetelmällä. Tämä on tavanomainen tilanne sekä lineaarisia että epälineaarisia regressiomalleja sovellettaessa. TKK (c) Ilkka Mellin (2007) 94

Lagrangen kertojatesti Lagrangen kertojatesti ja PNS-menetelmä 1/2 Oletetaan, että SU-estimaattori voidaan määrätä PNSmenetelmällä. Muodostetaan apuregressio ˆ ε0i = zˆ 0iγ + δi, i = 1,2,, n jossa εi = εi( θ) zi = zi( θ) = Dεi( θ) ˆ ε ˆ ˆ 0i = εi( θ0) zˆ 0i = zi( θ0) ja ˆθ 0 on parametrin θ rajoitettu SU-estimaattori. TKK (c) Ilkka Mellin (2007) 95

Lagrangen kertojatesti Lagrangen kertojatesti ja PNS-menetelmä 2/2 Tällöin Lagrangen kertojatestisuure LM voidaan määrätä apuregression selitysasteen avulla: 2 LM = nr 0 Kuvattu tapa muodostaa LM-testisuure on erityisen kätevä silloin, kun nollahypoteesin mukaiset rajoitukset ovat nollarajoituksia, jotka yksinkertaistavat yleisen hypoteesin kiinnittämää mallia. Useimmat estimoitua regressiomallia koskevat diagnostiset testit voidaan tulkita LM-testeiksi. Tällaisia ovat esimerkiksi tavalliset homoskedastisuus-ja autokorreloimattomuustestit. TKK (c) Ilkka Mellin (2007) 96

Lagrangen kertojatesti Osamäärätesti, Waldin testi, Lagrangen kertojatesti 1/2 Osamäärätestisuuretta (ks. kappaletta Osamäärätesti) muodostettaessa joudutaan mallin parametrit estimoimaan (ts. uskottavuusfunktio maksimoimaan) sekä yleisen hypoteesin H että nollahypoteesin H 0 pätiessä. Monissa testausasetelmissa toinen näistä ääriarvotehtävistä on vaikea, mutta toinen on helppo. TKK (c) Ilkka Mellin (2007) 97

Lagrangen kertojatesti Osamäärätesti, Waldin testi, Lagrangen kertojatesti 2/2 Tämä havainto on johtanut seuraavien (asymptoottisten) testien konstruointiin: (i) Waldin testissä parametrit tarvitsee estimoida olettaen vain, että yleinen hypoteesi H pätee. Ks. kappaletta Waldin testi. (ii) Lagrangen kertojatestissä parametrit tarvitsee estimoida olettaen vain, että (yleisen hypoteesin H lisäksi) nollahypoteesi H 0 pätee. Osamäärätestin, Waldin testin ja Lagrangen kertojatestin vertailu: ks.. TKK (c) Ilkka Mellin (2007) 98

Lagrangen kertojatesti Osamäärätesti, Waldin testi, Lagrangen kertojatesti: Vertailu 1/3 Oletetaan, että sovellamme osamäärätestiä, Waldin testiä ja Lagrangen kertojatestiä samassa testausasetelmassa (saman nollahypoteesin testaamiseen). Olkoon LR = osamäärätestisuure W = Waldin testisuure LM = Lagrangen testisuure TKK (c) Ilkka Mellin (2007) 99

Lagrangen kertojatesti Osamäärätesti, Waldin testi, Lagrangen kertojatesti: Vertailu 2/3 Aina pätee: LR < 1 Jos nollahypoteesi H 0 pätee, 2logLR 2 W a χ ( m) LM jossa m = nollahypoteesin kiinnittämien parametrien lukumäärä TKK (c) Ilkka Mellin (2007) 100

Lagrangen kertojatesti Osamäärätesti, Waldin testi, Lagrangen kertojatesti: Vertailu 3/3 Osamäärätesti, Waldin testi ja Lagrangen kertojatesti johtavat asymptoottisesti (suurissa otoksissa) samaan johtopäätökseen nollahypoteesin hylkäämisestä. Pienissä otoksissa testit saattavat kuitenkin johtaa erilaisiin johtopäätöksiin. Testin valinta tehdään yleensä mukavuuden, kuten laskutyön helppouden, perusteella. Juuri mukavuussyistä monet tilastollisten mallien käytön yhteydessä sovellettavista tavanomaisista diagnostisista testeistä ovat Lagrangen kertojatestejä. TKK (c) Ilkka Mellin (2007) 101

Suurimman uskottavuuden menetelmä Suurimman uskottavuuden estimointimenetelmä Tarkentuvuus Asymptoottinen normaalisuus Suurimman uskottavuuden estimaattorin asymptoottiset ominaisuudet Osamäärätesti Waldin testi Lagrangen kertojatesti >> Numeerinen optimointi TKK (c) Ilkka Mellin (2007) 102

Numeerinen optimointi Funktion minimi Haluamme minimoida kriteerifunktion g(θ) muuttujan (tai parametrin) θ = (θ 1, θ 2,, θ p ) suhteen. Funktio g saavuttaa (tietyin ehdoin) lokaalin minimin pisteessä ˆθ, jos Dg( θˆ ) = 0 2 D g( θˆ ) > 0 jossa Dg( θˆ) = funktion g gradientti pisteessä θˆ ( ˆ) funktion pisteessä 2 D g θ = g Hessen matriisi θ ˆ TKK (c) Ilkka Mellin (2007) 103

Numeerinen optimointi Funktion minimin määrääminen Funktion g minimin määräämiseksi pitää ratkaista normaaliyhtälöt Dg ( θ) = 0 Jos normaaliyhtälöiden ratkaiseminen ei onnistu suljetussa muodossa, on turvauduttava numeerisiin optimointimenetelmiin. Huomautus: Esimerkiksi tavanomaisen lineaarisen mallin PNS-estimoinnin yhteydessä syntyvien normaaliyhtälöiden ratkaisu voidaan esittää suljetussa muodossa, jolloin siis numeeriseen optimointiin ei tarvitse turvautua. TKK (c) Ilkka Mellin (2007) 104

Numeerinen optimointi Funktion minimin määrääminen iteratiivisesti Minimi voidaan löytää iteratiivisesti algoritmilla θ ˆ = θ ˆ +λd 1 ( θ ˆ t+ t t) jossa θˆ t = iteraatioaskeleessa t saatu approksimaatio minimipisteen paikasta λ = askelpituus d( θˆ ˆ t) = suuntavektorin arvo pisteessä θt θˆ t+ 1 = iteraatioaskeleessa t + 1 saatava approksimaatio minimipisteen paikasta Erilaiset valinnat suuntavektoriksi d(θ t ) johtavat erilaisiin minimointialgoritmeihin. TKK (c) Ilkka Mellin (2007) 105

Numeerinen optimointi Askelpituuden määrääminen Optimaalisen askelpituuden λ määräämisessä käytetään tavallisesti erillistä hakumenetelmää. Nämä hakumenetelmät perustuvat usein funktion φ( λ) = g( θt + λd( θt)) minimointiin askelpituuden λ suhteen. TKK (c) Ilkka Mellin (2007) 106

Numeerinen optimointi Jyrkimmän laskun algoritmi Jyrkimmän laskun algoritmi perustuu iteraatioon θ ˆ = θ ˆ λd ˆ t+ 1 t ( θ t) jossa D( θˆ ) = funktion g gradientin arvo pisteessä θˆ t Jyrkimmän laskun algoritmi perustuu siihen, että funktio kasvaa nopeimmin gradientin suuntaan. t TKK (c) Ilkka Mellin (2007) 107

Numeerinen optimointi Newtonin ja Raphsonin algoritmi 1/2 Newtonin ja Raphsonin algoritmi perustuu iteraatioon 2 1 θˆ ˆ ˆ ˆ t+ 1 = θt λ D ( θ ) t D( θt) jossa D( θˆ ˆ t) = funktion g gradientin arvo pisteessä θt 2 D ( θˆ ˆ t ) = funktion g Hessen matriisin arvo pisteessä θ NR-algoritmi konvergoi, jos minimoitava funktio g on konkaavi, minkä takaa se, että matriisi 2 D g ( θ) > 0 kaikille θ. t TKK (c) Ilkka Mellin (2007) 108

Numeerinen optimointi Newtonin ja Raphsonin algoritmi 2/2 NR-algoritmi voidaan muuntaa sellaiseen muotoon, jossa funktion g mahdollisesta lokaalista epäkonkaavisuudesta ei ole haittaa. 2 Tunnetuin tällainen algoritmi (jossa matriisin D ( θˆ t ) diagonaalille lisätään sopiva, iteraatioaskeleesta toiseen vaihteleva vakio) on Marquardtin algoritmi. TKK (c) Ilkka Mellin (2007) 109

Numeerinen optimointi Newtonin ja Raphsonin algoritmi ja SU-estimointi 1/2 Olkoon X 1, X 2,, X n joukko satunnaismuuttujia, joiden tiheysfunktio f(x 1, x 2,, x n ; θ) riippuu parametrista θ. Otoksen X 1, X 2,, X n uskottavuusfunktion L(θ) = f(x 1, x 2,, x n ; θ) maksimi voidaan löytää etsimällä logaritmisen uskottavuusfunktion vastaluvun l( θ) = log L( θ) = g( θ) minimi. TKK (c) Ilkka Mellin (2007) 110

Numeerinen optimointi Newtonin ja Raphsonin algoritmi ja SU-estimointi 2/2 Tällöin Newtonin ja Raphsonin algoritmi saa muodon 2 1 θˆ ˆ ˆ ˆ t+ 1 = θt λ D l( θ ) t Dl( θt) Olkoon θmax = θ Max ( x1, x2,, xn ) uskottavuusfunktion maksimin antava piste. Tällöin parametrin θ suurimman uskottavuuden estimaattori on θ ˆ = θ ( X, X,, X ) Max 1 2 n TKK (c) Ilkka Mellin (2007) 111

Numeerinen optimointi Scoring-algoritmi ja SU-estimointi 1/2 Olkoon θmax = θ Max ( x1, x2,, xn ) uskottavuusfunktion maksimin antava piste. Parametrin θ suurimman uskottavuuden estimaattori on θ ˆ = θ (,,, ) Max X1 X2 Xn Korvataan NR-algoritmissa matriisi D 2 l(θ) informaatiomatriisilla I(θ): 2 I( θ) = E[ D l( θ)] = E[( Dl( θ))( Dl( θ)) ] TKK (c) Ilkka Mellin (2007) 112

Numeerinen optimointi Scoring-algoritmi ja SU-estimointi 2/2 Scoring-algoritmi perustuu iteraatioon 1 θˆ ˆ ˆ ˆ t+ 1 = θt + λ I( θt) Dl( θt) jossa D( θˆ t ) = funktion l gradientin eli tehokkaan pistemäärän (engl. score) arvo pisteessä θˆ I( θˆ ) = informaatiomatriisin arvo pisteessä θˆ t t t TKK (c) Ilkka Mellin (2007) 113

Numeerinen optimointi Gaussin ja Newtonin algoritmi ja SU-estimointi 1/3 Parametrin θ estimaattori halutaan usein määrätä PNSmenetelmällä minimoimalla neliösumma n 2 ( θ) = ( θ) = j ( θ) j= 1 f S ε Tällöin NR-algoritmi voidaan muokata ns. Gaussin ja Newtonin algoritmiksi. TKK (c) Ilkka Mellin (2007) 114

Numeerinen optimointi Gaussin ja Newtonin algoritmi ja SU-estimointi 2/3 Gaussin ja Newtonin algoritmi perustuu iteraatioon 1 n ε ( ˆ ) ( ˆ ) n ( ˆ ) ˆ ˆ j θt ε j θ t ε j θt θ ˆ t+ 1 = θt λ εt( θt) j= 1 θ θ j= 1 θ TKK (c) Ilkka Mellin (2007) 115

Numeerinen optimointi Gaussin ja Newtonin algoritmi ja SU-estimointi 3/3 Merkitsemällä ε ( ˆ j θt) z j = θ ε ( θˆ ) = ε j t j GN-algoritmi saa muodon 1 n n ˆ ˆ θt+ 1 = θt + λ zz j j z jε j j= 1 j= 1 mikä voidaan tulkita sarjaksi peräkkäisiä apuregressioita εt = z tγ + δt, t = 1,2,, n joiden avulla minimipisteen approksimaatiota θˆ t päivitetään. TKK (c) Ilkka Mellin (2007) 116

Numeerinen optimointi Parametrien kovarianssimatriisi 1/2 Newtonin ja Raphsonin algoritmin minimipisteen approksimaation päivityskaavassa käytetään logaritmisen uskottavuusfunktion 2. kertaluvun osittaisderivaattojen matriisia. Scoring-algoritmissa minimipisteen approksimaation päivityskaavassa käytetään informaatiomatriisia ( = 2. kertaluvun osittaisderivaattojen matriisiin odotusarvoa. Gaussin ja Newtonin algoritmissa minimipisteen approksimaation päivityskaavassa käytetään minimoitavan neliösummafunktion 2. kertaluvun osittaisderivaattojen matriisia. TKK (c) Ilkka Mellin (2007) 117

Numeerinen optimointi Parametrien kovarianssimatriisi 2/2 Ko. matriisit tuottavat parametrien kovarianssimatriisin, kun ääriarvo on saavutettu (eli kun konvergenssi on tapahtunut). Siten parametrien varianssit ja kovarianssit saadaan optimointialgoritmin sivutuotteena. Huomautus: Parametrien variansseja tarvitaan, kun parametreille muodostetaan asymptoottisia luottamusvälejä ja testejä. TKK (c) Ilkka Mellin (2007) 118