Ilkka Mellin Aikasarja-analyysi Suurimman uskottavuuden menetelmä
|
|
- Ari-Matti Hämäläinen
- 6 vuotta sitten
- Katselukertoja:
Transkriptio
1 Ilkka Mellin Aikasarja-analyysi Suurimman uskottavuuden menetelmä TKK (c) Ilkka Mellin (2007) 1
2 Suurimman uskottavuuden menetelmä >> Suurimman uskottavuuden estimointimenetelmä Tarkentuvuus Asymptoottinen normaalisuus Suurimman uskottavuuden estimaattorin asymptoottiset ominaisuudet Osamäärätesti Waldin testi Lagrangen kertojatesti Numeerinen optimointi TKK (c) Ilkka Mellin (2007) 2
3 Suurimman uskottavuuden estimointimenetelmä Otos ja sen jakauma 1/3 Olkoot X 1, X 2,, X n satunnaismuuttujia, joiden yhteisjakauman pistetodennäköisyys- tai tiheysfunktio f(x 1, x 2,, x n ; θ) riippuu tuntemattomasta parametrista θ = (θ 1, θ 2,, θ p ) TKK (c) Ilkka Mellin (2007) 3
4 Suurimman uskottavuuden estimointimenetelmä Otos ja sen jakauma 2/3 Oletetaan, että satunnaismuuttujat X 1, X 2,, X n generoivat havaituiksi arvoikseen reaaliluvut x 1, x 2,, x n Kutsumme satunnaismuuttujia X 1, X 2,, X n havainnoiksi ja niiden havaittuja arvoja x 1, x 2,, x n havaintoarvoiksi. Satunnaismuuttujat X 1, X 2,, X n muodostavat otoksen, jonka jakauman määrittelee niiden yhteisjakauman pistetodennäköisyys- tai tiheysfunktio f(x 1, x 2,, x n ; θ) TKK (c) Ilkka Mellin (2007) 4
5 Suurimman uskottavuuden estimointimenetelmä Otos ja sen jakauma 3/3 Havaintoarvot x 1, x 2,, x n ovat kiinteitä eli ei-satunnaisia, mutta ne vaihtelevat otoksesta toiseen satunnaismuuttujien X 1, X 2,, X n yhteisjakauman f määräämin todennäköisyyksin. TKK (c) Ilkka Mellin (2007) 5
6 Suurimman uskottavuuden estimointimenetelmä Uskottavuusfunktio Otoksen X 1, X 2,, X n uskottavuusfunktio on otoksen (eli satunnaismuuttujien X 1, X 2,, X n ) yhteisjakauman pistetodennäköisyys- tai tiheysfunktion f(x 1, x 2,, x n ; θ) arvo pisteessä x 1, x 2,, x n tulkittuna jakauman parametrin θ funktioksi. Merkitään: L(θ)= L(θ ; x 1, x 2,, x n ) = f(x 1, x 2,, x n ; θ) Uskottavuusfunktio sisältää kaiken informaation otoksesta. TKK (c) Ilkka Mellin (2007) 6
7 Suurimman uskottavuuden estimointimenetelmä Suurimman uskottavuuden estimaattori 1/2 Olkoon otoksen X 1, X 2,, X n uskottavuusfunktio L(θ)= L(θ ; x 1, x 2,, x n ) Olkoon t = g(x 1, x 2,, x n ) parametrin θ arvo, joka maksimoi uskottavuusfunktion L(θ). Huomautus: Uskottavuusfunktion L maksimin antava parametrin θ arvo t on havaintoarvojen x 1, x 2,, x n funktio. TKK (c) Ilkka Mellin (2007) 7
8 Suurimman uskottavuuden estimointimenetelmä Suurimman uskottavuuden estimaattori 2/2 Valitaan parametrin θ estimaattoriksi satunnaismuuttuja θ ˆ = T = g( X1, X2,, X n ) Estimaattoria ˆθ kutsutaan parametrin θ suurimman uskottavuuden estimaattoriksi eli SU-estimaattoriksi. Suurimman uskottavuuden estimaattori ˆθ tuottaa parametrille θ arvon, joka maksimoi havaintoarvojen x 1, x 2,, x n uskottavuuden (todennäköisyyden). TKK (c) Ilkka Mellin (2007) 8
9 Suurimman uskottavuuden estimointimenetelmä SU-estimointi Parametrin θ suurimman uskottavuuden estimaattori määrätään maksimoimalla uskottavuusfunktio L(θ) = L(θ ; x 1, x 2,, x n ) parametrin θ suhteen. Kaikissa säännöllisissä tapauksissa maksimi löydetään merkitsemällä uskottavuusfunktion L(θ) derivaatta L (θ) nollaksi ja ratkaisemalla θ saadusta normaaliyhtälöstä L (θ) = 0 TKK (c) Ilkka Mellin (2007) 9
10 Suurimman uskottavuuden estimointimenetelmä Logaritminen uskottavuusfunktio Uskottavuusfunktion maksimin antava parametrin θ arvo löytyy usein ratkaisevasti helpommin maksimoimalla logaritmista uskottavuusfunktio eli uskottavuusfunktion logaritmi l(θ) = log L(θ ; x 1, x 2,, x n ) parametrin θ suhteen. Huomautus: Logaritminen uskottavuusfunktio saavuttaa maksiminsa samassa pisteessä kuin uskottavuusfunktio. TKK (c) Ilkka Mellin (2007) 10
11 Suurimman uskottavuuden estimointimenetelmä Uskottavuusfunktio ja riippumattomat havainnot 1/3 Olkoon X 1, X 2,, X n (yksinkertaisen) satunnaisotos jakaumasta f X (x ; θ), jossa θ on jakauman muodon määräävä tuntematon parametri. Tällöin satunnaismuuttujat X 1, X 2,, X n ovat riippumattomia ja noudattavat samaa jakaumaa f X (x ; θ): X1, X2,, Xn X f ( x; θ), i = 1,2,, n i X TKK (c) Ilkka Mellin (2007) 11
12 Suurimman uskottavuuden estimointimenetelmä Uskottavuusfunktio ja riippumattomat havainnot 2/3 Satunnaismuuttujien X 1, X 2,, X n riippumattomuuden nojalla otoksen uskottavuusfunktio voidaan esittää muodossa L(θ ; x 1, x 2,, x n ) = f(x 1 ; θ)f(x 2 ; θ) f(x n ; θ) jossa f(x i ; θ), i = 1, 2,, n on havaintoarvoon x i liittyvä pistetodennäköisyys- tai tiheysfunktio. TKK (c) Ilkka Mellin (2007) 12
13 Suurimman uskottavuuden estimointimenetelmä Uskottavuusfunktio ja riippumattomat havainnot 3/3 Vastaava logaritminen uskottavuusfunktio voidaan esittää muodossa l( θ) = log L( θ) = log f( x ; θ) f( x ; θ) f( x ; θ) ( ) 1 2 = log f( x ; θ) + log f( x ; θ) + + log f( x ; θ) 1 2 = l( θ; x1) + l( θ; x2) + + l( θ; xn ) jossa l(θ ; x i ) = log L(θ ; x i ), i = 1, 2,, n on havaintoarvoon x i liittyvä logaritminen uskottavuusfunktio. n n TKK (c) Ilkka Mellin (2007) 13
14 Suurimman uskottavuuden estimointimenetelmä SU-estimointi ja riippumattomat havainnot Riippumattomien havaintojen tapauksessa logaritmisen uskottavuusfunktion summaesityksen l( θ) = log L( θ) = log f( x ; θ) + log f( x ; θ) + + log f( x ; θ) 1 2 = l( θ; x1) + l( θ; x2) + + l( θ; xn ) maksimointi on usein ratkaisevasti helpompaa kuin uskottavuusfunktion itsensä maksimointi. Huomautus: Logaritminen uskottavuusfunktio saavuttaa maksiminsa samassa pisteessä kuin uskottavuusfunktio. n TKK (c) Ilkka Mellin (2007) 14
15 Suurimman uskottavuuden estimointimenetelmä SU-estimaattorin ominaisuudet Äärellisellä otoskoolla SU-estimaattori ˆθ ei välttämättä toteuta tavanomaisia hyvälle estimaattorille asetettavia kriteereitä: (i) SU-estimaattori ei välttämättä ole harhaton. (ii) SU-estimaattorin jakaumaa ei välttämättä tunneta. TKK (c) Ilkka Mellin (2007) 15
16 Suurimman uskottavuuden estimointimenetelmä SU-estimaattorin asymptoottiset ominaisuudet SU-estimaattorilla ˆθ on hyvin yleisin ehdoin seuraavat asymptoottiset ominaisuudet: (i) SU-estimaattori on tarkentuva. SU-estimaattorin tarkentuvuus merkitsee sitä, että SU-estimaattori toteuttaa hyvin yleisin ehdoin suurten lukujen lain. (ii) SU-estimaattori on asymptoottisesti normaalinen. SU-estimaattorin asymptoottinen normaalisuus merkitsee sitä, että SU-estimaattori toteuttaa hyvin yleisin ehdoin keskeisen raja-arvolauseen. TKK (c) Ilkka Mellin (2007) 16
17 Suurimman uskottavuuden estimointimenetelmä SU-estimaattorin asymptoottinen normaalisuus: Kommentteja Oletetaan, että SU-estimaattori ˆθ on asymptoottisesti normaalinen. Tällöin: (i) SU-estimaattorin jakaumaa voidaan suurissa otoksissa approksimoida normaalijakaumalla. (ii) Parametrien luottamusvälit ja parametreja koskevat testit voidaan perustaa normaalijakaumaan tai t-jakaumaan. TKK (c) Ilkka Mellin (2007) 17
18 Suurimman uskottavuuden estimointimenetelmä SU-estimaattorin asymptoottiset ominaisuudet: Oletuksien merkitys 1/2 On melko yksinkertaista todistaa SU-estimaattorin tarkentuvuus ja asymptoottinen normaalisuus, jos otos muodostuu riippumattomista, samaa jakaumaa noudattavista havainnoista. Oletuksista havaintojen riippumattomuudesta ja samasta jakaumasta voidaan tietyin ehdoin luopua; tällä on suuri merkitys aikasarjamallien SU-estimoinnissa. TKK (c) Ilkka Mellin (2007) 18
19 Suurimman uskottavuuden estimointimenetelmä SU-estimaattorin asymptoottiset ominaisuudet: Oletuksien merkitys 2/2 Tilastollinen aikasarja-analyysi perustuu siihen, että aikasarja tulkitaan jonkin stokastisen prosessin realisaatioksi. Aikasarjamallien parametrien SU-estimaattoreiden tarkentuvuus ja asymptoottinen normaalisuus voidaan todistaa esimerkiksi silloin, kun aikasarjan generoinut prosessi on jotakin seuraavista tyypeistä: ergodinen stationaarinen martingaalidifferenssi TKK (c) Ilkka Mellin (2007) 19
20 Suurimman uskottavuuden estimointimenetelmä Normaalijakauma ja SU-menetelmä: Normaalijakauma ja sen parametrointi Satunnaismuuttuja X noudattaa normaalijakaumaa N(µ, σ 2 ), jos sen tiheysfunktio on x µ f( x; µσ, ) = exp σ 2π 2 σ Normaalijakauman parametreina ovat jakauman odotusarvo E( X ) = µ ja varianssi Var( X ) 2 = σ TKK (c) Ilkka Mellin (2007) 20
21 Suurimman uskottavuuden estimointimenetelmä Normaalijakauma ja SU-menetelmä: Otos normaalijakaumasta Olkoon X 1, X 2,, X n (yksinkertainen) satunnaisotos normaalijakaumasta N(µ, σ 2 ) Tällöin satunnaismuuttujat X 1, X 2,, X n ovat riippumattomia ja noudattavat samaa normaalijakaumaa N(µ, σ 2 ) TKK (c) Ilkka Mellin (2007) 21
22 Suurimman uskottavuuden estimointimenetelmä Normaalijakauma ja SU-menetelmä: Uskottavuusfunktio Otoksen X 1, X 2,, X n uskottavuusfunktio on 2 L( µσ, ; x, x,, x ) = 1 2 n µ σ 2 µ σ n µ σ f( x ;, ) f( x ;, ) f( x ;, ) 1 n n n = σ (2 π ) exp ( x ) 2 i µ 2σ i= 1 Vastaava logaritminen uskottavuusfunktio on 2 l( µσ, ; x, x,, x ) = 1 2 n 2 log L( µσ, ; x1, x2,, xn ) n n logσ nlog(2 π ) ( x ) 2 i µ 2 2 2σ i = 1 = TKK (c) Ilkka Mellin (2007) 22
23 Suurimman uskottavuuden estimointimenetelmä Normaalijakauma ja SU-menetelmä: Parametrien µ ja σ 2 estimointi Normaalijakauman N(µ, σ 2 ) parametrien µ ja σ 2 SU-estimaattorit ovat havaintojen X 1, X 2,, X n aritmeettinen keskiarvo n 1 ˆ µ = Xi = X n i= 1 ja otosvarianssi n 1 ˆ σ = ( Xi X) n 2 2 i= 1 TKK (c) Ilkka Mellin (2007) 23
24 Suurimman uskottavuuden estimointimenetelmä Normaalijakauma ja SU-menetelmä: Estimaattoreiden ominaisuudet 1/3 Normaalijakauman N(µ, σ 2 ) odotusarvon µ SU-estimaattorilla ˆµ on seuraavat ominaisuudet: (i) ˆµ on harhaton. (ii) 2 ˆµ ja σˆ ovat yhdessä tyhjentäviä parametreille µ, σ 2. (iii) ˆµ on tehokas eli minimivarianssinen estimaattori. (iv) ˆµ on tarkentuva. (v) ˆµ noudattaa normaalijakaumaa: 2 σ ˆ~N µ µ, n TKK (c) Ilkka Mellin (2007) 24
25 Suurimman uskottavuuden estimointimenetelmä Normaalijakauma ja SU-menetelmä: Estimaattoreiden ominaisuudet 2/3 Normaalijakauman N(µ, σ 2 ) varianssin σ 2 2 SU-estimaattorilla σˆ on seuraavat ominaisuudet: 2 (i) σˆ on harhainen. 2 (ii) ˆµ ja σˆ ovat yhdessä tyhjentäviä parametreille µ, σ 2. 2 (iii) σˆ ei ole tehokas eli minimivarianssinen estimaattori. 2 (iv) σˆ on tarkentuva. (v) (n 1) s 2 /σ 2 noudattaa χ 2 -jakaumaa: 2 ( n 1) s 2 χ ( n 1) 2 σ TKK (c) Ilkka Mellin (2007) 25
26 Suurimman uskottavuuden estimointimenetelmä Normaalijakauma ja SU-menetelmä: Estimaattoreiden ominaisuudet 3/3 Normaalijakauman N(µ, σ 2 ) varianssin σ 2 2 SU-estimaattori σˆ on harhainen, mutta estimaattori n 2 n s = ˆ σ = ( Xi X) n 1 n 1 on harhaton. i= 1 TKK (c) Ilkka Mellin (2007) 26
27 Suurimman uskottavuuden estimointimenetelmä Yleinen lineaarinen malli ja SU-menetelmä: Malli ja sen parametrit Olkoon y = Xβ + ε yleinen lineaarinen malli, jossa on seuraavat osat: y = selitettävän muuttujan y havaittujen arvojen muodostama satunnainen n-vektori X = selittäjien x 1, x 2,, x k havaittujen arvojen ja ykkösten muodostama n (k + 1)-matriisi β = regressiokertoimien muodostama tuntematon ja kiinteä eli ei-satunnainen (k + 1)-vektori ε = jäännöstermien muodostama ei-havaittu ja satunnainen n-vektori TKK (c) Ilkka Mellin (2007) 27
28 Suurimman uskottavuuden estimointimenetelmä Yleinen lineaarinen malli ja SU-menetelmä: Standardioletukset Oletetaan, että yleistä lineaarista mallia y = Xβ + ε koskevat standardioletukset pätevät: (i) Matriisin X alkiot ovat ei-satunnaisia vakioita. (ii) Matriisi X on täysiasteinen: r(x) = k + 1 (iii) E(ε) = 0 (iv)&(v) Homoskedastisuus- ja korreloimattomuusoletus: Cov(ε) = σ 2 I (vi) Normaalisuusoletus: ε N n (0, σ 2 I) TKK (c) Ilkka Mellin (2007) 28
29 Suurimman uskottavuuden estimointimenetelmä Yleinen lineaarinen malli ja SU-menetelmä: Uskottavuusfunktio Standardioletusten pätiessä havaintojen y 1, y 2,, y n uskottavuusfunktio on 2 L( β, σ ; y, y,, y ) 1 2 n { } 1 n 2 n 1 = (2 π) σ exp ( y Xβ)( y Xβ) 2 2σ Vastaava logaritminen uskottavuusfunktio on 2 l( β, σ ; y1, y2,, y n ) 1 1 = nlog(2 π) nlog σ ( y Xβ) ( y Xβ) 2 2 2σ TKK (c) Ilkka Mellin (2007) 29
30 Suurimman uskottavuuden estimointimenetelmä Yleinen lineaarinen malli ja SU-menetelmä: Parametrien estimointi Lineaarisen mallin y = Xβ + ε regressiokertoimien vektorin β SU-estimaattori yhtyy standardioletusten pätiessä vektorin β PNS-estimaattoriin: βˆ = b= ( XX ) 1 Xy Jäännösvarianssin σ 2 SU-estimaattori on ˆ σ = SSE n SSE = ( y Xb) ( y Xb) 2 1 TKK (c) Ilkka Mellin (2007) 30
31 Suurimman uskottavuuden estimointimenetelmä Yleinen lineaarinen malli ja SU-menetelmä: Estimaattoreiden ominaisuudet 1/3 Lineaarisen mallin y = Xβ + ε regressiokertoimien vektorin β SU-estimaattorilla b on seuraavat ominaisuudet: (i) b on harhaton. 2 (ii) b ja σˆ ovat yhdessä tyhjentäviä parametreille β, σ 2. (iii) b on tehokas eli minimivarianssinen estimaattori. (iv) b on tarkentuva. (v) b noudattaa normaalijakaumaa: 2 1 b ~N( β, σ ( XX ) ) TKK (c) Ilkka Mellin (2007) 31
32 Suurimman uskottavuuden estimointimenetelmä Yleinen lineaarinen malli ja SU-menetelmä: Estimaattoreiden ominaisuudet 2/3 Lineaarisen mallin y = Xβ + ε jäännösvarianssin σ 2 SUestimaattorilla σˆ on seuraavat ominaisuudet: 2 2 (i) σˆ on harhainen. 2 (ii) b ja σˆ ovat yhdessä tyhjentäviä parametreille β, σ 2. 2 (iii) σˆ ei ole tehokas eli minimivarianssinen estimaattori. 2 (iv) σˆ on tarkentuva. (v) (n k 1) s 2 /σ 2 noudattaa χ 2 -jakaumaa: 2 ( n k 1) s 2 χ ( n k 1) 2 σ TKK (c) Ilkka Mellin (2007) 32
33 Suurimman uskottavuuden estimointimenetelmä Yleinen lineaarinen malli ja SU-menetelmä: Estimaattoreiden ominaisuudet 3/3 Lineaarisen mallin y = Xβ + ε jäännösvarianssin σ 2 SUestimaattori σˆ on harhainen, mutta 2 estimaattori 2 n 2 1 s = ˆ ( )( ) n k 1 σ = y Xβ n k 1 y Xβ on harhaton. TKK (c) Ilkka Mellin (2007) 33
34 Suurimman uskottavuuden menetelmä Suurimman uskottavuuden estimointimenetelmä >> Tarkentuvuus Asymptoottinen normaalisuus Suurimman uskottavuuden estimaattorin asymptoottiset ominaisuudet Osamäärätesti Waldin testi Lagrangen kertojatesti Numeerinen optimointi TKK (c) Ilkka Mellin (2007) 34
35 Tarkentuvuus Suurten lukujen lait 1/2 Olkoon X i, i = 1, 2, jono riippumattomia, samoin jakautuneita satunnaismuuttujia. Tällöin satunnaismuuttujilla X i on sama odotusarvo ja varianssi: E(X i ) = µ, i = 1, 2,, n D 2 (X i ) = σ 2, i = 1, 2,, n Olkoon X n 1 n n i = 1 = X i satunnaismuuttujien X i, i = 1, 2,, n aritmeettinen keskiarvo. TKK (c) Ilkka Mellin (2007) 35
36 Tarkentuvuus Suurten lukujen lait 2/2 Heikko suurten lukujen laki: lim Pr( X µ > ε) = 0 kaikille ε > 0 n + Vahva suurten lukujen laki: Pr( lim X = µ ) = 1 n + n n Vahva suurten lukujen laki implikoi heikon suurten lukujen lain, mutta ei kääntäen. TKK (c) Ilkka Mellin (2007) 36
37 Tarkentuvuus Suurten lukujen lait: Kommentteja Heikko suurten lukujen laki sanoin: Samoin jakautuneiden satunnaismuuttujien aritmeettinen keskiarvo lähestyy muuttujien lukumäärän kasvaessa muuttujien yhteistä odotusarvoa sellaisella tavalla, että suuret poikkeamat yhteisestä odotusarvosta tulevat yhä epätodennäköisemmiksi eli harvinaisemmiksi. Vahva suurten lukujen laki sanoin: Samoin jakautuneiden satunnaismuuttujien aritmeettinen keskiarvo lähestyy muuttujien lukumäärän kasvaessa muuttujien yhteistä odotusarvoa todennäköisyydellä 1. TKK (c) Ilkka Mellin (2007) 37
38 Tarkentuvuus Tarkentuvuuden määritelmä ˆ n Olkoon θ parametrin θ estimaattori, joka perustuu n:ään havaintoon. Jos estimaattori θ toteuttaa suurten lukujen lain, sanomme, että θˆ n on tarkentuva parametrille θ. Heikko tarkentuvuus: lim Pr( θˆ θ > ε) = 0 kaikille ε > 0 n + Vahva tarkentuvuus: Pr( lim θˆ = θ) = 1 n + n n ˆ n TKK (c) Ilkka Mellin (2007) 38
39 Tarkentuvuus Tarkentuvuus: Kommentteja Vahvasta tarkentuvuudesta seuraa heikko tarkentuvuus, mutta ei kääntäen. Tarkentuvuus on keskeinen vaatimus estimaattorille sellaisissa tilanteissa, joissa parametrille johdettu osoittautuu harhaiseksi. Tällöin tilanteen pelastaa ts. johdettu estimaattori on käyttökelpoinen, jos se on tarkentuva. TKK (c) Ilkka Mellin (2007) 39
40 Tarkentuvuus Suurten lukujen lait: Oletuksien merkitys 1/2 On melko yksinkertaista todistaa SU-estimaattorin tarkentuvuus, jos otos muodostuu riippumattomista, samaa jakaumaa noudattavista havainnoista. Oletuksista havaintojen riippumattomuudesta ja samasta jakaumasta voidaan tietyin ehdoin luopua; tällä on suuri merkitys aikasarjamallien SU-estimoinnissa. TKK (c) Ilkka Mellin (2007) 40
41 Tarkentuvuus Suurten lukujen lait: Oletuksien merkitys 2/2 Tilastollinen aikasarja-analyysi perustuu siihen, että aikasarja tulkitaan jonkin stokastisen prosessin realisaatioksi. Aikasarjamallien parametrien SU-estimaattoreiden tarkentuvuus voidaan todistaa esimerkiksi silloin, kun aikasarjan generoinut prosessi on jotakin seuraavista tyypeistä: ergodinen stationaarinen martingaalidifferenssi TKK (c) Ilkka Mellin (2007) 41
42 Suurimman uskottavuuden menetelmä Suurimman uskottavuuden estimointimenetelmä Tarkentuvuus >> Asymptoottinen normaalisuus Suurimman uskottavuuden estimaattorin asymptoottiset ominaisuudet Osamäärätesti Waldin testi Lagrangen kertojatesti Numeerinen optimointi TKK (c) Ilkka Mellin (2007) 42
43 Asymptoottinen normaalisuus Keskeinen raja-arvolause 1/3 Olkoon X i, i = 1, 2, jono riippumattomia, samoin jakautuneita satunnaismuuttujia. Tällöin satunnaismuuttujilla X i on sama odotusarvo ja varianssi: E(X i ) = µ, i = 1, 2,, n D 2 (X i ) = σ 2, i = 1, 2,, n Olkoon Y n n = X i= 1 i satunnaismuuttujien X i, i = 1, 2,, n summa. TKK (c) Ilkka Mellin (2007) 43
44 Asymptoottinen normaalisuus Keskeinen raja-arvolause 2/3 Summan Y n odotusarvo ja varianssi ovat E(Y n ) = nµ D 2 (Y n ) = nσ 2 Standardoidaan summa Y n : Yn nµ Zn = σ n Annetaan n + Tällöin satunnaismuuttujan Z n jakauma lähestyy standardoitua normaalijakaumaa N(0, 1). TKK (c) Ilkka Mellin (2007) 44
45 Asymptoottinen normaalisuus Keskeinen raja-arvolause 3/3 Keskeisen raja-arvolauseen mukaan n X nµ i i= 1 lim Pr z =Φ( z) n + σ n jossa Φ on standardoidun normaalijakauman N(0, 1) kertymäfunktio. Merkintä: n i= Xi nµ 1 a N(0,1) σ n TKK (c) Ilkka Mellin (2007) 45
46 Asymptoottinen normaalisuus Aritmeettisen keskiarvon approksimatiivinen jakauma Keskeisestä raja-arvolauseesta seuraa: Riippumattomien samoin jakautuneiden satunnaismuuttujien X i, i = 1, 2,, n aritmeettinen keskiarvo X n 1 n n i = 1 = X i on suurille (mutta äärellisille) n approksimatiivisesti normaalinen parametrein µ, σ 2 /n. TKK (c) Ilkka Mellin (2007) 46
47 Asymptoottinen normaalisuus Keskeinen raja-arvolause: Oletuksien merkitys 1/2 On melko yksinkertaista todistaa SU-estimaattorin asymptoottinen normaalisuus, jos otos muodostuu riippumattomista, samaa jakaumaa noudattavista havainnoista. Oletuksista havaintojen riippumattomuudesta ja samasta jakaumasta voidaan tietyin ehdoin luopua; tällä on suuri merkitys aikasarjamallien SU-estimoinnissa. TKK (c) Ilkka Mellin (2007) 47
48 Asymptoottinen normaalisuus Keskeinen raja-arvolause: Oletuksien merkitys 2/2 Tilastollinen aikasarja-analyysi perustuu siihen, että aikasarja tulkitaan jonkin stokastisen prosessin realisaatioksi. Aikasarjamallien parametrien SU-estimaattoreiden asymptoottinen normaalisuus voidaan todistaa esimerkiksi silloin, kun aikasarjan generoinut prosessi on jotakin seuraavista tyypeistä: ergodinen stationaarinen martingaalidifferenssi TKK (c) Ilkka Mellin (2007) 48
49 Asymptoottinen normaalisuus Keskeinen raja-arvolause: Kommentteja SU-estimaattorin asymptoottisesta normaalisuudesta seuraa se, että SU-estimaattorin jakaumaa voidaan suurissa otoksissa approksimoida normaalijakaumalla. SU-estimaattorin asymptoottisesta normaalisuudesta seuraa se, että parametrien luottamusvälit ja parametreja koskevat testit voidaan tavallisesti perustaa normaalijakaumaan tai t-jakaumaan. TKK (c) Ilkka Mellin (2007) 49
50 Suurimman uskottavuuden menetelmä Suurimman uskottavuuden estimointimenetelmä Tarkentuvuus Asymptoottinen normaalisuus >> Suurimman uskottavuuden estimaattorin asymptoottiset ominaisuudet Osamäärätesti Waldin testi Lagrangen kertojatesti Numeerinen optimointi TKK (c) Ilkka Mellin (2007) 50
51 Suurimman uskottavuuden estimaattorin asymptoottiset ominaisuudet 1. kertaluvun osittaisderivaattojen vektori Olkoon θ = (θ 1,, θ p ) p-vektori. Olkoon θ 1 D =,, = θ1 θp θ p 1. kertaluvun osittaisderivaattaoperaattoreiden, i = 1,2,..., p θ i muodostama vektori. TKK (c) Ilkka Mellin (2007) 51
52 Suurimman uskottavuuden estimaattorin asymptoottiset ominaisuudet 2. kertaluvun osittaisderivaattojen matriisi Olkoon θ = (θ 1,, θ p ) p-vektori. Olkoon θ1 θ1 θ p 2 D = DD = θp θ1 θ p 2. kertaluvun osittaisderivaattaoperaattoreiden θ θ i muodostama matriisi. j, i = 1,2,..., p, j = 1,2,..., p TKK (c) Ilkka Mellin (2007) 52
53 Suurimman uskottavuuden estimaattorin asymptoottiset ominaisuudet Otos ja sen jakauma 1/2 Olkoot X 1, X 2,, X n satunnaismuuttujia, joiden yhteisjakauman pistetodennäköisyys- tai tiheysfunktio f(x 1, x 2,, x n ; θ) riippuu tuntemattomasta parametrista θ = (θ 1, θ 2,, θ p ) TKK (c) Ilkka Mellin (2007) 53
54 Suurimman uskottavuuden estimaattorin asymptoottiset ominaisuudet Otos ja sen jakauma 2/2 Oletetaan, että satunnaismuuttujat X 1, X 2,, X n generoivat havaituiksi arvoikseen reaaliluvut x 1, x 2,, x n Satunnaismuuttujat X 1, X 2,, X n muodostavat otoksen, jonka jakauman määrittelee niiden yhteisjakauman pistetodennäköisyys- tai tiheysfunktio f(x 1, x 2,, x n ; θ) TKK (c) Ilkka Mellin (2007) 54
55 Suurimman uskottavuuden estimaattorin asymptoottiset ominaisuudet Uskottavuusfunktio Olkoon L(θ) = L(θ ; x 1, x 2,, x n ) = f(x 1, x 2,, x n ; θ) otoksen X 1, X 2,, X n uskottavuusfunktio. Olkoon vastaava logaritminen uskottavuusfunktio l(θ) = log L(θ ; x 1, x 2,, x n ) TKK (c) Ilkka Mellin (2007) 55
56 Suurimman uskottavuuden estimaattorin asymptoottiset ominaisuudet SU-estimointi ja logaritminen uskottavuusfunktio Olkoon θ = (θ 1,, θ p ) parametrien θ 1,, θ p muodostama p-vektori. Uskottavuusfunktiolla L on lokaali maksimi pisteessä ˆθ, jos Dl( θˆ ) = 0 2 D l( θˆ ) > 0 TKK (c) Ilkka Mellin (2007) 56
57 Suurimman uskottavuuden estimaattorin asymptoottiset ominaisuudet Tehokas pistemäärä ja Fisherin informaatiomatriisi Vektoria Dl( θ) kutsutaan tehokkaaksi pistemääräksi (engl. score). Matriisia 2 I( θ) = E[ D l( θ)] = E[( Dl( θ))( Dl( θ)) ] kutsutaan Fisherin informaatiomatriisiksi. TKK (c) Ilkka Mellin (2007) 57
58 Suurimman uskottavuuden estimaattorin asymptoottiset ominaisuudet SU-estimaattorin asymptoottinen normaalisuus Olkoon ˆθ parametrin θ = (θ 1,, θ p ) SU-estimaattori. SU-estimaattori ˆθ on hyvin yleisin ehdoin asymptoottisesti normaalinen: θ 1 θ IA n θ jossa 1 IA( θ) = lim I( θ) n + n ˆ 1 a N p, ( ) on Fisherin informaatiomatriisin I(θ) asymptoottinen arvo. TKK (c) Ilkka Mellin (2007) 58
59 Suurimman uskottavuuden estimaattorin asymptoottiset ominaisuudet SU-estimaattorin asymptoottinen normaalisuus: Seuraukset tilastollisessa päättelyssä 1/3 Oletetaan, että on voitu osoittaa, että parametrin θ = (θ 1,, θ p ) SU-estimaattori ˆθ on tarkasteltavassa tilanteessa asymptoottisesti normaalinen. Tällöin parametreja θ i, i = 1, 2,, p koskevassa tilastollisessa päättelyssä voidaan nojata SU-estimaattorin approksimatiiviseen normaalisuuteen suurissa otoksissa: (i) Parametrien θ i, i = 1, 2,, p luottamusvälien luottamuskertoimet voidaan määrätä normaalijakaumasta. (ii) Parametreja θ i, i = 1, 2,, p koskevissa testeissä testien kriittiset arvot tai p-arvot voidaan määrätä normaalijakaumasta. TKK (c) Ilkka Mellin (2007) 59
60 Suurimman uskottavuuden estimaattorin asymptoottiset ominaisuudet SU-estimaattorin asymptoottinen normaalisuus: Seuraukset tilastollisessa päättelyssä 2/3 Kommentteja: (i) SU-estimaattorin normaalisuutta koskeva tulos on luonteeltaan asymptoottinen. (ii) Otokset ovat todellisuudessa aina äärellisiä. (iii) SU-estimaattorin normaalisuuteen perustuvat luottamusvälit ja testit eivät ole äärellisissä otoksissa eksakteja, vaan ainoastaan approksimatiivisia. Tästä johtuen luottamuskertoimia ja testien merkitsevyystasoja tai p-arvoja määrättäessä SUpäättelyssä ei tavallisesti käytetä normaalijakaumaa, vaan t-jakaumaa. TKK (c) Ilkka Mellin (2007) 60
61 Suurimman uskottavuuden estimaattorin asymptoottiset ominaisuudet SU-estimaattorin asymptoottinen normaalisuus: Seuraukset tilastollisessa päättelyssä 3/3 t-jakauman käyttö luottamuskertoimia ja testien merkitsevyystasoja tai p-arvojen määrättäessä johtaa (jonkin verran) konservatiivisempiin luottamusväleihin ja testeihin kuin normaalijakauman käyttö: (i) (ii) t-jakaumaan perustuvat luottamusvälit ovat leveämpiä kuin normaalijakaumaan perustuvat luottamusvälit. t-jakaumaan perustuvissa testeissä testattavan nollahypoteesin hylkääminen ei tapahdu yhtä helposti kuin normaalijakaumaan perustuvissa testeissä. TKK (c) Ilkka Mellin (2007) 61
62 Suurimman uskottavuuden menetelmä Suurimman uskottavuuden estimointimenetelmä Tarkentuvuus Asymptoottinen normaalisuus Suurimman uskottavuuden estimaattorin asymptoottiset ominaisuudet >> Osamäärätesti Waldin testi Lagrangen kertojatesti Numeerinen optimointi TKK (c) Ilkka Mellin (2007) 62
63 Osamäärätesti Testiprobleeman tausta Olkoot S = otosavaruus H=yleinen hypoteesi, joka kiinnittää otoksen jakauman H 0 = nollahypoteesi, joka kiinnittää jotkin yleisessä hypoteesissa kiinnitetyn jakauman parametreista TKK (c) Ilkka Mellin (2007) 63
64 Osamäärätesti Testiprobleema Tilastollisella testillä tarkoitetaan päätössääntöä, jonka mukaan jätämme nollahypoteesin voimaan tai hylkäämme nollahypoteesin. Päätössääntö jakaa otosavaruuden S hyväksymisalueeseen ja hylkäysalueeseen. TKK (c) Ilkka Mellin (2007) 64
65 Osamäärätesti Testiprobleema ja virheet testauksessa Jos joudutaan hylkäys-eli kriittiselle alueelle silloin, kun nollahypoteesi pätee, tehdään I lajin virheen. Jos joudutaan hyväksymisalueelle silloin, kun nollahypoteesi ei päde, tehdään II lajin virhe. Testin merkitsevyystason valinta tarkoittaa I lajin virheen todennäköisyyden kiinnittämistä etukäteen. Jos merkitsevyystaso on valittu etukäteen, voidaan niiden testien joukosta, joilla on sama I lajin virheen todennäköisyys, yrittää löytää se, joka minimoi II lajin virheen todennäköisyyden. Tällaista testiä sanotaan tasaisesti voimakkaimmaksi. TKK (c) Ilkka Mellin (2007) 65
66 Osamäärätesti Osamäärätestisuure 1/2 Oletukset: θˆ = parametrin θ SU-estimaattori, joka on määrätty olettaen, että testin yleinen hypoteesi H pätee L( θˆ) = otoksen uskottavuusfunktion arvo pisteessä θˆ θˆ 0 = parametrin θ SU-estimaattori, joka on määrätty oletettaen, että testin nollahypoteesi H 0 pätee L ( θˆ ) = otoksen uskottavuusfunktion arvo pisteessä θˆ 0 0 TKK (c) Ilkka Mellin (2007) 66
67 Osamäärätesti Osamäärätestisuure 2/2 Tällöin satunnaismuuttuja L( ˆ θ0) λ = L( ˆ θ ) on (uskottavuus-) osamäärätestisuure nollahypoteesille H 0. TKK (c) Ilkka Mellin (2007) 67
68 Osamäärätesti Osamäärätestisuure: Kommentti Osamäärätestisuuretta muodostettaessa mallin parametrit joudutaan estimoimaan SU-menetelmällä kahdella eri tavalla: (1) Osamäärätestisuureen nimittäjä saadaan etsimällä uskottavuusfunktion maksimi yleisen hypoteesin H pätiessä. Tämä merkitsee vapaan ääriarvotehtävän ratkaisemista. (2) Osamäärätestisuureen osoittaja saadaan etsimällä uskottavuusfunktion maksimi nollahypoteesin H 0 pätiessä. Tämä merkitsee sidotun ääriarvotehtävän ratkaisemista. TKK (c) Ilkka Mellin (2007) 68
69 Osamäärätesti Osamäärätesti: Eksakti muoto Jos nollahypoteesi H 0 ei päde, osamäärätestisuureella λ on taipumus saada pieniä arvoja. Siksi testin kriittiseksi alueeksi voidaan valita otosavaruuden S alue { x S λ< λ( α) } jossa kriittinen arvo λ(α) valitaan siten, että Pr { x S λ< λ( α) } = α jos nollahypoteesi H 0 pätee. Jos osamäärätestisuureen arvo joutuu kriittiselle alueelle, nollahypoteesi H 0 hylätään. TKK (c) Ilkka Mellin (2007) 69
70 Osamäärätesti Osamäärätestisuureen asymptoottinen jakauma Osamäärätestin käytössä on usein se ongelma, että osamäärätestisuureen λ jakaumaa ei tunneta. Osamäärätestisuureelle λ pätee kuitenkin tiettyjen ehtojen vallitessa ja nollahypoteesin pätiessä seuraava asymptoottinen jakaumatulos: 2 2logλ = 2( l θˆ) 2( l θˆ 0) a χ ( m) jossa m = nollahypoteesin kiinnittämien parametrien lukumäärä TKK (c) Ilkka Mellin (2007) 70
71 Osamäärätesti Osamäärätesti: Asymptoottinen muoto Jos nollahypoteesi H 0 ei päde, muunnetulla osamäärätestisuureella 2logλ on taipumus saada suuria arvoja. Siksi testin kriittiseksi alueeksi valitaan otosavaruuden S alue { 2 x S 2log λ > χ } m( α) jossa kriittinen arvo χ 2 m( α) valitaan siten, että { 2 Pr x S 2log λ > χ } m( α) = α jos nollahypoteesi H 0 pätee. Jos muunnetun osamäärätestisuureen arvo joutuu kriittiselle alueelle, nollahypoteesi H 0 hylätään. TKK (c) Ilkka Mellin (2007) 71
72 Osamäärätesti Lineaarinen malli ja lineaaristen rajoitusten testaus osamäärätestillä: Oletukset Olkoon y = Xβ+ ε yleinen lineaarinen malli, jossa X on ei-satunnainen n (k + 1)-matriisi, n k + 1, r(x) = k +1. Oletetaan, että regressiokertoimille β on asetettu nollahypoteesi H 0 : Rβ = r jossa R on ei-satunnainen m (k + 1)-matriisi, m k +1, r(r) = m. Nollahypoteesin H 0 mukaan regressiokertoimia sitoo m lineaarisia rajoitusta eli side-ehtoa. TKK (c) Ilkka Mellin (2007) 72
73 Osamäärätesti Lineaarisen mallin estimointi lineaarisin rajoituksin Yleisen lineaarisen mallin y = Xβ+ ε parametrien rajoitettu PNS-estimaattori on br = b+ URS ( r Rb) jossa b= UXy on vektorin β PNS - estimaattori U= ( XX ) 1 S= ( RUR ) 1 TKK (c) Ilkka Mellin (2007) 73
74 Osamäärätesti Lineaaristen rajoitusten testaus osamäärätestillä 1/4 Määritellään jäännösneliösummat SSE SSE = ( y Xb) ( y Xb) = ( y Xb ) ( y Xb ) R R R Tällöin osamäärätestisuure nollahypoteesille H 0 : Rβ = r on muotoa SSE λ = SSE R n 2 TKK (c) Ilkka Mellin (2007) 74
75 Osamäärätesti Lineaaristen rajoitusten testaus osamäärätestillä 2/4 Osamäärätestisuureen asymptoottista jakaumaa koskevasta yleisestä tuloksesta seuraa, että nollahypoteesin pätiessä 2 2logλ = nlog( SSER) nlog( SSE) a χ ( m) jossa m = rajoitusten eli side-ehtojen lukumäärä = rivien lukumäärä matriisissa R Suuret muunnetun osamäärätestisuureen 2logλ arvot merkitsevät sitä, että nollahypoteesi on asetettava kyseenalaiseksi. TKK (c) Ilkka Mellin (2007) 75
76 Osamäärätesti Lineaaristen rajoitusten testaus osamäärätestillä 3/4 Vaikka testisuureen λ jakauma ei ole mitään tunnettua muotoa äärellisellä otoskoolla, muunnettu testisuure n k 1 1 F = 1 2 m n λ n k 1 SSER SSE = m SSE Fmn (, k 1) jos nollahypoteesi H 0 pätee. TKK (c) Ilkka Mellin (2007) 76
77 Osamäärätesti Lineaaristen rajoitusten testaus osamäärätestillä 4/4 Voidaan osoittaa, että tämä F-testisuure on ekvivalentti yleisen lineaarisen mallin käsittelyn yhteydessä lineaarisille rajoituksille esitetyn testisuureen kanssa (ks. monisteen Tilastolliset menetelmät lukua Erityiskysymyksiä yleisen lineaarisen mallin soveltamisessa): F n k 1 SSER SSE = m SSE ( r Rb) S( r Rb) = 2 ms jossa 2 ( n k 1) s = y Xb y Xb = SSE ( ) ( ) TKK (c) Ilkka Mellin (2007) 77
78 Osamäärätesti Osamäärätesti, Waldin testi, Lagrangen kertojatesti 1/2 Osamäärätestisuuretta muodostettaessa joudutaan mallin parametrit estimoimaan (ts. uskottavuusfunktio maksimoimaan) sekä yleisen hypoteesin H että nollahypoteesin H 0 pätiessä. Monissa testausasetelmissa toinen näistä ääriarvotehtävistä on vaikea, mutta toinen on helppo. TKK (c) Ilkka Mellin (2007) 78
79 Osamäärätesti Osamäärätesti, Waldin testi, Lagrangen kertojatesti 2/2 Tämä havainto on johtanut seuraavien (asymptoottisten) testien konstruointiin: (i) Waldin testissä parametrit tarvitsee estimoida olettaen vain, että yleinen hypoteesi H pätee. Ks. kappaletta Waldin testi. (ii) Lagrangen kertojatestissä parametrit tarvitsee estimoida olettaen vain, että (yleisen hypoteesin H lisäksi) nollahypoteesi H 0 pätee. Ks. kappaletta Lagrangen kertojatesti. Osamäärätestin, Waldin testin ja Lagrangen kertojatestin vertailu: ks. kappaleen Lagrangen kertojatesti loppua. TKK (c) Ilkka Mellin (2007) 79
80 Suurimman uskottavuuden menetelmä Suurimman uskottavuuden estimointimenetelmä Tarkentuvuus Asymptoottinen normaalisuus Suurimman uskottavuuden estimaattorin asymptoottiset ominaisuudet Osamäärätesti >> Waldin testi Lagrangen kertojatesti Numeerinen optimointi TKK (c) Ilkka Mellin (2007) 80
81 Waldin testi Waldin testisuure lineaarisille rajoituksille Olkoon ˆθ parametrin θ SU-estimaattori yleisen hypoteesin H pätiessä. Olkoon nollahypoteesina H 0 : Rθ = r, R on m p-matriisi, jolle r( R) = m Tällöin satunnaismuuttuja 1 ˆ 1 W = ( Rθ r ) ˆ ˆ RI (θ)r ( Rθ r ) on Waldin testisuure nollahypoteesille H 0. Matriisi I(θ) on Fisherin informaatiomatriisi 2 I( θ) = E D l( θ) TKK (c) Ilkka Mellin (2007) 81
82 Waldin testi Waldin testi lineaarisille rajoituksille 1/2 Voidaan osoittaa (hyvin yleisten ehtojen pätiessä), että jos nollahypoteesi H 0 pätee, niin W 2 a χ ( m) jossa m = nollahypoteesin kiinnittämien parametrien lukumäärä TKK (c) Ilkka Mellin (2007) 82
83 Waldin testi Waldin testi lineaarisille rajoituksille 2/2 Jos nollahypoteesi H 0 ei päde, Waldin testisuureella W on taipumus saada suuria arvoja. Testin kriittiseksi alueeksi valitaan otosavaruuden S alue { x SW > W( α) } jossa W ( α) valitaan siten, että Pr { x SW > W( α) } = α jos nollahypoteesi H 0 pätee. Jos Waldin testisuureen arvo joutuu kriittiselle alueelle, nollahypoteesi H 0 hylätään. TKK (c) Ilkka Mellin (2007) 83
84 Waldin testi Waldin testisuure epälineaarisille rajoituksille 1/2 Olkoon ˆθ parametrin θ SU-estimaattori yleisen hypoteesin H pätiessä. Olkoon nollahypoteesina H 0 : h( θ) = ( h1( θ),, h m ( θ) ) = 0 jossa funktiot h i ovat epälineaarisia reaaliarvoisia funktioita. Määritellään p m-matriisi H = hij = hj ( θ) θ i TKK (c) Ilkka Mellin (2007) 84
85 Waldin testi Waldin testisuure epälineaarisille rajoituksille 2/2 Tällöin Waldin testisuure nollahypoteesille H 0 on 1 ˆ ˆ 1 W = ( ) ˆ ˆ ˆ h θ HI ( θ) H h( θ) jossa matriisi I on Fisherin informaatiomatriisi 2 I( θ) = E D l( θ) ja h ( ) ˆ θ H = j θ i θ = θ ˆ TKK (c) Ilkka Mellin (2007) 85
86 Waldin testi Waldin testi epälineaarisille rajoituksille 1/2 Voidaan osoittaa (hyvin yleisten ehtojen pätiessä), että jos nollahypoteesi H 0 pätee, niin W 2 a χ ( m) jossa m = nollahypoteesin kiinnittämien parametrien lukumäärä TKK (c) Ilkka Mellin (2007) 86
87 Waldin testi Waldin testi epälineaarisille rajoituksille 2/2 Jos nollahypoteesi H 0 ei päde, Waldin testisuureella W on taipumus saada suuria arvoja. Testin kriittiseksi alueeksi valitaan otosavaruuden S alue { x SW > W( α) } jossa W ( α) valitaan siten, että Pr { x SW > W( α) } = α jos nollahypoteesi H 0 pätee. Jos Waldin testisuureen arvo joutuu kriittiselle alueelle, nollahypoteesi H 0 hylätään. TKK (c) Ilkka Mellin (2007) 87
88 Waldin testi Osamäärätesti, Waldin testi, Lagrangen kertojatesti 1/2 Osamäärätestisuuretta (ks. kappaletta Osamäärätesti) muodostettaessa joudutaan mallin parametrit estimoimaan (ts. uskottavuusfunktio maksimoimaan) sekä yleisen hypoteesin H että nollahypoteesin H 0 pätiessä. Monissa testausasetelmissa toinen näistä ääriarvotehtävistä on vaikea, mutta toinen on helppo. TKK (c) Ilkka Mellin (2007) 88
89 Waldin testi Osamäärätesti, Waldin testi, Lagrangen kertojatesti 2/2 Tämä havainto on johtanut seuraavien (asymptoottisten) testien konstruointiin: (i) Waldin testissä parametrit tarvitsee estimoida olettaen vain, että yleinen hypoteesi H pätee. (ii) Lagrangen kertojatestissä parametrit tarvitsee estimoida olettaen vain, että (yleisen hypoteesin H lisäksi) nollahypoteesi H 0 pätee. Ks. kappaletta Lagrangen kertojatesti. Osamäärätestin, Waldin testin ja Lagrangen kertojatestin vertailu: ks. kappaleen Lagrangen kertojatesti loppua. TKK (c) Ilkka Mellin (2007) 89
90 Suurimman uskottavuuden menetelmä Suurimman uskottavuuden estimointimenetelmä Tarkentuvuus Asymptoottinen normaalisuus Suurimman uskottavuuden estimaattorin asymptoottiset ominaisuudet Osamäärätesti Waldin testi >> Lagrangen kertojatesti Numeerinen optimointi TKK (c) Ilkka Mellin (2007) 90
91 Lagrangen kertojatesti Lagrangen kertojatestisuure Olkoon ˆθ 0 parametrin θ SU-estimaattori nollahypoteesin H 0 pätiessä. Tällöin satunnaismuuttuja ˆ 1 LM = ( 0) ˆ ˆ D θ I ( θ0) D( θ0) on Lagrangen kertojatestisuure nollahypoteesille H 0 Matriisi I(θ) on Fisherin informaatiomatriisi 2 I( θ) = E D l( θ) ja D(θ) on tehokas pistemäärä (engl. score). TKK (c) Ilkka Mellin (2007) 91
92 Lagrangen kertojatesti Lagrangen kertojatesti 1/2 Voidaan osoittaa (hyvin yleisten ehtojen pätiessä), että jos nollahypoteesi H 0 pätee, niin LM 2 a χ ( m) jossa m = nollahypoteesin kiinnittämien parametrien lukumäärä TKK (c) Ilkka Mellin (2007) 92
93 Lagrangen kertojatesti Lagrangen kertojatesti 2/2 Jos nollahypoteesi H 0 ei päde Lagrangen kertojatestisuureella LM on taipumus saada suuria arvoja. Testin kriittiseksi alueeksi valitaan otosavaruuden S alue { x S LM > LM ( α) } jossa LM ( α) valitaan siten, että Pr { x S LM > LM ( α) } = α jos nollahypoteesi H 0 pätee. Jos Lagrangen kertojatestisuureen arvo joutuu kriittiselle alueelle, nollahypoteesi H 0 hylätään. TKK (c) Ilkka Mellin (2007) 93
94 Lagrangen kertojatesti Suurimman uskottavuuden estimointi ja PNS-menetelmä Oletetaan, että logaritminen uskottavuusfunktio on (vakiotekijää vaille) verrannollinen neliösummaan: l 1 n 2 ( θ) ε ( ) 2 i θ 2σ i = 1 Tällöin parametrin θ suurimman uskottavuuden estimaattori voidaan määrätä pienimmän neliösumman menetelmällä. Tämä on tavanomainen tilanne sekä lineaarisia että epälineaarisia regressiomalleja sovellettaessa. TKK (c) Ilkka Mellin (2007) 94
95 Lagrangen kertojatesti Lagrangen kertojatesti ja PNS-menetelmä 1/2 Oletetaan, että SU-estimaattori voidaan määrätä PNSmenetelmällä. Muodostetaan apuregressio ˆ ε0i = zˆ 0iγ + δi, i = 1,2,, n jossa εi = εi( θ) zi = zi( θ) = Dεi( θ) ˆ ε ˆ ˆ 0i = εi( θ0) zˆ 0i = zi( θ0) ja ˆθ 0 on parametrin θ rajoitettu SU-estimaattori. TKK (c) Ilkka Mellin (2007) 95
96 Lagrangen kertojatesti Lagrangen kertojatesti ja PNS-menetelmä 2/2 Tällöin Lagrangen kertojatestisuure LM voidaan määrätä apuregression selitysasteen avulla: 2 LM = nr 0 Kuvattu tapa muodostaa LM-testisuure on erityisen kätevä silloin, kun nollahypoteesin mukaiset rajoitukset ovat nollarajoituksia, jotka yksinkertaistavat yleisen hypoteesin kiinnittämää mallia. Useimmat estimoitua regressiomallia koskevat diagnostiset testit voidaan tulkita LM-testeiksi. Tällaisia ovat esimerkiksi tavalliset homoskedastisuus-ja autokorreloimattomuustestit. TKK (c) Ilkka Mellin (2007) 96
97 Lagrangen kertojatesti Osamäärätesti, Waldin testi, Lagrangen kertojatesti 1/2 Osamäärätestisuuretta (ks. kappaletta Osamäärätesti) muodostettaessa joudutaan mallin parametrit estimoimaan (ts. uskottavuusfunktio maksimoimaan) sekä yleisen hypoteesin H että nollahypoteesin H 0 pätiessä. Monissa testausasetelmissa toinen näistä ääriarvotehtävistä on vaikea, mutta toinen on helppo. TKK (c) Ilkka Mellin (2007) 97
98 Lagrangen kertojatesti Osamäärätesti, Waldin testi, Lagrangen kertojatesti 2/2 Tämä havainto on johtanut seuraavien (asymptoottisten) testien konstruointiin: (i) Waldin testissä parametrit tarvitsee estimoida olettaen vain, että yleinen hypoteesi H pätee. Ks. kappaletta Waldin testi. (ii) Lagrangen kertojatestissä parametrit tarvitsee estimoida olettaen vain, että (yleisen hypoteesin H lisäksi) nollahypoteesi H 0 pätee. Osamäärätestin, Waldin testin ja Lagrangen kertojatestin vertailu: ks.. TKK (c) Ilkka Mellin (2007) 98
99 Lagrangen kertojatesti Osamäärätesti, Waldin testi, Lagrangen kertojatesti: Vertailu 1/3 Oletetaan, että sovellamme osamäärätestiä, Waldin testiä ja Lagrangen kertojatestiä samassa testausasetelmassa (saman nollahypoteesin testaamiseen). Olkoon LR = osamäärätestisuure W = Waldin testisuure LM = Lagrangen testisuure TKK (c) Ilkka Mellin (2007) 99
100 Lagrangen kertojatesti Osamäärätesti, Waldin testi, Lagrangen kertojatesti: Vertailu 2/3 Aina pätee: LR < 1 Jos nollahypoteesi H 0 pätee, 2logLR 2 W a χ ( m) LM jossa m = nollahypoteesin kiinnittämien parametrien lukumäärä TKK (c) Ilkka Mellin (2007) 100
101 Lagrangen kertojatesti Osamäärätesti, Waldin testi, Lagrangen kertojatesti: Vertailu 3/3 Osamäärätesti, Waldin testi ja Lagrangen kertojatesti johtavat asymptoottisesti (suurissa otoksissa) samaan johtopäätökseen nollahypoteesin hylkäämisestä. Pienissä otoksissa testit saattavat kuitenkin johtaa erilaisiin johtopäätöksiin. Testin valinta tehdään yleensä mukavuuden, kuten laskutyön helppouden, perusteella. Juuri mukavuussyistä monet tilastollisten mallien käytön yhteydessä sovellettavista tavanomaisista diagnostisista testeistä ovat Lagrangen kertojatestejä. TKK (c) Ilkka Mellin (2007) 101
102 Suurimman uskottavuuden menetelmä Suurimman uskottavuuden estimointimenetelmä Tarkentuvuus Asymptoottinen normaalisuus Suurimman uskottavuuden estimaattorin asymptoottiset ominaisuudet Osamäärätesti Waldin testi Lagrangen kertojatesti >> Numeerinen optimointi TKK (c) Ilkka Mellin (2007) 102
103 Numeerinen optimointi Funktion minimi Haluamme minimoida kriteerifunktion g(θ) muuttujan (tai parametrin) θ = (θ 1, θ 2,, θ p ) suhteen. Funktio g saavuttaa (tietyin ehdoin) lokaalin minimin pisteessä ˆθ, jos Dg( θˆ ) = 0 2 D g( θˆ ) > 0 jossa Dg( θˆ) = funktion g gradientti pisteessä θˆ ( ˆ) funktion pisteessä 2 D g θ = g Hessen matriisi θ ˆ TKK (c) Ilkka Mellin (2007) 103
104 Numeerinen optimointi Funktion minimin määrääminen Funktion g minimin määräämiseksi pitää ratkaista normaaliyhtälöt Dg ( θ) = 0 Jos normaaliyhtälöiden ratkaiseminen ei onnistu suljetussa muodossa, on turvauduttava numeerisiin optimointimenetelmiin. Huomautus: Esimerkiksi tavanomaisen lineaarisen mallin PNS-estimoinnin yhteydessä syntyvien normaaliyhtälöiden ratkaisu voidaan esittää suljetussa muodossa, jolloin siis numeeriseen optimointiin ei tarvitse turvautua. TKK (c) Ilkka Mellin (2007) 104
105 Numeerinen optimointi Funktion minimin määrääminen iteratiivisesti Minimi voidaan löytää iteratiivisesti algoritmilla θ ˆ = θ ˆ +λd 1 ( θ ˆ t+ t t) jossa θˆ t = iteraatioaskeleessa t saatu approksimaatio minimipisteen paikasta λ = askelpituus d( θˆ ˆ t) = suuntavektorin arvo pisteessä θt θˆ t+ 1 = iteraatioaskeleessa t + 1 saatava approksimaatio minimipisteen paikasta Erilaiset valinnat suuntavektoriksi d(θ t ) johtavat erilaisiin minimointialgoritmeihin. TKK (c) Ilkka Mellin (2007) 105
106 Numeerinen optimointi Askelpituuden määrääminen Optimaalisen askelpituuden λ määräämisessä käytetään tavallisesti erillistä hakumenetelmää. Nämä hakumenetelmät perustuvat usein funktion φ( λ) = g( θt + λd( θt)) minimointiin askelpituuden λ suhteen. TKK (c) Ilkka Mellin (2007) 106
107 Numeerinen optimointi Jyrkimmän laskun algoritmi Jyrkimmän laskun algoritmi perustuu iteraatioon θ ˆ = θ ˆ λd ˆ t+ 1 t ( θ t) jossa D( θˆ ) = funktion g gradientin arvo pisteessä θˆ t Jyrkimmän laskun algoritmi perustuu siihen, että funktio kasvaa nopeimmin gradientin suuntaan. t TKK (c) Ilkka Mellin (2007) 107
108 Numeerinen optimointi Newtonin ja Raphsonin algoritmi 1/2 Newtonin ja Raphsonin algoritmi perustuu iteraatioon 2 1 θˆ ˆ ˆ ˆ t+ 1 = θt λ D ( θ ) t D( θt) jossa D( θˆ ˆ t) = funktion g gradientin arvo pisteessä θt 2 D ( θˆ ˆ t ) = funktion g Hessen matriisin arvo pisteessä θ NR-algoritmi konvergoi, jos minimoitava funktio g on konkaavi, minkä takaa se, että matriisi 2 D g ( θ) > 0 kaikille θ. t TKK (c) Ilkka Mellin (2007) 108
109 Numeerinen optimointi Newtonin ja Raphsonin algoritmi 2/2 NR-algoritmi voidaan muuntaa sellaiseen muotoon, jossa funktion g mahdollisesta lokaalista epäkonkaavisuudesta ei ole haittaa. 2 Tunnetuin tällainen algoritmi (jossa matriisin D ( θˆ t ) diagonaalille lisätään sopiva, iteraatioaskeleesta toiseen vaihteleva vakio) on Marquardtin algoritmi. TKK (c) Ilkka Mellin (2007) 109
110 Numeerinen optimointi Newtonin ja Raphsonin algoritmi ja SU-estimointi 1/2 Olkoon X 1, X 2,, X n joukko satunnaismuuttujia, joiden tiheysfunktio f(x 1, x 2,, x n ; θ) riippuu parametrista θ. Otoksen X 1, X 2,, X n uskottavuusfunktion L(θ) = f(x 1, x 2,, x n ; θ) maksimi voidaan löytää etsimällä logaritmisen uskottavuusfunktion vastaluvun l( θ) = log L( θ) = g( θ) minimi. TKK (c) Ilkka Mellin (2007) 110
111 Numeerinen optimointi Newtonin ja Raphsonin algoritmi ja SU-estimointi 2/2 Tällöin Newtonin ja Raphsonin algoritmi saa muodon 2 1 θˆ ˆ ˆ ˆ t+ 1 = θt λ D l( θ ) t Dl( θt) Olkoon θmax = θ Max ( x1, x2,, xn ) uskottavuusfunktion maksimin antava piste. Tällöin parametrin θ suurimman uskottavuuden estimaattori on θ ˆ = θ ( X, X,, X ) Max 1 2 n TKK (c) Ilkka Mellin (2007) 111
112 Numeerinen optimointi Scoring-algoritmi ja SU-estimointi 1/2 Olkoon θmax = θ Max ( x1, x2,, xn ) uskottavuusfunktion maksimin antava piste. Parametrin θ suurimman uskottavuuden estimaattori on θ ˆ = θ (,,, ) Max X1 X2 Xn Korvataan NR-algoritmissa matriisi D 2 l(θ) informaatiomatriisilla I(θ): 2 I( θ) = E[ D l( θ)] = E[( Dl( θ))( Dl( θ)) ] TKK (c) Ilkka Mellin (2007) 112
113 Numeerinen optimointi Scoring-algoritmi ja SU-estimointi 2/2 Scoring-algoritmi perustuu iteraatioon 1 θˆ ˆ ˆ ˆ t+ 1 = θt + λ I( θt) Dl( θt) jossa D( θˆ t ) = funktion l gradientin eli tehokkaan pistemäärän (engl. score) arvo pisteessä θˆ I( θˆ ) = informaatiomatriisin arvo pisteessä θˆ t t t TKK (c) Ilkka Mellin (2007) 113
114 Numeerinen optimointi Gaussin ja Newtonin algoritmi ja SU-estimointi 1/3 Parametrin θ estimaattori halutaan usein määrätä PNSmenetelmällä minimoimalla neliösumma n 2 ( θ) = ( θ) = j ( θ) j= 1 f S ε Tällöin NR-algoritmi voidaan muokata ns. Gaussin ja Newtonin algoritmiksi. TKK (c) Ilkka Mellin (2007) 114
115 Numeerinen optimointi Gaussin ja Newtonin algoritmi ja SU-estimointi 2/3 Gaussin ja Newtonin algoritmi perustuu iteraatioon 1 n ε ( ˆ ) ( ˆ ) n ( ˆ ) ˆ ˆ j θt ε j θ t ε j θt θ ˆ t+ 1 = θt λ εt( θt) j= 1 θ θ j= 1 θ TKK (c) Ilkka Mellin (2007) 115
116 Numeerinen optimointi Gaussin ja Newtonin algoritmi ja SU-estimointi 3/3 Merkitsemällä ε ( ˆ j θt) z j = θ ε ( θˆ ) = ε j t j GN-algoritmi saa muodon 1 n n ˆ ˆ θt+ 1 = θt + λ zz j j z jε j j= 1 j= 1 mikä voidaan tulkita sarjaksi peräkkäisiä apuregressioita εt = z tγ + δt, t = 1,2,, n joiden avulla minimipisteen approksimaatiota θˆ t päivitetään. TKK (c) Ilkka Mellin (2007) 116
117 Numeerinen optimointi Parametrien kovarianssimatriisi 1/2 Newtonin ja Raphsonin algoritmin minimipisteen approksimaation päivityskaavassa käytetään logaritmisen uskottavuusfunktion 2. kertaluvun osittaisderivaattojen matriisia. Scoring-algoritmissa minimipisteen approksimaation päivityskaavassa käytetään informaatiomatriisia ( = 2. kertaluvun osittaisderivaattojen matriisiin odotusarvoa. Gaussin ja Newtonin algoritmissa minimipisteen approksimaation päivityskaavassa käytetään minimoitavan neliösummafunktion 2. kertaluvun osittaisderivaattojen matriisia. TKK (c) Ilkka Mellin (2007) 117
118 Numeerinen optimointi Parametrien kovarianssimatriisi 2/2 Ko. matriisit tuottavat parametrien kovarianssimatriisin, kun ääriarvo on saavutettu (eli kun konvergenssi on tapahtunut). Siten parametrien varianssit ja kovarianssit saadaan optimointialgoritmin sivutuotteena. Huomautus: Parametrien variansseja tarvitaan, kun parametreille muodostetaan asymptoottisia luottamusvälejä ja testejä. TKK (c) Ilkka Mellin (2007) 118
Erityiskysymyksiä yleisen lineaarisen mallin soveltamisessa
Ilkka Mellin Tilastolliset menetelmät Osa 4: Lineaarinen regressioanalyysi Erityiskysymyksiä yleisen lineaarisen mallin soveltamisessa TKK (c) Ilkka Mellin (2007) 1 Erityiskysymyksiä yleisen lineaarisen
LisätiedotOsa 2: Otokset, otosjakaumat ja estimointi
Ilkka Mellin Tilastolliset menetelmät Osa 2: Otokset, otosjakaumat ja estimointi Estimointi TKK (c) Ilkka Mellin (2007) 1 Estimointi >> Todennäköisyysjakaumien parametrit ja niiden estimointi Hyvän estimaattorin
LisätiedotJohdatus tilastotieteeseen Estimointi. TKK (c) Ilkka Mellin (2005) 1
Johdatus tilastotieteeseen Estimointi TKK (c) Ilkka Mellin (2005) 1 Estimointi Todennäköisyysjakaumien parametrit ja niiden estimointi Hyvän estimaattorin ominaisuudet TKK (c) Ilkka Mellin (2005) 2 Estimointi:
LisätiedotVäliestimointi (jatkoa) Heliövaara 1
Väliestimointi (jatkoa) Heliövaara 1 Bernoulli-jakauman odotusarvon luottamusväli 1/2 Olkoon havainnot X 1,..., X n yksinkertainen satunnaisotos Bernoulli-jakaumasta parametrilla p. Eli X Bernoulli(p).
LisätiedotRegressioanalyysi. Vilkkumaa / Kuusinen 1
Regressioanalyysi Vilkkumaa / Kuusinen 1 Regressioanalyysin idea ja tavoitteet Regressioanalyysin idea: Halutaan selittää selitettävän muuttujan havaittujen arvojen vaihtelua selittävien muuttujien havaittujen
LisätiedotIlkka Mellin Tilastolliset menetelmät Osa 2: Otokset, otosjakaumat ja estimointi Estimointi
Ilkka Mellin Tilastolliset menetelmät Osa 2: Otokset, otosjakaumat ja estimointi Estimointi TKK (c) Ilkka Mellin (2006) 1 Estimointi >> Todennäköisyysjakaumien parametrit ja niiden estimointi Hyvän estimaattorin
LisätiedotJohdatus tilastotieteeseen Testit suhdeasteikollisille muuttujille. TKK (c) Ilkka Mellin (2004) 1
Johdatus tilastotieteeseen Testit suhdeasteikollisille muuttujille TKK (c) Ilkka Mellin (004) 1 Testit suhdeasteikollisille muuttujille Testit normaalijakauman parametreille Yhden otoksen t-testi Kahden
LisätiedotEstimointi. Estimointi. Estimointi: Mitä opimme? 2/4. Estimointi: Mitä opimme? 1/4. Estimointi: Mitä opimme? 3/4. Estimointi: Mitä opimme?
TKK (c) Ilkka Mellin (2004) 1 Johdatus tilastotieteeseen TKK (c) Ilkka Mellin (2004) 2 Mitä opimme? 1/4 Tilastollisen tutkimuksen tavoitteena on tehdä johtopäätöksiä prosesseista, jotka generoivat reaalimaailman
LisätiedotRegressioanalyysi. Kuusinen/Heliövaara 1
Regressioanalyysi Kuusinen/Heliövaara 1 Regressioanalyysin idea ja tavoitteet Regressioanalyysin idea: Oletetaan, että haluamme selittää jonkin selitettävän muuttujan havaittujen arvojen vaihtelun joidenkin
LisätiedotTilastollinen testaus. Vilkkumaa / Kuusinen 1
Tilastollinen testaus Vilkkumaa / Kuusinen 1 Motivointi Viime luennolla: havainnot generoineen jakauman muoto on usein tunnettu, mutta parametrit tulee estimoida Joskus parametreista on perusteltua esittää
LisätiedotYhden selittäjän lineaarinen regressiomalli (jatkoa) Ensi viikolla ei pidetä luentoa eikä harjoituksia. Heliövaara 1
Yhden selittäjän lineaarinen regressiomalli (jatkoa) Ensi viikolla ei pidetä luentoa eikä harjoituksia Heliövaara 1 Regressiokertoimien PNS-estimaattorit Määritellään havaintojen x j ja y j, j = 1, 2,...,n
LisätiedotJohdatus tilastotieteeseen Testit suhdeasteikollisille muuttujille. TKK (c) Ilkka Mellin (2005) 1
Johdatus tilastotieteeseen Testit suhdeasteikollisille muuttujille TKK (c) Ilkka Mellin (005) 1 Testit suhdeasteikollisille muuttujille Testit normaalijakauman parametreille Yhden otoksen t-testi Kahden
Lisätiedot3.6 Su-estimaattorien asymptotiikka
3.6 Su-estimaattorien asymptotiikka su-estimaattorit ovat usein olleet puutteellisia : ne ovat usein harhaisia ja eikä ne välttämättä ole täystehokkaita asymptoottisilta ominaisuuksiltaan ne ovat yleensä
Lisätiedot5.7 Uskottavuusfunktioon perustuvia testejä II
5.7 Uskottavuusfunktioon perustuvia testejä II Tässä pykälässä pohditaan edellä tarkasteltujen kolmen testisuureen yleistystä malleihin, joiden parametri on useampiulotteinen, ja testausasetelmiin, joissa
LisätiedotTilastolliset menetelmät. Osa 1: Johdanto. Johdanto tilastotieteeseen KE (2014) 1
Tilastolliset menetelmät Osa 1: Johdanto Johdanto tilastotieteeseen KE (2014) 1 Mitä tilastotiede on? Tilastotiede kehittää ja soveltaa menetelmiä ja malleja, joiden avulla reaalimaailman ilmiöistä voidaan
LisätiedotEstimointi. Vilkkumaa / Kuusinen 1
Estimointi Vilkkumaa / Kuusinen 1 Motivointi Tilastollisessa tutkimuksessa oletetaan jonkin jakauman generoineen tutkimuksen kohteena olevaa ilmiötä koskevat havainnot Tämän mallina käytettävän todennäköisyysjakauman
LisätiedotSovellettu todennäköisyyslaskenta B
Sovellettu todennäköisyyslaskenta B Antti Rasila 8. marraskuuta 2007 Antti Rasila () TodB 8. marraskuuta 2007 1 / 18 1 Kertausta: momenttimenetelmä ja suurimman uskottavuuden menetelmä 2 Tilastollinen
LisätiedotTilastolliset menetelmät. Osa 3: Tilastolliset testit. Tilastollinen testaus KE (2014) 1
Tilastolliset menetelmät Osa 3: Tilastolliset testit Tilastollinen testaus KE (2014) 1 Tilastolliset testit >> Tilastollinen testaus Tilastolliset hypoteesit Tilastolliset testit ja testisuureet Virheet
LisätiedotTestit laatueroasteikollisille muuttujille
Ilkka Mellin Tilastolliset menetelmät Osa 3: Tilastolliset testit Testit laatueroasteikollisille muuttujille TKK (c) Ilkka Mellin (2007) 1 Testit laatueroasteikollisille muuttujille >> Laatueroasteikollisten
LisätiedotSovellettu todennäköisyyslaskenta B
Sovellettu todennäköisyyslaskenta B Antti Rasila 30. lokakuuta 2007 Antti Rasila () TodB 30. lokakuuta 2007 1 / 23 1 Otos ja otosjakaumat (jatkoa) Frekvenssi ja suhteellinen frekvenssi Frekvenssien odotusarvo
LisätiedotABHELSINKI UNIVERSITY OF TECHNOLOGY
Tilastollinen testaus Tilastollinen testaus Tilastollisessa testauksessa tutkitaan tutkimuskohteita koskevien oletusten tai väitteiden paikkansapitävyyttä havaintojen avulla. Testattavat oletukset tai
LisätiedotTilastotieteen kertaus. Kuusinen/Heliövaara 1
Tilastotieteen kertaus Kuusinen/Heliövaara 1 Mitä tilastotiede on? Tilastotiede kehittää ja soveltaa menetelmiä, joiden avulla reaalimaailman ilmiöistä voidaan tehdä johtopäätöksiä tilanteissa, joissa
LisätiedotJohdatus tilastotieteeseen Testit laatueroasteikollisille muuttujille. TKK (c) Ilkka Mellin (2004) 1
Johdatus tilastotieteeseen Testit laatueroasteikollisille muuttujille TKK (c) Ilkka Mellin (2004) 1 Testit laatueroasteikollisille muuttujille Laatueroasteikollisten muuttujien testit Testi suhteelliselle
LisätiedotJohdatus tilastotieteeseen Yleinen lineaarinen malli. TKK (c) Ilkka Mellin (2004) 1
Johdatus tilastotieteeseen Yleinen lineaarinen malli TKK (c) Ilkka Mellin (2004) 1 Yleinen lineaarinen malli Usean selittäjän lineaarinen regressiomalli Yleisen lineaarisen mallin matriisisesitys Yleisen
LisätiedotMat Tilastollisen analyysin perusteet, kevät 2007
Mat-.104 Tilastollisen analyysin perusteet, kevät 007 8. luento: Usean selittäjän lineaarinen regressiomalli Kai Virtanen 1 Usean selittäjän lineaarinen regressiomalli Selitettävän muuttujan havaittujen
LisätiedotJohdatus todennäköisyyslaskentaan Normaalijakaumasta johdettuja jakaumia. TKK (c) Ilkka Mellin (2005) 1
Johdatus todennäköisyyslaskentaan Normaalijakaumasta johdettuja jakaumia TKK (c) Ilkka Mellin (2005) 1 Normaalijakaumasta johdettuja jakaumia Johdanto χ 2 -jakauma F-jakauma t-jakauma TKK (c) Ilkka Mellin
Lisätiedottilastotieteen kertaus
tilastotieteen kertaus Keskiviikon 24.1. harjoitukset pidetään poikkeuksellisesti klo 14-16 luokassa Y228. Heliövaara 1 Mitä tilastotiede on? Tilastotiede kehittää ja soveltaa menetelmiä, joiden avulla
LisätiedotJohdatus tilastotieteeseen Tilastolliset testit. TKK (c) Ilkka Mellin (2005) 1
Johdatus tilastotieteeseen Tilastolliset testit TKK (c) Ilkka Mellin (2005) 1 Tilastolliset testit Tilastollinen testaus Tilastolliset hypoteesit Tilastolliset testit ja testisuureet Virheet testauksessa
LisätiedotMat Tilastollisen analyysin perusteet, kevät 2007
Mat-2.2104 Tilastollisen analyysin perusteet, kevät 2007 2. luento: Tilastolliset testit Kai Virtanen 1 Tilastollinen testaus Tutkimuksen kohteena olevasta perusjoukosta esitetään väitteitä oletuksia joita
LisätiedotIlkka Mellin Tilastolliset menetelmät. Osa 4: Lineaarinen regressioanalyysi. Yleinen lineaarinen malli. TKK (c) Ilkka Mellin (2007) 1
Ilkka Mellin Tilastolliset menetelmät Osa 4: Lineaarinen regressioanalyysi Yleinen lineaarinen malli TKK (c) Ilkka Mellin (2007) 1 Yleinen lineaarinen malli >> Usean selittäjän lineaarinen regressiomalli
LisätiedotJohdatus tilastotieteeseen Väliestimointi. TKK (c) Ilkka Mellin (2005) 1
Johdatus tilastotieteeseen Väliestimointi TKK (c) Ilkka Mellin (2005) 1 Väliestimointi Todennäköisyysjakaumien parametrien estimointi Luottamusväli Normaalijakauman odotusarvon luottamusväli Normaalijakauman
LisätiedotTestejä suhdeasteikollisille muuttujille
Ilkka Mellin Tilastolliset menetelmät Osa 3: Tilastolliset testit Testejä suhdeasteikollisille muuttujille TKK (c) Ilkka Mellin (007) 1 Testejä suhdeasteikollisille muuttujille >> Testit normaalijakauman
Lisätiedot2. Teoriaharjoitukset
2. Teoriaharjoitukset Demotehtävät 2.1 Todista Gauss-Markovin lause. Ratkaisu. Oletetaan että luentokalvojen standardioletukset (i)-(v) ovat voimassa. Huomaa että Gauss-Markovin lause ei vaadi virhetermien
LisätiedotHarjoitus 7: NCSS - Tilastollinen analyysi
Harjoitus 7: NCSS - Tilastollinen analyysi Mat-2.2107 Sovelletun matematiikan tietokonetyöt Syksy 2006 Mat-2.2107 Sovelletun matematiikan tietokonetyöt 1 Harjoituksen aiheita Tilastollinen testaus Testaukseen
LisätiedotTestit järjestysasteikollisille muuttujille
Ilkka Mellin Tilastolliset menetelmät Osa 3: Tilastolliset testit Testit järjestysasteikollisille muuttujille TKK (c) Ilkka Mellin (2007) 1 Testit järjestysasteikollisille muuttujille >> Järjestysasteikollisten
LisätiedotTilastolliset testit. Tilastolliset testit. Tilastolliset testit: Mitä opimme? 2/5. Tilastolliset testit: Mitä opimme? 1/5
TKK (c) Ilkka Mellin (4) 1 Johdatus tilastotieteeseen TKK (c) Ilkka Mellin (4) : Mitä opimme? 1/5 Tilastollisessa tutkimuksessa tutkimuksen kohteena olevasta perusjoukosta esitetään tavallisesti väitteitä
LisätiedotMaximum likelihood-estimointi Alkeet
Maximum likelihood-estimointi Alkeet Keijo Ruotsalainen Oulun yliopisto, Teknillinen tiedekunta Matematiikan jaos Maximum likelihood-estimointi p.1/20 Maximum Likelihood-estimointi satunnaismuuttujan X
LisätiedotTilastollinen aineisto Luottamusväli
Tilastollinen aineisto Luottamusväli Keijo Ruotsalainen Oulun yliopisto, Teknillinen tiedekunta Matematiikan jaos Tilastollinen aineisto p.1/20 Johdanto Kokeellisessa tutkimuksessa tutkittavien suureiden
LisätiedotABHELSINKI UNIVERSITY OF TECHNOLOGY
Johdatus regressioanalyysiin Regressioanalyysin idea Oletetaan, että haluamme selittää jonkin selitettävän muuttujan havaittujen arvojen vaihtelun selittävien muuttujien havaittujen arvojen vaihtelun avulla.
LisätiedotJohdatus regressioanalyysiin. Heliövaara 1
Johdatus regressioanalyysiin Heliövaara 1 Regressioanalyysin idea Oletetaan, että haluamme selittää jonkin selitettävän muuttujan havaittujen arvojen vaihtelun selittävien muuttujien havaittujen arvojen
LisätiedotNormaalijakaumasta johdettuja jakaumia
Ilkka Mellin Todennäköisyyslaskenta Osa 3: Todennäköisyysjakaumia Normaalijakaumasta johdettuja jakaumia TKK (c) Ilkka Mellin (2007) 1 Normaalijakaumasta johdettuja jakaumia >> Johdanto χ 2 -jakauma F-jakauma
LisätiedotTilastollisen analyysin perusteet Luento 8: Lineaarinen regressio, testejä ja luottamusvälejä
Tilastollisen analyysin perusteet Luento 8: Lineaarinen regressio, testejä ja luottamusvälejä arvon Sisältö arvon Bootstrap-luottamusvälit arvon arvon Oletetaan, että meillä on n kappaletta (x 1, y 1 ),
LisätiedotSovellettu todennäköisyyslaskenta B
Sovellettu todennäköisyyslaskenta B Antti Rasila 3. marraskuuta 2007 Antti Rasila () TodB 3. marraskuuta 2007 1 / 18 1 Varianssin luottamusväli, jatkoa 2 Bernoulli-jakauman odotusarvon luottamusväli 3
LisätiedotYksisuuntainen varianssianalyysi (jatkoa) Heliövaara 1
Yksisuuntainen varianssianalyysi (jatkoa) Heliövaara 1 Odotusarvoparien vertailu Jos yksisuuntaisen varianssianalyysin nollahypoteesi H 0 : µ 1 = µ 2 = = µ k = µ hylätään tiedetään, että ainakin kaksi
LisätiedotMoniulotteisia todennäköisyysjakaumia
Ilkka Mellin Todennäköisyyslaskenta Osa 3: Todennäköisyysjakaumia Moniulotteisia todennäköisyysjakaumia TKK (c) Ilkka Mellin (007) 1 Moniulotteisia todennäköisyysjakaumia >> Multinomijakauma Kaksiulotteinen
LisätiedotTilastotieteen kertaus. Vilkkumaa / Kuusinen 1
Tilastotieteen kertaus Vilkkumaa / Kuusinen 1 Motivointi Reaalimaailman ilmiöihin liittyy tyypillisesti satunnaisuutta ja epävarmuutta Ilmiöihin liittyvien havaintojen ajatellaan usein olevan peräisin
LisätiedotIlkka Mellin Todennäköisyyslaskenta Osa 3: Todennäköisyysjakaumia Moniulotteisia todennäköisyysjakaumia
Ilkka Mellin Todennäköisyyslaskenta Osa 3: Todennäköisyysjakaumia Moniulotteisia todennäköisyysjakaumia TKK (c) Ilkka Mellin (006) 1 Moniulotteisia todennäköisyysjakaumia >> Multinomijakauma Kaksiulotteinen
LisätiedotSovellettu todennäköisyyslaskenta B
Sovellettu todennäköisyyslaskenta B Antti Rasila 8. marraskuuta 2007 Antti Rasila () TodB 8. marraskuuta 2007 1 / 15 1 Tilastollisia testejä Z-testi Normaalijakauman odotusarvon testaus, keskihajonta tunnetaan
LisätiedotYksisuuntainen varianssianalyysi (jatkoa) Kuusinen/Heliövaara 1
Yksisuuntainen varianssianalyysi (jatkoa) Kuusinen/Heliövaara 1 Odotusarvoparien vertailu Jos yksisuuntaisen varianssianalyysin nollahypoteesi H 0 : µ 1 = µ 2 = = µ k = µ hylätään, tiedetään, että ainakin
LisätiedotSovellettu todennäköisyyslaskenta B
Sovellettu todennäköisyyslaskenta B Antti Rasila 22. marraskuuta 2007 Antti Rasila () TodB 22. marraskuuta 2007 1 / 17 1 Epäparametrisia testejä (jatkoa) χ 2 -riippumattomuustesti 2 Johdatus regressioanalyysiin
LisätiedotMat Tilastollisen analyysin perusteet, kevät 2007
Mat-.14 Tilastollisen analyysin perusteet, kevät 7 7. luento: Tarina yhden selittään lineaarisesta regressiomallista atkuu Kai Virtanen 1 Luennolla 6 opittua Kuvataan havainnot (y, x ) yhden selittään
Lisätiedotedellyttää valintaa takaisinpanolla Aritmeettinen keskiarvo Jos, ½ Ò muodostavat satunnaisotoksen :n jakaumasta niin Otosvarianssi Ë ¾
ËØÙ ÓØÓ Ø Mitta-asteikot Nominaali- eli laatueroasteikko Ordinaali- eli järjestysasteikko Intervalli- eli välimatka-asteikko ( nolla mielivaltainen ) Suhdeasteikko ( nolla ei ole mielivaltainen ) Otos
Lisätiedot9. laskuharjoituskierros, vko 12-13, ratkaisut
9. laskuharjoituskierros, vko 12-13, ratkaisut D1. Olkoot X i, i = 1, 2,..., n riippumattomia, samaa eksponenttijakaumaa noudattavia satunnaismuuttujia, joiden odotusarvo E(X i = β, toisin sanoen X i :t
LisätiedotSovellettu todennäköisyyslaskenta B
Sovellettu todennäköisyyslaskenta B Antti Rasila 15. marraskuuta 2007 Antti Rasila () TodB 15. marraskuuta 2007 1 / 19 1 Tilastollisia testejä (jatkoa) Yhden otoksen χ 2 -testi varianssille Kahden riippumattoman
LisätiedotMS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi. Viikko 5
MS-A Todennäköisyyslaskennan ja tilastotieteen peruskurssi Viikko Tilastollinen testaus Tilastollisten testaaminen Tilastollisen tutkimuksen kohteena olevasta perusjoukosta on esitetty jokin väite tai
LisätiedotJohdatus todennäköisyyslaskentaan Moniulotteisia todennäköisyysjakaumia. TKK (c) Ilkka Mellin (2005) 1
Johdatus todennäköisyyslaskentaan Moniulotteisia todennäköisyysjakaumia TKK (c) Ilkka Mellin (005) 1 Moniulotteisia todennäköisyysjakaumia Multinomijakauma Kaksiulotteinen normaalijakauma TKK (c) Ilkka
LisätiedotOdotusarvoparien vertailu. Vilkkumaa / Kuusinen 1
Odotusarvoparien vertailu Vilkkumaa / Kuusinen 1 Motivointi Viime luennolta: yksisuuntaisella varianssianalyysilla testataan nollahypoteesia H 0 : μ 1 = μ 2 = = μ k = μ Jos H 0 hylätään, tiedetään, että
LisätiedotIlkka Mellin Tilastolliset menetelmät. Osa 3: Tilastolliset testit. Tilastollinen testaus. TKK (c) Ilkka Mellin (2007) 1
Ilkka Mellin Tilastolliset menetelmät Osa 3: Tilastolliset testit Tilastollinen testaus TKK (c) Ilkka Mellin (2007) 1 Tilastolliset testit >> Tilastollinen testaus Tilastolliset hypoteesit Tilastolliset
LisätiedotMS-A0502 Todennäköisyyslaskennan ja tilastotieteen peruskurssi
MS-A0502 Todennäköisyyslaskennan ja tilastotieteen peruskurssi 4A Parametrien estimointi Lasse Leskelä Matematiikan ja systeemianalyysin laitos Perustieteiden korkeakoulu Aalto-yliopisto Syksy 2016, periodi
LisätiedotTilastollisen analyysin perusteet Luento 2: Tilastolliset testit
Tilastollisen analyysin perusteet Luento 2: Tilastolliset testit Sisältö Tilastollisia testejä tehdään jatkuvasti lukemattomilla aloilla. Meitä saattaa kiinnostaa esimerkiksi se, että onko miesten ja
LisätiedotTodennäköisyyden ominaisuuksia
Todennäköisyyden ominaisuuksia 0 P(A) 1 (1) P(S) = 1 (2) A B = P(A B) = P(A) + P(B) (3) P(A) = 1 P(A) (4) P(A B) = P(A) + P(B) P(A B) (5) Tapahtuman todennäköisyys S = {e 1,..., e N }. N A = A. Kun alkeistapaukset
LisätiedotIlkka Mellin Todennäköisyyslaskenta Osa 3: Todennäköisyysjakaumia Jatkuvia jakaumia
Ilkka Mellin Todennäköisyyslaskenta Osa 3: Todennäköisyysjakaumia Jatkuvia jakaumia TKK (c) Ilkka Mellin (2006) 1 Jatkuvia jakaumia >> Jatkuva tasainen jakauma Eksponenttijakauma Normaalijakauma Keskeinen
Lisätiedotl (φ; y) = l(θ(φ); y) Toinen derivaatta saadaan tulon derivaatan laskusäännöllä Uudelleenparametroidun mallin Fisherin informaatio on
HY, MTO / Matemaattisten tieteiden kandiohjelma Tilastollinen päättely II, kevät 018 Harjoitus B Ratkaisuehdotuksia Tehtäväsarja I 1 (Monisteen tehtävä 14) Olkoon f Y (y; θ) tilastollinen malli, jonka
LisätiedotJos nyt on saatu havaintoarvot Ü ½ Ü Ò niin suurimman uskottavuuden
1.12.2006 1. Satunnaisjakauman tiheysfunktio on Ü µ Üe Ü, kun Ü ja kun Ü. Määritä parametrin estimaattori momenttimenetelmällä ja suurimman uskottavuuden menetelmällä. Ratkaisu: Jotta kyseessä todella
LisätiedotJohdatus todennäköisyyslaskentaan Jatkuvia jakaumia. TKK (c) Ilkka Mellin (2005) 1
Johdatus todennäköisyyslaskentaan Jatkuvia jakaumia TKK (c) Ilkka Mellin (2005) 1 Jatkuvia jakaumia Jatkuva tasainen jakauma Eksponenttijakauma Normaalijakauma Keskeinen raja-arvolause TKK (c) Ilkka Mellin
LisätiedotGripenberg. MS-A0502 Todennäköisyyslaskennan ja tilastotieteen peruskurssi Tentti ja välikoeuusinta
MS-A00 Todennäköisyyslaskennan ja tilastotieteen peruskurssi Tentti ja välikoeuusinta 7.. Gripenberg Kirjoita jokaiseen koepaperiin nimesi, opiskelijanumerosi ym. tiedot ja minkä kokeen suoritat! Laskin,
LisätiedotMoniulotteisia todennäköisyysjakaumia. Moniulotteisia todennäköisyysjakaumia. Moniulotteisia todennäköisyysjakaumia: Mitä opimme?
TKK (c) Ilkka Mellin (4) Moniulotteisia todennäköisyysjakaumia Johdatus todennäköisyyslaskentaan Moniulotteisia todennäköisyysjakaumia TKK (c) Ilkka Mellin (4) Moniulotteisia todennäköisyysjakaumia: Mitä
LisätiedotP(X = x T (X ) = t, θ) = p(x = x T (X ) = t) ei riipu tuntemattomasta θ:sta. Silloin uskottavuusfunktio faktorisoituu
1. Tyhjentävä tunnusluku (sucient statistics ) Olkoon (P(X = x θ) : θ Θ) todennäköisyysmalli havainnolle X. Datan funktio T (X ) on Tyhjentävä tunnusluku jos ehdollinen todennäköisyys (ehdollinen tiheysfunktio)
LisätiedotLisää Diskreettejä jakaumia Lisää Jatkuvia jakaumia Normaalijakaumasta johdettuja jakaumia
Todennäköisyyslaskenta Osa 3: Todennäköisyysjakaumia Lisää Diskreettejä jakaumia Lisää Jatkuvia jakaumia Normaalijakaumasta johdettuja jakaumia KE (2014) 1 Hypergeometrinen jakauma Hypergeometrinen jakauma
Lisätiedot4.0.2 Kuinka hyvä ennuste on?
Luonteva ennuste on käyttää yhtälöä (4.0.1), jolloin estimaattori on muotoa X t = c + φ 1 X t 1 + + φ p X t p ja estimointivirheen varianssi on σ 2. X t }{{} todellinen arvo Xt }{{} esimaattori = ε t Esimerkki
LisätiedotJos nollahypoteesi pitää paikkansa on F-testisuuren jakautunut Fisherin F-jakauman mukaan
17.11.2006 1. Kahdesta kohteesta (A ja K) kerättiin maanäytteitä ja näistä mitattiin SiO -pitoisuus. Tulokset (otoskoot ja otosten tunnusluvut): A K 10 16 Ü 64.94 57.06 9.0 7.29 Oletetaan mittaustulosten
LisätiedotIlkka Mellin Todennäköisyyslaskenta. Osa 2: Satunnaismuuttujat ja todennäköisyysjakaumat. Momenttiemäfunktio ja karakteristinen funktio
Ilkka Mellin Todennäköisyyslaskenta Osa : Satunnaismuuttujat ja todennäköisyysjakaumat Momenttiemäfunktio ja karakteristinen funktio TKK (c) Ilkka Mellin (7) 1 Momenttiemäfunktio ja karakteristinen funktio
LisätiedotKaksisuuntainen varianssianalyysi. Heliövaara 1
Kaksisuuntainen varianssianalyysi Heliövaara 1 Kaksi- tai useampisuuntainen varianssianalyysi Kaksi- tai useampisuuntaisessa varianssianalyysissa perusjoukko on jaettu ryhmiin kahden tai useamman tekijän
LisätiedotSovellettu todennäköisyyslaskenta B
Sovellettu todennäköisyyslaskenta B Antti Rasila 16. marraskuuta 2007 Antti Rasila () TodB 16. marraskuuta 2007 1 / 15 1 Epäparametrisia testejä χ 2 -yhteensopivuustesti Homogeenisuuden testaaminen Antti
LisätiedotTilastollinen päättely. 5. Väliestimointi Johdanto Luottamusvälien konstruointi Luottamusvälien vertailu
ilastollinen päättely 5.. Johdanto Estimointi, Joukkoestimointi, Kriittinen alue, uottamusjoukko, uottamustaso, uottamusväli, Otos, Parametri, Peittotodennäköisyys, Piste-estimointi, Väliestimaatti, Väliestimaattori,
LisätiedotJohdatus tilastotieteeseen Regressiomallin valinta. TKK (c) Ilkka Mellin (2004) 1
Johdatus tilastotieteeseen Regressiomallin valinta TKK (c) Ilkka Mellin (2004) 1 Regressiomallin valinta Regressiomallin valinta: Johdanto Mallinvalintatestit Mallinvalintakriteerit Epälineaaristen riippuvuuksien
LisätiedotLatinalaiset neliöt. Latinalaiset neliöt. Latinalaiset neliöt. Latinalaiset neliöt: Mitä opimme? Latinalaiset neliöt
TKK (c) Ilkka Mellin (005) Koesuunnittelu TKK (c) Ilkka Mellin (005) : Mitä opimme? Tarkastelemme tässä luvussa seuraavaa kysymystä: Miten varianssianalyysissa tutkitaan yhden tekijän vaikutusta vastemuuttujaan,
LisätiedotSovellettu todennäköisyyslaskenta B
Sovellettu todennäköisyyslaskenta B Antti Rasila 18. lokakuuta 2007 Antti Rasila () TodB 18. lokakuuta 2007 1 / 19 1 Tilastollinen aineisto 2 Tilastollinen malli Yksinkertainen satunnaisotos 3 Otostunnusluvut
Lisätiedot3 Yleistä estimointiteoriaa. Olemme perehtuneet jo piste-estimointiin su-estimoinnin kautta Tässä luvussa tarkastellaan piste-estimointiin yleisemmin
3 Yleistä estimointiteoriaa Olemme perehtuneet jo piste-estimointiin su-estimoinnin kautta Tässä luvussa tarkastellaan piste-estimointiin yleisemmin 3.1 Johdanto Tähän mennessä olemme tarkastelleet estimointia
LisätiedotIlkka Mellin Tilastolliset menetelmät. Osa 4: Lineaarinen regressioanalyysi. Regressiomallin valinta. TKK (c) Ilkka Mellin (2007) 1
Ilkka Mellin Tilastolliset menetelmät Osa 4: Lineaarinen regressioanalyysi Regressiomallin valinta TKK (c) Ilkka Mellin (2007) 1 Regressiomallin valinta >> Regressiomallin valinta: Johdanto Mallinvalintatestit
LisätiedotMS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi
MS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi Viikko 5 Tilastollisten hypoteesien testaaminen Lasse Leskelä, Heikki Seppälä Matematiikan ja systeemianalyysin laitos Perustieteiden korkeakoulu
Lisätiedot2. Uskottavuus ja informaatio
2. Uskottavuus ja informaatio Aluksi käsittelemme uskottavuus- ja log-uskottavuusfunktioita Seuraavaksi esittelemme suurimman uskottavuuden estimointimenetelmän Ensi viikolla perehdymme aiheeseen lisääkö
LisätiedotYleinen lineaarinen malli
MS-C2128 Ennustaminen ja Aikasarja-analyysi, Heikki Seppälä Matematiikan ja systeemianalyysin laitos Perustieteiden korkeakoulu Aalto-yliopisto Syksy 2015 Viikko 1: 1 Määritelmä ja standardioletukset 2
LisätiedotVastepintamenetelmä. Kuusinen/Heliövaara 1
Vastepintamenetelmä Kuusinen/Heliövaara 1 Vastepintamenetelmä Vastepintamenetelmässä pyritään vasteen riippuvuutta siihen vaikuttavista tekijöistä approksimoimaan tekijöiden polynomimuotoisella funktiolla,
LisätiedotMat Tilastollisen analyysin perusteet, kevät 2007
Mat-2.2104 Tilastollisen analyysin perusteet, kevät 2007 4. luento: Jakaumaoletuksien testaaminen Kai Virtanen 1 Jakaumaoletuksien testaamiseen soveltuvat testit χ 2 -yhteensopivuustesti yksi otos otoksen
LisätiedotTilastollisen analyysin perusteet Luento 10: Johdatus varianssianalyysiin
Tilastollisen analyysin perusteet Luento 10: Sisältö Varianssianalyysi Varianssianalyysi on kahden riippumattoman otoksen t testin yleistys. Varianssianalyysissä perusjoukko koostuu kahdesta tai useammasta
Lisätiedotχ = Mat Sovellettu todennäköisyyslasku 11. harjoitukset/ratkaisut
Mat-2.091 Sovellettu todennäköisyyslasku /Ratkaisut Aiheet: Yhteensopivuuden testaaminen Homogeenisuuden testaaminen Riippumattomuuden testaaminen Avainsanat: Estimointi, Havaittu frekvenssi, Homogeenisuus,
LisätiedotVALTIOTIETEELLINEN TIEDEKUNTA TILASTOTIETEEN VALINTAKOE Ratkaisut ja arvostelu < X 170
VALTIOTIETEELLINEN TIEDEKUNTA TILASTOTIETEEN VALINTAKOE 4.6.2013 Ratkaisut ja arvostelu 1.1 Satunnaismuuttuja X noudattaa normaalijakaumaa a) b) c) d) N(170, 10 2 ). Tällöin P (165 < X < 175) on likimain
Lisätiedot11 Raja-arvolauseita ja approksimaatioita
11 Raja-arvolauseita ja approksimaatioita Tässä luvussa esitellään sellaisia kuuluisia todennäköisyysteorian raja-arvolauseita, joita sovelletaan usein tilastollisessa päättelyssä. Näiden raja-arvolauseiden
LisätiedotMat Tilastollisen analyysin perusteet, kevät 2007
Mat-.04 Tilastollisen analyysin perusteet, kevät 007 4. luento: Jakaumaoletuksien testaaminen Kai Virtanen Jakaumaoletuksien testaamiseen soveltuvat testit χ -yhteensopivuustesti yksi otos otoksen vertaaminen
LisätiedotJohdatus varianssianalyysiin. Vilkkumaa / Kuusinen 1
Johdatus varianssianalyysiin Vilkkumaa / Kuusinen 1 Motivointi Luento 4: kahden riippumattoman otoksen odotusarvoja voidaan vertailla t-testillä H 0 : μ 1 = μ 2, T = ˉX 1 ˉX 2 s 2 1 + s2 2 n 1 n 2 a t(min[(n
LisätiedotTässä luvussa mietimme, kuinka paljon aineistossa on tarpeellista tietoa Sivuamme kysymyksiä:
4. Tyhjentyvyys Tässä luvussa mietimme, kuinka paljon aineistossa on tarpeellista tietoa Sivuamme kysymyksiä: Voidaanko päätelmät perustaa johonkin tunnuslukuun t = t(y) koko aineiston y sijasta? Mitä
LisätiedotMS-A0503 Todennäköisyyslaskennan ja tilastotieteen peruskurssi
MS-A0503 Todennäköisyyslaskennan ja tilastotieteen peruskurssi Viikko 5 Tilastollisten hypoteesien testaaminen Lasse Leskelä Matematiikan ja systeemianalyysin laitos Perustieteiden korkeakoulu Aalto-yliopisto
LisätiedotJohdatus todennäköisyyslaskentaan Momenttiemäfunktio ja karakteristinen funktio. TKK (c) Ilkka Mellin (2005) 1
Johdatus todennäköisyyslaskentaan Momenttiemäfunktio ja karakteristinen funktio TKK (c) Ilkka Mellin (5) 1 Momenttiemäfunktio ja karakteristinen funktio Momenttiemäfunktio Diskreettien jakaumien momenttiemäfunktioita
LisätiedotMS-A0502 Todennäköisyyslaskennan ja tilastotieteen peruskurssi Luennot, osa II
MS-A0502 Todennäköisyyslaskennan ja tilastotieteen peruskurssi Luennot, osa II G. Gripenberg Aalto-yliopisto 11. helmikuuta 2015 G. Gripenberg (Aalto-yliopisto) MS-A0502 Todennäköisyyslaskennan ja tilastotieteen
Lisätiedot2. Uskottavuus ja informaatio
2. Uskottavuus ja informaatio Viimeksi käsittelimme uskottavuusfunktioita, log-uskottavuusfunktioita ja su-estimaatteja Seuraavaksi tarkastelemme parametrin muunnoksia ja kuinka su-estimaatit käyttäytyvät
LisätiedotMS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi
MS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi 5B Bayesläiset piste- ja väliestimaatit Lasse Leskelä Matematiikan ja systeemianalyysin laitos Perustieteiden korkeakoulu Aalto-yliopisto
LisätiedotTilastollisen analyysin perusteet Luento 6: Korrelaatio ja riippuvuus tilastotieteessä
Tilastollisen analyysin perusteet Luento 6: Korrelaatio ja riippuvuus tilastotieteessä Sisältö Riippumattomuus Jos P(A B) = P(A)P(B), niin tapahtumat A ja B ovat toisistaan riippumattomia. (Keskustelimme
LisätiedotPOPULAATIO. Oikeastaan arvot, joista ollaan kiinnostuneita (mitatut numeeriset suureet, luokittelut).
KÄSITTEITÄ POPULAATIO Joukko, jota tutkitaan (äärellinen, ääretön). Oikeastaan arvot, joista ollaan kiinnostuneita (mitatut numeeriset suureet, luokittelut). Näiden välillä ei aina tehdä eroa, kun puhutaan
LisätiedotMS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi
MS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi 5A Tilastollisen merkitsevyyden testaus (+ jatkuvan parametrin Bayes-päättely) Lasse Leskelä Matematiikan ja systeemianalyysin laitos Perustieteiden
Lisätiedot