Mat.36 Tlastolle päättely 7. Suurmma uskottavuude meetelmä ja asymptootte teora Tlastolle päättely 7. Suurmma uskottavuude meetelmä ja asymptootte teora 7.. Suurmma uskottavuude estmotmeetelmä Akasarja, Asymptootte ormaalsuus, Dervaatta, Ergodsuus, Estmaattor, Estmot, Harhattomuus, Havato, Havatoarvo, Logartme uskottavuusfukto, Maksmot, Martgaaldfferess, Otos, Parametr, Realsaato, Rppumattomuus, Satuasmuuttuja, Statoaarsuus, Stokaste prosess, Suurmma uskottavuude estmaattor, Suurmma uskottavuude meetelmä, Tarketuvuus, Uskottavuusfukto, Yhtesjakauma 7.. Suurmma uskottavuude estmaattor omasuudet Asymptootte ormaalsuus, Cramér ja Rao alaraja, Dervaatta, Estmaattor, Estmot, Fsher formaatomatrs, Gradett, Harhattomuus, Havato, Havatoarvo, Hesse matrs, Kovarassmatrs, Logartme uskottavuusfukto, Luottamustaso, Luottamusväl, Maksmot, Normaal jakauma, Otos, Parametr, Suurmma uskottavuude estmaattor, Suurmma uskottavuude meetelmä, Tarketuvuus, Tehokas pstemäärä, Tehokkuus, Test, Tyhjetävyys, Uskottavuusfukto, Yhtesjakauma 7.3. Asymptoottset testt Asymptootte ormaalsuus, Dervaatta, Dagoste test, Estmaattor, Estmot, Havato, Havatoarvo, Hesse matrs, Hylkäysalue, Kh jakauma, Kovarassmatrs, Krtte arvo, Lagrage kertojatest, Logartme uskottavuusfukto, Maksmot, Nollahypotees, Normaaljakauma, Osamäärätest, Otos, Parametr, Rajotus, Sde ehto, Suurmma uskottavuude estmaattor, Suurmma uskottavuude meetelmä, Tarketuvuus, Tehokas pstemäärä, Tehokkuus, Test, Tyhjetävyys, Uskottavuusfukto, Vahtoehtoe hypotees, Wald test, Yhtesjakauma 7.4. Numeere optmot Apuregresso, Askelptuus, Estmaattor, Fsher formaatomatrs, Gauss ja Newto meetelmä, Gradett, Iteraatoaskel, Iteratve meetelmä, Maksmot, Mmot, Pemmä elösumma meetelmä, Suutavektor, Suurmma uskottavuude meetelmä, Hesse matrs, Newto ja Raphso meetelmä. 7.5. Ylee leaare mall ja suurmma uskottavuude meetelmä Estmot, F jakauma, F test, Homoskedastsuus, Jakaumaoletus, Jääöselösumma, Jääösterm, Jääösvarass, Kokoaselösumma, Korrelaato, Korrelomattomuus, Kovarass, Krtte arvo, Leaare regressomall, Luottamuskerro, Luottamustaso, Luottamusväl, Mallelösumma, Merktsevyystaso, Nollahypotees, Normaaljakauma, Otos, Osamäärätest, Parametr, Pemmä elösumma meetelmä, Regressofukto, Regressokerro, Regressomall, Regressotaso, Resduaal, Seltettävä muuttuja, Selttäjä, Selttävä muuttuja, Seltysaste, Sovte, Suurmma uskottavuude meetelmä, t jakauma, t test, Test, Vakoterm, Vapausasteet, Varassaalyyshajotelma, Ylee leaare mall TKK @ Ilkka Mell (007) /4
Mat.36 Tlastolle päättely 7. Suurmma uskottavuude meetelmä ja asymptootte teora TKK @ Ilkka Mell (007) /4
Mat.36 Tlastolle päättely 7. Suurmma uskottavuude meetelmä ja asymptootte teora 7.. Suurmma uskottavuude estmotmeetelmä Otos ja se jakauma Olkoot X, X,, X satuasmuuttuja, jode yhtesjakauma pstetodeäkösyys ta theysfukto f(x, x,, x ; θ) rppuu tutemattomasta vektorarvosesta parametrsta θ = (θ, θ,, θ p ) Θ joukko Θ o parametravaruus el mahdollste parametr arvoje joukko. Oletetaa, että satuasmuuttuje X, X,, X havatut arvot ovat x, x,, x Kutsumme satuasmuuttuja X, X,, X havaoks ja de havattuja arvoja x, x,, x havatoarvoks. Satuasmuuttujat X, X,, X muodostavat otokse, joka jakauma määrttelee de yhtesjakauma pstetodeäkösyys ta theysfukto Havatoarvot f(x, x,, x ; θ) x, x,, x ovat ktetä el e satuasa reaallukuja, mutta e vahtelevat satuasest otoksesta tosee satuasmuuttuje X, X,, X yhtesjakauma f määrääm todeäkösyyks. Uskottavuusfukto Otokse X, X,, X uskottavuusfukto o satuasmuuttuje X, X,, X yhtesjakauma pstetodeäkösyysta theysfukto f(x, x,, x ; θ) arvo havatopsteessä x = (x, x,, x ) tulkttua = (θ, θ,, θ p ) fuktoks. Merktsemme uskottavuusfuktota seuraavalla tavalla: L(θ) = L(θ; x, x,, x ) = f(x, x,, x ; θ) Uskottavuusperaattee mukaa uskottavuusfukto tvstää yhtee kake olease parametra θ koskeva formaato otoksesta. TKK @ Ilkka Mell (007) 3/4
Mat.36 Tlastolle päättely 7. Suurmma uskottavuude meetelmä ja asymptootte teora Suurmma uskottavuude estmaattor Olkoo L(θ) = L(θ; x, x,, x ) otokse X, X,, X uskottavuusfukto ja olkoo t = g(x, x,, x ) sellae parametr θ = (θ, θ,, θ p ) arvo, joka maksmo uskottavuusfukto L(θ) arvo el L( t) = max L( ) Θ Uskottavuusfukto L(θ) maksm atava parametr θ arvo t o havatoarvoje x, x,, x fukto. Valtaa parametr θ estmaattorks satuasmuuttuja ˆ = T= (,, K, ) g X X X Estmaattora ˆ kutsutaa parametr θ suurmma uskottavuude estmaattorks el SUestmaattorks. Suurmma uskottavuude estmaattor ˆ tuottaa parametrlle θ arvo, joka tekevät havatoarvot x, x,, x mahdollsmma uskottavks. Parametr θ suurmma uskottavuude estmaattor määrätää ss maksmomalla uskottavuusfukto L(θ) = L(θ; x, x,, x ) parametr θ suhtee. Sääöllsssä tapauksssa maksm löydetää merktsemällä uskottavuusfukto L(θ) dervaatta L (θ) ollaks ja ratkasemalla θ saadusta ormaalyhtälöstä L (θ) = 0 Olkoo t = g(x, x,, x ) ormaalyhtälö L (θ) = 0 ollakohta. Pste t vastaa uskottavuusfukto maksma, jos L (t) < 0 Uskottavuusfukto maksm atava parametr θ arvo vodaa etsä myös maksmomalla logartme uskottavuusfukto el uskottavuusfukto logartm l(θ) = log L(θ; x, x,, x ) parametr θ suhtee. Logartmse uskottavuusfukto maksmot o mossa tlatessa helpompaa ku uskottavuusfukto tsesä maksmot. Huomautus: TKK @ Ilkka Mell (007) 4/4
Mat.36 Tlastolle päättely 7. Suurmma uskottavuude meetelmä ja asymptootte teora Logartme uskottavuusfukto ja uskottavuusfukto saavuttavat maksmsa samassa psteessä. Uskottavuusfukto ja rppumattomat havaot Olkoo X, X,, X ykskertase satuasotos jakaumasta f X (x; θ), θ = (θ, θ,, θ p ) o jakauma muodo määräävä parametr. Tällö satuasmuuttujat X, X,, X ovat rppumattoma ja oudattavat samaa jakaumaa f X (x; θ): X, X, K, X X f ( x; ), =,, K, X Koska satuasmuuttujat X, X,, X oletett rppumattomks, otokse X, X,, X uskottavuusfukto vodaa esttää muodossa L(θ; x, x,, x ) = f(x ; θ) f(x ; θ) f(x ; θ) f(x ; θ), =,,, o havatoarvoo x lttyvä pstetodeäkösyys ta theysfukto. Ste vastaava logartme uskottavuusfukto vodaa esttää muodossa l( ) = log L( ) ( f x f x L f x ) = log ( ; ) ( ; ) ( ; ) = log f( x ; ) + log f( x ; ) + L+ log f( x ; ) = l( ; x ) + l( ; x ) + L+ l( ; x ) l(θ; x ) = log f(θ; x ), =,,, o havatoarvo x logartme uskottavuusfukto. Etek rppumattome havatoje tapauksessa logartmse uskottavuusfukto summaestykse maksmot o use helpompaa ku uskottavuusfukto tsesä maksmot. Suurmma uskottavuude estmaattor omasuudet Suurmma uskottavuude estmaattor e välttämättä toteuta tavaomasa hyvälle estmaattorlle asetettava krteeretä, ku otoskoko o äärelle: () () SU estmaattor e välttämättä ole harhato. SU estmaattor jakaumaa e välttämättä tueta. Oeks suurmma uskottavuude estmaattorlla o kutek hyv yles ehdo hyvät asymptoottset omasuudet. TKK @ Ilkka Mell (007) 5/4
Mat.36 Tlastolle päättely 7. Suurmma uskottavuude meetelmä ja asymptootte teora Suurmma uskottavuude estmaattor asymptoottset omasuudet Suurmma uskottavuude estmaattorlla o hyv yles ehdo seuraavat asymptoottset omasuudet (ks. tarkemm kappaletta 7..). () () SU estmaattor o tarketuva. SU estmaattor o asymptoottsest ormaale. SU estmaattor tarketuvuus tarkottaa stä, että SU estmaattor toteuttaa suurte lukuje la. Tämä merktsee stä, että estmaattor arvo kovergo koht okeata parametr arvoa, ku havatoje lukumäärä aetaa kasvaa rajatta. SU estmaattor asymptootte ormaalsuus tarkottaa stä, että SU estmaattor toteuttaa keskese raja arvolausee. Tämä merktsee se stä, että SU estmaattor jakaumaa vodaa suurssa otoksssa approksmoda ormaaljakaumalla, jollo parametr luottamusvält ja parametreja koskevat testt vodaa perustaa ormaaljakaumaa ta t jakaumaa. O suhteellse ykskertasta todstaa SU estmaattor tarketuvuus ja asymptootte ormaalsuus, jos otos muodostuu rppumattomsta, samaa jakaumaa oudattavsta havaosta. Oletuksa havatoje rppumattomuudesta ja samasta jakaumasta vodaa tety edellytyks levetää, mllä o suur merktys esmerkks akasarjamalle SU estmossa. Tlastolle akasarja aalyys perustuu she, että havattu akasarja tulktaa jok stokastse prosess realsaatoks. Ste stokastsa prosesseja käytetää akasarjoje tlastollsa mallea. Akasarjamalle parametre SU estmaattorede tarketuvuus ja asymptootte ormaalsuus vodaa todstaa esmerkks sllo, ku akasarja geerout stokaste prosess o jotak seuraavsta tyypestä: ergode statoaare martgaaldfferess 7.. Suurmma uskottavuude estmaattor asymptoottset omasuudet. kertaluvu osttasdervaattoje vektor ja. kertaluvu osttasdervaattoje matrs Olkoo p vektor. Tällö θ = (θ,, θ p ) θ D=, K, = M θ θ p θ p o. kertaluvu osttasdervaattaoperaattorede TKK @ Ilkka Mell (007) 6/4
Mat.36 Tlastolle päättely 7. Suurmma uskottavuude meetelmä ja asymptootte teora θ muodostama p vektor ja D, =,, K, p L θ θ θ p = DD = M M L θp θ θ p o. kertaluvu osttasdervaattaoperaattorede muodostama p p matrs. Otos ja se jakauma Olkoot, =,, K, p, j =,, K, p θ θ j X, X,, X satuasmuuttuja, jode yhtesjakauma pstetodeäkösyys ta theysfukto rppuu parametrsta f(x, x,, x ; θ) θ = (θ, θ,, θ p ) Olkoot satuasmuuttuje X, X,, X havatut arvot Uskottavuusfukto Otokse uskottavuusfukto x, x,, x X, X,, X L(θ) = L(θ; x, x,, x ) = f(x, x,, x ; θ) o satuasmuuttuje X, X,, X yhtesjakauma pstetodeäkösyys ta theysfukto f(x, x,, x ; θ) arvo havatopsteessä x = (x, x,, x ) tulkttua parametr θ = (θ, θ,, θ p ) fuktoks. Olkoo l(θ) = log L(θ; x, x,, x ) vastaava logartme uskottavuusfukto. TKK @ Ilkka Mell (007) 7/4
Mat.36 Tlastolle päättely 7. Suurmma uskottavuude meetelmä ja asymptootte teora Suurmma uskottavuude estmaattor Olkoo L(θ) = L(θ; x, x,, x ) otokse X, X,, X uskottavuusfukto ja olkoo t = g(x, x,, x ) sellae parametr θ = (θ, θ,, θ p ) arvo, joka maksmo uskottavuusfukto L(θ) arvo. Uskottavuusfukto L(θ) maksm atava parametr θ arvo t o havatoarvoje x, x,, x fukto. Valtaa parametr θ estmaattorks satuasmuuttuja ˆ = T= (,, K, ) g X X X Estmaattora ˆ kutsutaa parametr θ suurmma uskottavuude estmaattorks el SUestmaattorks. Koska uskottavuusfukto L(θ) maksmot o yhtäptävää logartmse uskottavuusfukto l(θ) = log L(θ) maksmo kassa, uskottavuusfuktolla L(θ) o lokaal maksm psteessä ˆ, jos ja Huomautus: Merktä l ( ˆ ) = 0 l( ) > 0 A > 0 ˆ tarkottaa stä, että matrs A o postvsest deftt el z Az > 0 kaklle z 0. Vastaavast merktä A 0 tarkottaa stä, että matrs A o e egatvsest deftt el kaklle z. z Az 0 Tehokas pstemäärä ja Fsher formaatomatrs Vektora Dl( ) o kutsutaa tehokkaaks pstemääräks (egl. score) ja matrsa I l l l ( ) = E[ ( )] = E[( ( ))( ( )) ] TKK @ Ilkka Mell (007) 8/4
Mat.36 Tlastolle päättely 7. Suurmma uskottavuude meetelmä ja asymptootte teora o kutsutaa Fsher formaatomatrsks. Vodaa osottaa, että Fsher formaatomatrs I(θ) käätesmatrs muodostaa alaraja harhattome estmaattorede kovarassmatrslle seuraavassa melessä: Olkoo ˆ melvaltae harhato estmaattor parametrlle θ. Tällö Cov( ˆ ) [ ( )] Matrs [ I( )] o Cramér ja Rao alaraja estmaattor ˆ kovarassmatrslle Cov( ˆ). Jos harhattoma estmaattor ˆ kovarassmatrs toteuttaa yhtälö Cov( ˆ ) = [ ( )] saomme, että estmaattor ˆ o tehokas. Suurmma uskottavuude estmaattor ja tyhjetävyys Olkoo f ( x; ) otokse X = (X, X,, X ) yhtesjakauma pstetodeäkösyys ta theysfukto, joka rppuu parametrsta θ = (θ, θ,, θ p ). Faktorotteoreema mukaa tuusluku T(X) o tyhjetävä parametrlle θ, jos ja va jos o olemassa fuktot g(t;θ) ja h(x) ste, että f( x; ) = g( T( x); ) h( x) kaklle havatopstelle x = (x, x,, x ) ja parametr θ mahdollslle arvolle ja fukto g rppuu otoksesta X = x va tuusluvu T(X) kautta ja fukto h e rpu parametrsta θ. Otokse X yhtesjakauma theysfukto faktorosta ähdää suoraa, että parametr θ suurmma uskottavuude estmaattor ˆ o tyhjetävä tuusluvu T(X) fukto (olettae ss, että tyhjetävä tuusluku o olemassa). Suurmma uskottavuude estmaattor ja tehokkuus Olkoo ˆ harhato ja tehokas estmaattor parametrlle θ = (θ, θ,, θ p ). Tällö estmaattor ˆ yhtyy parametr θ suurmma uskottavuude estmaattor. Suurmma uskottavuude estmaattor tarketuvuus Estmaattorede stokastsa omasuuksa e usekaa tueta äärellsssä otoksssa ta de omasuudet ovat aak vakeast hallttava, jos otoskoko o äärelle. Se sjaa moe estmaattorede asymptoottset stokastset omasuudet tuetaa hyv. Estmaattorede asymptoottslla stokastslla omasuukslla tarkotetaa estmaattorede käyttäytymstä satuasmuuttuja, ku otoskoo aetaa hypoteettsest kasvaa rajatta. Puhumme use estmaattorede suurte otoste omasuukssta tarkottaessamme estmaattorede asymptoottsa käyttäytymstä. Perustavaa laatua oleva vaatmus estmaattorede asymptoottselle käyttäytymselle o se, että estmaattor arvo ptää kovergoda koht okeata parametr arvoa, ku havatoje lukumäärä aetaa kasvaa rajatta. TKK @ Ilkka Mell (007) 9/4
Mat.36 Tlastolle päättely 7. Suurmma uskottavuude meetelmä ja asymptootte teora Tuuslukuje W = W ( X, X, K, X ), =,,3, K joo muodostaa tarketuva joo estmaattoreta parametrlle θ, jos lmpr θ ( W θ < ε) = kaklle ε > 0 ja kaklle θ Θ. Saomme tällö tavallsest, että tuusluku W o tarketuva estmaattor parametrlle θ. Ekvvalett ehto estmaattor W tarketuvuudelle o, että lmpr θ ( W θ ε) = 0 kaklle ε > 0 ja kaklle θ Θ. Tavallsest tarketuvuude todstamsessa e tarvtse vedota tarketuvuude määrtelmää, sllä tarketuvuude todstamsessa vodaa use vedota Tshebyshev epäyhtälöö. Tshebyshev epäyhtälö mukaa E[( θ W θ)] Pr θ( W θ ε) ε Ste estmaattor W o tarketuva parametrlle θ, jos Koska W lme θ[( θ) ] = 0 E θ[( W θ) ] = E θ[( W E θ( W)) ] + [(E θ( W) θ) ] = Var ( W ) + [Bas ( W )] äemme, että estmaattor W o tarketuva parametrlle θ, jos lmvar ( W ) = 0 θ θ θ ja lm Bas ( W ) = 0 θ Tarketuve estmaattorede joot evät ole ykskästtesä. Tämä ähdää seuraavasta: Olkoo tuuslukuje W, =,, joo tarketuva joo estmaattoreta parametrlle θ ja olkoot a, a, a 3, ja b, b, b 3, kaks jooa e satuasa vakota, jolle pätee lma = lmb = 0 Tällö myös tuuslukuje joo U = a W + b, =,,3, K muodostaa tarketuva joo estmaattoreta parametrlle θ. Vodaa osottaa, että suurmma uskottavuude estmaattort ovat hyv yles ehdo tarketuva. TKK @ Ilkka Mell (007) 0/4
Mat.36 Tlastolle päättely 7. Suurmma uskottavuude meetelmä ja asymptootte teora TKK @ Ilkka Mell (007) /4
Mat.36 Tlastolle päättely 7. Suurmma uskottavuude meetelmä ja asymptootte teora Lause: Olkoo θ ˆ parametr θ suurmma uskottavuude estmaattor ja olkoo τ(θ) parametr θ jatkuva fukto. Tällö tuusluku τθ ( ˆ ) o hyv yles ehdo tarketuva estmaattor parametrlle τ(θ): lmpr ( ( ˆ θ τθ) τθ ( ) ε) = 0 kaklle ε > 0 ja kaklle θ Θ. Olkoo tarkastelu kohteea olevaa parametra p vektor θ = (θ, θ,, θ p ) ja olkoo parametr θ estmaattora o p vektor ˆ= ( θˆ, θˆ, K, θˆ p ) Estmaattor ˆ tarketuvuus vodaa määrtellä se kompoette tarketuvuude kautta. θ ˆ, =,, K, p Suurmma uskottavuude estmaattor asymptootte tehokkuus ja ormaalsuus Tarketuvuutta vodaa ptää järkevyysvaatmuksea estmaattorede käyttäytymselle suurssa otoksssa. Tlastollse päättely kaalta o kutek tärkeää tutea myös estmaattor varass ta ylesemm estmaattor jakauma suurssa otoksssa. Vos tutua luotevalta määrtellä estmaattor suurte otoste varass estmaattor varass raja arvoa, ku otoskoo aetaa kasvaa rajatta. Olkoo tuusluku T estmaattor parametrlle θ ja olkoo k, =,, 3, joo e satuasa vakota. Jos lmk Var( T ) τ = < saomme, että τ o tuusluvu T varass raja arvo. Varass raja arvo e kutekaa ole osottautuut hyödyllseks kästteeks samalla tavalla ku seuraavassa määrteltävä asymptoottse varass käste. Olkoo tuusluku T estmaattor parametrlle θ ja olkoo k, =,, 3, joo e satuasa vakota. Jos k T τ θ σ lm [ ( )] N(0, ) jakaumakovergess melessä, saomme, että τ o tuusluvu T asymptootte varass. Tämä merktsee stä, että tuusluvu T rajajakaumaa o otoskoo kasvaessa rajatta TKK @ Ilkka Mell (007) /4
Mat.36 Tlastolle päättely 7. Suurmma uskottavuude meetelmä ja asymptootte teora ormaaljakauma ja τ o tämä rajajakauma varass. Mossa tlatessa tuusluvu asymptootte varass o samalla se varass raja arvo. Seuraavassa määrtelmässä estetää Cramér ja Rao alarajaa vastaava asymptootte käste. Tuuslukuje W, =,, joo o asymptoottsest tehokas parametrlle τ(θ), jos lm [ W τ( θ)] N(0, v( θ)) jakaumakovergess melessä ja [ τ ( θ)] v( θ) = Eθ log f( X θ) θ Tällö tuusluku W o asymptoottsest ormaale ja se asymptootte varass saavuttaa Cramér ja Rao alaraja. Seuraava lausee mukaa suurte uskottavuude estmaattor o asymptoottsest ormaale ja tehokas. Lause: Olkoo θ ˆ parametr θ suurmma uskottavuude estmaattor ja olkoo τθ ( ) parametr θ jatkuva fukto. Tällö tuusluku τθ ( ˆ ) o hyv yles ehdo tarketuva, asymptoottsest ormaale ja tehokas estmaattor parametrlle τθ ( ): lm [ τθ ( ˆ) τθ ( )] N(0, v( θ)) v( θ ) o Cramér ja Rao alaraja. Olkoo tarkastelu kohteea olevaa parametra yt p vektor θ = (θ, θ,, θ p ) ja olkoo parametr θ estmaattora o p vektor ˆ= ( ˆ, ˆ,, ˆ) θ θ K θ p Tällö parametr θ = (θ, θ,, θ p ) suurmma uskottavuude estmaattor ˆ asymptoottsesta ormaalsuutta ja tehokkuutta koskeva tulos vodaa esttää seuraavassa muodossa: ˆ a N p, [ IA ( )] IA( ) = lm ( ) + o Fsher formaatomatrs I(θ) asymptootte arvo. Jos parametr θ = (θ, θ,, θ p ) suurmma uskottavuude estmaattor o asymptoottsest ormaale, parametreja θ, =,,, p TKK @ Ilkka Mell (007) 3/4
Mat.36 Tlastolle päättely 7. Suurmma uskottavuude meetelmä ja asymptootte teora koskevassa tlastollsessa päättelyssä vodaa ojata suurmma uskottavuude estmaattor approksmatvsee ormaalsuutee suurssa otoksssa: () () Parametrelle θ, =,,, p vodaa kostruoda luottamusvält samalasella tekkalla ku ormaaljakauma odotusarvolle. Luottamuskertomet vodaa tällö määrätä ormaaljakaumasta ta t jakaumasta. Parametre θ, =,,, p arvoja koskevlle ollahypoteeselle vodaa kostruoda testt samaa tapaa ku ormaaljakauma odotusarvolle. Teste hylkäysalueet ta testsuuree arvoja vastaavat p arvot vodaa tällö määrätä ormaaljakaumasta ta t jakaumasta. O syytä huomata, että SU estmaattor ormaalsuutta koskeva tulos o luoteeltaa asymptootte, mutta otokset ovat todellsuudessa kooltaa aa äärellsä. Ste SU estmaattor ormaalsuutee perustuvat luottamusvält ja testt evät ole eksakteja, vaa approksmatvsa. Sks luottamuskertoma ja teste hylkäysalueta ta p arvoja määrättäessä SU päättelyssä e tavallsest käytetä ormaaljakaumaa, vaa t jakaumaa. Tämä johtuu stä, että t jakauma käyttö johtaa koservatvsemp luottamusväleh ja testeh ku ormaaljakauma käyttö: () () Oletetaa, että kostruomme luottamusvält tarkastelu kohteea olevalle parametrlle θ samalla luottamustasolla ( α) sekä t jakaumasta että ormaaljakaumasta. Tällö t jakaumaa perustuva luottamusväl o leveämp ku vastaava ormaaljakaumaa perustuva luottamusväl. Oletetaa, että kostruomme testt tarkastelu kohteea olevaa parametr θ arvoa koskevalle ollahypoteeslle määräämällä teste hyväksymsalueet samalla merktsevyystasolla α sekä t jakaumasta että ormaaljakaumasta. Tällö t jakaumaa perustuva hyväksymsalue o suuremp ku vastaava ormaaljakaumaa perustuva hyväksymsalue. Oletetaa, että olemme määräeet testsuuree arvo parametra θ koskevalle ollahypoteeslle. Tällö testsuuree arvoa vastaava t jakaumasta määrätty p arvo o suuremp ku ormaaljakaumasta määrätty p arvo. 7.3. Asymptoottset testt Testprobleema Olkoot S H = kakke mahdollste havatopstede x = (x, x,, x ) joukko = ylee hypotees, joka kttää otokse jakauma H 0 = ollahypotees, joka kttää jotk ylesessä hypoteesssa ktety jakauma parametresta TKK @ Ilkka Mell (007) 4/4
Mat.36 Tlastolle päättely 7. Suurmma uskottavuude meetelmä ja asymptootte teora Tlastollsella testllä tarkotetaa päätössäätöä, joka kertoo mllo ollahypotees jätetää vomaa ja mllo ollahypotees hylkäämme. Test päätössäätö jakaa kakke mahdollste havatopstede jouko S hyväksymsalueesee ja hylkäysalueesee. Jos havatopste x = (x, x,, x ) joutuu hylkäys el krttselle alueelle sllo, ku ollahypotees pätee, tehdää. laj vrhe el hylkäysvrhe. Jos havatopste x = (x, x,, x ) joutuu hyväksymsalueelle sllo, ku ollahypotees e päde, tehdää. laj vrhe el hyväksymsvrhe. Test merktsevyystaso valta tarkottaa. laj vrhee todeäkösyyde kttämstä etukätee, ee test tekemstä. Jos merktsevyystaso o valttu etukätee, vodaa de teste joukosta, jolla o sama. laj vrhee todeäkösyys, pyrkä löytämää se, joka mmo. laj vrhee todeäkösyyde. Jos tällae test o olemassa, stä kutsutaa tasasest vomakkammaks testks. Osamäärätest Olkoot ˆ = parametr θ SU estmaattor, joka o määrätty olettae, että test ylee hypotees H pätee L( ˆ) = otokse uskottavuusfukto arvo psteessä ˆ ˆ 0 ˆ Tällö satuasmuuttuja = parametr θ rajotettu SU estmaattor, joka o määrätty olettae, että test ollahypotees H 0 pätee L( 0) = otokse uskottavuusfukto arvo psteessä 0 L( ˆ 0 ) λ = L( ˆ ) o (uskottavuus ) osamäärätestsuure ollahypoteeslle H 0. Huomaa, että 0 λ Osamäärätestsuuretta λ muodostettaessa mall parametrt joudutaa estmomaa suurmma uskottavuude meetelmällä kahdella er tavalla: () () Osamäärätestsuuree mttäjä saadaa etsmällä uskottavuusfukto maksm ylese hypotees H pätessä. Tämä merktsee vapaa äärarvotehtävä ratkasemsta. Osamäärätestsuuree osottaja saadaa etsmällä uskottavuusfukto maksm ollahypotees H 0 pätessä. Tämä merktsee sdotu äärarvotehtävä ratkasemsta. Jos ollahypotees H 0 e päde, osamäärätestsuureella λ o tapumus saada peä arvoja. Sks test hylkäysalueeks valtaa otosavaruude χ alue { x S λ< λα ( )} krtte arvo λ(α) valtaa ste, että Pr( x S λ< λ( α)) = α ˆ TKK @ Ilkka Mell (007) 5/4
Mat.36 Tlastolle päättely 7. Suurmma uskottavuude meetelmä ja asymptootte teora jos ollahypotees H 0 pätee. Jos osamäärätestsuuree λ arvo joutuu hylkäysalueelle, olla hypotees H 0 hylätää. Osamäärätest käytössä o kutek use se käytäö ogelma, että osamäärätestsuuree λ jakauma e välttämättä ole mtää tuettua tyyppä. Osamäärätestsuureelle λ pätee kutek tettyje (melko leve) ehtoje valltessa ja ollahypotees H 0 pätessä seuraava asymptootte jakaumatulos: L( ˆ ) = = ˆ ˆ L( ˆ) 0 log λ log l( ) l( 0) a χ ( m) m = ollahypotees kttäme parametre lukumäärä Jos ollahypotees H 0 e päde, testsuureella log λ o tapumus saada suura arvoja. Test hylkäysalueeks valtaa kakke mahdollste havatopstede jouko S alue { x S log > ( m)} λ χ α krtte arvo χ ( m) valtaa ste, että α x λ > χ = α Pr( S log α( m)) jos ollahypotees H 0 pätee. Jos testsuuree log λ arvo joutuu hylkäysalueelle, ollahypotees H 0 hylätää. Osamäärätestsuuretta muodostettaessa joudutaa mall parametrt estmomaa so. uskottavuusfukto maksmomaa sekä ylese hypotees H että ollahypotees H 0 pätessä. Mossa testausasetelmssa toe ästä äärarvotehtävstä o vakea, mutta toe o helppo ratkasta. Tämä havato o johtaut seuraave (asymptoottste) teste kostruot: () () Wald testssä parametrt estmodaa olettae, että ylee hypotees H pätee. Lagrage kertojatestssä parametrt estmodaa olettae, että ollahypotees H 0 pätee. Wald test leaarslle rajotukslle Olkoo ˆ = parametr θ SU estmaattor, joka o määrätty olettae, että test ylee hypotees H pätee Olkoo ollahypoteesa leaare hypotees H : R = r R o m p matrs, jolle 0 r(r) = m TKK @ Ilkka Mell (007) 6/4
Mat.36 Tlastolle päättely 7. Suurmma uskottavuude meetelmä ja asymptootte teora Määrtellää satuasmuuttuja matrs ˆ ˆ ˆ W = ( R r)[ RI ( )R ] ( R r) I ( ) = E[ l( )] o Fsher formaatomatrs. Satuasmuuttuja W o Wald testsuure ollahypoteeslle H 0. Jos ollahypotees H 0 e päde, Wald testsuureella W o tapumus saada suura arvoja. Wald testsuureelle W pätee tettyje (hyv leve) ehtoje valltessa ja ollahypotees H 0 pätessä seuraava asymptootte jakaumatulos: W a χ ( m) m = ollahypotees kttäme parametre lukumäärä Test hylkäysalueeks valtaa kakke mahdollste havatopstede jouko S alue { S W ( m)} x > χ α krtte arvo χ ( m) valtaa ste, että α x > = α Pr( S W χα( m)) jos ollahypotees H 0 pätee. Jos Wald testsuuree W arvo joutuu hylkäysalueelle, ollahypotees H 0 hylätää. Wald test epäleaarslle rajotukslle Olkoo Olkoo ollahypoteesa ˆ = parametr θ SU estmaattor, joka o määrätty olettae, että test ylee hypotees H pätee ( K ) H 0 : h( ) = h( ),, h m ( ) = 0 fuktot h ovat epäleaarsa reaalarvosa fuktota. Määrtellää p m matrs H= h j = hj( ) θ Määrtellää satuasmuuttuja matrs ˆ ˆ ˆˆ ˆ W = [ h( )][ HI ( H ) ] [ h ( )] I ( ) = E[ l( )] o Fsher formaatomatrs ja TKK @ Ilkka Mell (007) 7/4
Mat.36 Tlastolle päättely 7. Suurmma uskottavuude meetelmä ja asymptootte teora h ( ) ˆ H= j θ = ˆ Satuasmuuttuja W o Wald testsuure ollahypoteeslle H 0. Jos ollahypotees H 0 e päde, Wald testsuureella W o tapumus saada suura arvoja. Wald testsuureelle W pätee tettyje (hyv leve) ehtoje valltessa ja ollahypotees H 0 pätessä seuraava asymptootte jakaumatulos: W a χ ( m) m = ollahypotees kttäme parametre lukumäärä Test hylkäysalueeks valtaa kakke mahdollste havatopstede jouko S alue { S W ( m)} x > χ α krtte arvo χ ( m) valtaa ste, että α x > = α Pr( S W χα( m)) jos ollahypotees H 0 pätee. Jos Wald testsuuree W arvo joutuu hylkäysalueelle, ollahypotees H 0 hylätää. Lagrage kertojatest Olkoo ˆ 0 Määrtellää satuasmuuttuja matrs = parametr θ rajotettu SU estmaattor, joka o määrätty olettae, että test ollahypotees H 0 pätee LM = [ D( ˆ)] ( ˆ)[ ( ˆ)] o Fsher formaatomatrs ja 0 0 0 I l l l ( ) = E[ ( )] = E[( ( ))( ( )) ] D( ) o tehokkaa pstemäärä vektor. Satuasmuuttuja LM o Lagrage kertojatestsuure ollahypoteeslle H 0. Lagrage kertojatestsuureelle LM pätee tettyje (hyv leve) ehtoje valltessa ja ollahypotees H 0 pätessä seuraava asymptootte jakaumatulos: LM a χ ( m) m = ollahypotees kttäme parametre lukumäärä TKK @ Ilkka Mell (007) 8/4
Mat.36 Tlastolle päättely 7. Suurmma uskottavuude meetelmä ja asymptootte teora Test hylkäysalueeks valtaa kakke mahdollste havatopstede jouko S alue { S LM ( m)} x > χ α krtte arvo χ ( m) valtaa ste, että α Pr( S LM χα( m)) x > = α jos ollahypotees H 0 pätee. Jos Lagrage kertojatestsuuree LM arvo joutuu hylkäysalueelle, ollahypotees H 0 hylätää. Lagrage kertojatest ja pemmä elösumma meetelmä Oletetaa, että logartme uskottavuusfukto l(θ) = log L(θ) o verraolle elösummaa: l ( ) ( ) ε σ = Tällö parametr θ suurmma uskottavuude estmaattor vodaa määrätä pemmä elösumma meetelmällä. Tämä o tavaomae tlae sekä leaarste että epäleaarste regressomalle soveltamse yhteydessä. Muodostetaa apuregresso ˆ ε = ˆ + δ, =,, K, 0 0 ε = ε ( ) z = z( ) = ε( ) ˆ ε ˆ 0 = ε( 0) zˆ = z ( ˆ) 0 0 ja ˆ 0 o parametr θ rajotettu suurmma uskottavuude estmaattor, joka o ss määrätty maksmomalla (logartme) uskottavuusfukto, ku ollahypotees H 0 asettamat rajotukset parametravaruudelle o otettu huomoo. Lagrage kertojatestsuure LM vodaa määrätä tämä apuregresso seltysastee avulla: LM = R 0 Kuvattu tapa muodostaa LM testsuure o ertyse kätevä sllo, ku ollahypotees mukaset rajotukset ovat ollarajotuksa, jotka ykskertastavat ylese hypotees kttämää malla. Moet tlastollste malle dagostset testt vodaa tulkta LM testeks. Tällasa ovat esmerkks homoskedastsuus ja autokorrelomattomuustestt regressomallelle. TKK @ Ilkka Mell (007) 9/4
Mat.36 Tlastolle päättely 7. Suurmma uskottavuude meetelmä ja asymptootte teora Osamäärätest, Wald test ja Lagrage kertojatest vertalua Osamäärätestsuuretta muodostettaessa joudutaa mall parametrt estmomaa (ts. uskottavuusfukto ta se logartm maksmomaa) sekä ylese hypotees H että ollahypotees H 0 pätessä. Mossa testausasetelmssa toe ästä äärarvotehtävstä o vakea, mutta toe o helppo ratkasta. Tämä havato o johtaut Wald test ja Lagrage kertojatest kostruot: () Wald testssä mall parametrt estmodaa olettae, että ylee hypotees H pätee. () Lagrage kertojatestssä mall parametrt estmodaa olettae, että ollahypotees H 0 pätee. Oletetaa, että sovellamme osamäärätestä, Wald testä ja Lagrage kertojatestä samassa testausasetelmassa (sama ollahypotees testaamsee). Olkoo Aa pätee: LR W = osamäärätestsuure = Wald testsuure LM = Lagrage testsuure 0 LR Jos ollahypotees H 0 pätee, log LR W LM a χ ( m) m = ollahypotees H 0 kttäme parametre lukumäärä Ste osamäärätest, Wald test ja Lagrage kertojatest johtavat asymptoottsest (suurssa otoksssa) samaa johtopäätöksee ollahypotees hylkäämsestä. Pessä otoksssa testt saattavat kutek johtaa erlas johtopäätöks. Test valta tehdää yleesä käytäöllste aspekte, kute laskutyö helppoude, perusteella. Juur tästä syystä moet tlastollste malle käytö yhteydessä sovellettavsta tavaomassta dagostssta testestä ovat Lagrage kertojatestejä. 7.4. Numeere optmot Fukto mmot Oletetaa, että haluamme mmoda reaalarvose krteerfukto g(θ) muuttuja θ = (θ, θ,, θ p ) suhtee. Fukto g(θ) saavuttaa (tety ehdo) lokaal mm psteessä ˆ, jos TKK @ Ilkka Mell (007) 0/4
Mat.36 Tlastolle päättely 7. Suurmma uskottavuude meetelmä ja asymptootte teora ja g ( ˆ ) = 0 D g ( ) > 0 ˆ Dg( ˆ) = fukto g(θ) gradett psteessä ˆ D g( ) = fukto g(θ) Hesse matrs psteessä ˆ ˆ Fukto g(θ) mm vodaa pyrkä määräämää ratkasemalla ormaalyhtälö g ( ) = 0 Jos ormaalyhtälö ratkaseme e ostu suljetussa muodossa, fukto g(θ) mmossa o turvauduttava umeers optmotmeetelm. Huomautus: Mossa tlastollsssa ogelmssa ormaalyhtälö ratkaseme suljetussa muodossa o mahdollsta. Tästä o tärkeää esmerkkä ylese leaarse mall pemmä elösumma estmossa sytyvä ormaalyhtälö ratkaseme. Fukto mmot teratvste meetelme avulla Tlateessa, ormaalyhtälöä g ( ) = 0 e pystytä ratkasemaa suljetussa muodossa, fukto g(θ) mm atava pste vodaa pyrkä löytämää teratvsest algortmlla ˆ = ˆ ˆ t+ +λ t ( t) ˆt = mmpstee approksmaato teraatoaskeleessa t λ = askelptuus d( ˆ t ) = suutavektor arvo psteessä ˆt ˆt+ = mmpstee approksmaato teraatoaskeleessa t + Iteraatoaskeleessa t saatu arvo ˆt mm pakasta pävtetää askeleessa t + ottamalla λ: mttae askel suutavektor d( t ) suutaa. Jos suutavektort d( t ) valtaa sopvast (ja fuktolla g(θ) o sopvat omasuudet) teraatoprosess kovergo koht fukto g(θ) mmä. Erlaset valat suutavektorks d( t ) johtavat erlas mmotalgortmeh. Optmaalse askelptuude λ määräämsessä käytetää tavallsest jotak erllstä haku meetelmää. Nämä hakumeetelmät perustuvat tavallsest fukto TKK @ Ilkka Mell (007) /4
Mat.36 Tlastolle päättely 7. Suurmma uskottavuude meetelmä ja asymptootte teora φ( λ) = g( + λ ( )) mmot askelptuude λ suhtee. Jyrkmmä lasku meetelmä Jyrkmmä lasku meetelmä perustuu teraatoo ˆ = ˆ ˆ t+ λ t ( t) t t D( ˆ t ) = fukto g(θ) gradett psteessä ˆt Jyrkmmä lasku meetelmä perustuu she, että fukto väheee opemm gradettvektor vastavektor suutaa. Koska jyrkmmä lasku meetelmä kovergo yleesä htaast, stä e tavallsest käytetä fukto äärarvoje etstää, vakka se muodostaak perusta kaklle fukto dervaattoja käyttävlle optmotmeetelmlle. Newto ja Raphso algortm Newto ja Raphso algortm perustuu teraatoo ˆ ˆ ˆ = ˆ t+ t λ t t [ ( )] ( ) D( ˆ t ) = fukto g(θ) gradett psteessä ˆt D ( ) = fukto g(θ) Hesse matrs psteessä ˆt ˆ t Newto ja Raphso algortm kovergo, jos mmotava fukto g(θ) o kokaav, mkä takaa se, että matrs ( t ) > 0 kaklle θ. Newto ja Raphso algortm kovergo yleesä opeamm ku jyrkmmä lasku algortm. O hyvä tetää, että Newto ja Raphso algortmsta o kehtetty muuoksa, jossa e hattaa, jos fukto g(θ) e ole kakkalla kokaav, kuha se o kokaav mmpstee lähellä. Ehkä tuetu tällae algortm ( matrs D ( t ) dagoaallle lsätää sopva, teraato askeleesta tosee vahteleva vako) o Marquardt algortm. Newto ja Raphso algortm ja suurmma uskottavuude estmot Olkoot X, X,, X joukko satuasmuuttuja, jode yhtesjakauma pstetodeäkösyys ta theysfukto f(x, x,, x ; θ) TKK @ Ilkka Mell (007) /4
Mat.36 Tlastolle päättely 7. Suurmma uskottavuude meetelmä ja asymptootte teora rppuu parametrsta θ. Otokse X, X,, X uskottavuusfukto L(θ) = f(x, x,, x ; θ) maksm vodaa löytää etsmällä logartmse uskottavuusfukto vastaluvu l( ) = log L( ) = g( ) mm. Tällö Newto ja Raphso algortm saa muodo Olkoo ˆ ˆ ˆ ˆ t t λ l t l t + = [ ( )] ( ) = ( x, x, K, x ) Max Max uskottavuusfukto maksm atava pste. Tällö parametr θ suurmma uskottavuude estmaattor o ˆ = ( X, X, K, X ) Max Max Huomaa, että estmaattor ˆ kovarassmatrsa vodaa käyttää matrsa [ D l( ˆ )] mkä saadaa svutuotteea Newto ja Raphso algortmsta. Scorg algortm ja suurmma uskottavuude estmot Korvataa Newto ja Raphso algortmssa matrs D l( ) Fsher formaatomatrslla I(θ): I l l l ( ) = E[ ( )] = E[( ( ))( ( )) ] Scorg algortm perustuu teraatoo ˆ ˆ ˆ ˆ t t λ t l t + = + [ ( )] ( ) D( ˆ t ) = fukto g(θ) gradett psteessä ˆt I( ˆ t ) = Fsher formaatomatrs psteessä ˆt Scorg algortm kovergo yleesä opeamm ku Newto ja Raphso algortm, mkä johtuu stä, että matrs I ( ) = E[ l( )] o parametr θ fuktoa tavallsest ykskertasemp ku matrs D l( ) ja vaat ste vähemmä laskutyötä. TKK @ Ilkka Mell (007) 3/4
Mat.36 Tlastolle päättely 7. Suurmma uskottavuude meetelmä ja asymptootte teora Huomaa, että estmaattor ˆ kovarassmatrsa vodaa käyttää matrsa [ I( ˆ )] mkä saadaa svutuotteea Scorg algortmsta. Gauss ja Newto algortm ja pemmä elösumma estmot Parametr θ suurmma uskottavuude estmaattor vodaa mossa tlatessa määrätä pemmä elösumma meetelmällä mmomalla elösummaa ( ) = ( ) = j ( ) j = f S ε Tällö Newto ja Raphso algortm vodaa muokata s. Gauss ja Newto algortmks. Gauss ja Newto algortm perustuu teraatoo Otetaa käyttöö merkät ε ( ˆ) ( ˆ) ( ˆ j t ε j t ε j t) t+ = t λ εt t j= j= ˆ ˆ ( ˆ) ε ( ˆ j t) zj = ε ( ˆ ) = ε j t j Tällö Gauss ja Newto algortm saa muodo ˆ ˆ = + λ z z z ε t+ t j j j j j= j= mkä vodaa tulkta sarjaks peräkkäsä apuregressota εt = t + δt, t =,, K, jode avulla mmpstee approksmaatota ˆt pävtetää. Tämä ähdää stä, että apu regresso regressokertome γ pemmä elösumma estmaattor c o muotoa c = z z z ε j j j j j= j= Huomaa, että estmaattor ˆ kovarassmatrsa vodaa käyttää matrsa ε ( ˆ) ( ˆ j t ε j t) zz j j = j= j= mkä saadaa svutuotteea Gauss ja Newto algortmsta. TKK @ Ilkka Mell (007) 4/4
Mat.36 Tlastolle päättely 7. Suurmma uskottavuude meetelmä ja asymptootte teora 7.5. Ylee leaare mall ja suurmma uskottavuude meetelmä Ylee leaare mall ja se parametrot Olkoo ylee leaare mall, y j = β 0 + β x j + β x j + + β k x jk + ε j, j =,,, y j = seltettävä muuttuja y havattu ja satuae arvo havatoykskössä j =,,, x j = selttävä muuttuja el selttäjä x havattu ja kteä el e satuae arvo havatoykskössä j =,,, ; =,,, k β 0 = vakoselttäjä regressokerro, tutemato ja kteä el e satuae vako β = selttäjä x regressokerro, tutemato ja kteä el e satuae vako, =,,, k ε j = e havattava ja satuae jääösterm, j =,,, Ylestä leaarsta malla koskevat stadardoletukset () () () (v) (v) (v) Selttäjä x havatut arvot x j ovat ktetä el e satuasa vakota, j =,,, ; =,,, k Selttäje välllä e ole leaarsa rppuvuuksa. E(ε j ) = 0, j =,,, Var(ε j ) = σ, j =,,, Cor(ε j,ε l ) = 0, j l ε j ~ N(0,σ ), j =,,, Oletusta (v) o tapaa kutsua homoskedastsuusoletukseks ja se mukaa kaklla jääöstermellä ε j, j =,,, o sama varass, jota kutsutaa jääösvarassks. Oletusta (v) o tapaa kutsua korrelomattomuusoletukseks ja se mukaa jääöstermt evät korrelo keskeää. Huomaa, että ormaalsuusoletus (v) ssältää oletukset (v) ja (v). Regressotaso Yhtälö y = β 0 + β x + β x + + β k x k määrttelee taso avaruudessa k +. Tätä tasoa kutsutaa regressotasoks. TKK @ Ilkka Mell (007) 5/4
Mat.36 Tlastolle päättely 7. Suurmma uskottavuude meetelmä ja asymptootte teora Odotusarvovektor ja kovarassmatrs Olkoot x, x,, x p satuasmuuttuja, jode odotusarvot ovat E(x ) = µ, =,,, p ja kovarasst ovat Cov(x,x j ) = E[(x E(x ))(x j E(x j ))] = E[(x µ )(x j µ j )] = σ j, =,,, p, j =,,, p Huomaa, että Cov(x,x j ) = E(x x j ) µ µ j ja Cov(x,x ) = σ = Var(x ) = σ Olkoo x x x M xp = ( x, x, K, xp) = satuasmuuttuje x, x,, x p muodostama p vektor. Tällö satuasvektor x odotusarvovektor o p vektor µ µ E( x) = = M µ p ja satuasvektor x kovarassmatrs o p p matrs Cov( x) = [ ] = σ j Huomaa, että Cov( x) = E[( x E( x))( x E( x)) ] = E[( )( )] = E( xx ) TKK @ Ilkka Mell (007) 6/4
Mat.36 Tlastolle päättely 7. Suurmma uskottavuude meetelmä ja asymptootte teora Ylese leaarse mall matrsestys Muodostetaa seltettävä muuttuja y havatusta arvosta y j (j =,,, ) vektor y y y M y = Muodostetaa selttäje x havatusta arvosta x j (j =,,, ; =,,, k) ja ykkösstä (k+) matrs X x x L x k x x L x M M M M x x L xk k = Muodostetaa regressokertomsta β ( = 0,,,, k) (k+) vektor β0 β = β M β k Muodostetaa jääöstermestä ε j (j = 0,,,, ) vektor ε ε M ε = Tällö ylee leaare mall vodaa krjottaa matrse muotoo y = Xβ + ε Mallssa o seuraavat osat: y = seltettävä muuttuja y havattuje arvoje y j, j =,,, muodostama satuae vektor X = selttäve muuttuje el selttäje x, x,, x k havattuje arvoje x j, j =,,,, =,,, k ja ykköste muodostama e satuae (k + ) matrs β = regressokertome β, = 0,,,, k muodostama tutemato ja kteä el e satuae (k + ) vektor ε = jääösterme ε j, j =,,, muodostama e havattava ja satuae vektor TKK @ Ilkka Mell (007) 7/4
Mat.36 Tlastolle päättely 7. Suurmma uskottavuude meetelmä ja asymptootte teora Ylestä leaarsta malla koskevat stadardoletukset matrsmuodossa () Matrs X alkot ovat e satuasa vakota. () Matrs X o täysastee: r(x) = k + () E(ε) = 0 (v)&(v) Homoskedastsuus ja korrelomattomuusoletus: Cov(ε) = σ I (v) Normaalsuusoletus: ε N (0,σ I) Kohdssa (v), (v) ja (v) oleva matrs I o ykskkömatrs. Stadardoletukssta () ja () seuraa, että E(y) = Xβ Stadardoletukssta (), (), (v) ja (v) seuraa, että Cov( y) = E[( y E( y))( y E( y)) ] = E[ ] = Cov() = σi Normaalsuusoletuksesta (v) seuraa, että jääösterm ε theysfukto o muotoa f ( ε, ε, K, ε; σ ) = ( π) σ exp σ ja edellee, että seltettävä muuttuja y theysfukto o f( y, y, K, y;, σ ) = ( π) σ exp ( y X )( y X ) σ Ylese leaarse mall uskottavuusfukto ja logartme uskottavuusfukto Stadardoletuksesta (v) seuraa, että havatoje y, y,, y uskottavuusfukto o L(, σ ; y, y, K, y ) = ( πσ ) exp ( y X )( y X ) σ Vastaava logartme uskottavuusfukto o l(, σ ; y, y, K, y ) = log L(, σ ; y, y, K, y ) = σ log( π) log σ ( y X ) ( y X ) TKK @ Ilkka Mell (007) 8/4
Mat.36 Tlastolle päättely 7. Suurmma uskottavuude meetelmä ja asymptootte teora Ylese leaarse mall parametre suurmma uskottavuude estmot Ylese leaarse mall y = Xβ + ε regressokertome vektor β suurmma uskottavuude estmaattor yhtyy stadardoletukse () (v) pätessä vektor β pemmä elösumma estmaattor ˆ = b= ( XX ) Xy Jääösvarass σ SU estmaattor o Perustelu: σ ˆ = SSE SSE = ( y Xb) ( y Xb) Maksmodaa logartme uskottavuusfukto l σ π σ σ (, ; y) = log( ) log ( y X ) ( y X ) parametre β ja σ suhtee. Dervodaa fukto l dervaatta ollaks: l (, ; ) σ y regressokertome vektor β suhtee ja merktää (, σ ; y) ( ) = Xy+ XX = 0 σ Vektor β vodaa ratkasta tästä yhtälöstä, koska matrs X oletett täysasteseks, jollo matrs X X o epäsgulaare. Ratkasuks saadaa ˆ = b= ( XX ) Xy Ratkasu vastaa uskottavuusfukto maksma, koska matrs l(, σ ; y) = XX σ o postvsest deftt. Estmaattor b yhtyy regressokertome vektor β pemmä elösumma estmaattor, koska logartmse uskottavuusfukto maksmot parametr β suhtee o selväst ekvvaletta se kassa, että mmodaa elömuoto parametr β suhtee. = ( y X )( y X ) Sjotetaa ratkasu ˆ= b logartmsee uskottavuusfukto lausekkeesee, dervodaa saatava lauseke parametr σ suhtee ja merktää dervaatta ollaks: TKK @ Ilkka Mell (007) 9/4
Mat.36 Tlastolle päättely 7. Suurmma uskottavuude meetelmä ja asymptootte teora l b σ y σ σ σ (, ; ) = + 4 ( y Xb )( y Xb ) = 0 Parametr σ vodaa ratkasta tästä yhtälöstä. Ratkasuks saadaa σ ˆ = SSE SSE = ( y Xb) ( y Xb) Estmotu regressotaso Olkoo b = (b 0, b, b,, b k ) regressokertome vektor β suurmma uskottavuude (pemmä elösumma) estmaattor. Yhtälö y = b 0 + b x + b x + + b k x k määrttelee taso avaruudessa k +. Tätä tasoa kutsutaa estmoduks regressotasoks. Ylese leaarse mall suurmma uskottavuude estmaattorede omasuudet Jos ylee leaare mall y = Xβ + ε toteuttaa stadardoletukset () (v), regressokertome vektor β SU estmaattorlla b= ( XX ) Xy o seuraavat omasuudet: () b o harhato parametrlle β: E(b) = β () Cov(b) = σ (X X) () (v) (v) (v) b ja σ ˆ ovat yhdessä tyhjetävä parametrelle β ja σ. b o tehokas el mmvarasse estmaattor. b o tarketuva. b oudattaa ormaaljakaumaa: b XX ~ N k (, σ ( + ) ) TKK @ Ilkka Mell (007) 30/4
Mat.36 Tlastolle päättely 7. Suurmma uskottavuude meetelmä ja asymptootte teora Jos ylee leaare mall y = Xβ + ε toteuttaa stadardoletukset () (v), jääösvarass σ SU estmaattorlla σ ˆ = ( y Xb) ( y Xb) o seuraavat omasuudet: () () () (v) σ ˆ o harhae, mutta estmaattor s SSE = σˆ = k k o harhato parametrlle σ. b ja σ ˆ ovat yhdessä tyhjetävä parametrelle β ja σ. σ ˆ e ole tehokas el mmvarasse estmaattor. σˆ o tarketuva. (v) ( k )s /σ oudattaa χ jakaumaa vapauste ( k ): ( k ) s σ Gauss ja Markov lause χ ( k ) Olkoot ˆ ja ˆ kaks harhatota estmaattora parametrlle = ( θ, θ, K, θ p ). Saomme, että estmaattor ˆ o paremp el tehokkaamp ku estmaattor ˆ, jos jolla tarkotetaa stä, että kaklle p t. Cov( ˆ) Cov( ˆ) t Cov( ˆ) t t Cov( ˆ) t Tärkeä perustelu suurmma uskottavuude (pemmä elösumma) meetelmä käytölle ylese leaarse mall regressokertome estmomsee o seuraava lause: Gauss ja Markov lause: Oletetaa, että ylee leaare mall y = Xβ + ε toteuttaa stadardoletukset () (v). Tällö regressokertome vektor β suurmma uskottavuude (pemmä elösumma) estmaattor b= ( XX ) Xy o paras regressokertome vektor β leaarste ja harhattome estmaattorede joukossa. TKK @ Ilkka Mell (007) 3/4
Mat.36 Tlastolle päättely 7. Suurmma uskottavuude meetelmä ja asymptootte teora Perustelu: Olkoo c= Dy jok stadardoletukset toteuttava ylese leaarse mall y = Xβ + ε regressokertome vektor β leaare ja harhato estmaattor. Matrs D o (k+) matrs, joka e rpu vektorsta y. Olkoo Ste Koska D= D ( XX) X c= Dy = ( D+ ( XX ) X ) y = D+ XX X X + ( ( ) )( ) = ( DX+ I) + ( D+ ( XX ) X ) c = DX+ I + D+ XX X E() ( ) ( ( ) )E() = ( DX+ I) E() = 0 estmaattor c o harhato va, jos Ste DX= 0 c= Dy = + + ( D ( XX) X) Tarkastellaa yt estmaattor c kovarassmatrsa: Koska Cov( c) = E[( c E( c))( c E( c)) ] = E[( )( )] = + + E[( D ( XX) X) ( D ( XX) X)] = + + ( D ( XX) X)E( )( D X( XX) ) = σ [ DD + DX( XX ) + ( XX ) XD + ( XX ) ] E( ) = σ I DD X X DX 0 = σ [ + ( ) ] = t c t DD XX Cov( ) = σ [ t t+ t ( ) t] σ [ t ( X X) t] t DD t 0 = t Cov( bt ) TKK @ Ilkka Mell (007) 3/4
Mat.36 Tlastolle päättely 7. Suurmma uskottavuude meetelmä ja asymptootte teora Cov( c) Cov( b) ja ste suurmma uskottavuude ( pemmä elösumma) estmaattor b o paras regressokertome vektor β leaarste ja harhattome estmaattorede joukossa. Sovte ja resduaal Olkoo b= ( XX ) Xy ylese leaarse mall y = Xβ + ε regressokertome vektor β SU estmaattor. Määrtellää estmodu mall sovte ŷ kaavalla yˆ = Xb = X( XX ) Xy = My M = X( XX ) X Matrs M o projekto (symmetre ja dempotett): M = M M = M Määrtellää estmodu mall resduaal e kaavalla e= y yˆ = y Xb = y X( XX) Xy = ( I My ) = Py P= I M = I X( XX ) X Matrs P o projekto (symmetre ja dempotett): P = P P = P Lsäks projektot M ja P ovat ortogoaalsa sekä sarakkettesa että rvesä suhtee: MP = PM = 0 TKK @ Ilkka Mell (007) 33/4
Mat.36 Tlastolle päättely 7. Suurmma uskottavuude meetelmä ja asymptootte teora Sovttee ja resduaal omasuudet Sovtteella ŷ o seuraavat stokastset omasuudet: E( yˆ) = X Cov( ˆ) ( ) y = σ M = σ X XX X Lsäks, jos jääösterm ε o ormaaljakautuut, yˆ N( X, σ M) Sovtteella e o seuraavat stokastset omasuudet: E() e = 0 Cov( e) = P= ( I M) = ( I X( XX) X) σ σ σ Lsäks, jos jääösterm ε o ormaaljakautuut, e 0 P N(, σ ) Varassaalyyshajotelma Olkoo SST = ( y y)( y y) = ( y y) seltettävä muuttuja y havattuje arvoje y, y,, y kokoaselösumma, y = ( y, y, K, y ) = o havatoarvoje y, y,, y muodostama vektor, y = y = o havatoarvoje y, y,, y artmeette keskarvo ja = (,, K,) o ykköste muodostama vektor. Kokoaselösumma SST kuvaa seltettävä muuttuja y havattuje arvoje y, y,, y vahtelua. Huomaa, että seltettävä muuttuja y havattuje arvoje y, y,, y otosvarass saadaa kaavalla s = SST y Määrtellää resduaale elösumma el jääöselösumma SSE kaavalla SSE = e e = ( y Xb) ( y Xb) = e e= (,,, ) e e K e = TKK @ Ilkka Mell (007) 34/4
Mat.36 Tlastolle päättely 7. Suurmma uskottavuude meetelmä ja asymptootte teora o resduaale muodostama vektor. Jääöselösumma SSE kuvaa resduaale e, e,, e vahtelua. Huomaa, että jääösvarass σ harhato estmaattor saadaa kaavalla s = SSE k Vodaa osottaa, että aa pätee Tarkastellaa erotusta Vodaa osottaa, että SSE SST SSM = SST SSE SSM = ( yˆ y )( yˆ y) = ( yˆ y ) yˆ= ( ˆ, ˆ,, ˆ) y y K y 0 = o sovttede yˆ, yˆ, K, yˆ muodostama vektor, y = y = o havatoarvoje y, y,, y artmeette keskarvo ja = (,, K,) o ykköste muodostama vektor. Koska erotus SSM = SST SSE vodaa esttää elösummaa, erotusta SSM kutsutaa mallelösummaks. Huomaa, että y = y = yˆ ˆ = y = = Edellä estety ojalla kokoaselösumma SST vodaa hajottaa elösumme SSM ja SSE summaks: SST = SSM + SSE Kokoaselösumma SST hajotelmaa mallelösumma SSM ja jääöselösumma SSE summaks kutsutaa varassaalyyshajotelmaks. O lmestä, että mtä peemp o jääöselösumma SSE = e e osuus kokoaselösummasta SST, stä suuremp o mallelösumma SSM osuus ja stä paremm mall selttää seltettävä muuttuja havattuje arvoje vahtelu. TKK @ Ilkka Mell (007) 35/4
Mat.36 Tlastolle päättely 7. Suurmma uskottavuude meetelmä ja asymptootte teora Seltyaste ja se omasuudet Määrtellää estmodu leaarse regressomall seltysaste R kaavalla R SSM SSE = = SST SST Koska varassaalyyshajotelma mukaa SST = SSM + SSE 0 R Vodaa osottaa, että seuraavat ehdot ovat yhtäptävä: () R = () Kakk resduaalt hävävät: e j = 0 kaklle j =,,, () Kakk havatopsteet ( x, x, K, x, y ), j =,, K, j j jk j asettuvat samalle tasolle. (v) Mall selttää täydellsest seltettävä muuttuja y arvoje vahtelu. Edellee vodaa osottaa, että myös seuraavat ehdot ovat yhtäptävä: () R = 0 () b = b = = b k = 0 () Mall e ollekaa seltä seltettävä muuttuja arvoje vahtelua. Ste seltysaste R kuvaa estmodu mall selttämää osuutta seltettävä muuttuja y arvoje vahtelusta. Seltysaste lmotetaa tavallsest prosettea, jollo saotaa, että estmotu mall o selttäyt 00 R % seltettävä muuttuja y arvoje vahtelusta. Vodaa osottaa, että R = [Cor( yy, ˆ)] Cor( yy, ˆ) o seltettävä muuttuja y havattuje arvoje y, y,, y ja estmodu mall sovttede yˆ ˆ ˆ, y, K, y tavaomae otoskorrelaatokerro. TKK @ Ilkka Mell (007) 36/4
Mat.36 Tlastolle päättely 7. Suurmma uskottavuude meetelmä ja asymptootte teora PNS estmaattorede varasse estmot Jos stadardoletukset () (v) pätevät, regressokertome β, = 0,,,, k suurmma uskottavuude estmaattor b varass harhato estmaattor o = = XX D ( b) σb σ [( ) ] +, + ˆD ( b) = s [( XX ) ] +, + s SSE e = = ( y Xb) ( y Xb) = ee = = o jääösvarass σ harhato estmaattor. Regressokertome luottamusvält Valtaa luottamustasoks ( α). Jos stadardoletukset () (v) pätevät, regressokertome β, = 0,,,, k luottamusvält ovat muotoa b ˆD( ± tα/ b), = 0,,, K, k b = regressokertome β SU estmaattor ±t α/ = luottamustasoa ( α) vastaavat luottamuskertomet t jakaumasta, joka vapausastede lukumäärä o ( k ) ˆD ( ) b = regressokertome β SU estmaattor varass harhato estmaattor Regressokertome β luottamusväl vodaa helpost johtaa käyttämällä hyväks stä, että satuasmuuttuja b β t =, = 0,,, K, k ˆD( b) oudattaa t jakaumaa vapausaste ( k ): t t( ), =,, K, mkä merktsee stä, että satuasmuuttuja t jakauma e rpu estmo kohteea olevsta parametresta ja ste satuasmuuttuja t o saraasuure. Regressokertome β luottamusväl b ˆD( ± tα/ b), = 0,,, K, k luottamustasolla ( α) pettää regressokertome β todellse arvo todeäkösyydellä ( α): TKK @ Ilkka Mell (007) 37/4
Mat.36 Tlastolle päättely 7. Suurmma uskottavuude meetelmä ja asymptootte teora Pr( b t D( ˆb) β b + t D( ˆb)) = α α/ α/ Jos otataa tostetaa, luottamustaso frekvesstulka mukaa otokssta kostruodusta luottamusvälestä 00 ( α) % pettää regressokertome β todellse arvo ja 00 α % välestä e petä regressokertome β todellsta arvoa. Leaarste rajotuste testaus Olkoo y = Xβ + ε stadardoletukset () (v) toteuttava ylee leaare mall, X o e satuae (k + ) matrs, k +, r(x) = k +. Oletetaa, että regressokertome vektorlle β o asetettu ollahypotees H 0 : R = r R o e satuae m (k + ) matrs, m k +, r(r) = m. Nollahypotees H 0 mukaa regressokertoma stoo m leaarsa rajotusta el sde ehtoa. Sde ehtoa R = r kutsutaa use yleseks leaarseks hypoteesks. Regressokertome vektor β rajottamato suurmma uskottavuude (pemmä elösumma) estmaattor o b= UXy U= ( XX ) Regressokertome vektor β rajotettu el sdottu suurmma uskottavuude (pemmä elösumma) estmaattor o b = b + UR S( r Rb) R b= UXy o vektor β rajotettu suurmma uskottavuude estmaattor, matrs U o kute edellä ja S = ( RUR ) Määrtellää jääöselösummat SSE = ( y Xb)( y Xb) SSE = ( y Xb )( y Xb ) R R R TKK @ Ilkka Mell (007) 38/4
Mat.36 Tlastolle päättely 7. Suurmma uskottavuude meetelmä ja asymptootte teora Tällö osamäärätestsuure ollahypoteeslle o muotoa H 0 : R = r SSE λ = SSER Osamäärätestsuuree λ jakaumaa e tueta, mutta osamäärätestsuuree asymptoottsta jakaumaa koskevasta ylesestä tuloksesta seuraa, että ollahypotees pätessä SSE log λ log log( SSER) log( SSE) a χ ( m) SSER = = m = rajotuste el sde ehtoje lukumäärä = rve lukumäärä matrsssa R Suuret testsuuree log λ arvot merktsevät stä, että ollahypotees o asetettava kyseealaseks. Osamäärätestsuuree λ jakaumaa e ss tueta, ku otoskoko o äärelle. Se sjaa testsuure k F = m λ oudattaa eksaktst F jakaumaa vapausaste m ja ( k ) ollahypotees pätessä: H 0 : R = r F H F( m, k ) 0 Testsuure F vodaa krjottaa seuraav muotoh: k SSER SSE F = m SSE ( r Rb) S( r Rb) = ms k s = y Xb y Xb = SSE ( ) ( )( ) Testsuure F vodaa johtaa myös Wald testä ta Lagrage kertojatestä. Test regresso olemassaololle Olkoo testattavaa ollahypoteesa H 0 : β = β = L= β k = 0 TKK @ Ilkka Mell (007) 39/4
Mat.36 Tlastolle päättely 7. Suurmma uskottavuude meetelmä ja asymptootte teora Jos ollahypotees H 0 pätee, seltettävä muuttuja y e rpu leaarsest yhdestäkää selttäjästä x, x,, x k. Se sjaa, jos ollahypotees H 0 e päde, seltettävä muuttuja y rppuu leaarsest aak yhdestä selttäjästä x, x,, x k. Määrtellää F testsuure k SSM F = k SSE k SST SSE = k SSE k R = k R SST = seltettävä muuttuja y havattuje arvoje kokoasvahtelua kuvaava elösumma SSM = estmodu mall mallelösumma SSE = estmodu mall jääöselösumma R = estmodu mall seltysaste Testsuure F vertaa tossa resduaalvarassa ja mallvarassa s s = SSE k M = SSM k Oletetaa, että stadardoletukset () (v) pätevät. Tällö testsuure F oudattaa ollahypotees H : β = β = L= β k = 0 0 pätessä F jakaumaa vapausaste k ja ( k ): F H F( k, k ) 0 Testsuuree F ormaalarvo el odotusarvo ollahypotees H 0 pätessä o approksmatvsest (suurlle ) = : E( F) H 0 Suuret testsuuree F arvot vttaavat she, että ollahypotees H 0 e päde. Test o erkostapaus edellä estetystä teststä yleselle leaarslle hypoteeslle. Testsuure F vodaa johtaa osamäärätestä, Wald testä ta Lagrage kertojatestä. Testt regressokertomlle Olkoo ollahypoteesa H 0 : β = 0, = 0,,, K, k TKK @ Ilkka Mell (007) 40/4
Mat.36 Tlastolle päättely 7. Suurmma uskottavuude meetelmä ja asymptootte teora Jos ollahypotees H 00 pätee, mallssa e ole vakota. Jos ollahypotees H 0 pätee, seltettävä muuttuja y e rpu leaarsest selttäjästä x, =,,, k. Jos ollahypotees H 0 e päde, seltettävä muuttuja y rppuu leaarsest selttäjästä x, =,,, k. Määrtellää t testsuureet t b b = ˆD( b ) ˆD ( ) = regressokertome β SU estmaattor b = regressokertome β SU estmaattor varass harhato estmaattor Oletetaa, että stadardoletukset () (v) pätevät. Tällö testsuure t oudattaa ollahypotees H : β = 0, = 0,,, K, k 0 pätessä t jakaumaa vapausaste ( k ): t H t( k ), =,, K, 0 Testsuuree t ormaalarvo el odotusarvo ollahypotees H 0 pätessä o E( t ) = 0, = 0,,, K, k H 0 Itsesarvoltaa suuret testsuuree t arvot vttaavat she, että ollahypotees H 0 e päde. Testt ovat erkostapauksa edellä estetystä teststä yleselle leaarslle hypoteeslle. Testsuureet t, =,,, k vodaa johtaa osamäärätesteä, Wald testeä ta Lagrage kertojatesteä. TKK @ Ilkka Mell (007) 4/4