Ma-1.361 Tilasollie pääely 7. Suurimma uskoavuude meeelmä ja asympooie eoria Tilasollie pääely 7. Suurimma uskoavuude meeelmä ja asympooie eoria 7.1. Suurimma uskoavuude esimoiimeeelmä: Johdao Aikasarja, Asympooie ormaalisuus, Derivaaa, Ergodisuus, Esimaaori, Esimoii, Harhaomuus, Havaio, Havaioarvo, Logarimie uskoavuusfukio, Maksimoii, Marigaalidifferessi, Oos, Parameri, Realisaaio, Riippumaomuus, Sauaismuuuja, Saioaarisuus, Sokasie prosessi, Suurimma uskoavuude esimaaori, Suurimma uskoavuude meeelmä, Tarkeuvuus, Uskoavuusfukio, Yheisjakauma 7.. Suurimma uskoavuude esimaaori ja se asympooise omiaisuude Asympooie ormaalisuus, Craméri ja Rao alaraja, Derivaaa, Esimaaori, Esimoii, Fisheri iformaaiomariisi, Gradiei, Harhaomuus, Havaio, Havaioarvo, Hesse mariisi, Kovariassimariisi, Logarimie uskoavuusfukio, Luoamusaso, Luoamusväli, Maksimoii, Normaali jakauma, Oos, Parameri, Suurimma uskoavuude esimaaori, Suurimma uskoavuude meeelmä, Tarkeuvuus, Tehokas pisemäärä, Tehokkuus, Tesi, Tyhjeävyys, Uskoavuusfukio, Yheisjakauma 7.3. Asympooise esi Asympooie ormaalisuus, Derivaaa, Diagosie esi, Esimaaori, Esimoii, Havaio, Havaioarvo, Hesse mariisi, Hylkäysalue, Khi -jakauma, Kovariassimariisi, Kriiie arvo, Lagrage kerojaesi, Logarimie uskoavuusfukio, Maksimoii, Nollahypoeesi, Normaalijakauma, Osamääräesi, Oos, Parameri, Rajoius, Side-eho, Suurimma uskoavuude esimaaori, Suurimma uskoavuude meeelmä, Tarkeuvuus, Tehokas pisemäärä, Tehokkuus, Tesi, Tyhjeävyys, Uskoavuusfukio, Vaihoehoie hypoeesi, Waldi esi, Yheisjakauma 7.4. Numeerie opimoii Apuregressio, Askelpiuus, Esimaaori, Fisheri iformaaiomariisi, Gaussi ja Newoi meeelmä, Gradiei, Ieraaioaskel, Ieraiivie meeelmä, Maksimoii, Miimoii, Pieimmä eliösumma meeelmä, Suuavekori, Suurimma uskoavuude meeelmä, Hesse mariisi, Newoi ja Raphsoi meeelmä. @ Ilkka Melli (010) 1/4
Ma-1.361 Tilasollie pääely 7. Suurimma uskoavuude meeelmä ja asympooie eoria @ Ilkka Melli (010) /4
Ma-1.361 Tilasollie pääely 7. Suurimma uskoavuude meeelmä ja asympooie eoria 7.1. Suurimma uskoavuude esimoiimeeelmä: Johdao Oos ja se jakauma Olkoo X 1, X,, X sauaismuuujia, joide yheisjakauma piseodeäköisyys- ai iheysfukio f(x 1, x,, x ; ) riippuu uemaomasa paramerisa joukko o parameriavaruus eli mahdollise parameri arvoje joukko. Oleeaa, eä sauaismuuujie X 1, X,, X havaiu arvo ova x 1, x,, x Kusumme sauaismuuujia X 1, X,, X havaioiksi ja iide havaiuja arvoja x 1, x,, x havaioarvoiksi. Sauaismuuuja X 1, X,, X muodosava ookse, joka jakauma määrielee iide yheisjakauma piseodeäköisyys- ai iheysfukio Havaioarvo f(x 1, x,, x ; ) x 1, x,, x ova kiieiä eli ei-sauaisia reaalilukuja, mua e vaiheleva sauaisesi ooksesa oisee sauaismuuujie X 1, X,, X yheisjakauma f määräämi odeäköisyyksi. Uskoavuusfukio Ookse X 1, X,, X uskoavuusfukio o sauaismuuujie X 1, X,, X yheisjakauma piseodeäköisyysai iheysfukio f(x 1, x,, x ; ) arvo havaiopiseessä x = (x 1, x,, x ) ulkiua parameri fukioksi. Merkisemme uskoavuusfukioa seuraavalla avalla: L() = L(; x 1, x,, x ) = f(x 1, x,, x ; ) Uskoavuusperiaaee mukaa uskoavuusfukio iivisää yhee kaike oleaise parameria koskeva iformaaio ooksesa. @ Ilkka Melli (010) 3/4
Ma-1.361 Tilasollie pääely 7. Suurimma uskoavuude meeelmä ja asympooie eoria Suurimma uskoavuude esimaaori Olkoo L() = L(; x 1, x,, x ) ookse X 1, X,, X uskoavuusfukio ja olkoo = g(x 1, x,, x ) sellaie parameri arvo, joka maksimoi uskoavuusfukio L() arvo eli L( ) max L( ) Uskoavuusfukio L() maksimi aava parameri arvo o havaioarvoje x 1, x,, x fukio. Valiaa parameri esimaaoriksi sauaismuuuja ˆ (,,, ) g X1 X X Esimaaoria ˆ kusuaa parameri suurimma uskoavuude esimaaoriksi eli SUesimaaoriksi. Suurimma uskoavuude esimaaori ˆ uoaa paramerille arvo, joka ekevä saadu havaioarvo x 1, x,, x mahdollisimma uskoaviksi ( odeäköisiksi). Parameri suurimma SU-esimaaori määräää siis maksimoimalla uskoavuusfukio L() = L(; x 1, x,, x ) parameri suhee. Sääöllisissä apauksissa maksimi löydeää merkisemällä uskoavuusfukio L() derivaaa L () ollaksi ja rakaisemalla saadusa ormaaliyhälösä L () = 0 Olkoo = g(x 1, x,, x ) ormaaliyhälö L () = 0 ollakoha. Pise vasaa uskoavuusfukio maksimia, jos L () < 0 Uskoavuusfukio maksimi aava parameri arvo voidaa esiä myös maksimoimalla logarimie uskoavuusfukio eli uskoavuusfukio logarimi l() = log L(; x 1, x,, x ) parameri suhee. Logarimise uskoavuusfukio maksimoii o usei yksikeraisempaa kui uskoavuusfukio isesä maksimoii. Huomauus: Logarimie uskoavuusfukio ja uskoavuusfukio saavuava maksimisa samassa piseessä. @ Ilkka Melli (010) 4/4
Ma-1.361 Tilasollie pääely 7. Suurimma uskoavuude meeelmä ja asympooie eoria Uskoavuusfukio ja riippumaoma havaio Olkoo X 1, X,, X yksikeraise sauaisoos jakaumasa f X (x; ), o jakauma muodo määräävä parameri. Tällöi sauaismuuuja X 1, X,, X ova riippumaomia ja oudaava samaa jakaumaa f X (x; ): X, X,, X 1 X f ( x; ), i 1,,, i X Koska sauaismuuuja X 1, X,, X oleeii riippumaomiksi, ookse X 1, X,, X uskoavuusfukio voidaa esiää muodossa L(; x 1, x,, x ) = f(x 1 ; )f(x ; ) f(x ; ) f(x i ; ), i = 1,,, o havaioarvoo x i liiyvä piseodeäköisyys- ai iheysfukio. Sie vasaava logarimie uskoavuusfukio voidaa esiää muodossa l( ) log L( ) log f ( x ; ) f ( x ; ) f ( x ; ) 1 log f ( x ; ) log f ( x ; ) log f ( x ; ) 1 l( ; x ) l( ; x ) l( ; x ) 1 l(; x i ) = log f(; x i ), i = 1,,, o havaioarvo x i logarimie uskoavuusfukio. Eeki riippumaomie havaioje apauksessa logarimise uskoavuusfukio summaesiykse maksimoii o avallisesi helpompaa kui uskoavuusfukio isesä maksimoii. Suurimma uskoavuude esimaaori omiaisuude Suurimma uskoavuude esimaaori ei välämää oeua avaomaisia hyvä esimaaori krieereiä, ku ooskoko o äärellie eikä suurimma uskoavuude esimaaori äärellise ooskoo omiaisuuksia välämää uea: (i) (ii) SU-esimaaori ei välämää ole harhao. SU-esimaaori jakaumaa ei välämää uea. Oeksi suurimma uskoavuude esimaaorilla o kuieki hyvi yleisi ehdoi hyvä asympooise omiaisuude. @ Ilkka Melli (010) 5/4
Ma-1.361 Tilasollie pääely 7. Suurimma uskoavuude meeelmä ja asympooie eoria Suurimma uskoavuude esimaaori asympooise omiaisuude Suurimma uskoavuude esimaaorilla o hyvi yleisi ehdoi seuraava asympooise omiaisuude (ks. arkemmi kappalea 7..). (i) (ii) SU-esimaaori o arkeuva. SU-esimaaori o asympooisesi ormaalie. SU-esimaaori arkeuvuus merkisee siä, eä SU-esimaaori oeuaa suure lukuje lai. Sie esimaaori arvo kovergoi (ki mielessä) kohde parameri oikeaa arvoa, ku havaioje lukumäärä aeaa kasvaa rajaa. SU-esimaaori asympooie ormaalisuus merkisee siä, eä SU-esimaaori oeuaa keskeise raja-arvolausee. Sie SU-esimaaori jakaumaa voidaa suurissa ooksissa approksimoida ormaalijakaumalla, jolloi parameri luoamusväli ja paramereja koskeva esi voidaa perusaa ormaalijakaumaa (ai -jakaumaa). O suheellise yksikeraisa odisaa SU-esimaaori arkeuvuus ja asympooie ormaalisuus, jos oos muodosuu riippumaomisa, samaa jakaumaa oudaavisa havaioisa. Oleuksia havaioje riippumaomuudesa ja samasa jakaumasa voidaa ieyi edellyyksi lieveää, millä o suuri merkiys esimerkiksi aikasarjamallie SU-esimoiissa. Tilasollie aikasarja-aalyysi perusuu siihe, eä havaiu aikasarja ulkiaa joki sokasise prosessi realisaaioksi. Sokasise prosessi ova ilasollisia malleja havaiuille aikasarjoille. Aikasarjamallie paramerie SU-esimaaoreide arkeuvuus ja asympooie ormaalisuus voidaa odisaa esimerkiksi silloi, ku aikasarja geeroiu sokasie prosessi o joaki seuraavisa yypeisä: ergodie saioaarie marigaalidifferessi 7.. Suurimma uskoavuude esimaaori ja se asympooise omiaisuude 1. keraluvu osiaisderivaaoje vekori ja. keraluvu osiaisderivaaoje mariisi Olkoo p-vekori. Tällöi = ( 1,, p ) 1 D,, 1 p p @ Ilkka Melli (010) 6/4
Ma-1.361 Tilasollie pääely 7. Suurimma uskoavuude meeelmä ja asympooie eoria o 1. keraluvu osiaisderivaaaoperaaoreide muodosama p-vekori ja D i, i 1,,, p 1 1 p DD p1 p o. keraluvu osiaisderivaaaoperaaoreide muodosama pp-mariisi. Oos ja se jakauma Olkoo, i 1,,, p, j 1,,, p i j X 1, X,, X sauaismuuujia, joide yheisjakauma piseodeäköisyys- ai iheysfukio riippuu paramerisa f(x 1, x,, x ; ) = ( 1,,, p ) Olkoo sauaismuuujie X 1, X,, X havaiu arvo Uskoavuusfukio Ookse uskoavuusfukio x 1, x,, x X 1, X,, X L() = L(; x 1, x,, x ) = f(x 1, x,, x ; ) o sauaismuuujie X 1, X,, X yheisjakauma piseodeäköisyys- ai iheysfukio f(x 1, x,, x ; ) arvo havaiopiseessä x = (x 1, x,, x ) ulkiua parameri = ( 1,,, p ) fukioksi. Olkoo l() = log L(; x 1, x,, x ) vasaava logarimie uskoavuusfukio. @ Ilkka Melli (010) 7/4
Ma-1.361 Tilasollie pääely 7. Suurimma uskoavuude meeelmä ja asympooie eoria Suurimma uskoavuude esimaaori Olkoo L() = L(; x 1, x,, x ) ookse X 1, X,, X uskoavuusfukio ja olkoo = g(x 1, x,, x ) sellaie parameri = ( 1,,, p ) arvo, joka maksimoi uskoavuusfukio L() arvo. Uskoavuusfukio L() maksimi aava parameri arvo o havaioarvoje x 1, x,, x fukio. Valiaa parameri esimaaoriksi sauaismuuuja θˆ T (,,, ) g X1 X X Esimaaoria ˆθ kusuaa parameri suurimma uskoavuude esimaaoriksi eli SUesimaaoriksi. Koska uskoavuusfukio L() maksimoii o yhäpiävää logarimise uskoavuusfukio l() = log L() maksimoii kassa, ii uskoavuusfukiolla L() o lokaali maksimi piseessä ˆθ, jos ja Huomauus: Merkiä Dl( θˆ ) 0 D l( θ) 0 ˆ A > 0 arkoiaa siä, eä mariisi A o posiiivisesi defiiii eli eä zaz 0 kaikille z 0. Vasaavasi merkiä A 0 arkoiaa siä, eä mariisi A o ei-egaiivisesi defiiii eli eä kaikille z. zaz 0 Tehokas pisemäärä ja Fisheri iformaaiomariisi Maemaaisessa ilasoieeessä vekoria Dl( θ) kusuaa ehokkaaksi pisemääräksi (egl. score) ja mariisia I θ D l θ Dl θ Dl θ ( ) E[ ( )] E[( ( ))( ( )) ] @ Ilkka Melli (010) 8/4
Ma-1.361 Tilasollie pääely 7. Suurimma uskoavuude meeelmä ja asympooie eoria kusuaa Fisheri iformaaiomariisiksi. Voidaa osoiaa, eä Fisheri iformaaiomariisi I() kääeismariisi muodosaa alaraja harhaomie esimaaoreide kovariassimariisille seuraavassa mielessä: Olkoo ˆθ mielivalaie harhao esimaaori paramerille. Tällöi Cov( θˆ ) [ I( θ)] 1 Mariisi [ I( θ)] 1 o Craméri ja Rao alaraja esimaaori ˆθ kovariassimariisille Cov( θ ˆ). Jos harhaoma esimaaori ˆθ kovariassimariisi oeuaa yhälö Cov( θˆ ) [ I( θ)] saomme, eä esimaaori ˆθ o (äys-) ehokas. Suurimma uskoavuude esimaaori ja yhjeävyys Olkoo f ( x; θ) 1 ookse X = (X 1, X,, X ) yheisjakauma piseodeäköisyys- ai iheysfukio, joka riippuu paramerisa = ( 1,,, p ). Fakoroiieoreema mukaa uusluku T(X) o yhjeävä paramerille, jos ja vai jos o olemassa fukio g(;) ja h(x) sie, eä f ( x; θ) g( T( x); θ) h( x) kaikille havaiopiseille x = (x 1, x,, x ) ja parameri mahdollisille arvoille ja fukio g riippuu ooksesa X = x vai uusluvu T(X) kaua ja fukio h ei riipu paramerisa. Ookse X yheisjakauma iheysfukio fakoroiisa ähdää suoraa, eä parameri suurimma uskoavuude esimaaori ˆθ o yhjeävä uusluvu T(X) fukio (oleae siis, eä yhjeävä uusluku o olemassa). Suurimma uskoavuude esimaaori ja ehokkuus Olkoo ˆθ harhao ja ehokas esimaaori paramerille = ( 1,,, p ). Voidaa osoiaa, eä ällöi esimaaori ˆθ yhyy parameri suurimma uskoavuude esimaaorii. Suurimma uskoavuude esimaaori arkeuvuus Suurimma uskoavuude esimaaoreide sokasisia omiaisuuksia ei useikaa uea ai iide omiaisuude ova aiaki vaikeasi halliavissa, jos ooskoko o äärellie. Se sijaa moie esimaaoreide asympooise sokasise omiaisuude ueaa hyvi. Esimaaoreide asympooisilla sokasisilla omiaisuuksilla arkoieaa esimaaoreide käyäyymisä sauaismuuujia, ku ooskoo aeaa hypoeeisesi kasvaa rajaa. Puhumme usei esimaaoreide suure oose omiaisuuksisa arkoiaessamme esimaaoreide asympooisia käyäyymisä. @ Ilkka Melli (010) 9/4
Ma-1.361 Tilasollie pääely 7. Suurimma uskoavuude meeelmä ja asympooie eoria Perusavaa laaua oleva vaaimus esimaaoreide asympooiselle käyäyymiselle o se, eä esimaaori arvo piää kovergoida sokasisesi (ai melkei varmasi) kohi oikeaa parameri arvoa, ku havaioje lukumäärä aeaa kasvaa rajaa. Tuuslukuje W W ( X, X,, X ), 1,,3, 1 joo muodosaa (heikosi) arkeuva joo esimaaoreia paramerille, jos lim Pr ( W ) 1 kaikille > 0 ja kaikille. Saomme ällöi avallisesi, eä uusluku W o (heikosi) arkeuva esimaaori paramerille. Ekvivalei eho esimaaori W arkeuvuudelle o se, eä lim Pr ( W ) 0 kaikille > 0 ja kaikille. Tavallisesi arkeuvuude odisamisessa ei arvise eksplisiiisesi vedoa arkeuvuude määrielmää, sillä odisamisessa voidaa usei sovelaa Tshebyshevi epäyhälöä. Tshebyshevi epäyhälö mukaa E [( W ) ] Pr ( W ) Sie esimaaori W o arkeuva paramerille, jos Koska lim E [( W ) ] 0 E [( W ) ] E [( W E ( W )) ] [(E ( W ) ) ] Var ( W ) [Bias ( W )] äemme, eä esimaaori W o arkeuva paramerille, jos lim Var ( W ) 0 ja lim Bias ( W ) 0 Tarkeuvie esimaaoreide joo eivä ole yksikäsieisiä. Tämä ähdää seuraavasa: Olkoo uuslukuje W, = 1,, arkeuva joo esimaaoreia paramerille ja olkoo a 1, a, a 3, ja b 1, b, b 3, kaksi jooa ei-sauaisia vakioia, joille päee lim a 1 lim b 0 @ Ilkka Melli (010) 10/4
Ma-1.361 Tilasollie pääely 7. Suurimma uskoavuude meeelmä ja asympooie eoria Tällöi myös uuslukuje joo U a W b, 1,,3, muodosaa arkeuva joo esimaaoreia paramerille. Voidaa osoiaa, eä suurimma uskoavuude esimaaori ova hyvi yleisi ehdoi arkeuvia. Lause: Olkoo ˆ parameri suurimma uskoavuude esimaaori ja olkoo () parameri jakuva fukio. Tällöi uusluku ( ˆ ) o hyvi yleisi ehdoi arkeuva esimaaori paramerille (): lim Pr ( ( ˆ ) ( ) ) 0 kaikille > 0 ja kaikille. Olkoo arkaselu koheea olevaa parameria p-vekori = ( 1,,, p ) ja olkoo parameri esimaaoria p-vekori θˆ ( ˆ, ˆ,, ˆ ) 1 p Esimaaori ˆθ arkeuvuus voidaa määriellä se kompoeie arkeuvuude kaua. ˆ i, i 1,,, p Suurimma uskoavuude esimaaori asympooie ehokkuus ja ormaalisuus Tarkeuvuua voidaa piää järkevyysvaaimuksea esimaaoreide käyäyymiselle suurissa ooksissa. Tilasollise pääely kaala o kuieki ärkeää uea myös esimaaori variassi ai yleisemmi esimaaori jakauma suurissa ooksissa. Saaaa uua houkuelevala yriää määriellä esimaaori suure oose variassi esimaaori variassi raja-arvoa, ku ooskoo aeaa kasvaa rajaa. Olkoo uusluku T esimaaori paramerille ja olkoo k, = 1,, 3, joo ei-sauaisia vakioia. Jos lim k Var( T ) ii saomme, eä o uusluvu T variassi raja-arvo. Variassi raja-arvo ei kuiekaa ole osoiauuu samalla avalla hyödylliseksi käsieeksi kui seuraavassa määrielävä asympooise variassi käsie. @ Ilkka Melli (010) 11/4
Ma-1.361 Tilasollie pääely 7. Suurimma uskoavuude meeelmä ja asympooie eoria Olkoo uusluku T parameri esimaaori, olkoo () parameri jakuva fukio ja olkoo k, = 1,, 3, joo ei-sauaisia vakioia. Jos lim k[ T ( )] N(0, ) jakaumakovergessi mielessä, ii saomme, eä o uusluvu T asympooie variassi. Tämä merkisee siä, eä uusluvu T rajajakaumaa o ooskoo kasvaessa rajaa ormaalijakauma ja o ämä rajajakauma variassi. Moissa ilaeissa uusluvu asympooie variassi o se variassi raja-arvo. Seuraavassa määrielmässä esieää Craméri ja Rao alarajaa vasaava asympooie käsie. Tuuslukuje W, = 1,, joo o asympooisesi ehokas paramerille (), jos lim [ W ( )] N(0, v( )) jakaumakovergessi mielessä ja [ ( )] v( ) E log f ( X ) Tällöi uusluku W o asympooisesi ormaalie ja se asympooie variassi saavuaa Craméri ja Rao alaraja. Seuraava lausee mukaa suure uskoavuude esimaaori o asympooisesi ormaalie ja ehokas. Lause: Merkiä: Olkoo ˆ parameri suurimma uskoavuude esimaaori ja olkoo ( ) parameri jakuva fukio. Tällöi uusluku ( ˆ ) o hyvi yleisi ehdoi arkeuva, asympooisesi ormaalie ja ehokas esimaaori paramerille ( ) : v( ) lim [ ( ˆ ) ( )] N(0, v( )) o Craméri ja Rao alaraja. ( ˆ ) N( ( ˆ a ), v( ) / ) Olkoo arkaselu koheea olevaa parameria y p-vekori = ( 1,,, p ) ja olkoo parameri esimaaoria p-vekori θˆ ( ˆ, ˆ,, ˆ ) 1 p Tällöi parameri = ( 1,,, p ) suurimma uskoavuude esimaaori ˆθ asympooisesa ormaalisuua ja ehokkuua koskeva ulos voidaa esiää seuraavassa muodossa: @ Ilkka Melli (010) 1/4
Ma-1.361 Tilasollie pääely 7. Suurimma uskoavuude meeelmä ja asympooie eoria ˆ 1 θ a N p θ, [ IA( θ)] 1 IA( θ) lim I( θ) o Fisheri iformaaiomariisi I() asympooie arvo. 1 Jos parameri = ( 1,,, p ) suurimma uskoavuude esimaaori o asympooisesi ormaalie, ii paramereja i, i = 1,,, p koskevassa ilasollisessa pääelyssä voidaa ojaa suurimma uskoavuude esimaaori approksimaiivisee ormaalisuuee suurissa ooksissa: (i) (ii) Paramereille i, i = 1,,, p voidaa kosruoida luoamusväli samalaisella ekiikalla kui ormaalijakauma odousarvolle. Luoamuskeroime määräää joko ormaalijakaumasa ai -jakaumasa. Paramerie i, i = 1,,, p arvoja koskeville ollahypoeeseille voidaa kosruoida esi samaa apaa kui ormaalijakauma odousarvolle. Tesie hylkäysaluee ai esisuuree arvoja vasaava p-arvo määräää joko ormaalijakaumasa ai -jakaumasa. O syyä huomaa, eä SU-esimaaori ormaalisuua koskeva ulos o luoeelaa asympooie, mua käyäö sovellusilaeissa ooskoo ova aia äärellisiä. Sie SUesimaaori ormaalisuuee perusuva luoamusväli ja esi eivä ole eksakeja, vaa aioasaa approksimaiivisia. Siksi luoamuskeroimia ja esie hylkäysalueia ai p-arvoja määrääessä SUpääelyssä ei avallisesi käyeä ormaalijakaumaa, vaa -jakaumaa. Tämä johuu siiä, eä - jakauma käyö johaa koservaiivisempii luoamusväleihi ja eseihi kui ormaalijakauma käyö: (i) (ii) Oleeaa, eä kosruoimme luoamusväli arkaselu koheea olevalle paramerille samalla luoamusasolla (1 ) sekä -jakaumasa eä ormaalijakaumasa. Tällöi - jakaumaa perusuva luoamusväli o aia leveämpi kui vasaava ormaalijakaumaa perusuva luoamusväli. Oleeaa, eä kosruoimme esi arkaselu koheea olevaa parameri arvoa koskevalle ollahypoeesille määräämällä esie hyväksymisaluee samalla merkisevyysasolla sekä -jakaumasa eä ormaalijakaumasa. Tällöi -jakaumaa perusuva hyväksymisalue o aia suurempi kui vasaava ormaalijakaumaa perusuva hyväksymisalue. Oleeaa, eä olemme määräee esisuuree arvo parameria koskevalle ollahypoeesille. Tällöi esisuuree arvoa vasaava -jakaumasa määräy p-arvo o aia suurempi kui ormaalijakaumasa määräy p-arvo. @ Ilkka Melli (010) 13/4
Ma-1.361 Tilasollie pääely 7. Suurimma uskoavuude meeelmä ja asympooie eoria 7.3. Asympooise esi Tesiprobleema Olkoo S H H 0 = kaikkie mahdollise havaiopiseide x = (x 1, x,, x ) joukko = yleie hypoeesi, joka kiiiää ookse jakauma = ollahypoeesi, joka kiiiää joki yleisessä hypoeesissa kiiiey jakauma paramereisa Tilasollisella esillä arkoieaa pääössääöä, joka keroo milloi ollahypoeesi jäeää voimaa ja milloi ollahypoeesi hyläää. Tesi pääössääö jakaa kaikkie mahdollise havaiopiseide jouko S hyväksymisalueesee ja hylkäysalueesee. Jos havaiopise x = (x 1, x,, x ) jouuu hylkäys- eli kriiiselle alueelle silloi, ku ollahypoeesi päee, ehdää 1. laji virhe eli hylkäysvirhe. Jos havaiopise x = (x 1, x,, x ) jouuu hyväksymisalueelle silloi, ku ollahypoeesi ei päde, ehdää. laji virhe eli hyväksymisvirhe. Tesi merkisevyysaso valia arkoiaa 1. laji virhee odeäköisyyde kiiiämisä eukäee, ee esi ekemisä. Jos merkisevyysaso o valiu eukäee, voidaa iide esie joukosa, joilla o sama 1. laji virhee odeäköisyys, pyrkiä löyämää se, joka miimoi. laji virhee odeäköisyyde. Jos ällaie esi o olemassa, siä kusuaa asaisesi voimakkaimmaksi esiksi. Osamääräesi Olkoo ˆθ L( θ ˆ) = parameri SU-esimaaori, joka o määräy oleae, eä esi yleie hypoeesi H päee = ookse uskoavuusfukio arvo piseessä ˆθ ˆθ 0 Tällöi sauaismuuuja ˆ = parameri rajoieu SU-esimaaori, joka o määräy oleae, eä esi ollahypoeesi H 0 päee L( θ 0) = ookse uskoavuusfukio arvo piseessä 0 L( θˆ 0) L( θˆ ) o (uskoavuus-) osamääräesisuure ollahypoeesille H 0. Huomaa, eä 0 1 Osamääräesisuurea muodoseaessa malli parameri jouduaa esimoimaa suurimma uskoavuude meeelmällä kahdella eri avalla: ˆθ @ Ilkka Melli (010) 14/4
Ma-1.361 Tilasollie pääely 7. Suurimma uskoavuude meeelmä ja asympooie eoria (i) (ii) Osamääräesisuuree imiäjä saadaa esimällä uskoavuusfukio maksimi yleise hypoeesi H päiessä. Tämä merkisee vapaa ääriarvoehävä rakaisemisa. Osamääräesisuuree osoiaja saadaa esimällä uskoavuusfukio maksimi ollahypoeesi H 0 päiessä. Tämä merkisee sidou ääriarvoehävä rakaisemisa. Koska osamääräesisuureella o aipumus saada pieiä arvoja, jos ollahypoeesi H 0 ei päde, osamääräesi hylkäysalueeksi valiaa kaikkie mahdollise havaiopiseide jouko S alue { x S ( )} kriiie arvo () valiaa sie, eä Pr( x S ( )) jos ollahypoeesi H 0 päee. Jos osamääräesisuuree arvo jouuu hylkäysalueelle, ollahypoeesi H 0 hyläää. Osamääräesi käyössä o kuieki usei se käyäö ogelma, eä osamääräesisuuree jakauma ei välämää ole miää ueua yyppiä. Osamääräesisuureelle päee kuieki ieyje (melko lievie) ehoje valliessa ja ollahypoeesi H 0 päiessä seuraava asympooie jakaumaulos: L( θˆ ) ˆ L( θˆ ) 0 log log l( θ) l( θ0 ) a ( m) m = ollahypoeesi kiiiämie paramerie lukumäärä Jos ollahypoeesi H 0 ei päde, esisuureella log o aipumus saada suuria arvoja. Tesi hylkäysalueeksi valiaa kaikkie mahdollise havaiopiseide jouko S alue { x S log ( m)} ˆ kriiie arvo ( m) valiaa sie, eä Pr( S log ( m)) x jos ollahypoeesi H 0 päee. Jos esisuuree log arvo jouuu hylkäysalueelle, ollahypoeesi H 0 hyläää. Osamääräesisuurea muodoseaessa jouduaa malli parameri esimoimaa, so. uskoavuusfukio jouduaa maksimoimaa sekä yleise hypoeesi H eä ollahypoeesi H 0 päiessä. Moissa esausaseelmissa oie äisä ääriarvoehävisä o vaikea, mua oie o helppo rakaisa. Tämä havaio o johau seuraavie (asympooise) esie kosruoiii: (i) (ii) Waldi esissä parameri esimoidaa oleae, eä yleie hypoeesi H päee. Lagrage kerojaesissä parameri esimoidaa oleae, eä ollahypoeesi H 0 päee. @ Ilkka Melli (010) 15/4
Ma-1.361 Tilasollie pääely 7. Suurimma uskoavuude meeelmä ja asympooie eoria Waldi esi lieaarisille rajoiuksille Olkoo ˆθ = parameri SU-esimaaori, joka o määräy oleae, eä esi yleie hypoeesi H päee Olkoo ollahypoeesia lieaarie hypoeesi H : Rθ r R o mp-mariisi, jolle 0 r(r) = m Määriellää sauaismuuuja mariisi ˆ 1 ˆ 1 ˆ W ( Rθ r) [ RI (θ)r] ( Rθ r) I θ D θ D θ D θ ( ) E[ l( )] E[( l( ))( l( )) ] o Fisheri iformaaiomariisi. Sauaismuuuja W o Waldi esisuure ollahypoeesille H 0. Jos ollahypoeesi H 0 ei päde, Waldi esisuureella W o aipumus saada suuria arvoja. Waldi esisuureelle W päee ieyje (hyvi lievie) ehoje valliessa ja ollahypoeesi H 0 päiessä seuraava asympooie jakaumaulos: W a ( m) m = ollahypoeesi kiiiämie paramerie lukumäärä Tesi hylkäysalueeksi valiaa kaikkie mahdollise havaiopiseide jouko S alue { S W ( m)} x kriiie arvo ( m) valiaa sie, eä Pr( S W ( m)) x jos ollahypoeesi H 0 päee. Jos Waldi esisuuree W arvo jouuu hylkäysalueelle, ollahypoeesi H 0 hyläää. Waldi esi epälieaarisille rajoiuksille Olkoo Olkoo ollahypoeesia ˆθ = parameri SU-esimaaori, joka o määräy oleae, eä esi yleie hypoeesi H päee H 0 : h( θ) h1 ( θ),, h m ( θ) 0 fukio h i ova epälieaarisia reaaliarvoisia fukioia. @ Ilkka Melli (010) 16/4
Ma-1.361 Tilasollie pääely 7. Suurimma uskoavuude meeelmä ja asympooie eoria Määriellää pm-mariisi H h ij hj ( θ) i Määriellää sauaismuuuja mariisi ˆ 1 ˆ 1 ˆ W [ h( θ)] [ Hˆ I ( θ) Hˆ ] [ h( θ)] I θ D θ ( ) E[ l( )] o Fisheri iformaaiomariisi ja ( ) ˆ hj θ H i θ θ ˆ Sauaismuuuja W o Waldi esisuure ollahypoeesille H 0. Jos ollahypoeesi H 0 ei päde, Waldi esisuureella W o aipumus saada suuria arvoja. Waldi esisuureelle W päee ieyje (melko lievie) ehoje valliessa ja ollahypoeesi H 0 päiessä seuraava asympooie jakaumaulos: W a ( m) m = ollahypoeesi kiiiämie paramerie lukumäärä Tesi hylkäysalueeksi valiaa kaikkie mahdollise havaiopiseide jouko S alue { S W ( m)} x kriiie arvo ( m) valiaa sie, eä Pr( S W ( m)) x jos ollahypoeesi H 0 päee. Jos Waldi esisuuree W arvo jouuu hylkäysalueelle, ollahypoeesi H 0 hyläää. Lagrage kerojaesi Olkoo Määriellää sauaismuuuja mariisi ˆθ 0 = parameri rajoieu SU-esimaaori, joka o määräy oleae, eä esi ollahypoeesi H 0 päee LM [ D( θˆ )] I ( θˆ )[ D( θˆ )] o Fisheri iformaaiomariisi ja 1 0 0 0 I θ D l θ Dl θ Dl θ ( ) E[ ( )] E[( ( ))( ( )) ] @ Ilkka Melli (010) 17/4
Ma-1.361 Tilasollie pääely 7. Suurimma uskoavuude meeelmä ja asympooie eoria D( θ) o ehokkaa pisemäärä vekori. Sauaismuuuja LM o Lagrage kerojaesisuure ollahypoeesille H 0. Lagrage kerojaesisuureelle LM päee ieyje (melko lievie) ehoje valliessa ja ollahypoeesi H 0 päiessä seuraava asympooie jakaumaulos: LM a ( m) m = ollahypoeesi kiiiämie paramerie lukumäärä Tesi hylkäysalueeksi valiaa kaikkie mahdollise havaiopiseide jouko S alue { S LM ( m)} x kriiie arvo ( m) valiaa sie, eä Pr( S LM ( m)) x jos ollahypoeesi H 0 päee. Jos Lagrage kerojaesisuuree LM arvo jouuu hylkäysalueelle, ollahypoeesi H 0 hyläää. Lagrage kerojaesi ja pieimmä eliösumma meeelmä Oleeaa, eä logarimie uskoavuusfukio l() = log L() o verraollie eliösummaa: l 1 ( θ) ( ) i θ i 1 Tällöi parameri suurimma uskoavuude esimaaori voidaa määrää pieimmä eliösumma meeelmällä. Tämä o avaomaie ilae sekä lieaarise eä epälieaarise regressiomallie sovelamise yheydessä. Muodoseaa apuregressio ˆ 0i zˆ 0 iγ i, i 1,,, ( θ) i z z ( θ) D ( θ) ˆ ( θˆ ) i i i i 0i i 0 zˆ z ( θˆ ) 0i i 0 ja ˆθ 0 o parameri rajoieu suurimma uskoavuude esimaaori, joka o siis määräy maksimoimalla (logarimie) uskoavuusfukio, ku ollahypoeesi H 0 aseama rajoiukse parameriavaruudelle o oeu huomioo. @ Ilkka Melli (010) 18/4
Ma-1.361 Tilasollie pääely 7. Suurimma uskoavuude meeelmä ja asympooie eoria Lagrage kerojaesisuure LM voidaa määrää ämä apuregressio seliysasee avulla: LM R 0 Kuvau apa muodosaa LM-esisuure o eriyise käevä silloi, ku ollahypoeesi mukaise rajoiukse ova ollarajoiuksia, joka yksikeraisava yleise hypoeesi kiiiämää mallia. Toie apa käyää yo. apuregressioa hyväksi o esaa avaomaisella lieaarise mallie (ks. lukua 8) yheydessä sovelleavalla F-esillä ollahypoeesia H : γ 0 0 Näi saaava esi o asympooisesi ekvivalei ym. apuregressio seliysaseesee perusava esi kassa. Kirjallisuudessa esieyje ieoje mukaa LM-esi F-esimuoo oimii kuieki pieissä ooksissa paremmi kui seliysaseesee perusuva muoo. Moe ilasollise mallie diagosisisa eseisä voidaa ulkia LM-eseiksi. Tällaisia ova esimerkiksi avaomaise esi regressiomallie jääösermie homoskedasisuudelle, auokorreloimaomuudelle ja ormaalisuudelle ai ARMA-mallie jääösermie auokorreloimaomuudelle. Osamääräesi, Waldi esi ja Lagrage kerojaesi verailua Kue edellä o odeu osamääräesisuurea muodoseaessa jouduaa malli parameri esimoimaa (s. uskoavuusfukio ai se logarimi maksimoimaa) sekä yleise hypoeesi H eä ollahypoeesi H 0 päiessä. Moissa esausaseelmissa oie äisä ääriarvoehävisä o vaikea, mua oie o helppo rakaisa. Juuri ämä havaio o johau Waldi esi ja Lagrage kerojaesi kosruoiii: (i) Waldi esissä malli parameri esimoidaa oleae, eä yleie hypoeesi H päee. (ii) Lagrage kerojaesissä malli parameri esimoidaa oleae, eä ollahypoeesi H 0 päee. Oleeaa, eä sovellamme osamääräesiä, Waldi esiä ja Lagrage kerojaesiä samassa esausaseelmassa (so. sama ollahypoeesi esaamisee). Olkoo Aia päee: LR W LM 0 LR 1 Jos ollahypoeesi H 0 päee, ii = osamääräesisuure = Waldi esisuure = Lagrage esisuure log LR W LM a ( m) @ Ilkka Melli (010) 19/4
Ma-1.361 Tilasollie pääely 7. Suurimma uskoavuude meeelmä ja asympooie eoria m = ollahypoeesi H 0 kiiiämie paramerie lukumäärä Sie osamääräesi, Waldi esi ja Lagrage kerojaesi johava asympooisesi (suurissa ooksissa) samaa johopääöksee ollahypoeesi hylkäämisesä. Pieissä ooksissa esi saaava kuieki johaa erilaisii johopääöksii. Tesi valiaa yleesä käyäöllise aspekie, kue laskuyö helppoude, peruseella. Juuri äsä syysä moe ilasollise mallie käyö yheydessä sovelleavisa diagosisisa eseisä ova Lagrage kerojaesejä. 7.4. Numeerie opimoii Fukio miimoii Oleeaa, eä haluamme miimoida reaaliarvoise krieerifukio g() muuuja = ( 1,,, p ) suhee. Fukio g() saavuaa (ieyi ehdoi) lokaali miimi piseessä ˆθ, jos ja Dg( θˆ ) 0 D g( θ) 0 ˆ Dg( θ ˆ) = fukio g() gradiei piseessä ˆθ D g( θ ˆ) = fukio g() Hesse mariisi piseessä ˆθ Fukio g() miimi voidaa pyrkiä määräämää rakaisemalla ormaaliyhälö Dg( θ) 0 Jos ormaaliyhälö rakaisemie ei oisu suljeussa muodossa, fukio g() miimoiissa o urvauduava umeerisii opimoiimeeelmii. Huomauus: Moissa ilasollisissa ogelmissa ormaaliyhälö rakaisemie suljeussa muodossa o mahdollisa. Täsä o ärkeää esimerkkiä yleise lieaarise malli pieimmä eliösumma esimoiissa syyvä ormaaliyhälö rakaisemie. Fukio miimoii ieraiivise meeelmie avulla Tilaeessa, ormaaliyhälöä Dg( θ) 0 ei pysyä rakaisemaa suljeussa muodossa, fukio g() miimi aava pise voidaa pyrkiä löyämää ieraiivisesi algorimilla θ ˆ θ ˆ d ˆ 1 ( θ ) @ Ilkka Melli (010) 0/4
Ma-1.361 Tilasollie pääely 7. Suurimma uskoavuude meeelmä ja asympooie eoria θ ˆ d( θ ˆ ) = miimipisee approksimaaio ieraaioaskeleessa = askelpiuus = suuavekori arvo piseessä θˆ θ ˆ 1 = miimipisee approksimaaio ieraaioaskeleessa +1 Ieraaioaskeleessa saau arvio θˆ miimi paikasa päivieää askeleessa +1 oamalla : miaie askel suuavekori d( θ ) suuaa. Jos suuavekori d( θ ) valiaa sopivasi (ja fukiolla g() o sopiva omiaisuude) kuvau ieraaioprosessi kovergoi kohi fukio g() miimiä. Erilaise valia suuavekoriksi d( θ ) johava erilaisii miimoiialgorimeihi. Opimaalise askelpiuude määräämisessä käyeää avallisesi joaki erillisä hakumeeelmää. Nämä hakumeeelmä perusuva avallisesi fukio ( ) g( θ d( θ )) miimoiii askelpiuude suhee. Jyrkimmä lasku meeelmä Jyrkimmä lasku meeelmä perusuu ieraaioo θ ˆ θ ˆ D ˆ 1 ( θ ) D( θ ˆ ) = fukio g() gradiei piseessä θˆ Jyrkimmä lasku meeelmä perusuu siihe, eä fukio väheee opeimmi gradieivekori vasavekori suuaa. Koska jyrkimmä lasku meeelmä kovergoi usei hyvi hiaasi, siä ei avallisesi käyeä ääriarvoje esiää. Se muodosaa kuieki perusa useille kohdefukio derivaaoihi perusuville opimoiimeeelmille. Newoi ja Raphsoi algorimi Newoi ja Raphsoi algorimi perusuu ieraaioo θ ˆ θ ˆ ˆ 1 ˆ 1 D θ D θ D( θ ˆ ) D ( θ ) ˆ [ ( )] ( ) = fukio g() gradiei piseessä θˆ = fukio g() Hesse mariisi piseessä θˆ Newoi ja Raphsoi algorimi kovergoi, jos miimoiava fukio g() o kupera alaspäi, mikä akaa se, eä mariisi D ( θ ) 0 @ Ilkka Melli (010) 1/4
Ma-1.361 Tilasollie pääely 7. Suurimma uskoavuude meeelmä ja asympooie eoria kaikille. Newoi ja Raphsoi algorimi kovergoi yleesä paljo opeammi kui jyrkimmä lasku algorimi. Newoi ja Raphsoi algorimisa o kehiey muuoksia, joissa ei haiaa, vaikka fukio g() ei olisikaa kaikkialla kupera alaspäi, kuha se o kupera alaspäi miimipisee lähellä. Ehkä ueui ällaie algorimi ( Hesse mariisi D ( θ ) diagoaalille lisäää sopiva, ieraaioaskeleesa oisee muuuva vakio) o Marquardi algorimi. Newoi ja Raphsoi algorimi ja suurimma uskoavuude esimoii Olkoo X 1, X,, X joukko sauaismuuujia, joide yheisjakauma piseodeäköisyys- ai iheysfukio riippuu paramerisa. f(x 1, x,, x ; ) Ookse X 1, X,, X uskoavuusfukio L() = f(x 1, x,, x ; ) maksimi voidaa löyää esimällä logarimise uskoavuusfukio vasaluvu l( θ) log L( θ) g( θ) miimi. Tällöi Newoi ja Raphsoi algorimi saa muodo Olkoo θ ˆ θ ˆ ˆ 1 ˆ 1 D l θ D l θ [ ( )] ( ) θ θ ( x, x,, x ) Max Max 1 uskoavuusfukio maksimi aava pise. Tällöi parameri suurimma uskoavuude esimaaori o θˆ θ ( X, X,, X ) Max Max 1 Huomaa, eä esimaaori ˆθ kovariassimariisia voidaa käyää mariisia [ D l( θˆ )] 1 mikä saadaa sivuuoeea Newoi ja Raphsoi algorimisa. Scorig-algorimi ja suurimma uskoavuude esimoii Korvaaa Newoi ja Raphsoi algorimissa mariisi D l( θ) Fisheri iformaaiomariisilla I(): I θ D l θ Dl θ Dl θ ( ) E[ ( )] E[( ( ))( ( )) ] @ Ilkka Melli (010) /4
Ma-1.361 Tilasollie pääely 7. Suurimma uskoavuude meeelmä ja asympooie eoria Scorig-algorimi perusuu ieraaioo θ ˆ θ ˆ ˆ 1 ˆ 1 I θ D l θ D( θ ˆ ) I( θ ˆ ) [ ( )] ( ) = fukio g() gradiei piseessä θˆ = Fisheri iformaaiomariisi piseessä θˆ Scorig-algorimi kovergoi yleesä opeammi kui Newoi ja Raphsoi algorimi, mikä johuu siiä, eä mariisi I θ D θ ( ) E[ l( )] o parameri fukioa avallisesi paljo yksikeraisempaa muooa kui mariisi D l( θ) ja vaaii sie vähemmä prosessoiia. Huomaa, eä esimaaori ˆθ kovariassimariisia voidaa käyää mariisia [ I( θˆ )] 1 mikä saadaa sivuuoeea Scorig-algorimisa. Gaussi ja Newoi algorimi ja pieimmä eliösumma esimoii Parameri suurimma uskoavuude esimaaori voidaa moissa ilaeissa määrää pieimmä eliösumma meeelmällä miimoimalla eliösummaa ( θ) ( θ) j ( θ) j1 f S Tällöi Newoi ja Raphsoi algorimi voidaa muokaa s. Gaussi ja Newoi algorimiksi. Gaussi ja Newoi algorimi perusuu ieraaioo Oeaa käyöö merkiä 1 ( ˆ ) ( ˆ ) ( ˆ j θ j θ j θ ) 1 j1 θ θ j1 θ θˆ θˆ ( θˆ ) ( ˆ j θ ) z j θ ( θˆ ) j j Tällöi Gaussi ja Newoi algorimi saa muodo 1 θ ˆ ˆ θ z z z 1 j j j j j1 j1 mikä voidaa ulkia sarjaksi peräkkäisiä apuregressioia @ Ilkka Melli (010) 3/4
Ma-1.361 Tilasollie pääely 7. Suurimma uskoavuude meeelmä ja asympooie eoria z γ, 1,,, joide avulla miimipisee approksimaaioa θˆ päivieää. Tämä ähdää siiä, eä apuregressio regressiokeroimie pieimmä eliösumma esimaaori c o muooa 1 c z z z j j j j j1 j1 Huomaa, eä esimaaori ˆθ kovariassimariisia voidaa käyää mariisia 1 ( ˆ ) ( ˆ j j ) z jzj θ θ j1 j1 θ θ mikä saadaa sivuuoeea Gaussi ja Newoi algorimisa. 1 @ Ilkka Melli (010) 4/4