7.5. Yleinen lineaarinen malli ja suurimman uskottavuuden menetelmä
|
|
- Elina Ketonen
- 7 vuotta sitten
- Katselukertoja:
Transkriptio
1 Mat.36 Tlastolle päättely 7. Suurmma uskottavuude meetelmä ja asymptootte teora Tlastolle päättely 7. Suurmma uskottavuude meetelmä ja asymptootte teora 7.. Suurmma uskottavuude estmotmeetelmä Akasarja, Asymptootte ormaalsuus, Dervaatta, Ergodsuus, Estmaattor, Estmot, Harhattomuus, Havato, Havatoarvo, Logartme uskottavuusfukto, Maksmot, Martgaaldfferess, Otos, Parametr, Realsaato, Rppumattomuus, Satuasmuuttuja, Statoaarsuus, Stokaste prosess, Suurmma uskottavuude estmaattor, Suurmma uskottavuude meetelmä, Tarketuvuus, Uskottavuusfukto, Yhtesjakauma 7.. Suurmma uskottavuude estmaattor omasuudet Asymptootte ormaalsuus, Cramér ja Rao alaraja, Dervaatta, Estmaattor, Estmot, Fsher formaatomatrs, Gradett, Harhattomuus, Havato, Havatoarvo, Hesse matrs, Kovarassmatrs, Logartme uskottavuusfukto, Luottamustaso, Luottamusväl, Maksmot, Normaal jakauma, Otos, Parametr, Suurmma uskottavuude estmaattor, Suurmma uskottavuude meetelmä, Tarketuvuus, Tehokas pstemäärä, Tehokkuus, Test, Tyhjetävyys, Uskottavuusfukto, Yhtesjakauma 7.3. Asymptoottset testt Asymptootte ormaalsuus, Dervaatta, Dagoste test, Estmaattor, Estmot, Havato, Havatoarvo, Hesse matrs, Hylkäysalue, Kh jakauma, Kovarassmatrs, Krtte arvo, Lagrage kertojatest, Logartme uskottavuusfukto, Maksmot, Nollahypotees, Normaaljakauma, Osamäärätest, Otos, Parametr, Rajotus, Sde ehto, Suurmma uskottavuude estmaattor, Suurmma uskottavuude meetelmä, Tarketuvuus, Tehokas pstemäärä, Tehokkuus, Test, Tyhjetävyys, Uskottavuusfukto, Vahtoehtoe hypotees, Wald test, Yhtesjakauma 7.4. Numeere optmot Apuregresso, Askelptuus, Estmaattor, Fsher formaatomatrs, Gauss ja Newto meetelmä, Gradett, Iteraatoaskel, Iteratve meetelmä, Maksmot, Mmot, Pemmä elösumma meetelmä, Suutavektor, Suurmma uskottavuude meetelmä, Hesse matrs, Newto ja Raphso meetelmä Ylee leaare mall ja suurmma uskottavuude meetelmä Estmot, F jakauma, F test, Homoskedastsuus, Jakaumaoletus, Jääöselösumma, Jääösterm, Jääösvarass, Kokoaselösumma, Korrelaato, Korrelomattomuus, Kovarass, Krtte arvo, Leaare regressomall, Luottamuskerro, Luottamustaso, Luottamusväl, Mallelösumma, Merktsevyystaso, Nollahypotees, Normaaljakauma, Otos, Osamäärätest, Parametr, Pemmä elösumma meetelmä, Regressofukto, Regressokerro, Regressomall, Regressotaso, Resduaal, Seltettävä muuttuja, Selttäjä, Selttävä muuttuja, Seltysaste, Sovte, Suurmma uskottavuude meetelmä, t jakauma, t test, Test, Vakoterm, Vapausasteet, Varassaalyyshajotelma, Ylee leaare mall Ilkka Mell (007) /4
2 Mat.36 Tlastolle päättely 7. Suurmma uskottavuude meetelmä ja asymptootte teora Ilkka Mell (007) /4
3 Mat.36 Tlastolle päättely 7. Suurmma uskottavuude meetelmä ja asymptootte teora 7.. Suurmma uskottavuude estmotmeetelmä Otos ja se jakauma Olkoot X, X,, X satuasmuuttuja, jode yhtesjakauma pstetodeäkösyys ta theysfukto f(x, x,, x ; θ) rppuu tutemattomasta vektorarvosesta parametrsta θ = (θ, θ,, θ p ) Θ joukko Θ o parametravaruus el mahdollste parametr arvoje joukko. Oletetaa, että satuasmuuttuje X, X,, X havatut arvot ovat x, x,, x Kutsumme satuasmuuttuja X, X,, X havaoks ja de havattuja arvoja x, x,, x havatoarvoks. Satuasmuuttujat X, X,, X muodostavat otokse, joka jakauma määrttelee de yhtesjakauma pstetodeäkösyys ta theysfukto Havatoarvot f(x, x,, x ; θ) x, x,, x ovat ktetä el e satuasa reaallukuja, mutta e vahtelevat satuasest otoksesta tosee satuasmuuttuje X, X,, X yhtesjakauma f määrääm todeäkösyyks. Uskottavuusfukto Otokse X, X,, X uskottavuusfukto o satuasmuuttuje X, X,, X yhtesjakauma pstetodeäkösyysta theysfukto f(x, x,, x ; θ) arvo havatopsteessä x = (x, x,, x ) tulkttua = (θ, θ,, θ p ) fuktoks. Merktsemme uskottavuusfuktota seuraavalla tavalla: L(θ) = L(θ; x, x,, x ) = f(x, x,, x ; θ) Uskottavuusperaattee mukaa uskottavuusfukto tvstää yhtee kake olease parametra θ koskeva formaato otoksesta. Ilkka Mell (007) 3/4
4 Mat.36 Tlastolle päättely 7. Suurmma uskottavuude meetelmä ja asymptootte teora Suurmma uskottavuude estmaattor Olkoo L(θ) = L(θ; x, x,, x ) otokse X, X,, X uskottavuusfukto ja olkoo t = g(x, x,, x ) sellae parametr θ = (θ, θ,, θ p ) arvo, joka maksmo uskottavuusfukto L(θ) arvo el L( t) = max L( ) Θ Uskottavuusfukto L(θ) maksm atava parametr θ arvo t o havatoarvoje x, x,, x fukto. Valtaa parametr θ estmaattorks satuasmuuttuja ˆ = T= (,, K, ) g X X X Estmaattora ˆ kutsutaa parametr θ suurmma uskottavuude estmaattorks el SUestmaattorks. Suurmma uskottavuude estmaattor ˆ tuottaa parametrlle θ arvo, joka tekevät havatoarvot x, x,, x mahdollsmma uskottavks. Parametr θ suurmma uskottavuude estmaattor määrätää ss maksmomalla uskottavuusfukto L(θ) = L(θ; x, x,, x ) parametr θ suhtee. Sääöllsssä tapauksssa maksm löydetää merktsemällä uskottavuusfukto L(θ) dervaatta L (θ) ollaks ja ratkasemalla θ saadusta ormaalyhtälöstä L (θ) = 0 Olkoo t = g(x, x,, x ) ormaalyhtälö L (θ) = 0 ollakohta. Pste t vastaa uskottavuusfukto maksma, jos L (t) < 0 Uskottavuusfukto maksm atava parametr θ arvo vodaa etsä myös maksmomalla logartme uskottavuusfukto el uskottavuusfukto logartm l(θ) = log L(θ; x, x,, x ) parametr θ suhtee. Logartmse uskottavuusfukto maksmot o mossa tlatessa helpompaa ku uskottavuusfukto tsesä maksmot. Huomautus: Ilkka Mell (007) 4/4
5 Mat.36 Tlastolle päättely 7. Suurmma uskottavuude meetelmä ja asymptootte teora Logartme uskottavuusfukto ja uskottavuusfukto saavuttavat maksmsa samassa psteessä. Uskottavuusfukto ja rppumattomat havaot Olkoo X, X,, X ykskertase satuasotos jakaumasta f X (x; θ), θ = (θ, θ,, θ p ) o jakauma muodo määräävä parametr. Tällö satuasmuuttujat X, X,, X ovat rppumattoma ja oudattavat samaa jakaumaa f X (x; θ): X, X, K, X X f ( x; ), =,, K, X Koska satuasmuuttujat X, X,, X oletett rppumattomks, otokse X, X,, X uskottavuusfukto vodaa esttää muodossa L(θ; x, x,, x ) = f(x ; θ) f(x ; θ) f(x ; θ) f(x ; θ), =,,, o havatoarvoo x lttyvä pstetodeäkösyys ta theysfukto. Ste vastaava logartme uskottavuusfukto vodaa esttää muodossa l( ) = log L( ) ( f x f x L f x ) = log ( ; ) ( ; ) ( ; ) = log f( x ; ) + log f( x ; ) + L+ log f( x ; ) = l( ; x ) + l( ; x ) + L+ l( ; x ) l(θ; x ) = log f(θ; x ), =,,, o havatoarvo x logartme uskottavuusfukto. Etek rppumattome havatoje tapauksessa logartmse uskottavuusfukto summaestykse maksmot o use helpompaa ku uskottavuusfukto tsesä maksmot. Suurmma uskottavuude estmaattor omasuudet Suurmma uskottavuude estmaattor e välttämättä toteuta tavaomasa hyvälle estmaattorlle asetettava krteeretä, ku otoskoko o äärelle: () () SU estmaattor e välttämättä ole harhato. SU estmaattor jakaumaa e välttämättä tueta. Oeks suurmma uskottavuude estmaattorlla o kutek hyv yles ehdo hyvät asymptoottset omasuudet. Ilkka Mell (007) 5/4
6 Mat.36 Tlastolle päättely 7. Suurmma uskottavuude meetelmä ja asymptootte teora Suurmma uskottavuude estmaattor asymptoottset omasuudet Suurmma uskottavuude estmaattorlla o hyv yles ehdo seuraavat asymptoottset omasuudet (ks. tarkemm kappaletta 7..). () () SU estmaattor o tarketuva. SU estmaattor o asymptoottsest ormaale. SU estmaattor tarketuvuus tarkottaa stä, että SU estmaattor toteuttaa suurte lukuje la. Tämä merktsee stä, että estmaattor arvo kovergo koht okeata parametr arvoa, ku havatoje lukumäärä aetaa kasvaa rajatta. SU estmaattor asymptootte ormaalsuus tarkottaa stä, että SU estmaattor toteuttaa keskese raja arvolausee. Tämä merktsee se stä, että SU estmaattor jakaumaa vodaa suurssa otoksssa approksmoda ormaaljakaumalla, jollo parametr luottamusvält ja parametreja koskevat testt vodaa perustaa ormaaljakaumaa ta t jakaumaa. O suhteellse ykskertasta todstaa SU estmaattor tarketuvuus ja asymptootte ormaalsuus, jos otos muodostuu rppumattomsta, samaa jakaumaa oudattavsta havaosta. Oletuksa havatoje rppumattomuudesta ja samasta jakaumasta vodaa tety edellytyks levetää, mllä o suur merktys esmerkks akasarjamalle SU estmossa. Tlastolle akasarja aalyys perustuu she, että havattu akasarja tulktaa jok stokastse prosess realsaatoks. Ste stokastsa prosesseja käytetää akasarjoje tlastollsa mallea. Akasarjamalle parametre SU estmaattorede tarketuvuus ja asymptootte ormaalsuus vodaa todstaa esmerkks sllo, ku akasarja geerout stokaste prosess o jotak seuraavsta tyypestä: ergode statoaare martgaaldfferess 7.. Suurmma uskottavuude estmaattor asymptoottset omasuudet. kertaluvu osttasdervaattoje vektor ja. kertaluvu osttasdervaattoje matrs Olkoo p vektor. Tällö θ = (θ,, θ p ) θ D=, K, = M θ θ p θ p o. kertaluvu osttasdervaattaoperaattorede Ilkka Mell (007) 6/4
7 Mat.36 Tlastolle päättely 7. Suurmma uskottavuude meetelmä ja asymptootte teora θ muodostama p vektor ja D, =,, K, p L θ θ θ p = DD = M M L θp θ θ p o. kertaluvu osttasdervaattaoperaattorede muodostama p p matrs. Otos ja se jakauma Olkoot, =,, K, p, j =,, K, p θ θ j X, X,, X satuasmuuttuja, jode yhtesjakauma pstetodeäkösyys ta theysfukto rppuu parametrsta f(x, x,, x ; θ) θ = (θ, θ,, θ p ) Olkoot satuasmuuttuje X, X,, X havatut arvot Uskottavuusfukto Otokse uskottavuusfukto x, x,, x X, X,, X L(θ) = L(θ; x, x,, x ) = f(x, x,, x ; θ) o satuasmuuttuje X, X,, X yhtesjakauma pstetodeäkösyys ta theysfukto f(x, x,, x ; θ) arvo havatopsteessä x = (x, x,, x ) tulkttua parametr θ = (θ, θ,, θ p ) fuktoks. Olkoo l(θ) = log L(θ; x, x,, x ) vastaava logartme uskottavuusfukto. Ilkka Mell (007) 7/4
8 Mat.36 Tlastolle päättely 7. Suurmma uskottavuude meetelmä ja asymptootte teora Suurmma uskottavuude estmaattor Olkoo L(θ) = L(θ; x, x,, x ) otokse X, X,, X uskottavuusfukto ja olkoo t = g(x, x,, x ) sellae parametr θ = (θ, θ,, θ p ) arvo, joka maksmo uskottavuusfukto L(θ) arvo. Uskottavuusfukto L(θ) maksm atava parametr θ arvo t o havatoarvoje x, x,, x fukto. Valtaa parametr θ estmaattorks satuasmuuttuja ˆ = T= (,, K, ) g X X X Estmaattora ˆ kutsutaa parametr θ suurmma uskottavuude estmaattorks el SUestmaattorks. Koska uskottavuusfukto L(θ) maksmot o yhtäptävää logartmse uskottavuusfukto l(θ) = log L(θ) maksmo kassa, uskottavuusfuktolla L(θ) o lokaal maksm psteessä ˆ, jos ja Huomautus: Merktä l ( ˆ ) = 0 l( ) > 0 A > 0 ˆ tarkottaa stä, että matrs A o postvsest deftt el z Az > 0 kaklle z 0. Vastaavast merktä A 0 tarkottaa stä, että matrs A o e egatvsest deftt el kaklle z. z Az 0 Tehokas pstemäärä ja Fsher formaatomatrs Vektora Dl( ) o kutsutaa tehokkaaks pstemääräks (egl. score) ja matrsa I l l l ( ) = E[ ( )] = E[( ( ))( ( )) ] Ilkka Mell (007) 8/4
9 Mat.36 Tlastolle päättely 7. Suurmma uskottavuude meetelmä ja asymptootte teora o kutsutaa Fsher formaatomatrsks. Vodaa osottaa, että Fsher formaatomatrs I(θ) käätesmatrs muodostaa alaraja harhattome estmaattorede kovarassmatrslle seuraavassa melessä: Olkoo ˆ melvaltae harhato estmaattor parametrlle θ. Tällö Cov( ˆ ) [ ( )] Matrs [ I( )] o Cramér ja Rao alaraja estmaattor ˆ kovarassmatrslle Cov( ˆ). Jos harhattoma estmaattor ˆ kovarassmatrs toteuttaa yhtälö Cov( ˆ ) = [ ( )] saomme, että estmaattor ˆ o tehokas. Suurmma uskottavuude estmaattor ja tyhjetävyys Olkoo f ( x; ) otokse X = (X, X,, X ) yhtesjakauma pstetodeäkösyys ta theysfukto, joka rppuu parametrsta θ = (θ, θ,, θ p ). Faktorotteoreema mukaa tuusluku T(X) o tyhjetävä parametrlle θ, jos ja va jos o olemassa fuktot g(t;θ) ja h(x) ste, että f( x; ) = g( T( x); ) h( x) kaklle havatopstelle x = (x, x,, x ) ja parametr θ mahdollslle arvolle ja fukto g rppuu otoksesta X = x va tuusluvu T(X) kautta ja fukto h e rpu parametrsta θ. Otokse X yhtesjakauma theysfukto faktorosta ähdää suoraa, että parametr θ suurmma uskottavuude estmaattor ˆ o tyhjetävä tuusluvu T(X) fukto (olettae ss, että tyhjetävä tuusluku o olemassa). Suurmma uskottavuude estmaattor ja tehokkuus Olkoo ˆ harhato ja tehokas estmaattor parametrlle θ = (θ, θ,, θ p ). Tällö estmaattor ˆ yhtyy parametr θ suurmma uskottavuude estmaattor. Suurmma uskottavuude estmaattor tarketuvuus Estmaattorede stokastsa omasuuksa e usekaa tueta äärellsssä otoksssa ta de omasuudet ovat aak vakeast hallttava, jos otoskoko o äärelle. Se sjaa moe estmaattorede asymptoottset stokastset omasuudet tuetaa hyv. Estmaattorede asymptoottslla stokastslla omasuukslla tarkotetaa estmaattorede käyttäytymstä satuasmuuttuja, ku otoskoo aetaa hypoteettsest kasvaa rajatta. Puhumme use estmaattorede suurte otoste omasuukssta tarkottaessamme estmaattorede asymptoottsa käyttäytymstä. Perustavaa laatua oleva vaatmus estmaattorede asymptoottselle käyttäytymselle o se, että estmaattor arvo ptää kovergoda koht okeata parametr arvoa, ku havatoje lukumäärä aetaa kasvaa rajatta. Ilkka Mell (007) 9/4
10 Mat.36 Tlastolle päättely 7. Suurmma uskottavuude meetelmä ja asymptootte teora Tuuslukuje W = W ( X, X, K, X ), =,,3, K joo muodostaa tarketuva joo estmaattoreta parametrlle θ, jos lmpr θ ( W θ < ε) = kaklle ε > 0 ja kaklle θ Θ. Saomme tällö tavallsest, että tuusluku W o tarketuva estmaattor parametrlle θ. Ekvvalett ehto estmaattor W tarketuvuudelle o, että lmpr θ ( W θ ε) = 0 kaklle ε > 0 ja kaklle θ Θ. Tavallsest tarketuvuude todstamsessa e tarvtse vedota tarketuvuude määrtelmää, sllä tarketuvuude todstamsessa vodaa use vedota Tshebyshev epäyhtälöö. Tshebyshev epäyhtälö mukaa E[( θ W θ)] Pr θ( W θ ε) ε Ste estmaattor W o tarketuva parametrlle θ, jos Koska W lme θ[( θ) ] = 0 E θ[( W θ) ] = E θ[( W E θ( W)) ] + [(E θ( W) θ) ] = Var ( W ) + [Bas ( W )] äemme, että estmaattor W o tarketuva parametrlle θ, jos lmvar ( W ) = 0 θ θ θ ja lm Bas ( W ) = 0 θ Tarketuve estmaattorede joot evät ole ykskästtesä. Tämä ähdää seuraavasta: Olkoo tuuslukuje W, =,, joo tarketuva joo estmaattoreta parametrlle θ ja olkoot a, a, a 3, ja b, b, b 3, kaks jooa e satuasa vakota, jolle pätee lma = lmb = 0 Tällö myös tuuslukuje joo U = a W + b, =,,3, K muodostaa tarketuva joo estmaattoreta parametrlle θ. Vodaa osottaa, että suurmma uskottavuude estmaattort ovat hyv yles ehdo tarketuva. Ilkka Mell (007) 0/4
11 Mat.36 Tlastolle päättely 7. Suurmma uskottavuude meetelmä ja asymptootte teora Ilkka Mell (007) /4
12 Mat.36 Tlastolle päättely 7. Suurmma uskottavuude meetelmä ja asymptootte teora Lause: Olkoo θ ˆ parametr θ suurmma uskottavuude estmaattor ja olkoo τ(θ) parametr θ jatkuva fukto. Tällö tuusluku τθ ( ˆ ) o hyv yles ehdo tarketuva estmaattor parametrlle τ(θ): lmpr ( ( ˆ θ τθ) τθ ( ) ε) = 0 kaklle ε > 0 ja kaklle θ Θ. Olkoo tarkastelu kohteea olevaa parametra p vektor θ = (θ, θ,, θ p ) ja olkoo parametr θ estmaattora o p vektor ˆ= ( θˆ, θˆ, K, θˆ p ) Estmaattor ˆ tarketuvuus vodaa määrtellä se kompoette tarketuvuude kautta. θ ˆ, =,, K, p Suurmma uskottavuude estmaattor asymptootte tehokkuus ja ormaalsuus Tarketuvuutta vodaa ptää järkevyysvaatmuksea estmaattorede käyttäytymselle suurssa otoksssa. Tlastollse päättely kaalta o kutek tärkeää tutea myös estmaattor varass ta ylesemm estmaattor jakauma suurssa otoksssa. Vos tutua luotevalta määrtellä estmaattor suurte otoste varass estmaattor varass raja arvoa, ku otoskoo aetaa kasvaa rajatta. Olkoo tuusluku T estmaattor parametrlle θ ja olkoo k, =,, 3, joo e satuasa vakota. Jos lmk Var( T ) τ = < saomme, että τ o tuusluvu T varass raja arvo. Varass raja arvo e kutekaa ole osottautuut hyödyllseks kästteeks samalla tavalla ku seuraavassa määrteltävä asymptoottse varass käste. Olkoo tuusluku T estmaattor parametrlle θ ja olkoo k, =,, 3, joo e satuasa vakota. Jos k T τ θ σ lm [ ( )] N(0, ) jakaumakovergess melessä, saomme, että τ o tuusluvu T asymptootte varass. Tämä merktsee stä, että tuusluvu T rajajakaumaa o otoskoo kasvaessa rajatta Ilkka Mell (007) /4
13 Mat.36 Tlastolle päättely 7. Suurmma uskottavuude meetelmä ja asymptootte teora ormaaljakauma ja τ o tämä rajajakauma varass. Mossa tlatessa tuusluvu asymptootte varass o samalla se varass raja arvo. Seuraavassa määrtelmässä estetää Cramér ja Rao alarajaa vastaava asymptootte käste. Tuuslukuje W, =,, joo o asymptoottsest tehokas parametrlle τ(θ), jos lm [ W τ( θ)] N(0, v( θ)) jakaumakovergess melessä ja [ τ ( θ)] v( θ) = Eθ log f( X θ) θ Tällö tuusluku W o asymptoottsest ormaale ja se asymptootte varass saavuttaa Cramér ja Rao alaraja. Seuraava lausee mukaa suurte uskottavuude estmaattor o asymptoottsest ormaale ja tehokas. Lause: Olkoo θ ˆ parametr θ suurmma uskottavuude estmaattor ja olkoo τθ ( ) parametr θ jatkuva fukto. Tällö tuusluku τθ ( ˆ ) o hyv yles ehdo tarketuva, asymptoottsest ormaale ja tehokas estmaattor parametrlle τθ ( ): lm [ τθ ( ˆ) τθ ( )] N(0, v( θ)) v( θ ) o Cramér ja Rao alaraja. Olkoo tarkastelu kohteea olevaa parametra yt p vektor θ = (θ, θ,, θ p ) ja olkoo parametr θ estmaattora o p vektor ˆ= ( ˆ, ˆ,, ˆ) θ θ K θ p Tällö parametr θ = (θ, θ,, θ p ) suurmma uskottavuude estmaattor ˆ asymptoottsesta ormaalsuutta ja tehokkuutta koskeva tulos vodaa esttää seuraavassa muodossa: ˆ a N p, [ IA ( )] IA( ) = lm ( ) + o Fsher formaatomatrs I(θ) asymptootte arvo. Jos parametr θ = (θ, θ,, θ p ) suurmma uskottavuude estmaattor o asymptoottsest ormaale, parametreja θ, =,,, p Ilkka Mell (007) 3/4
14 Mat.36 Tlastolle päättely 7. Suurmma uskottavuude meetelmä ja asymptootte teora koskevassa tlastollsessa päättelyssä vodaa ojata suurmma uskottavuude estmaattor approksmatvsee ormaalsuutee suurssa otoksssa: () () Parametrelle θ, =,,, p vodaa kostruoda luottamusvält samalasella tekkalla ku ormaaljakauma odotusarvolle. Luottamuskertomet vodaa tällö määrätä ormaaljakaumasta ta t jakaumasta. Parametre θ, =,,, p arvoja koskevlle ollahypoteeselle vodaa kostruoda testt samaa tapaa ku ormaaljakauma odotusarvolle. Teste hylkäysalueet ta testsuuree arvoja vastaavat p arvot vodaa tällö määrätä ormaaljakaumasta ta t jakaumasta. O syytä huomata, että SU estmaattor ormaalsuutta koskeva tulos o luoteeltaa asymptootte, mutta otokset ovat todellsuudessa kooltaa aa äärellsä. Ste SU estmaattor ormaalsuutee perustuvat luottamusvält ja testt evät ole eksakteja, vaa approksmatvsa. Sks luottamuskertoma ja teste hylkäysalueta ta p arvoja määrättäessä SU päättelyssä e tavallsest käytetä ormaaljakaumaa, vaa t jakaumaa. Tämä johtuu stä, että t jakauma käyttö johtaa koservatvsemp luottamusväleh ja testeh ku ormaaljakauma käyttö: () () Oletetaa, että kostruomme luottamusvält tarkastelu kohteea olevalle parametrlle θ samalla luottamustasolla ( α) sekä t jakaumasta että ormaaljakaumasta. Tällö t jakaumaa perustuva luottamusväl o leveämp ku vastaava ormaaljakaumaa perustuva luottamusväl. Oletetaa, että kostruomme testt tarkastelu kohteea olevaa parametr θ arvoa koskevalle ollahypoteeslle määräämällä teste hyväksymsalueet samalla merktsevyystasolla α sekä t jakaumasta että ormaaljakaumasta. Tällö t jakaumaa perustuva hyväksymsalue o suuremp ku vastaava ormaaljakaumaa perustuva hyväksymsalue. Oletetaa, että olemme määräeet testsuuree arvo parametra θ koskevalle ollahypoteeslle. Tällö testsuuree arvoa vastaava t jakaumasta määrätty p arvo o suuremp ku ormaaljakaumasta määrätty p arvo Asymptoottset testt Testprobleema Olkoot S H = kakke mahdollste havatopstede x = (x, x,, x ) joukko = ylee hypotees, joka kttää otokse jakauma H 0 = ollahypotees, joka kttää jotk ylesessä hypoteesssa ktety jakauma parametresta Ilkka Mell (007) 4/4
15 Mat.36 Tlastolle päättely 7. Suurmma uskottavuude meetelmä ja asymptootte teora Tlastollsella testllä tarkotetaa päätössäätöä, joka kertoo mllo ollahypotees jätetää vomaa ja mllo ollahypotees hylkäämme. Test päätössäätö jakaa kakke mahdollste havatopstede jouko S hyväksymsalueesee ja hylkäysalueesee. Jos havatopste x = (x, x,, x ) joutuu hylkäys el krttselle alueelle sllo, ku ollahypotees pätee, tehdää. laj vrhe el hylkäysvrhe. Jos havatopste x = (x, x,, x ) joutuu hyväksymsalueelle sllo, ku ollahypotees e päde, tehdää. laj vrhe el hyväksymsvrhe. Test merktsevyystaso valta tarkottaa. laj vrhee todeäkösyyde kttämstä etukätee, ee test tekemstä. Jos merktsevyystaso o valttu etukätee, vodaa de teste joukosta, jolla o sama. laj vrhee todeäkösyys, pyrkä löytämää se, joka mmo. laj vrhee todeäkösyyde. Jos tällae test o olemassa, stä kutsutaa tasasest vomakkammaks testks. Osamäärätest Olkoot ˆ = parametr θ SU estmaattor, joka o määrätty olettae, että test ylee hypotees H pätee L( ˆ) = otokse uskottavuusfukto arvo psteessä ˆ ˆ 0 ˆ Tällö satuasmuuttuja = parametr θ rajotettu SU estmaattor, joka o määrätty olettae, että test ollahypotees H 0 pätee L( 0) = otokse uskottavuusfukto arvo psteessä 0 L( ˆ 0 ) λ = L( ˆ ) o (uskottavuus ) osamäärätestsuure ollahypoteeslle H 0. Huomaa, että 0 λ Osamäärätestsuuretta λ muodostettaessa mall parametrt joudutaa estmomaa suurmma uskottavuude meetelmällä kahdella er tavalla: () () Osamäärätestsuuree mttäjä saadaa etsmällä uskottavuusfukto maksm ylese hypotees H pätessä. Tämä merktsee vapaa äärarvotehtävä ratkasemsta. Osamäärätestsuuree osottaja saadaa etsmällä uskottavuusfukto maksm ollahypotees H 0 pätessä. Tämä merktsee sdotu äärarvotehtävä ratkasemsta. Jos ollahypotees H 0 e päde, osamäärätestsuureella λ o tapumus saada peä arvoja. Sks test hylkäysalueeks valtaa otosavaruude χ alue { x S λ< λα ( )} krtte arvo λ(α) valtaa ste, että Pr( x S λ< λ( α)) = α ˆ Ilkka Mell (007) 5/4
16 Mat.36 Tlastolle päättely 7. Suurmma uskottavuude meetelmä ja asymptootte teora jos ollahypotees H 0 pätee. Jos osamäärätestsuuree λ arvo joutuu hylkäysalueelle, olla hypotees H 0 hylätää. Osamäärätest käytössä o kutek use se käytäö ogelma, että osamäärätestsuuree λ jakauma e välttämättä ole mtää tuettua tyyppä. Osamäärätestsuureelle λ pätee kutek tettyje (melko leve) ehtoje valltessa ja ollahypotees H 0 pätessä seuraava asymptootte jakaumatulos: L( ˆ ) = = ˆ ˆ L( ˆ) 0 log λ log l( ) l( 0) a χ ( m) m = ollahypotees kttäme parametre lukumäärä Jos ollahypotees H 0 e päde, testsuureella log λ o tapumus saada suura arvoja. Test hylkäysalueeks valtaa kakke mahdollste havatopstede jouko S alue { x S log > ( m)} λ χ α krtte arvo χ ( m) valtaa ste, että α x λ > χ = α Pr( S log α( m)) jos ollahypotees H 0 pätee. Jos testsuuree log λ arvo joutuu hylkäysalueelle, ollahypotees H 0 hylätää. Osamäärätestsuuretta muodostettaessa joudutaa mall parametrt estmomaa so. uskottavuusfukto maksmomaa sekä ylese hypotees H että ollahypotees H 0 pätessä. Mossa testausasetelmssa toe ästä äärarvotehtävstä o vakea, mutta toe o helppo ratkasta. Tämä havato o johtaut seuraave (asymptoottste) teste kostruot: () () Wald testssä parametrt estmodaa olettae, että ylee hypotees H pätee. Lagrage kertojatestssä parametrt estmodaa olettae, että ollahypotees H 0 pätee. Wald test leaarslle rajotukslle Olkoo ˆ = parametr θ SU estmaattor, joka o määrätty olettae, että test ylee hypotees H pätee Olkoo ollahypoteesa leaare hypotees H : R = r R o m p matrs, jolle 0 r(r) = m Ilkka Mell (007) 6/4
17 Mat.36 Tlastolle päättely 7. Suurmma uskottavuude meetelmä ja asymptootte teora Määrtellää satuasmuuttuja matrs ˆ ˆ ˆ W = ( R r)[ RI ( )R ] ( R r) I ( ) = E[ l( )] o Fsher formaatomatrs. Satuasmuuttuja W o Wald testsuure ollahypoteeslle H 0. Jos ollahypotees H 0 e päde, Wald testsuureella W o tapumus saada suura arvoja. Wald testsuureelle W pätee tettyje (hyv leve) ehtoje valltessa ja ollahypotees H 0 pätessä seuraava asymptootte jakaumatulos: W a χ ( m) m = ollahypotees kttäme parametre lukumäärä Test hylkäysalueeks valtaa kakke mahdollste havatopstede jouko S alue { S W ( m)} x > χ α krtte arvo χ ( m) valtaa ste, että α x > = α Pr( S W χα( m)) jos ollahypotees H 0 pätee. Jos Wald testsuuree W arvo joutuu hylkäysalueelle, ollahypotees H 0 hylätää. Wald test epäleaarslle rajotukslle Olkoo Olkoo ollahypoteesa ˆ = parametr θ SU estmaattor, joka o määrätty olettae, että test ylee hypotees H pätee ( K ) H 0 : h( ) = h( ),, h m ( ) = 0 fuktot h ovat epäleaarsa reaalarvosa fuktota. Määrtellää p m matrs H= h j = hj( ) θ Määrtellää satuasmuuttuja matrs ˆ ˆ ˆˆ ˆ W = [ h( )][ HI ( H ) ] [ h ( )] I ( ) = E[ l( )] o Fsher formaatomatrs ja Ilkka Mell (007) 7/4
18 Mat.36 Tlastolle päättely 7. Suurmma uskottavuude meetelmä ja asymptootte teora h ( ) ˆ H= j θ = ˆ Satuasmuuttuja W o Wald testsuure ollahypoteeslle H 0. Jos ollahypotees H 0 e päde, Wald testsuureella W o tapumus saada suura arvoja. Wald testsuureelle W pätee tettyje (hyv leve) ehtoje valltessa ja ollahypotees H 0 pätessä seuraava asymptootte jakaumatulos: W a χ ( m) m = ollahypotees kttäme parametre lukumäärä Test hylkäysalueeks valtaa kakke mahdollste havatopstede jouko S alue { S W ( m)} x > χ α krtte arvo χ ( m) valtaa ste, että α x > = α Pr( S W χα( m)) jos ollahypotees H 0 pätee. Jos Wald testsuuree W arvo joutuu hylkäysalueelle, ollahypotees H 0 hylätää. Lagrage kertojatest Olkoo ˆ 0 Määrtellää satuasmuuttuja matrs = parametr θ rajotettu SU estmaattor, joka o määrätty olettae, että test ollahypotees H 0 pätee LM = [ D( ˆ)] ( ˆ)[ ( ˆ)] o Fsher formaatomatrs ja I l l l ( ) = E[ ( )] = E[( ( ))( ( )) ] D( ) o tehokkaa pstemäärä vektor. Satuasmuuttuja LM o Lagrage kertojatestsuure ollahypoteeslle H 0. Lagrage kertojatestsuureelle LM pätee tettyje (hyv leve) ehtoje valltessa ja ollahypotees H 0 pätessä seuraava asymptootte jakaumatulos: LM a χ ( m) m = ollahypotees kttäme parametre lukumäärä Ilkka Mell (007) 8/4
19 Mat.36 Tlastolle päättely 7. Suurmma uskottavuude meetelmä ja asymptootte teora Test hylkäysalueeks valtaa kakke mahdollste havatopstede jouko S alue { S LM ( m)} x > χ α krtte arvo χ ( m) valtaa ste, että α Pr( S LM χα( m)) x > = α jos ollahypotees H 0 pätee. Jos Lagrage kertojatestsuuree LM arvo joutuu hylkäysalueelle, ollahypotees H 0 hylätää. Lagrage kertojatest ja pemmä elösumma meetelmä Oletetaa, että logartme uskottavuusfukto l(θ) = log L(θ) o verraolle elösummaa: l ( ) ( ) ε σ = Tällö parametr θ suurmma uskottavuude estmaattor vodaa määrätä pemmä elösumma meetelmällä. Tämä o tavaomae tlae sekä leaarste että epäleaarste regressomalle soveltamse yhteydessä. Muodostetaa apuregresso ˆ ε = ˆ + δ, =,, K, 0 0 ε = ε ( ) z = z( ) = ε( ) ˆ ε ˆ 0 = ε( 0) zˆ = z ( ˆ) 0 0 ja ˆ 0 o parametr θ rajotettu suurmma uskottavuude estmaattor, joka o ss määrätty maksmomalla (logartme) uskottavuusfukto, ku ollahypotees H 0 asettamat rajotukset parametravaruudelle o otettu huomoo. Lagrage kertojatestsuure LM vodaa määrätä tämä apuregresso seltysastee avulla: LM = R 0 Kuvattu tapa muodostaa LM testsuure o ertyse kätevä sllo, ku ollahypotees mukaset rajotukset ovat ollarajotuksa, jotka ykskertastavat ylese hypotees kttämää malla. Moet tlastollste malle dagostset testt vodaa tulkta LM testeks. Tällasa ovat esmerkks homoskedastsuus ja autokorrelomattomuustestt regressomallelle. Ilkka Mell (007) 9/4
20 Mat.36 Tlastolle päättely 7. Suurmma uskottavuude meetelmä ja asymptootte teora Osamäärätest, Wald test ja Lagrage kertojatest vertalua Osamäärätestsuuretta muodostettaessa joudutaa mall parametrt estmomaa (ts. uskottavuusfukto ta se logartm maksmomaa) sekä ylese hypotees H että ollahypotees H 0 pätessä. Mossa testausasetelmssa toe ästä äärarvotehtävstä o vakea, mutta toe o helppo ratkasta. Tämä havato o johtaut Wald test ja Lagrage kertojatest kostruot: () Wald testssä mall parametrt estmodaa olettae, että ylee hypotees H pätee. () Lagrage kertojatestssä mall parametrt estmodaa olettae, että ollahypotees H 0 pätee. Oletetaa, että sovellamme osamäärätestä, Wald testä ja Lagrage kertojatestä samassa testausasetelmassa (sama ollahypotees testaamsee). Olkoo Aa pätee: LR W = osamäärätestsuure = Wald testsuure LM = Lagrage testsuure 0 LR Jos ollahypotees H 0 pätee, log LR W LM a χ ( m) m = ollahypotees H 0 kttäme parametre lukumäärä Ste osamäärätest, Wald test ja Lagrage kertojatest johtavat asymptoottsest (suurssa otoksssa) samaa johtopäätöksee ollahypotees hylkäämsestä. Pessä otoksssa testt saattavat kutek johtaa erlas johtopäätöks. Test valta tehdää yleesä käytäöllste aspekte, kute laskutyö helppoude, perusteella. Juur tästä syystä moet tlastollste malle käytö yhteydessä sovellettavsta tavaomassta dagostssta testestä ovat Lagrage kertojatestejä Numeere optmot Fukto mmot Oletetaa, että haluamme mmoda reaalarvose krteerfukto g(θ) muuttuja θ = (θ, θ,, θ p ) suhtee. Fukto g(θ) saavuttaa (tety ehdo) lokaal mm psteessä ˆ, jos Ilkka Mell (007) 0/4
21 Mat.36 Tlastolle päättely 7. Suurmma uskottavuude meetelmä ja asymptootte teora ja g ( ˆ ) = 0 D g ( ) > 0 ˆ Dg( ˆ) = fukto g(θ) gradett psteessä ˆ D g( ) = fukto g(θ) Hesse matrs psteessä ˆ ˆ Fukto g(θ) mm vodaa pyrkä määräämää ratkasemalla ormaalyhtälö g ( ) = 0 Jos ormaalyhtälö ratkaseme e ostu suljetussa muodossa, fukto g(θ) mmossa o turvauduttava umeers optmotmeetelm. Huomautus: Mossa tlastollsssa ogelmssa ormaalyhtälö ratkaseme suljetussa muodossa o mahdollsta. Tästä o tärkeää esmerkkä ylese leaarse mall pemmä elösumma estmossa sytyvä ormaalyhtälö ratkaseme. Fukto mmot teratvste meetelme avulla Tlateessa, ormaalyhtälöä g ( ) = 0 e pystytä ratkasemaa suljetussa muodossa, fukto g(θ) mm atava pste vodaa pyrkä löytämää teratvsest algortmlla ˆ = ˆ ˆ t+ +λ t ( t) ˆt = mmpstee approksmaato teraatoaskeleessa t λ = askelptuus d( ˆ t ) = suutavektor arvo psteessä ˆt ˆt+ = mmpstee approksmaato teraatoaskeleessa t + Iteraatoaskeleessa t saatu arvo ˆt mm pakasta pävtetää askeleessa t + ottamalla λ: mttae askel suutavektor d( t ) suutaa. Jos suutavektort d( t ) valtaa sopvast (ja fuktolla g(θ) o sopvat omasuudet) teraatoprosess kovergo koht fukto g(θ) mmä. Erlaset valat suutavektorks d( t ) johtavat erlas mmotalgortmeh. Optmaalse askelptuude λ määräämsessä käytetää tavallsest jotak erllstä haku meetelmää. Nämä hakumeetelmät perustuvat tavallsest fukto Ilkka Mell (007) /4
22 Mat.36 Tlastolle päättely 7. Suurmma uskottavuude meetelmä ja asymptootte teora φ( λ) = g( + λ ( )) mmot askelptuude λ suhtee. Jyrkmmä lasku meetelmä Jyrkmmä lasku meetelmä perustuu teraatoo ˆ = ˆ ˆ t+ λ t ( t) t t D( ˆ t ) = fukto g(θ) gradett psteessä ˆt Jyrkmmä lasku meetelmä perustuu she, että fukto väheee opemm gradettvektor vastavektor suutaa. Koska jyrkmmä lasku meetelmä kovergo yleesä htaast, stä e tavallsest käytetä fukto äärarvoje etstää, vakka se muodostaak perusta kaklle fukto dervaattoja käyttävlle optmotmeetelmlle. Newto ja Raphso algortm Newto ja Raphso algortm perustuu teraatoo ˆ ˆ ˆ = ˆ t+ t λ t t [ ( )] ( ) D( ˆ t ) = fukto g(θ) gradett psteessä ˆt D ( ) = fukto g(θ) Hesse matrs psteessä ˆt ˆ t Newto ja Raphso algortm kovergo, jos mmotava fukto g(θ) o kokaav, mkä takaa se, että matrs ( t ) > 0 kaklle θ. Newto ja Raphso algortm kovergo yleesä opeamm ku jyrkmmä lasku algortm. O hyvä tetää, että Newto ja Raphso algortmsta o kehtetty muuoksa, jossa e hattaa, jos fukto g(θ) e ole kakkalla kokaav, kuha se o kokaav mmpstee lähellä. Ehkä tuetu tällae algortm ( matrs D ( t ) dagoaallle lsätää sopva, teraato askeleesta tosee vahteleva vako) o Marquardt algortm. Newto ja Raphso algortm ja suurmma uskottavuude estmot Olkoot X, X,, X joukko satuasmuuttuja, jode yhtesjakauma pstetodeäkösyys ta theysfukto f(x, x,, x ; θ) Ilkka Mell (007) /4
23 Mat.36 Tlastolle päättely 7. Suurmma uskottavuude meetelmä ja asymptootte teora rppuu parametrsta θ. Otokse X, X,, X uskottavuusfukto L(θ) = f(x, x,, x ; θ) maksm vodaa löytää etsmällä logartmse uskottavuusfukto vastaluvu l( ) = log L( ) = g( ) mm. Tällö Newto ja Raphso algortm saa muodo Olkoo ˆ ˆ ˆ ˆ t t λ l t l t + = [ ( )] ( ) = ( x, x, K, x ) Max Max uskottavuusfukto maksm atava pste. Tällö parametr θ suurmma uskottavuude estmaattor o ˆ = ( X, X, K, X ) Max Max Huomaa, että estmaattor ˆ kovarassmatrsa vodaa käyttää matrsa [ D l( ˆ )] mkä saadaa svutuotteea Newto ja Raphso algortmsta. Scorg algortm ja suurmma uskottavuude estmot Korvataa Newto ja Raphso algortmssa matrs D l( ) Fsher formaatomatrslla I(θ): I l l l ( ) = E[ ( )] = E[( ( ))( ( )) ] Scorg algortm perustuu teraatoo ˆ ˆ ˆ ˆ t t λ t l t + = + [ ( )] ( ) D( ˆ t ) = fukto g(θ) gradett psteessä ˆt I( ˆ t ) = Fsher formaatomatrs psteessä ˆt Scorg algortm kovergo yleesä opeamm ku Newto ja Raphso algortm, mkä johtuu stä, että matrs I ( ) = E[ l( )] o parametr θ fuktoa tavallsest ykskertasemp ku matrs D l( ) ja vaat ste vähemmä laskutyötä. Ilkka Mell (007) 3/4
24 Mat.36 Tlastolle päättely 7. Suurmma uskottavuude meetelmä ja asymptootte teora Huomaa, että estmaattor ˆ kovarassmatrsa vodaa käyttää matrsa [ I( ˆ )] mkä saadaa svutuotteea Scorg algortmsta. Gauss ja Newto algortm ja pemmä elösumma estmot Parametr θ suurmma uskottavuude estmaattor vodaa mossa tlatessa määrätä pemmä elösumma meetelmällä mmomalla elösummaa ( ) = ( ) = j ( ) j = f S ε Tällö Newto ja Raphso algortm vodaa muokata s. Gauss ja Newto algortmks. Gauss ja Newto algortm perustuu teraatoo Otetaa käyttöö merkät ε ( ˆ) ( ˆ) ( ˆ j t ε j t ε j t) t+ = t λ εt t j= j= ˆ ˆ ( ˆ) ε ( ˆ j t) zj = ε ( ˆ ) = ε j t j Tällö Gauss ja Newto algortm saa muodo ˆ ˆ = + λ z z z ε t+ t j j j j j= j= mkä vodaa tulkta sarjaks peräkkäsä apuregressota εt = t + δt, t =,, K, jode avulla mmpstee approksmaatota ˆt pävtetää. Tämä ähdää stä, että apu regresso regressokertome γ pemmä elösumma estmaattor c o muotoa c = z z z ε j j j j j= j= Huomaa, että estmaattor ˆ kovarassmatrsa vodaa käyttää matrsa ε ( ˆ) ( ˆ j t ε j t) zz j j = j= j= mkä saadaa svutuotteea Gauss ja Newto algortmsta. Ilkka Mell (007) 4/4
25 Mat.36 Tlastolle päättely 7. Suurmma uskottavuude meetelmä ja asymptootte teora 7.5. Ylee leaare mall ja suurmma uskottavuude meetelmä Ylee leaare mall ja se parametrot Olkoo ylee leaare mall, y j = β 0 + β x j + β x j + + β k x jk + ε j, j =,,, y j = seltettävä muuttuja y havattu ja satuae arvo havatoykskössä j =,,, x j = selttävä muuttuja el selttäjä x havattu ja kteä el e satuae arvo havatoykskössä j =,,, ; =,,, k β 0 = vakoselttäjä regressokerro, tutemato ja kteä el e satuae vako β = selttäjä x regressokerro, tutemato ja kteä el e satuae vako, =,,, k ε j = e havattava ja satuae jääösterm, j =,,, Ylestä leaarsta malla koskevat stadardoletukset () () () (v) (v) (v) Selttäjä x havatut arvot x j ovat ktetä el e satuasa vakota, j =,,, ; =,,, k Selttäje välllä e ole leaarsa rppuvuuksa. E(ε j ) = 0, j =,,, Var(ε j ) = σ, j =,,, Cor(ε j,ε l ) = 0, j l ε j ~ N(0,σ ), j =,,, Oletusta (v) o tapaa kutsua homoskedastsuusoletukseks ja se mukaa kaklla jääöstermellä ε j, j =,,, o sama varass, jota kutsutaa jääösvarassks. Oletusta (v) o tapaa kutsua korrelomattomuusoletukseks ja se mukaa jääöstermt evät korrelo keskeää. Huomaa, että ormaalsuusoletus (v) ssältää oletukset (v) ja (v). Regressotaso Yhtälö y = β 0 + β x + β x + + β k x k määrttelee taso avaruudessa k +. Tätä tasoa kutsutaa regressotasoks. Ilkka Mell (007) 5/4
26 Mat.36 Tlastolle päättely 7. Suurmma uskottavuude meetelmä ja asymptootte teora Odotusarvovektor ja kovarassmatrs Olkoot x, x,, x p satuasmuuttuja, jode odotusarvot ovat E(x ) = µ, =,,, p ja kovarasst ovat Cov(x,x j ) = E[(x E(x ))(x j E(x j ))] = E[(x µ )(x j µ j )] = σ j, =,,, p, j =,,, p Huomaa, että Cov(x,x j ) = E(x x j ) µ µ j ja Cov(x,x ) = σ = Var(x ) = σ Olkoo x x x M xp = ( x, x, K, xp) = satuasmuuttuje x, x,, x p muodostama p vektor. Tällö satuasvektor x odotusarvovektor o p vektor µ µ E( x) = = M µ p ja satuasvektor x kovarassmatrs o p p matrs Cov( x) = [ ] = σ j Huomaa, että Cov( x) = E[( x E( x))( x E( x)) ] = E[( )( )] = E( xx ) Ilkka Mell (007) 6/4
27 Mat.36 Tlastolle päättely 7. Suurmma uskottavuude meetelmä ja asymptootte teora Ylese leaarse mall matrsestys Muodostetaa seltettävä muuttuja y havatusta arvosta y j (j =,,, ) vektor y y y M y = Muodostetaa selttäje x havatusta arvosta x j (j =,,, ; =,,, k) ja ykkösstä (k+) matrs X x x L x k x x L x M M M M x x L xk k = Muodostetaa regressokertomsta β ( = 0,,,, k) (k+) vektor β0 β = β M β k Muodostetaa jääöstermestä ε j (j = 0,,,, ) vektor ε ε M ε = Tällö ylee leaare mall vodaa krjottaa matrse muotoo y = Xβ + ε Mallssa o seuraavat osat: y = seltettävä muuttuja y havattuje arvoje y j, j =,,, muodostama satuae vektor X = selttäve muuttuje el selttäje x, x,, x k havattuje arvoje x j, j =,,,, =,,, k ja ykköste muodostama e satuae (k + ) matrs β = regressokertome β, = 0,,,, k muodostama tutemato ja kteä el e satuae (k + ) vektor ε = jääösterme ε j, j =,,, muodostama e havattava ja satuae vektor Ilkka Mell (007) 7/4
28 Mat.36 Tlastolle päättely 7. Suurmma uskottavuude meetelmä ja asymptootte teora Ylestä leaarsta malla koskevat stadardoletukset matrsmuodossa () Matrs X alkot ovat e satuasa vakota. () Matrs X o täysastee: r(x) = k + () E(ε) = 0 (v)&(v) Homoskedastsuus ja korrelomattomuusoletus: Cov(ε) = σ I (v) Normaalsuusoletus: ε N (0,σ I) Kohdssa (v), (v) ja (v) oleva matrs I o ykskkömatrs. Stadardoletukssta () ja () seuraa, että E(y) = Xβ Stadardoletukssta (), (), (v) ja (v) seuraa, että Cov( y) = E[( y E( y))( y E( y)) ] = E[ ] = Cov() = σi Normaalsuusoletuksesta (v) seuraa, että jääösterm ε theysfukto o muotoa f ( ε, ε, K, ε; σ ) = ( π) σ exp σ ja edellee, että seltettävä muuttuja y theysfukto o f( y, y, K, y;, σ ) = ( π) σ exp ( y X )( y X ) σ Ylese leaarse mall uskottavuusfukto ja logartme uskottavuusfukto Stadardoletuksesta (v) seuraa, että havatoje y, y,, y uskottavuusfukto o L(, σ ; y, y, K, y ) = ( πσ ) exp ( y X )( y X ) σ Vastaava logartme uskottavuusfukto o l(, σ ; y, y, K, y ) = log L(, σ ; y, y, K, y ) = σ log( π) log σ ( y X ) ( y X ) Ilkka Mell (007) 8/4
29 Mat.36 Tlastolle päättely 7. Suurmma uskottavuude meetelmä ja asymptootte teora Ylese leaarse mall parametre suurmma uskottavuude estmot Ylese leaarse mall y = Xβ + ε regressokertome vektor β suurmma uskottavuude estmaattor yhtyy stadardoletukse () (v) pätessä vektor β pemmä elösumma estmaattor ˆ = b= ( XX ) Xy Jääösvarass σ SU estmaattor o Perustelu: σ ˆ = SSE SSE = ( y Xb) ( y Xb) Maksmodaa logartme uskottavuusfukto l σ π σ σ (, ; y) = log( ) log ( y X ) ( y X ) parametre β ja σ suhtee. Dervodaa fukto l dervaatta ollaks: l (, ; ) σ y regressokertome vektor β suhtee ja merktää (, σ ; y) ( ) = Xy+ XX = 0 σ Vektor β vodaa ratkasta tästä yhtälöstä, koska matrs X oletett täysasteseks, jollo matrs X X o epäsgulaare. Ratkasuks saadaa ˆ = b= ( XX ) Xy Ratkasu vastaa uskottavuusfukto maksma, koska matrs l(, σ ; y) = XX σ o postvsest deftt. Estmaattor b yhtyy regressokertome vektor β pemmä elösumma estmaattor, koska logartmse uskottavuusfukto maksmot parametr β suhtee o selväst ekvvaletta se kassa, että mmodaa elömuoto parametr β suhtee. = ( y X )( y X ) Sjotetaa ratkasu ˆ= b logartmsee uskottavuusfukto lausekkeesee, dervodaa saatava lauseke parametr σ suhtee ja merktää dervaatta ollaks: Ilkka Mell (007) 9/4
30 Mat.36 Tlastolle päättely 7. Suurmma uskottavuude meetelmä ja asymptootte teora l b σ y σ σ σ (, ; ) = + 4 ( y Xb )( y Xb ) = 0 Parametr σ vodaa ratkasta tästä yhtälöstä. Ratkasuks saadaa σ ˆ = SSE SSE = ( y Xb) ( y Xb) Estmotu regressotaso Olkoo b = (b 0, b, b,, b k ) regressokertome vektor β suurmma uskottavuude (pemmä elösumma) estmaattor. Yhtälö y = b 0 + b x + b x + + b k x k määrttelee taso avaruudessa k +. Tätä tasoa kutsutaa estmoduks regressotasoks. Ylese leaarse mall suurmma uskottavuude estmaattorede omasuudet Jos ylee leaare mall y = Xβ + ε toteuttaa stadardoletukset () (v), regressokertome vektor β SU estmaattorlla b= ( XX ) Xy o seuraavat omasuudet: () b o harhato parametrlle β: E(b) = β () Cov(b) = σ (X X) () (v) (v) (v) b ja σ ˆ ovat yhdessä tyhjetävä parametrelle β ja σ. b o tehokas el mmvarasse estmaattor. b o tarketuva. b oudattaa ormaaljakaumaa: b XX ~ N k (, σ ( + ) ) Ilkka Mell (007) 30/4
31 Mat.36 Tlastolle päättely 7. Suurmma uskottavuude meetelmä ja asymptootte teora Jos ylee leaare mall y = Xβ + ε toteuttaa stadardoletukset () (v), jääösvarass σ SU estmaattorlla σ ˆ = ( y Xb) ( y Xb) o seuraavat omasuudet: () () () (v) σ ˆ o harhae, mutta estmaattor s SSE = σˆ = k k o harhato parametrlle σ. b ja σ ˆ ovat yhdessä tyhjetävä parametrelle β ja σ. σ ˆ e ole tehokas el mmvarasse estmaattor. σˆ o tarketuva. (v) ( k )s /σ oudattaa χ jakaumaa vapauste ( k ): ( k ) s σ Gauss ja Markov lause χ ( k ) Olkoot ˆ ja ˆ kaks harhatota estmaattora parametrlle = ( θ, θ, K, θ p ). Saomme, että estmaattor ˆ o paremp el tehokkaamp ku estmaattor ˆ, jos jolla tarkotetaa stä, että kaklle p t. Cov( ˆ) Cov( ˆ) t Cov( ˆ) t t Cov( ˆ) t Tärkeä perustelu suurmma uskottavuude (pemmä elösumma) meetelmä käytölle ylese leaarse mall regressokertome estmomsee o seuraava lause: Gauss ja Markov lause: Oletetaa, että ylee leaare mall y = Xβ + ε toteuttaa stadardoletukset () (v). Tällö regressokertome vektor β suurmma uskottavuude (pemmä elösumma) estmaattor b= ( XX ) Xy o paras regressokertome vektor β leaarste ja harhattome estmaattorede joukossa. Ilkka Mell (007) 3/4
32 Mat.36 Tlastolle päättely 7. Suurmma uskottavuude meetelmä ja asymptootte teora Perustelu: Olkoo c= Dy jok stadardoletukset toteuttava ylese leaarse mall y = Xβ + ε regressokertome vektor β leaare ja harhato estmaattor. Matrs D o (k+) matrs, joka e rpu vektorsta y. Olkoo Ste Koska D= D ( XX) X c= Dy = ( D+ ( XX ) X ) y = D+ XX X X + ( ( ) )( ) = ( DX+ I) + ( D+ ( XX ) X ) c = DX+ I + D+ XX X E() ( ) ( ( ) )E() = ( DX+ I) E() = 0 estmaattor c o harhato va, jos Ste DX= 0 c= Dy = + + ( D ( XX) X) Tarkastellaa yt estmaattor c kovarassmatrsa: Koska Cov( c) = E[( c E( c))( c E( c)) ] = E[( )( )] = + + E[( D ( XX) X) ( D ( XX) X)] = + + ( D ( XX) X)E( )( D X( XX) ) = σ [ DD + DX( XX ) + ( XX ) XD + ( XX ) ] E( ) = σ I DD X X DX 0 = σ [ + ( ) ] = t c t DD XX Cov( ) = σ [ t t+ t ( ) t] σ [ t ( X X) t] t DD t 0 = t Cov( bt ) Ilkka Mell (007) 3/4
33 Mat.36 Tlastolle päättely 7. Suurmma uskottavuude meetelmä ja asymptootte teora Cov( c) Cov( b) ja ste suurmma uskottavuude ( pemmä elösumma) estmaattor b o paras regressokertome vektor β leaarste ja harhattome estmaattorede joukossa. Sovte ja resduaal Olkoo b= ( XX ) Xy ylese leaarse mall y = Xβ + ε regressokertome vektor β SU estmaattor. Määrtellää estmodu mall sovte ŷ kaavalla yˆ = Xb = X( XX ) Xy = My M = X( XX ) X Matrs M o projekto (symmetre ja dempotett): M = M M = M Määrtellää estmodu mall resduaal e kaavalla e= y yˆ = y Xb = y X( XX) Xy = ( I My ) = Py P= I M = I X( XX ) X Matrs P o projekto (symmetre ja dempotett): P = P P = P Lsäks projektot M ja P ovat ortogoaalsa sekä sarakkettesa että rvesä suhtee: MP = PM = 0 Ilkka Mell (007) 33/4
34 Mat.36 Tlastolle päättely 7. Suurmma uskottavuude meetelmä ja asymptootte teora Sovttee ja resduaal omasuudet Sovtteella ŷ o seuraavat stokastset omasuudet: E( yˆ) = X Cov( ˆ) ( ) y = σ M = σ X XX X Lsäks, jos jääösterm ε o ormaaljakautuut, yˆ N( X, σ M) Sovtteella e o seuraavat stokastset omasuudet: E() e = 0 Cov( e) = P= ( I M) = ( I X( XX) X) σ σ σ Lsäks, jos jääösterm ε o ormaaljakautuut, e 0 P N(, σ ) Varassaalyyshajotelma Olkoo SST = ( y y)( y y) = ( y y) seltettävä muuttuja y havattuje arvoje y, y,, y kokoaselösumma, y = ( y, y, K, y ) = o havatoarvoje y, y,, y muodostama vektor, y = y = o havatoarvoje y, y,, y artmeette keskarvo ja = (,, K,) o ykköste muodostama vektor. Kokoaselösumma SST kuvaa seltettävä muuttuja y havattuje arvoje y, y,, y vahtelua. Huomaa, että seltettävä muuttuja y havattuje arvoje y, y,, y otosvarass saadaa kaavalla s = SST y Määrtellää resduaale elösumma el jääöselösumma SSE kaavalla SSE = e e = ( y Xb) ( y Xb) = e e= (,,, ) e e K e = Ilkka Mell (007) 34/4
35 Mat.36 Tlastolle päättely 7. Suurmma uskottavuude meetelmä ja asymptootte teora o resduaale muodostama vektor. Jääöselösumma SSE kuvaa resduaale e, e,, e vahtelua. Huomaa, että jääösvarass σ harhato estmaattor saadaa kaavalla s = SSE k Vodaa osottaa, että aa pätee Tarkastellaa erotusta Vodaa osottaa, että SSE SST SSM = SST SSE SSM = ( yˆ y )( yˆ y) = ( yˆ y ) yˆ= ( ˆ, ˆ,, ˆ) y y K y 0 = o sovttede yˆ, yˆ, K, yˆ muodostama vektor, y = y = o havatoarvoje y, y,, y artmeette keskarvo ja = (,, K,) o ykköste muodostama vektor. Koska erotus SSM = SST SSE vodaa esttää elösummaa, erotusta SSM kutsutaa mallelösummaks. Huomaa, että y = y = yˆ ˆ = y = = Edellä estety ojalla kokoaselösumma SST vodaa hajottaa elösumme SSM ja SSE summaks: SST = SSM + SSE Kokoaselösumma SST hajotelmaa mallelösumma SSM ja jääöselösumma SSE summaks kutsutaa varassaalyyshajotelmaks. O lmestä, että mtä peemp o jääöselösumma SSE = e e osuus kokoaselösummasta SST, stä suuremp o mallelösumma SSM osuus ja stä paremm mall selttää seltettävä muuttuja havattuje arvoje vahtelu. Ilkka Mell (007) 35/4
36 Mat.36 Tlastolle päättely 7. Suurmma uskottavuude meetelmä ja asymptootte teora Seltyaste ja se omasuudet Määrtellää estmodu leaarse regressomall seltysaste R kaavalla R SSM SSE = = SST SST Koska varassaalyyshajotelma mukaa SST = SSM + SSE 0 R Vodaa osottaa, että seuraavat ehdot ovat yhtäptävä: () R = () Kakk resduaalt hävävät: e j = 0 kaklle j =,,, () Kakk havatopsteet ( x, x, K, x, y ), j =,, K, j j jk j asettuvat samalle tasolle. (v) Mall selttää täydellsest seltettävä muuttuja y arvoje vahtelu. Edellee vodaa osottaa, että myös seuraavat ehdot ovat yhtäptävä: () R = 0 () b = b = = b k = 0 () Mall e ollekaa seltä seltettävä muuttuja arvoje vahtelua. Ste seltysaste R kuvaa estmodu mall selttämää osuutta seltettävä muuttuja y arvoje vahtelusta. Seltysaste lmotetaa tavallsest prosettea, jollo saotaa, että estmotu mall o selttäyt 00 R % seltettävä muuttuja y arvoje vahtelusta. Vodaa osottaa, että R = [Cor( yy, ˆ)] Cor( yy, ˆ) o seltettävä muuttuja y havattuje arvoje y, y,, y ja estmodu mall sovttede yˆ ˆ ˆ, y, K, y tavaomae otoskorrelaatokerro. Ilkka Mell (007) 36/4
37 Mat.36 Tlastolle päättely 7. Suurmma uskottavuude meetelmä ja asymptootte teora PNS estmaattorede varasse estmot Jos stadardoletukset () (v) pätevät, regressokertome β, = 0,,,, k suurmma uskottavuude estmaattor b varass harhato estmaattor o = = XX D ( b) σb σ [( ) ] +, + ˆD ( b) = s [( XX ) ] +, + s SSE e = = ( y Xb) ( y Xb) = ee = = o jääösvarass σ harhato estmaattor. Regressokertome luottamusvält Valtaa luottamustasoks ( α). Jos stadardoletukset () (v) pätevät, regressokertome β, = 0,,,, k luottamusvält ovat muotoa b ˆD( ± tα/ b), = 0,,, K, k b = regressokertome β SU estmaattor ±t α/ = luottamustasoa ( α) vastaavat luottamuskertomet t jakaumasta, joka vapausastede lukumäärä o ( k ) ˆD ( ) b = regressokertome β SU estmaattor varass harhato estmaattor Regressokertome β luottamusväl vodaa helpost johtaa käyttämällä hyväks stä, että satuasmuuttuja b β t =, = 0,,, K, k ˆD( b) oudattaa t jakaumaa vapausaste ( k ): t t( ), =,, K, mkä merktsee stä, että satuasmuuttuja t jakauma e rpu estmo kohteea olevsta parametresta ja ste satuasmuuttuja t o saraasuure. Regressokertome β luottamusväl b ˆD( ± tα/ b), = 0,,, K, k luottamustasolla ( α) pettää regressokertome β todellse arvo todeäkösyydellä ( α): Ilkka Mell (007) 37/4
38 Mat.36 Tlastolle päättely 7. Suurmma uskottavuude meetelmä ja asymptootte teora Pr( b t D( ˆb) β b + t D( ˆb)) = α α/ α/ Jos otataa tostetaa, luottamustaso frekvesstulka mukaa otokssta kostruodusta luottamusvälestä 00 ( α) % pettää regressokertome β todellse arvo ja 00 α % välestä e petä regressokertome β todellsta arvoa. Leaarste rajotuste testaus Olkoo y = Xβ + ε stadardoletukset () (v) toteuttava ylee leaare mall, X o e satuae (k + ) matrs, k +, r(x) = k +. Oletetaa, että regressokertome vektorlle β o asetettu ollahypotees H 0 : R = r R o e satuae m (k + ) matrs, m k +, r(r) = m. Nollahypotees H 0 mukaa regressokertoma stoo m leaarsa rajotusta el sde ehtoa. Sde ehtoa R = r kutsutaa use yleseks leaarseks hypoteesks. Regressokertome vektor β rajottamato suurmma uskottavuude (pemmä elösumma) estmaattor o b= UXy U= ( XX ) Regressokertome vektor β rajotettu el sdottu suurmma uskottavuude (pemmä elösumma) estmaattor o b = b + UR S( r Rb) R b= UXy o vektor β rajotettu suurmma uskottavuude estmaattor, matrs U o kute edellä ja S = ( RUR ) Määrtellää jääöselösummat SSE = ( y Xb)( y Xb) SSE = ( y Xb )( y Xb ) R R R Ilkka Mell (007) 38/4
39 Mat.36 Tlastolle päättely 7. Suurmma uskottavuude meetelmä ja asymptootte teora Tällö osamäärätestsuure ollahypoteeslle o muotoa H 0 : R = r SSE λ = SSER Osamäärätestsuuree λ jakaumaa e tueta, mutta osamäärätestsuuree asymptoottsta jakaumaa koskevasta ylesestä tuloksesta seuraa, että ollahypotees pätessä SSE log λ log log( SSER) log( SSE) a χ ( m) SSER = = m = rajotuste el sde ehtoje lukumäärä = rve lukumäärä matrsssa R Suuret testsuuree log λ arvot merktsevät stä, että ollahypotees o asetettava kyseealaseks. Osamäärätestsuuree λ jakaumaa e ss tueta, ku otoskoko o äärelle. Se sjaa testsuure k F = m λ oudattaa eksaktst F jakaumaa vapausaste m ja ( k ) ollahypotees pätessä: H 0 : R = r F H F( m, k ) 0 Testsuure F vodaa krjottaa seuraav muotoh: k SSER SSE F = m SSE ( r Rb) S( r Rb) = ms k s = y Xb y Xb = SSE ( ) ( )( ) Testsuure F vodaa johtaa myös Wald testä ta Lagrage kertojatestä. Test regresso olemassaololle Olkoo testattavaa ollahypoteesa H 0 : β = β = L= β k = 0 Ilkka Mell (007) 39/4
40 Mat.36 Tlastolle päättely 7. Suurmma uskottavuude meetelmä ja asymptootte teora Jos ollahypotees H 0 pätee, seltettävä muuttuja y e rpu leaarsest yhdestäkää selttäjästä x, x,, x k. Se sjaa, jos ollahypotees H 0 e päde, seltettävä muuttuja y rppuu leaarsest aak yhdestä selttäjästä x, x,, x k. Määrtellää F testsuure k SSM F = k SSE k SST SSE = k SSE k R = k R SST = seltettävä muuttuja y havattuje arvoje kokoasvahtelua kuvaava elösumma SSM = estmodu mall mallelösumma SSE = estmodu mall jääöselösumma R = estmodu mall seltysaste Testsuure F vertaa tossa resduaalvarassa ja mallvarassa s s = SSE k M = SSM k Oletetaa, että stadardoletukset () (v) pätevät. Tällö testsuure F oudattaa ollahypotees H : β = β = L= β k = 0 0 pätessä F jakaumaa vapausaste k ja ( k ): F H F( k, k ) 0 Testsuuree F ormaalarvo el odotusarvo ollahypotees H 0 pätessä o approksmatvsest (suurlle ) = : E( F) H 0 Suuret testsuuree F arvot vttaavat she, että ollahypotees H 0 e päde. Test o erkostapaus edellä estetystä teststä yleselle leaarslle hypoteeslle. Testsuure F vodaa johtaa osamäärätestä, Wald testä ta Lagrage kertojatestä. Testt regressokertomlle Olkoo ollahypoteesa H 0 : β = 0, = 0,,, K, k Ilkka Mell (007) 40/4
41 Mat.36 Tlastolle päättely 7. Suurmma uskottavuude meetelmä ja asymptootte teora Jos ollahypotees H 00 pätee, mallssa e ole vakota. Jos ollahypotees H 0 pätee, seltettävä muuttuja y e rpu leaarsest selttäjästä x, =,,, k. Jos ollahypotees H 0 e päde, seltettävä muuttuja y rppuu leaarsest selttäjästä x, =,,, k. Määrtellää t testsuureet t b b = ˆD( b ) ˆD ( ) = regressokertome β SU estmaattor b = regressokertome β SU estmaattor varass harhato estmaattor Oletetaa, että stadardoletukset () (v) pätevät. Tällö testsuure t oudattaa ollahypotees H : β = 0, = 0,,, K, k 0 pätessä t jakaumaa vapausaste ( k ): t H t( k ), =,, K, 0 Testsuuree t ormaalarvo el odotusarvo ollahypotees H 0 pätessä o E( t ) = 0, = 0,,, K, k H 0 Itsesarvoltaa suuret testsuuree t arvot vttaavat she, että ollahypotees H 0 e päde. Testt ovat erkostapauksa edellä estetystä teststä yleselle leaarslle hypoteeslle. Testsuureet t, =,,, k vodaa johtaa osamäärätesteä, Wald testeä ta Lagrage kertojatesteä. Ilkka Mell (007) 4/4
Mat Koesuunnittelu ja tilastolliset mallit. Yhden selittäjän lineaarinen regressiomalli. Avainsanat:
Mat-.3 Koesuuttelu ja tlastollset mallt 4. harjotukset Mat-.3 Koesuuttelu ja tlastollset mallt 4. harjotukset / Ratkasut Aheet: Avasaat: Yhde selttäjä leaare regressomall Artmeette keskarvo, Estmaatt,
Lisätiedoton tavanomainen yhden selittäjän lineaarinen regressiomalli, jossa jäännöstermit ε i toteuttavat seuraavat oletukset:
Mat-.03 Koesuuttelu ja tlastollset mallt 5. harjotukset Mat-.03 Koesuuttelu ja tlastollset mallt 5. harjotukset / Ratkasut Aheet: Avasaat: Yhde selttäjä leaare regressomall Ylee leaare mall Artmeette keskarvo,
LisätiedotTilastollinen päättely. 4. Hypoteesien testaus Johdanto Testien konstruointi Testien vertailu
Mat.36 Tlastolle päättely 4. Hypoteese testaus Tlastolle päättely 4. Hypoteese testaus 4.. Johdato Hylkäysalue, Hypotees, Hyväksymsalue, Krtte alue, Nollahypotees, Otos, Parametr, Parametravaruus, Perusjoukko,
LisätiedotMat Tilastollisen analyysin perusteet, kevät 2007
Mat-.4 Tlastollse aals perusteet, evät 7 8. lueto: Usea selttää leaare regressomall Usea selttää leaare regressomall Seltettävä muuttua havattue arvoe vahtelu halutaa selttää selttäve muuttue havattue
LisätiedotTilastollinen päättely. 3. Piste-estimointi Johdanto Estimointimenetelmät Estimaattoreiden ominaisuudet
Mat-1.361 Tlastolle päättely 3. Pste-estmot Tlastolle päättely 3. Pste-estmot 3.1. Johdato Estmaattor, Estmaatt, Estmot, Havato, Havatopste, Otos, Otostuusluku, Parametr, Pste-estmot, Pstetodeäkösyysfukto,
LisätiedotMat Sovellettu todennäköisyyslaskenta B 8. harjoitukset / Ratkaisut Aiheet: Otos ja otosjakaumat Avainsanat:
Mat-1.60 Sovellettu todeäkösyyslasketa Mat-1.60 Sovellettu todeäkösyyslasketa B / Ratkasut Aheet: Otos ja otosjakaumat Avasaat: Artmeette keskarvo, Beroull-jakauma, Beroull-koe, χ -jakauma, Frekvess, Frekvessjakauma,
LisätiedotTilastollinen päättely. 3. Piste estimointi Johdanto Estimointimenetelmät Estimaattoreiden ominaisuudet
Mat.36 Tlastolle päättely 3. Pste estmot Tlastolle päättely 3. Pste estmot 3.. Johdato Estmaattor, Estmaatt, Estmot, Havato, Havatopste, Otos, Otostuusluku, Parametr, Pste estmot, Pstetodeäkösyysfukto,
LisätiedotTilastollinen päättely. 4. Hypoteesien testaus Johdanto Testien konstruointi Testien vertailu
Mat-1.361 Tlastolle päättely 4. Hypoteese testaus Tlastolle päättely 4. Hypoteese testaus 4.1. Johdato Hylkäysalue, Hypotees, Hyväksymsalue, Krtte alue, Nollahypotees, Otos, Parametr, Parametravaruus,
LisätiedotTilastollinen riippuvuus ja korrelaatio
Tlastollset meetelmät Osa 4: Leaare regressoaalyys Tlastolle rppuvuus ja korrelaato KE (204) Tlastolle rppuvuus ja korrelaato >> Tlastolle rppuvuus, korrelaato ja regresso Kahde muuttuja havatoaesto kuvaame
Lisätiedot= E(Y 2 ) 1 n. = var(y 2 ) = E(Y 4 ) (E(Y 2 )) 2. Materiaalin esimerkin b) nojalla log-uskottavuusfunktio on l(θ; y) = n(y θ)2
HY / Matematka ja tlastotetee latos Tlastolle päättely II, kevät 28 Harjotus 3A Ratkasuehdotuksa Tehtäväsarja I Olkoot Y,, Y ja Nθ, ) Osota, että T T Y) Y 2 o parametr gθ) θ 2 harhato estmaattor Laske
LisätiedotTilastolliset menetelmät: Otokset, otosjakaumat ja estimointi. 4. Otokset ja otosjakaumat 5. Estimointi 6. Estimointimenetelmät 7.
Tlastollset meetelmät Otokset, otosjakaumat ja estmot Tlastollset meetelmät: Otokset, otosjakaumat ja estmot 4. Otokset ja otosjakaumat 5. Estmot 6. Estmotmeetelmät 7. Välestmot Ilkka Mell 5 Tlastollset
LisätiedotHY, MTO / Matemaattisten tieteiden kandiohjelma Tilastollinen päättely II, kevät 2018 Harjoitus 7B Ratkaisuehdotuksia.
HY, MTO / Matemaattste tetede kadohjelma Tlastolle päättely II, kevät 208 Harjotus 7B Ratkasuehdotuksa Tehtäväsarja I Olkoo Y, Y rppumato otos Pareto jakaumasta, fy; θ θc θ y θ+ { y > c } tuetulla vakolla
Lisätiedot1. (Monisteen teht. 5.16) Eräiden kuulalaakereiden kestoa (miljoonaa kierrosta) on totuttu kuvaamaan Weibull-jakaumalla, jonka tiheysfunktio on
HY MTO / Matemaattste tetede kadohjelma Tlastolle päättely II kevät 019 Harjotus 7B Ratkasuehdotuksa Tehtäväsarja I 1 Mostee teht 516 Eräde kuulalaakerede kestoa mljooaa kerrosta o totuttu kuvaamaa Webull-jakaumalla
LisätiedotTodennäköisyyslaskennan ja tilastotieteen peruskurssi Esimerkkikokoelma 6
Todeäkösyyslaskea ja tlastotetee peruskurss Esmerkkkokoelma 6 Todeäkösyyslaskea ja tlastotetee peruskurss Esmerkkkokoelma 6 Aheet: Tlastolle rppuvuus ja korrelaato Yhde selttäjä leaare regressomall Regressoaalyys
Lisätiedot1.4. Aritmeettisen keskiarvon otosjakauma: Suurten otosten tuloksia
Tlastolle päättely. Otosjakaumat Tlastolle päättely. Otosjakaumat.. Otos, otostuusluvut ja de otosjakaumat Arvota, Havato, Havatoarvo, Otos, Otosjakauma, Otostuusluku, Rppumattomuus, Satuasmuuttuja, Satuasotos,
LisätiedotMat Sovellettu todennäköisyyslaskenta B 9. harjoitukset / Ratkaisut Aiheet: Estimointi Estimointimenetelmät Väliestimointi Avainsanat:
Mat-.60 Sovellettu todeäkösyyslasketa B Mat-.60 Sovellettu todeäkösyyslasketa B / Ratkasut Aheet: Estmot Estmotmeetelmät Välestmot Avasaat: Artmeette keskarvo, Beroull-jakauma, Beroull-koe, Estmaatt, Estmaattor,
Lisätiedot1.2. Aritmeettisen keskiarvon ja otosvarianssin otosjakaumat: Odotusarvot ja varianssit
Tlastolle päättely. Otosjakaumat Tlastolle päättely. Otosjakaumat.. Otos, otostuusluvut ja de otosjakaumat Arvota, Havato, Havatoarvo, Otos, Otosjakauma, Otostuusluku, Rppumattomuus, Satuasmuuttuja, Satuasotos,
Lisätiedot1. PARAMETRIEN ESTIMOINTI
Mat-.04 Tlastollse aalyys perusteet Mat-.04 Tlastollse aalyys perusteet / Ratkasut Aheet: Avasaat: Yhde selttäjä leaare regressomall Estmaatt, Estmaattor, Estmot, Jääöselösumma, Jääösterm, Jääösvarass,
LisätiedotTilastollinen päättely. 2. Datan redusoinnin periaatteet Tyhjentävyys Uskottavuus
Mat.36 Tlastolle päättely. Data reduso peraatteet Tlastolle päättely. Data reduso peraatteet.. Tyhjetävyys Asllaarsuus, Basu teoreema, Data redusot, Faktorotteoreema, Iformaato, Mmaale tyhjetävyys, Otos,
LisätiedotTilastollinen päättely. 2. Datan redusoinnin periaatteet Tyhjentävyys Uskottavuus
Mat-1.361 Tlastolle päättely. Data reduso peraatteet Tlastolle päättely. Data reduso peraatteet.1. Tyhjetävyys Asllaarsuus, Basu teoreema, Data redusot, Faktorotteoreema, Iformaato, Mmaale tyhjetävyys,
LisätiedotMS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi Viikko 4
MS-A Todeäkösyyslaskea ja tlastotetee peruskurss Vkko Tlastollste aestoje kerääme ja mttaame; tlastollste aestoje kuvaame; Otokset ja otosjakaumat; Estmot; Estmotmeetelmät; Vällestmot Mtä tlastotede o?
LisätiedotMat Sovellettu todennäköisyyslasku A
TKK / Systeemaalyys laboratoro Mat-.9 Sovellettu todeäkösyyslasku A Nordlud Harjotus 8 (vko 45/3) (Ahe: Raja-arvolauseta, otostuuslukuja, johdatusta estmot, Lae luvut 9.5,.-.6). Olkoo X ~ p(λ), mssä λ
LisätiedotMS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi Esimerkkikokoelma 5 Aiheet: Tilastolliset testit Avainsanat:
MS-A5 Todeäkösyyslaskea ja tlastotetee peruskurss Esmerkkkokoelma 5 MS-A5 Todeäkösyyslaskea ja tlastotetee peruskurss Esmerkkkokoelma 5 Aheet: Tlastollset testt Avasaat: Artmeette keskarvo Beroull-jakauma
LisätiedotKonvergenssikäsitteet ja raja-arvolauseet. Konvergenssikäsitteet ja raja-arvolauseet. Konvergenssikäsitteet ja raja-arvolauseet: Mitä opimme?
TKK (c) Ilkka Mell (004) Kovergesskästteet ja raja-arvolauseet Kovergesskästtetä Suurte lukuje lat Keskee raja-arvolause Keskese raja-arvolausee seurauksa Johdatus todeäkösyyslasketaa Kovergesskästteet
Lisätiedot13. Lineaariset ensimmäisen kertaluvun differentiaalisysteemit
68 3. Leaarset esmmäse kertaluvu dfferetaalsysteemt Tarkastelemme systeemejä () x () t = A() t x() t + b () t, jossa matrs A kertomet ja b ovat välllä I jatkuva. Jatkuve vektorarvoste fuktode avaruutta
Lisätiedot2-suuntainen vaihtoehtoinen hypoteesi
Mat-.6 Sovellettu todeäkösyyslasketa. harjotukset Mat-.6 Sovellettu todeäkösyyslasketa B. harjotukset / Ratkasut Aheet: Tlastollset testt Avasaat: Artmeette keskarvo, Beroull-jakauma, F-jakauma, F-test,
LisätiedotTilastollinen riippuvuus ja korrelaatio. Tilastollinen riippuvuus ja korrelaatio. Tilastollinen riippuvuus ja korrelaatio: Esitiedot
TKK (c) Ilkka Mell (4) Tlastolle rppuvuus ja korrelaato Tlastolle rppuvuus, korrelaato ja regresso Kahde muuttuja havatoaesto kuvaame Pearso korrelaatokertome estmot ja testaus Järjestyskorrelaatokertomet
LisätiedotMuuttujien välisten riippuvuuksien analysointi
Mat-.4 Tlastollse aalyys peusteet, kevät 7 5. lueto: Tlastolle ppuvuus ja koelaato Muuttuje välste ppuvuukse aalysot Tlastollsssa aalyysessä tutktaa use muuttuje välsä ppuvuuksa Työttömyysastee ppuvuus
LisätiedotMTTTP1 SELITYKSIÄ JA ESIMERKKEJÄ KAAVAKOKOELMAN KAAVOIHIN LIITTYEN
MTTTP SELITYKSIÄ JA ESIMERKKEJÄ KAAVAKOKOELMAN KAAVOIHIN LIITTYEN Aesto kaavoje () (3), (9) ja () esmerkkeh Lepakot pakallstavat hyötesä lähettämällä korkeataajusta äätä Ne pystyvät pakallstamaa hyöteset
LisätiedotTilastollisten aineistojen kerääminen ja mittaaminen Tilastolliset aineistot
Todeäkösyyslaskea ja talstotetee peruskurssesmerkkkokoelma 4 Todeäkösyyslaskea ja tlastotetee peruskurss Esmerkkkokoelma 4 Aheet: Tlastollste aestoje kerääme ja mttaame Tlastollste aestoje kuvaame Otokset
LisätiedotMat Sovellettu todennäköisyyslasku A
TKK / Systeemaalyys laboratoro Mat-.090 Sovellettu todeäkösyyslasku A Nordlud Harotus (vko 49/003) (Ahe: Tlastollsa testeä, regressoaalyysä Lae luvut 5.5, 6) HUOM! Laskarede palautukse takaraa o pokkeuksellsest
LisätiedotMoniulotteiset jakaumat ja havaintoaineistot
Momuuttujameetelmät: Ilkka Mell. Moulotteset jakaumat.. Satuasmuuttujat ja todeäkösyysjakaumat.. Yhtesjakaumat.3. Reuajakaumat ja satuasmuuttuje rumattomuus.4. Ehdollset jakaumat.5. Yhtesjakaume tuusluvut.6.
LisätiedotRaja-arvot. Osittaisderivaatat.
1 MAT-13440 LAAJA MATEMATIIKKA 4 Tamperee teklle ylopsto Rsto Slveoe Kevät 2010 Luku 3 Raja-arvot Osttasdervaatat 1 Fuktode raja-arvot Tarkastelemme fuktota f : A, jode määrttelyjoukko A T Muuttujat ovat
LisätiedotIlkka Mellin. Sovellettu todennäköisyyslasku: Kaavat ja taulukot
Mat-.09 Sovellettu todeäkösyyslasku Systeemaalyys laboratoro Teklle korkeakoulu SYKSY 00 Ilkka Mell Sovellettu todeäkösyyslasku: Kaavat ja taulukot f XY x X x X y Y ( x, y) exp XY ( XY ) XY XY X X Y Tomttaut
LisätiedotVarianssianalyysi. Varianssianalyysi. Varianssianalyysi. Varianssianalyysi: Mitä opimme? Varianssianalyysi: Johdanto
TKK (c Ila Mell (004 Varassaalyys Varassaalyys: Johdato Johdatus tlastoteteesee Varassaalyys TKK (c Ila Mell (004 Varassaalyys: Mtä opmme? Tarastelemme tässä luvussa seuraavaa ysymystä: Mte tavaomae ahde
LisätiedotMat Tilastollinen päättely 7. harjoitukset / Tehtävät. Hypoteesien testaus. Avainsanat:
Mat-.36 Tlastollnen päättely 7. harjotukset Mat-.36 Tlastollnen päättely 7. harjotukset / Tehtävät Aheet: Avansanat: ypoteesen testaus. lajn vrhe,. lajn vrhe, arhaton test, ylkäysalue, ylkäysvrhe, ypotees,
LisätiedotTilastolliset menetelmät: Otokset, otosjakaumat ja estimointi
Tlastollset meetelmät Otokset, otosjakaumat ja estmot Tlastollset meetelmät: Otokset, otosjakaumat ja estmot 4. Otokset ja otosjakaumat 5. Estmot 6. Estmotmeetelmät 7. Välestmot TKK @ Ilkka Mell (006)
LisätiedotSuoran sovittaminen pistejoukkoon
Suora sovttame pstejoukkoo Ku halutaa tutka kahde tlastollse muuttuja rppuvuutta tosstaa, käytetää use leaarsta regressota el suora sovttamsta havatojoukkoo. Sä o aettu joukko havatopareja (x, y ), ja
LisätiedotIlkka Mellin Aikasarja-analyysi Suurimman uskottavuuden menetelmä
Ilkka Mellin Aikasarja-analyysi Suurimman uskottavuuden menetelmä TKK (c) Ilkka Mellin (2007) 1 Suurimman uskottavuuden menetelmä >> Suurimman uskottavuuden estimointimenetelmä Tarkentuvuus Asymptoottinen
LisätiedotMat Tilastollisen analyysin perusteet, kevät 2007
Mat-2.204 Tlastollsen analyysn perusteet, kevät 2007 5. luento: Tlastollnen rppuvuus ja korrelaato Ka Vrtanen Muuttujen välsten rppuvuuksen analysont Tlastollsssa analyysessä tutktaan usen muuttujen välsä
LisätiedotTKK @ Ilkka Mellin (2008) 1/24
Mat-.60 Sovellettu todeäkösyyslasketa B Mat-.60 Sovellettu todeäkösyyslasketa B / Ratkasut Aheet: Mtta-astekot Havatoaesto kuvaame ja otostuusluvut Avasaat: Artmeette keskarvo, Frekvess, Frekvessjakauma,
LisätiedotKokonaistodennäköisyys ja Bayesin kaava. Kokonaistodennäköisyys ja Bayesin kaava. Kokonaistodennäköisyys ja Bayesin kaava: Esitiedot
TKK (c) Ilkka Mell (2004) Kokoastodeäkösyys ja Kokoastodeäkösyys ja : Johdato Kokoastodeäkösyyde ja Bayes kaavoje systeemteoreette tulkta Johdatus todeäkösyyslasketaa Kokoastodeäkösyys ja TKK (c) Ilkka
LisätiedotMS-A0205/MS-A0206 Differentiaali- ja integraalilaskenta 2 Luento 7: Lagrangen kertojat. Pienimmän neliösumman menetelmä.
MS-A0205/MS-A0206 Dfferentaal- ja ntegraallaskenta 2 Luento 7: Lagrangen kertojat. Penmmän nelösumman menetelmä. Jarmo Malnen Matematkan ja systeemanalyysn latos 1 Aalto-ylopsto Kevät 2016 1 Perustuu Antt
LisätiedotMat Koesuunnittelu ja tilastolliset mallit
Mat-.03 Koeuuttelu tlatollet mallt. harjotuket Mat-.03 Koeuuttelu tlatollet mallt. harjotuket / Ratkaut Aheet: Avaaat: Tlatollte aetoje kuvaame Oto otokaumat Etmot Etmotmeetelmät Väletmot Artmeette kekarvo,
LisätiedotTestaa onko lämpökäsittelyllä vaikutusta tankojen keskimääräiseen vetolujuuteen.
Mat-.03 Koesuuttelu ja tlastollset mallt 6. harjotuset Mat-.03 Koesuuttelu ja tlastollset mallt 6. harjotuset / Ratasut Aheet: Avasaat: Yssuutae varassaals Artmeette esarvo, Bartlett test, Box ja Whser
Lisätiedot3.5 Generoivat funktiot ja momentit
3.5. Generovat funktot ja momentt 83 3.5 Generovat funktot ja momentt 3.5.1 Momentt Eräs tapa luonnehta satunnasmuuttujan jakaumaa, on laskea jakauman momentt. Ne määrtellään odotusarvon avulla. Määrtelmä
LisätiedotLohkoasetelmat. Lohkoasetelmat. Lohkoasetelmat: Mitä opimme? Lohkoasetelmat. Lohkoasetelmat. Satunnaistettu täydellinen lohkoasetelma 1/4
TKK (c) lkka Melln (005) Koesuunnttelu TKK (c) lkka Melln (005) : Mtä opmme? Tarkastelemme tässä luvussa seuraavaa kysymystä: Mten varanssanalyysssa tutktaan yhden tekän vakutusta vastemuuttujaan, kun
LisätiedotLuento 6 Luotettavuus Koherentit järjestelmät
Aalto-ylosto erustetede korkeakoulu Matematka a systeemaalyys latos Lueto 6 Luotettavuus Koherett ärestelmät Aht Salo Systeemaalyys laboratoro Matematka a systeemaalyys latos Aalto-ylosto erustetede korkeakoulu
LisätiedotJohdatus tilastotieteeseen Yleinen lineaarinen malli. TKK (c) Ilkka Mellin (2004) 1
Johdatus tilastotieteeseen Yleinen lineaarinen malli TKK (c) Ilkka Mellin (2004) 1 Yleinen lineaarinen malli Usean selittäjän lineaarinen regressiomalli Yleisen lineaarisen mallin matriisisesitys Yleisen
LisätiedotMat Tilastollisen analyysin perusteet, kevät 2007
Mat-.04 Tlastollsen analyysn perusteet, evät 007. luento: Johdatus varanssanalyysn S ysteemanalyysn Laboratoro Ka Vrtanen Kertaus: ahden rppumattoman otosen t-test () () Perusjouo oostuu ahdesta ryhmästä
LisätiedotVäliestimointi (jatkoa) Heliövaara 1
Väliestimointi (jatkoa) Heliövaara 1 Bernoulli-jakauman odotusarvon luottamusväli 1/2 Olkoon havainnot X 1,..., X n yksinkertainen satunnaisotos Bernoulli-jakaumasta parametrilla p. Eli X Bernoulli(p).
LisätiedotIlkka Mellin Tilastolliset menetelmät. Osa 4: Lineaarinen regressioanalyysi. Yleinen lineaarinen malli. TKK (c) Ilkka Mellin (2007) 1
Ilkka Mellin Tilastolliset menetelmät Osa 4: Lineaarinen regressioanalyysi Yleinen lineaarinen malli TKK (c) Ilkka Mellin (2007) 1 Yleinen lineaarinen malli >> Usean selittäjän lineaarinen regressiomalli
LisätiedotMonimuuttujamenetelmät: Multinormaalijakauma. Ilkka Mellin. 1. Multinormaalijakauma ja sen ominaisuudet
Momuuttumeetelmät Multormaalkauma Momuuttumeetelmät: Multormaalkauma Ilkka Mell. Multormaalkauma se omasuudet.. Multormaalkauma.. Multormaalkauma omasuudet.3. Multormaalkauma ehdollset kaumat.4. -ulottee
LisätiedotJakaumien tunnusluvut. Jakaumien tunnusluvut. Jakaumien tunnusluvut: Mitä opimme? 2/2. Jakaumien tunnusluvut: Mitä opimme? 1/2
TKK (c) Ila Mell (4) Jaaume tuusluvut Johdatus todeäösyyslasetaa Jaaume tuusluvut Marov ja Tshebyshev epäyhtälöt Momett Vous ja hupuuus Suurte luuje la TKK (c) Ila Mell (4) Jaaume tuusluvut: Mtä opmme?
LisätiedotTodennäköisyyslaskennan ja tilastotieteen peruskurssi Esimerkkikokoelma 2
Todeäkösyyslaskea ja tlastotetee peruskurss Esmerkkkokoelma Aheet: Satuasmuuttujat ja todeäkösyysjakaumat Kertymäfukto Jakaume tuusluvut Dskreettejä jakauma Jatkuva jakauma Avasaat: Bomjakauma Desl Dskreett
LisätiedotTilastolliset menetelmät: Lineaarinen regressioanalyysi
Tlastollset meetelmät Leaare regressoaalyys Tlastollset meetelmät: Leaare regressoaalyys 3. Tlastolle rppuvuus ja korrelaato 4. Johdatus regressoaalyys 5. Yhde selttäjä leaare regressomall 6. Ylee leaare
LisätiedotTilastollinen päättömyys, kevät 2017 Harjoitus 5b
Tilastollie päättömyys, kevät 07 Harjoitus b Heikki Korpela 3. helmikuuta 07 Tehtävä. a Olkoot Y,..., Y Bθ. Johda uskottavuusosamäärä testisuuree ry, Waldi testisuuree wy ja Rao pistemäärätestisuuree uy
LisätiedotTchebycheff-menetelmä ja STEM
Tchebycheff-menetelmä ja STEM Optmontopn semnaar - Kevät 2000 / 1 1. Johdanto Tchebycheff- ja STEM-menetelmät ovat vuorovakuttesa menetelmä evät perustu arvofunkton käyttämseen pyrkvät shen, että vahtoehdot
LisätiedotGeneroidaan tiedostoon BINORM satunnaislukuja jakaumasta N(0,1) muuttujiksi U, V: (U, V): N 2 (0, 0, 1, 1, 0)
Mat-2.04 Tlastollse aalyys perusteet / Ratkasut Aheet: Avasaat Korrelaato ja assosaato Hypotees, Järjestyskorrelaatokertomet, χ 2 -rppumattomuustest, Korrelaatokerro, Pstedagramm, Päätössäätö, Nollahypotees,
LisätiedotMat Tilastollisen analyysin perusteet, kevät 2007
Mat-.104 Tilastollisen analyysin perusteet, kevät 007 8. luento: Usean selittäjän lineaarinen regressiomalli Kai Virtanen 1 Usean selittäjän lineaarinen regressiomalli Selitettävän muuttujan havaittujen
Lisätiedot1. (Jatkoa Harjoitus 5A tehtävään 4). Monisteen esimerkin mukaan momenttimenetelmän. n ne(y i Y (n) ) = 2E(Y 1 Y (n) ).
HY / Matematiika ja tilastotietee laitos Tilastollie päättely II, kevät 018 Harjoitus 5B Ratkaisuehdotuksia Tehtäväsarja I 1. (Jatkoa Harjoitus 5A tehtävää ). Moistee esimerki 3.3.3. mukaa momettimeetelmä
LisätiedotMS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi
MS-A0501 Todeäköisyyslaskea ja tilastotietee peruskurssi 4A Satuaisotata ja parametrie estimoiti Lasse Leskelä Matematiika ja systeemiaalyysi laitos Perustieteide korkeakoulu Aalto-yliopisto Syksy 2016,
LisätiedotTodennäköisyyden aksioomat. Todennäköisyyden aksioomat. Todennäköisyyden aksioomat: Mitä opimme? 2/2. Todennäköisyyden aksioomat: Mitä opimme?
TKK () Ilkka Mell (2004) 1 Todeäkösyyde aksoomat Suhteelle rekvess, klasse todeäkösyys ja ehdolle todeäkösyys Johdatus todeäkösyyslasketaa Todeäkösyyde aksoomat TKK () Ilkka Mell (2004) 2 Todeäkösyyde
LisätiedotErityiskysymyksiä yleisen lineaarisen mallin soveltamisessa
Ilkka Mellin Tilastolliset menetelmät Osa 4: Lineaarinen regressioanalyysi Erityiskysymyksiä yleisen lineaarisen mallin soveltamisessa TKK (c) Ilkka Mellin (2007) 1 Erityiskysymyksiä yleisen lineaarisen
LisätiedotSatunnaismuuttujat ja todennäköisyysjakaumat
Satuasmuuttujat ja todeäkösyysjakaumat Todeäkösyyslasketa: Satuasmuuttujat ja todeäkösyysjakaumat 9. Satuasmuuttujat ja todeäkösyysjakaumat 0. Kertymäfukto. Jakaume tuusluvut. Moulotteset satuasmuuttujat
LisätiedotTilastolliset menetelmät: Lineaarinen regressioanalyysi
Tlastollset meetelmät Leaare regressoaals Tlastollset meetelmät: Leaare regressoaals 3. Tlastolle rppuvuus ja korrelaato 4. Johdatus regressoaals 5. Yhde selttäjä leaare regressomall 6. Ylee leaare mall
Lisätiedot3 Tilayhtälöiden numeerinen integrointi
3 Tlayhtälöden numeernen ntegront Alkuarvotehtävässä halutaan ratkasta lopputla xt f ) sten, että tlayhtälöt ẋ = fx,u, t) toteutuvat, kun alkutla x 0 on annettu Tlayhtälöden numeernen ntegront vodaan suorttaa
LisätiedotYhden selittäjän lineaarinen regressiomalli (jatkoa) Ensi viikolla ei pidetä luentoa eikä harjoituksia. Heliövaara 1
Yhden selittäjän lineaarinen regressiomalli (jatkoa) Ensi viikolla ei pidetä luentoa eikä harjoituksia Heliövaara 1 Regressiokertoimien PNS-estimaattorit Määritellään havaintojen x j ja y j, j = 1, 2,...,n
LisätiedotJohdatus tekoälyn taustalla olevaan matematiikkaan
Johdatus tekoälyn taustalla olevaan matematkkaan Informaatoteknologan tedekunta Jyväskylän ylopsto 4. luento 24.11.2017 Neuroverkon opettamnen - gradenttmenetelmä Neuroverkkoa opetetaan syöte-tavote-parella
LisätiedotEpälineaaristen pienimmän neliösumman tehtävien ratkaiseminen numeerisilla optimointimenetelmillä (valmiin työn esittely)
Epälneaarsten penmmän nelösumman tehtäven ratkasemnen numeerslla optmontmenetelmllä valmn työn esttely Lar Pelkola 9.9.014 Ohjaaja/valvoja: Prof. Harr Ehtamo yön saa tallentaa ja julkstaa Aalto-ylopston
LisätiedotOsa 2: Otokset, otosjakaumat ja estimointi
Ilkka Melli Tilastolliset meetelmät Osa 2: Otokset, otosjakaumat ja estimoiti Estimoitimeetelmät TKK (c) Ilkka Melli (2007) Estimoitimeetelmät >> Todeäköisyysjakaumie parametrie estimoiti Suurimma uskottavuude
LisätiedotTestit suhdeasteikollisille muuttujille. Testit suhdeasteikollisille muuttujille. Testit suhdeasteikollisille muuttujille: Esitiedot
TKK (c) Ilkka Melli (4) Testit suhdeasteikollisille muuttujille Johdatus tilastotieteesee Testit suhdeasteikollisille muuttujille Testit ormaalikauma parametreille Yhde otokse t-testi Kahde otokse t-testi
LisätiedotJohdatus tilastotieteeseen Testit suhdeasteikollisille muuttujille. TKK (c) Ilkka Mellin (2004) 1
Johdatus tilastotieteeseen Testit suhdeasteikollisille muuttujille TKK (c) Ilkka Mellin (004) 1 Testit suhdeasteikollisille muuttujille Testit normaalijakauman parametreille Yhden otoksen t-testi Kahden
Lisätiedot8.3. Yleinen lineaarinen malli ja yleistetty pienimmän neliösumman menetelmä
Mat-1.361 Tilastollie päättely Tilastollie päättely 8. Yleie lieaarie malli 8.1. Yleie lieaarie malli ja se parametrie estimoiti Estimoiti, Estimaattori hyvyys, Gaussi ja Markovi lause, Harhattomuus, Homoskedastisuus,
LisätiedotRegressioanalyysi. Vilkkumaa / Kuusinen 1
Regressioanalyysi Vilkkumaa / Kuusinen 1 Regressioanalyysin idea ja tavoitteet Regressioanalyysin idea: Halutaan selittää selitettävän muuttujan havaittujen arvojen vaihtelua selittävien muuttujien havaittujen
LisätiedotBernoullijakauma. Binomijakauma
Beroulljaauma Beroull oe o ahde mahdollse ulostulo oe, jossa taahtumsta äytetää mtysä ostume ja eäostume. Esmerejä: rahahetto (ruua ta laava), lase sytymä (tyttö ta oa), helö verryhmä ( ta c ), oselja
LisätiedotTilastollinen testaus. Vilkkumaa / Kuusinen 1
Tilastollinen testaus Vilkkumaa / Kuusinen 1 Motivointi Viime luennolla: havainnot generoineen jakauman muoto on usein tunnettu, mutta parametrit tulee estimoida Joskus parametreista on perusteltua esittää
LisätiedotRegressioanalyysi. Kuusinen/Heliövaara 1
Regressioanalyysi Kuusinen/Heliövaara 1 Regressioanalyysin idea ja tavoitteet Regressioanalyysin idea: Oletetaan, että haluamme selittää jonkin selitettävän muuttujan havaittujen arvojen vaihtelun joidenkin
LisätiedotTuringin kone on kuin äärellinen automaatti, jolla on käytössään
4 TUINGIN KONEET Ala Turg 1935 36 auha Koe vo srtää auha: T U I N G auhapää: ohjausykskkö: Turg koe o ku äärelle automaatt, jolla o käytössää auhapäätä vasemmalle ta okealle; se vo myös lukea ta krjottaa
LisätiedotJohdatus tilastotieteeseen Estimointimenetelmät. TKK (c) Ilkka Mellin (2005) 1
Johdatus tilastotieteesee Estimoitimeetelmät TKK (c) Ilkka Melli (2005) 1 Estimoitimeetelmät Todeäköisyysjakaumie parametrie estimoiti Momettimeetelmä Normaalijakauma parametrie estimoiti Ekspoettijakauma
LisätiedotJohdatus tilastotieteeseen Testit suhdeasteikollisille muuttujille. TKK (c) Ilkka Mellin (2005) 1
Johdatus tilastotieteeseen Testit suhdeasteikollisille muuttujille TKK (c) Ilkka Mellin (005) 1 Testit suhdeasteikollisille muuttujille Testit normaalijakauman parametreille Yhden otoksen t-testi Kahden
LisätiedotOsa 2: Otokset, otosjakaumat ja estimointi
Ilkka Mellin Tilastolliset menetelmät Osa 2: Otokset, otosjakaumat ja estimointi Estimointi TKK (c) Ilkka Mellin (2007) 1 Estimointi >> Todennäköisyysjakaumien parametrit ja niiden estimointi Hyvän estimaattorin
LisätiedotYhden selittäjän lineaarinen regressiomalli
Ilkka Melli Tilastolliset meetelmät Osa 4: Lieaarie regressioaalyysi Yhde selittäjä lieaarie regressiomalli TKK (c) Ilkka Melli (007) Yhde selittäjä lieaarie regressiomalli >> Yhde selittäjä lieaarie regressiomalli
LisätiedotJohdatus tilastotieteeseen Estimointi. TKK (c) Ilkka Mellin (2005) 1
Johdatus tilastotieteeseen Estimointi TKK (c) Ilkka Mellin (2005) 1 Estimointi Todennäköisyysjakaumien parametrit ja niiden estimointi Hyvän estimaattorin ominaisuudet TKK (c) Ilkka Mellin (2005) 2 Estimointi:
Lisätiedot4.0.2 Kuinka hyvä ennuste on?
Luonteva ennuste on käyttää yhtälöä (4.0.1), jolloin estimaattori on muotoa X t = c + φ 1 X t 1 + + φ p X t p ja estimointivirheen varianssi on σ 2. X t }{{} todellinen arvo Xt }{{} esimaattori = ε t Esimerkki
LisätiedotMat Sovellettu todennäköisyyslasku A. Otos- ja otosjakaumat Estimointi Estimointimenetelmät Väliestimointi. Avainsanat:
Mat-.090 Sovellettu todeäköisyyslasku A Mat-.090 Sovellettu todeäköisyyslasku A / Ratkaisut Aiheet: Avaisaat: Otos- ja otosjakaumat Estimoiti Estimoitimeetelmät Väliestimoiti Aritmeettie keskiarvo, Beroulli-jakauma,
LisätiedotTavoitteet skaalaavan funktion lähestymistapa eli referenssipiste menetelmä
Tavotteet skaalaavan funkton lähestymstapa el referensspste menetelmä Optmontopn semnaar - Kevät 2000 / 1 Estelmän ssältö Panotetun metrkan ongelmen havatsemnen Referensspste menetelmän dean esttely Referensspste
LisätiedotJohdatus tilastotieteeseen Väliestimointi. TKK (c) Ilkka Mellin (2005) 1
Johdatus tilastotieteeseen Väliestimointi TKK (c) Ilkka Mellin (2005) 1 Väliestimointi Todennäköisyysjakaumien parametrien estimointi Luottamusväli Normaalijakauman odotusarvon luottamusväli Normaalijakauman
Lisätiedot2. Teoriaharjoitukset
2. Teoriaharjoitukset Demotehtävät 2.1 Todista Gauss-Markovin lause. Ratkaisu. Oletetaan että luentokalvojen standardioletukset (i)-(v) ovat voimassa. Huomaa että Gauss-Markovin lause ei vaadi virhetermien
Lisätiedot3.6 Su-estimaattorien asymptotiikka
3.6 Su-estimaattorien asymptotiikka su-estimaattorit ovat usein olleet puutteellisia : ne ovat usein harhaisia ja eikä ne välttämättä ole täystehokkaita asymptoottisilta ominaisuuksiltaan ne ovat yleensä
Lisätiedot9. Jakojärjestelmät. Sisältö. Puhdas jakojärjestelmä. Yksinkertainen liikenneteoreettinen malli
lueto9.ppt S-38.45 Lkeeteora perusteet Kevät 5 Ykskertae lkeeteoreette mall Puhdas jakojärjestelmä Asakkata saapuu keskmäär opeudella asakasta per akayks. / keskmääräe asakkade välaka Asakkata palvellaa
LisätiedotSatunnaismuuttujat ja todennäköisyysjakaumat
Satuasmuuttujat ja todeäkösyysjakaumat Todeäkösyyslasketa: Satuasmuuttujat ja todeäkösyysjakaumat 9. Satuasmuuttujat ja todeäkösyysjakaumat 0. Kertymäfukto. Jakaume tuusluvut. Moulotteset satuasmuuttujat
LisätiedotMarkov-prosessit (Jatkuva-aikaiset Markov-ketjut)
J. Vrtamo Lkenneteora a lkenteenhallnta / Markov-prosesst 1 Markov-prosesst (Jatkuva-akaset Markov-ketut) Tarkastellaan (statonaarsa) Markov-prosessea, oden parametravaruus on atkuva (yleensä aka). Srtymät
LisätiedotNormaalijakaumasta johdettuja jakaumia. Normaalijakaumasta johdettuja jakaumia. Normaalijakaumasta johdettuja jakaumia: Mitä opimme?
TKK (c) Ilkka Melli (4) Johdato Johdatus todeäköisyyslasketaa TKK (c) Ilkka Melli (4) : Mitä opimme? / Tutustumme tässä luvussa seuraavii ormaalijakaumasta (ks. lukua Jatkuvia jakaumia) johdettuihi jakaumii:
LisätiedotEstimointi. Estimointi. Estimointi: Mitä opimme? 2/4. Estimointi: Mitä opimme? 1/4. Estimointi: Mitä opimme? 3/4. Estimointi: Mitä opimme?
TKK (c) Ilkka Mellin (2004) 1 Johdatus tilastotieteeseen TKK (c) Ilkka Mellin (2004) 2 Mitä opimme? 1/4 Tilastollisen tutkimuksen tavoitteena on tehdä johtopäätöksiä prosesseista, jotka generoivat reaalimaailman
LisätiedotJohda jakauman momenttiemäfunktio ja sen avulla jakauman odotusarvo ja varianssi.
Mat-2.090 Sovellettu todeäköisyyslasku A Mat-2.090 Sovellettu todeäköisyyslasku A / Pistetehtävät 2, 4, 6, 8, 0 Aiheet: Avaisaat: Momettiemäfuktio Satuaismuuttujie muuokset ja iide jakaumat Kovergessikäsitteet
LisätiedotTilastollisen analyysin perusteet Luento 8: Lineaarinen regressio, testejä ja luottamusvälejä
Tilastollisen analyysin perusteet Luento 8: Lineaarinen regressio, testejä ja luottamusvälejä arvon Sisältö arvon Bootstrap-luottamusvälit arvon arvon Oletetaan, että meillä on n kappaletta (x 1, y 1 ),
Lisätiedot2.1. Parametrien estimointi 2.2. Regressiokertoimien estimointi kovariansseista ja korrelaatioista
Moimuuttujameetelmät: Ilkka Melli. Yleise lieaarise malli määrittelemie.. ja malli oletukset.. Yleise lieaarise malli matriisiesitys. Yleise lieaarise malli parametrie estimoiti.. Parametrie estimoiti..
LisätiedotTestit laatueroasteikollisille muuttujille
Ilkka Mellin Tilastolliset menetelmät Osa 3: Tilastolliset testit Testit laatueroasteikollisille muuttujille TKK (c) Ilkka Mellin (2007) 1 Testit laatueroasteikollisille muuttujille >> Laatueroasteikollisten
Lisätiedot3. Teoriaharjoitukset
3. Teoriaharjoitukset Demotehtävät 3.1 a Olkoot u ja v satunnaumuuttujia, joilla on seuraavat ominaisuudet: E(u = E(v = 0 Var(u = Var(v = σ 2 Cov(u, v = E(uv = 0 Näytä että deterministinen prosessi. x
Lisätiedot