on tavanomainen yhden selittäjän lineaarinen regressiomalli, jossa jäännöstermit ε i toteuttavat seuraavat oletukset:

Transkriptio

1 Mat-.03 Koesuuttelu ja tlastollset mallt 5. harjotukset Mat-.03 Koesuuttelu ja tlastollset mallt 5. harjotukset / Ratkasut Aheet: Avasaat: Yhde selttäjä leaare regressomall Ylee leaare mall Artmeette keskarvo, Estmot, F-jakauma, F-test, F-testsuure, Hajotakuvo, Hpotees, Jääöselösumma, Jääösterm, Jääösvahtelu, Kokoasvahtelu, Korrelaato, Kovarass, Krtte raja, Kulmakerro, Leaare regressomall, Luottamuskerro, Luottamustaso, Luottamusväl, Mallelösumma, Matrs, Nelösumma, Merktsevs taso, Nollahpotees, Otostuusluku, p-arvo, Pemmä elösumma meetelmä, Pstedagramm, Regressokerro, Regressosuora, Resduaal, Seltettävä muuttuja, Selttäjä, Selttävä muuttuja, Selts, Seltsaste, Sovte, Stadardpokkeama, t-jakauma, t-test, t-testsuure, Test, Testsuure, Vahtoehtoe hpotees, Varass, Varassaalshajotelma, Vrheterm Tehtävä 5.. Oletetaa, että β0 + β + ε,,,, o tavaomae hde selttäjä leaare regressomall, jossa jääöstermt ε toteuttavat seuraavat oletukset: () E( ε ) 0,,,, () Var( ε ) σ,,,, (3) ε, ε,, ε ovat korrelomattoma el Olkoo Cor( ε, ε j) 0, j s b s ( )( ) ( ) parametr β el regressosuora kulmakertome pemmä elösumma (PNS-) estmaattor ja olkoo seltettävä muuttuja havattuje arvoje artmeette keskarvo. Osota, että Cov( b, ) 0 Tehtävä 5.. Mtä opmme? Tehtävässä tarkastellaa regressosuora kulmakertome PNS-estmaattor stokastsa omasuuksa. Ilkka Mell (005) /3

2 Mat-.03 Koesuuttelu ja tlastollset mallt 5. harjotukset Tehtävä 5.. Ratkasu: Huomaa, että jääöstermejä ε koskevasta oletuksesta () seuraa, että E( ) E( β + β + ε ) 0 β + β + E( ε ) 0 β + β,,,, 0 Satuasmuuttuja odotusarvo muodostaa hde selttäjä leaarse regressomall rakeeosa. Merktää E( ) β + β µ,,,, 0 Jääöstermejä ε koskevsta oletukssta () ja (3) seuraa, että Cov(, j) E ( E( ))( j E( j)) E ( µ )( j µ j) E( εε ) j 0, j Cov( ε, ε j) σ, j Ste satuasmuuttujat (seltettävä muuttuja havatut arvot),,,, ovat korrelomattoma satuasmuuttuja. Todetaa seuraavaks, että satuasmuuttujat ja b vodaa esttää satuasmuuttuje (seltettävä muuttuja havattuje arvoje),,,, leaarkombaatoa. Artmeettse keskarvo ests seltettävä muuttuja havattuje arvoje,,,, leaarkombaatoa: u jossa paokertomet u,,,, ovat e-satuasa vakota. Ilkka Mell (005) /3

3 Mat-.03 Koesuuttelu ja tlastollset mallt 5. harjotukset Regressosuora kulmakertome b ests seltettävä muuttuja havattuje arvoje,,,, leaarkombaatoa: jossa paokertomet ( )( ) ( ) b ( ) ( ) ( ) v,,,, ( ) ovat e-satuasa vakota. Regressokerrota b koskevaa tulosta johdettaessa o kätett hväks stä, että koska v ( )( ) ( ) ( ) ( ) ( ) ( ) 0 ( ) ( ) 0 Kättäe hväks satuasmuuttuje ja b estsmuotoja satuasmuuttuje,,,, leaarkombaatoa ja odotusarvo-operaattor E( ) leaarsuutta ähdää, että ja jossa ss E( ) u E( ) u µ E( b) v E( ) v 0 µ µ E( ) β + β,,,, Ilkka Mell (005) 3/3

4 Mat-.03 Koesuuttelu ja tlastollset mallt 5. harjotukset Yllä estetstä seuraa, että Edellä todett, että [ ] Cov( b, ) E ( E( ))( b E( b)) E u uµ v vµ E u( µ ) v( µ ) E uv j( µ )( j µ j) j uv je ( µ )( j µ j) j uv E j ( E( ))( j E( j)) j j 0, j Cov(, j) σ, j uv Cov(, ) j j Ste seltettävä muuttuja havattuje arvoje artmeettse keskarvo ja regressokertome β PNS-estmaattor b kovarass o Cov( b, ) uvcov(, ) j σ uv Var( ) σ j j uv ( ) σ ( ) ( ) σ 0 0 ( ) Ilkka Mell (005) 4/3

5 Mat-.03 Koesuuttelu ja tlastollset mallt 5. harjotukset Tämä perustuu she, että edellä todett, että ( ) 0 Olemme ss todstaeet, että seltettävä muuttuja havattuje arvoje artmeette keskarvo ja regressokertome β PNS-estmaattor b ovat korrelomattoma satuasmuuttuja. Ilkka Mell (005) 5/3

6 Mat-.03 Koesuuttelu ja tlastollset mallt 5. harjotukset Tehtävä 5.. Tarkastellaa seuraavaa havatoaestoa: (a) (b) Prrä havatoaestosta pstedagramm (hajotakuvo). Sovta havatoaestoo hde selttäjä leaare regressomall β0 + β + ε,,,, pemmä elösumma meetelmää kättäe. (c) Muodosta 99 %: luottamusväl parametrlle β. (d) (e) (f) Testaa ollahpoteesa H 0 : β 0 t-testä kättäe, ku merktsevstasoa o 0.0 ja vahtoehtosea hpoteesa o H : β 0 Testaa ollahpoteesa H 0 : β 0 estmodu mall seltsasteesee R perustuvaa F-testä kättäe, ku merktsevstasoa o 0.0 ja vahtoehtosea hpoteesa o H : β 0 Vertaa kohte (c), (d) ja (e) tuloksa tossa. Oletamme, että mall toteuttaa s. stadardoletukset. Tehtävä 5.. Mtä opmme? Tehtävässä tarkastellaa hde selttäjä leaarse regressomall el regressosuora kulmakerrota koskevaa tlastollsta päättelä: () () Mte kulmakerro estmodaa PNS-meetelmällä? Mte kulmakertomelle kostruodaa luottamusväl? () Mte kulmakertome arvoa koskeva hpoteeseja testataa t-testllä ta F-testllä. Ilkka Mell (005) 6/3

7 Mat-.03 Koesuuttelu ja tlastollset mallt 5. harjotukset Tehtävä deaa o havaollstaa stä, mte luottamusväl, t-test ja F-test kättö regressosuora kulmakerrota koskevssa testessä johtavat samaa tuloksee, ku luottamustaso ja teste merktsevstasot valtaa sopvalla tavalla. Yhde selttäjä leaare regressomall lee muoto o jossa β0 + β + ε,,,, seltettävä muuttuja satuae ja havattu arvo havatokskössä selttäjä (selttävä muuttuja) e-satuae ja havattu arvo havatokskössä ε jääös- el vrheterm satuae ja e-havattu arvo havatokskössä β 0 e-satuae ja tutemato vako (vakoselttäjä regressokerro) β selttäjä e-satuae ja tutemato regressokerro Mall jääöstermstä tehdää seuraavat stokastset oletukset: () ε, ε,, ε ovat rppumattoma () ε σ N(0, ),,,, Jos mall selttäjä arvot ovat satuasa, korvataa jääöstermä ε koskeva oletus () llä estetssä s. stadardoletuksssa seuraavalla oletuksella: () ε σ N(0, ),,,, Oletus () tarkottaa, että satuasmuuttuja ε ehdolle jakauma ehdolla o ormaale. Mall β0 + β + ε,,,, regressokertome β 0 ja β pemmä elösumma (PNS-) estmaattort saadaa kaavolla b b 0 s s b r s s Regressokertome estmaattorede kaavossa ja Ilkka Mell (005) 7/3

8 Mat-.03 Koesuuttelu ja tlastollset mallt 5. harjotukset s s ( ) ( s ( )( ) r s ss ) Jos regressokertomet joudutaa laskemaa käs ta laskmella, laskutomtukset kaattaa järjestää seuraava tauluko muotoo: ˆ e e ˆ e e ˆ e e # # # # # # # # # ˆ e e Sum e e Huomaa, että samaa taulukkoo kaattaa laskea mös estmodu mall sovtteet resduaalt e (ks. määrtelmä alla) sekä resduaale elösumma. Artmeettset keskarvot ja, otosvarasst s ja s sekä otoskovarass s saadaa llä oleva tauluko sarakesummsta kaavolla s s s josta regressokertome estmaatt saadaa ss lasketuks kaavolla s b s b b 0 ˆ ja Ilkka Mell (005) 8/3

9 Mat-.03 Koesuuttelu ja tlastollset mallt 5. harjotukset Estmodu mall sovtteet saadaa kaavalla ˆ b + b,,,, 0 ja resduaalt kaavalla e ˆ b b,,,, 0 Estmodu mall seltsaste vodaa laskea kaavolla jossa R SSE SSM [Cor(, ˆ)] SST SST SSE e o estmodu mall jääöselösumma (resduaale elösumma) SST ( ) ( ) s o seltettävä muuttuja arvoje vahtelua kuvaava kokoaselösumma ja SSM SST SSE ( ˆ ) o estmodu mall mallelösumma. Seltsastee määrtelmä perustuu she, että (koska mallssa o mukaa vakoterm) aa pätee s. varassaalshajotelma SST SSM + SSE jossa mallelösumma SSM kuvaa stä osaa seltettävä muuttuja arvoje kokoasvahtelusta, joka mall o selttät ja jääöselösumma SSM kuvaa stä osaa seltettävä muuttuja arvoje kokoasvahtelusta, jota mall e ole selttät. Huomaa, että hde selttäjä leaarse regressomall tapauksessa pätee R r Vodaa osottaa, että s SSE e o jääösvarass σ harhato estmaattor. Ilkka Mell (005) 9/3

10 Mat-.03 Koesuuttelu ja tlastollset mallt 5. harjotukset Parametr β luottamusväl luottamustasolla ( α) o muotoa ± b ˆD( tα / b) jossa ± t α / ovat luottamustasoo ( α) lttvät luottamuskertomet ja e s SSE /( ) b ( ) s ( ) ( ) ˆD ( ) o regressokertome β PNS-estmaattor b varass harhato estmaattor. Luottamuskertomet ±t α / määrätää ste, että jossa Pr( t t ) α / α / Pr( t + t ) α / α / t t( ) Ste luottamuskertomet ± t α / toteuttavat htälö Pr( t t + t ) α / α / α Oletetaa, että haluamme testata ollahpoteesa H 0 : β 0 Test vodaa perustaa t-testsuureesee t b ˆD( b ) jossa D( ˆ b ) o määrtelt edellä. Jos ollahpotees H0 pätee, testsuure t oudattaa Studet t-jakaumaa vapausaste ( ): t H t( ) 0 Testsuuree t ormaalarvo (odotusarvo ollahpotees pätessä) 0. Ste tsesarvoltaa suuret testsuuree arvot johtavat ollahpotees hlkäämsee. Valtaa test merktsevstasoks α. Test hlkäsalue määrätää täsmällee samalasella tekkalla ku tavaomase ormaaljakauma odotusarvoa koskeva t-test htedessä pats, että t-jakauma vapausastede lukumäärä o tässä ( ). Ilkka Mell (005) 0/3

11 Mat-.03 Koesuuttelu ja tlastollset mallt 5. harjotukset Oletetaa, että vahtoehtoe hpotees o kakssuutae: H : β 0 Valtaa krttset rajat t α/ ja +t α/ ste, että jossa Pr( t t ) α / α / Pr( t + t ) α / α / t t( ) Valtaa test hlkäsalueeks (, t ) ( + t, + ) α / α / jollo test hväksmsalueea o suljettu väl [ t, + t α / α / ] Todeäköss, että testsuuree t arvo joutuu hlkäsalueelle ollahpotees pätessä o ss α, mkä merktsee stä, että hlkäsvrhee el I laj vrhee todeäköss testssä o α. Mös test p-arvo määrätää tavaomasee tapaa. Oletetaa, että vahtoehtoe hpotees o kakssuutae: H : β 0 Olkoo testsuuree t havattu arvo t *. Tällö test p-arvo o jossa p Pr( t > t ) t t( ) Todeäköss, että testsuure t saa ollahpotees pätessä (testsuuree ormaalarvoo ähde) pokkeuksellsempa arvoja ku t * o ss p. Test ollahpoteeslle H 0 : β 0 vodaa hde selttäjä regressomall tapauksessa perustaa mös F-testsuureesee R SST SSE F ( ) ( ) R SSE Jos ollahpotees H 0 pätee, testsuure F oudattaa Fsher F-jakaumaa vapausaste ja ( ): F H F(, ) 0 Testsuuree F ormaalarvo (odotusarvo ollahpotees pätessä) 0. Ste tsesarvoltaa suuret testsuuree arvot johtavat ollahpotees hlkäämsee. Ilkka Mell (005) /3

12 Mat-.03 Koesuuttelu ja tlastollset mallt 5. harjotukset Oletetaa, että haluamme testata ollahpoteesa H 0 : β 0 kakssuutasta vahtoehtosta hpoteesa H : β 0 vastaa kättäe samaa merktsevstasoa α. Tällö llä estett t-test ja F-test ovat tässä hde selttäjä leaarse regressomall tapauksessa ekvvaletteja el e hlkäävät ollahpotees H 0 täsmällee samossa tlatessa. Huomaa, että llä estett t- (ta F-) test, jossa merktsevstasoks o valttu α, o ekvvalett mös sellase testausmeettel kassa, jossa ollahpotees H 0 : β 0 hlätää, jos parametr β luottamustasoa ( α) vastaava luottamusväl e petä lukua olla. Tehtävä 5.. Ratkasu: (a) (b) Ecel-taulukko tehtävä havatoaestosta: Sovte Res Res Yht Ilkka Mell (005) /3

13 Mat-.03 Koesuuttelu ja tlastollset mallt 5. harjotukset Taulukosta saadaa: Ste s s s s b s b b Taulukkoo o laskettu mös estmodu mall sovtteet ja resduaalt ja de summat; esmerkks jollo ˆ e ˆ (c) Määrätää parametrlle β luottamusväl luottamustasolla Luottamustasoa 0.99 vastaavks luottamuskertomks ±t saadaa t-jakauma taulukosta ±3.355 Luottamuskertomet ±t ±3.355 toteuttavat ss htälöt ja Pr( t 3.355) Pr( t ) Pr( t ) 0.99 jossa t oudattaa t-jakaumaa vapausaste 0 8: t t(8) Ilkka Mell (005) 3/3

14 Mat-.03 Koesuuttelu ja tlastollset mallt 5. harjotukset Jääösvarass σ estmaatks saadaa s SSE e Ste PNS-estmaattor b varass estmaatks saadaa s ˆD ( b ) ( ) s (0 ) 99.8 jote regressokertome β PNS-estmaattor b keskvrheeks tulee ˆD( b ) Regressokertome β luottamustasoa 0.99 vastaava luottamusvälks saadaa ste b ± t ˆD( b) ± α / ± (0.8,0.960) (d) Olkoo ollahpoteesa H 0 : β 0 ja vahtoehtosea hpoteesa H : β 0 Valtaa merktsevstasoks α 0.0. t-testsuuree arvoks saadaa t b D( ˆ b ) jossa regressokertome β PNS-estmaattor b keskvrhe kohdassa. ˆD( b ) o laskettu (c)- Merktsevstasoa α 0.0 vastaavks krttsks rajoks ±t saadaa t-jakauma taulukosta ±3.355 Krttset rajat ±t ±3.355 toteuttavat ss htälöt ja Pr( t 3.355) Pr( t ) Pr( t ) 0.99 jossa t oudattaa t-jakaumaa vapausaste 0 8: t t(8) Ilkka Mell (005) 4/3

15 Mat-.03 Koesuuttelu ja tlastollset mallt 5. harjotukset Test hlkäsalue o muotoa (, 3.355) ( , + ) jote test hväksmsalue o suljettu väl Koska [ 3.355, ] t > t-testsuuree arvo o joutuut hlkäsalueelle ja ollahpotees hlätää merktsevstasolla α 0.0. (e) Olkoo ollahpoteesa H 0 : β 0 ja vahtoehtosea hpoteesa H : β 0 Valtaa merktsevstasoks α 0.0. Määrätää F-testsuuree arvo kaavalla SST SSE F ( ) SSE Kokoaselösumma SST o SST s ( ) (0 ) ja jääöselösumma o Ste SSE e SST SSE F ( ) (0 ) SSE Merktsevstasoa α 0.0 vastaavaks krttsks rajaks F 0.0 saadaa F-jakauma taulukosta.59 Krtte raja F toteuttaa ss htälö ja Pr( F.59) 0.0 Pr( F.59) 0.99 jossa F oudattaa F-jakaumaa vapausaste ja 0 8: F F(,8) Ilkka Mell (005) 5/3

16 Mat-.03 Koesuuttelu ja tlastollset mallt 5. harjotukset Test hlkäsalue o muotoa (.59, ) jote test hväksmsalue o suljettu väl Koska [ 0,.59] t >.59 F-testsuuree arvo o joutuut hlkäsalueelle ja ollahpotees hlätää merktsevstasolla α 0.0. (f) Kohte (d) ja (e) testt ovat ekvvaletteja el e johtavat ollahpotees hlkäämsee täsmällee samossa tlatessa. Tämä ähdää stä, että testsuurede arvoje välllä pätee htälö t F ja lsäks teste krttste arvoje välllä pätee htälö t F Teoreettsea perustelua tälle havaolle o se lee tosasa, että t F ja käätäe jossa F t t t( df) F F(, df) Oletetaa t, että kohda (c) luottamusvälä kätetää testaamsee seuraavalla tavalla: Hlätää ollahpotees H 0 : β 0, jos parametr β luottamustasoa ( α) vastaava luottamusväl e petä lukua olla. Tämä meettel o ekvvalett kohte (d) ja (e) teste kassa, mkä ähdää helpost todeks stä, että luottamustasoo ( α) lttvät luottamuskertomet ovat samat ku merktsevstasoo α lttvät krttset rajat kohda (d) t-testssä. Huomaa, että ekvvaless vaat stä, että testessä kätetää vahtoehtosea hpoteesa kakssuutasta vahtoehtosta hpoteesa H : β 0 Ilkka Mell (005) 6/3

17 Mat-.03 Koesuuttelu ja tlastollset mallt 5. harjotukset Statst-ohjelma tuottaa tehtävä 5.. aestosta seuraava tulostukse: UNWEIGHTED LEAST SQUARES LINEAR REGRESSION OF Y PREDICTOR VARIABLES COEFFICIENT STD ERROR STUDENT'S T P CONSTANT X R-SQUARED ADJUSTED R-SQUARED RESID. MEAN SQUARE (MSE) STANDARD DEVIATION SOURCE DF SS MS F P REGRESSION RESIDUAL TOTAL CASES INCLUDED 0 MISSING CASES 0 Ilkka Mell (005) 7/3

18 Mat-.03 Koesuuttelu ja tlastollset mallt 5. harjotukset Tehtävä 5.3. Tarkastellaa harjotustehtävä 4.4. aestoa. Aesto ol saatu tutkmuksesta, jossa kästelt eerga kulutukse ja kottaloude tulotaso välstä htettä. Seuraavassa taulukossa o aettu kottaloude tulotaso muuttujaa (kskkö: 000 $ per vuos) ja eerga kulutus muuttujaa (kskkö: 0 8 Btu per vuos): Eerga kulutus Kottaloude tulotaso Tarkastellaa hde selttäjä leaare regressomall regressokertome estmota matrskaavo, ku seltettävää muuttuja o eerga kulutus ( ) ja selttäjä o tulotaso ( ) ja vakoterm. (a) Aa matrst ja X. (b) (c) Laske X X. Laske X. (d) Laske (X X). (e) Laske regressokertome β 0 ja β PNS-estmaatt matrsalgebra avulla. Tehtävä 5.3. Mtä opmme? Tehtävässä tarkastellaa leaarse regressomall ja mall regressokertome muodostama vektor PNS-estmaattor matrsestksä. Tarkastelussa kätetää esmerkkä hde selttäjä leaarsta regressomalla el regressosuoraa. Ilkka Mell (005) 8/3

19 Mat-.03 Koesuuttelu ja tlastollset mallt 5. harjotukset Ylee leaare mall β0 + β + β + $ + βpp + ε,,,, vodaa esttää matrse muodossa Xβ + ε jossa # o seltettävä muuttuja havattuje arvoje muodostama -matrs, X $ $ p p # # # # $ p o selttävä muuttuja havattuje arvoje j muodostama (p+)-matrs, β β0 β β # β p o regressokertome β muodostama (p+) -matrs ja ε ε ε # ε o jääösterme ε muodostama -matrs. Olettae, että matrs X sarakkeet ovat leaarsest rppumattoma el, jos r(x) p + vektor β PNS-estmaattor b vodaa esttää matrse muodossa b ( XX ) X Ilkka Mell (005) 9/3

20 Mat-.03 Koesuuttelu ja tlastollset mallt 5. harjotukset Tämä vodaa perustella esmerkks seuraavalla tavalla: Krjotetaa es ( X( β + h))( X( β + h)) (( Xβ) Xh) (( Xβ) Xh) ( Xβ)( Xβ) hx ( Xβ) + hxxh ( Xβ )( Xβ) + h ( X + XXβ ) + hxxh Atamalla h 0 ähdää, että elösumma εε ( Xβ)( Xβ ) dervaatta o ( Xβ )( Xβ) ( X + XXβ ) h Merktää dervaatta ollaks, jollo saadaa matrsmuotoe ormaalhtälö X + XXβ 0 Tämä ormaalhtälö ratkasuks saadaa βˆ b ( XX ) X joka vastaa elösumma ε ε mmä. Tehtävä 5.3. Ratkasu: (a) X (b) XX Ilkka Mell (005) 0/3

21 Mat-.03 Koesuuttelu ja tlastollset mallt 5. harjotukset (c) 46. X (d) Ste ( ) det( XX ) ( XX ) det( XX ) Huomaa, että hde selttäjä leaarse regressomall tapauksessa ( ) XX ) ( ) s det( (e) Kohdsta (c) ja (d) vektor β PNS-estmaattorks b saadaa ( ) b XX X Tulos o sama ku tehtävässä 4.4. kute tetst ptääk. Ilkka Mell (005) /3

22 Mat-.03 Koesuuttelu ja tlastollset mallt 5. harjotukset Huomaa, että lesest pätee jote ja b ( XX) X det( XX ) ( ) + b b ( ) s s ( ) + 0 ( ) ( ) + ( ) ( ) ( ) ( ) s s s b s s Ste olemme johtaeet tehtävässä 5.. aetut kaavat hde selttäjä leaarse mall β0 + β + ε,,,, regressokertome β 0 ja β PNS-estmaattorelle. Ilkka Mell (005) /3

23 Mat-.03 Koesuuttelu ja tlastollset mallt 5. harjotukset Tehtävä 5. laskutomtuste suorttame Mcrosoft Ecel -ohjelmalla: Tehtävä Tehtävä 5.. Tedosto KsHt5.ls > Ht5.. Tehtävä 5. laskutomtuste suorttame Statst-ohjelmalla: Tehtävä Tehtävä 5.. Tedosto Sdata5.s Ilkka Mell (005) 3/3