Yhden selittäjän lineaarinen regressiomalli

Transkriptio

1 Moimuuujameeelmä Yhde seliäjä lieaarie regressiomalli Moimuuujameeelmä: Yhde seliäjä lieaarie regressiomalli Ilkka Melli. Yhde seliäjä lieaarie regressiomalli, se esimoii ja esaus.. Yhde seliäjä lieaarie regressiomalli ja mallia koskeva oleukse.. Yhde seliäjä lieaarise regressiomalli paramerie esimoii.3. Yhde seliäjä lieaarise regressiomalli regressiokeroimia koskeva esi. Eusamie yhde seliäjä lieaarisella regressiomallilla.. Eusamisehävä.. Selieävä muuuja odoeavissa oleva arvo eusamie.3. Selieävä muuuja arvo eusamie 3. Yhde seliäjä lieaarie regressiomalli ja sokasie seliäjä 3.. Sokasise seliäjä ogelma 3.. Ehdollisamie 3.3. Regressiomalleja o kaksi 3.4. Korrelaaio olemassaolo esaamie TKK Ilkka Melli (007) /3

2 Moimuuujameeelmä Yhde seliäjä lieaarie regressiomalli Moimuuujameeelmä: Yhde seliäjä lieaarie regressiomalli. Yhde seliäjä lieaarie regressiomalli, se esimoii ja esaus.. Yhde seliäjä lieaarie regressiomalli ja mallia koskeva oleukse SELITTÄVÄ MUUTTUJA JA SEN ARVOJA KOSKEVAT OLETUKSET JÄÄNNÖSTERMIT JA NIITÄ KOSKEVAT OLETUKSET JÄÄNNÖSTERMEJÄ KOSKEVIEN OLETUKSIEN TULKINTA SELITETTÄVÄ MUUTTUJA JA SEN ARVOJEN STOKASTISET OMINAISUUDET MALLIN SYSTEMAATTINEN OSA JA SATUNNAINEN OSA REGRESSIOSUORA REGRESSIOKERTOIMET JA NIITÄ KOSKEVAT OLETUKSET VAKIOPARAMETRISUUSOLETUS REGRESSIOSUORAN KULMAKERTOIMEN TULKINTA MALLIN PARAMETRIT YHDEN SELITTÄJÄN LINEAARISTA REGRESSIOMALLIA KOSKEVAT STANDARDIOLETUKSET.. Yhde seliäjä lieaarise regressiomalli paramerie esimoii REGRESSIOKERTOIMIEN PNS-ESTIMAATTORIT REGRESSIOKERTOIMIEN SUURIMMAN USKOTTAVUUDEN ESTIMAATTORIT ESTIMOITU REGRESSIOSUORA REGRESSIOKERTOIMIEN PNS-ESTIMAATTOREIDEN STOKASTISET OMINAISUUDET SOVITTEET RESIDUAALIT SOVITTEIDEN JA RESIDUAALIEN OMINAISUUDET JÄÄNNÖSVARIANSSIN HARHATON ESTIMAATTORI JÄÄNNÖSVARIANSSIN SUURIMMAN USKOTTAVUUDEN ESTIMAATTORI REGRESSIOKERTOIMIEN PNS-ESTIMAATTOREIDEN VARIANSSIEN ESTIMOINTI REGRESSIOKERTOIMIEN LUOTTAMUSVÄLIT VARIANSSIANALYYSIHAJOTELMA VARIANSSIANALYYSIHAJOTELMAN TULKINTA SELITYSASTE SELITYSASTEEN OMINAISUUDET.3. Yhde seliäjä lieaarise regressiomalli regressiokeroimia koskeva esi TESTIT REGRESSIOKERTOIMILLE TESTI REGRESSIOSUORAN KULMAKERTOIMELLE TESTI REGRESSIOSUORAN VAKIOLLE REGRESSION OLEMASSAOLON TESTAAMINEN TKK Ilkka Melli (007) /3

3 Moimuuujameeelmä Yhde seliäjä lieaarie regressiomalli. Eusamie yhde seliäjä lieaarisella regressiomallilla.. Eusamisehävä OLETUKSET ENNUSTAMISTEHTÄVÄ.. Selieävä muuuja odoeavissa oleva arvo eusamie ENNUSTE ENNUSTEEN JAKAUMA SELITETTÄVÄN MUUTTUJAN ODOTETTAVISSA OLEVAN ARVON LUOTTAMUSVÄLI.3. Selieävä muuuja arvo eusamie ENNUSTE ENNUSTEVIRHE ENNUSTEEN JAKAUMA SELITETTÄVÄN MUUTTUJAN ARVON LUOTTAMUSVÄLI 3. Yhde seliäjä lieaarie regressiomalli ja sokasie seliäjä 3.. Sokasise seliäjä ogelma EHDOLLINEN ODOTUSARVO KIINTEÄT JA SATUNNAISET SELITTÄJÄT MALLI REGRESSIOFUNKTIO 3.. Ehdollisamie MODIFIOIDUT STANDARDIOLETUKSET 3.3. Regressiomalleja o kaksi KAKSI REGRESSIOMALLIA PARAMETRIEN ESTIMOINTI 3.4. Korrelaaio olemassaolo esaamie TESTI KORRELAATIOLLE TKK Ilkka Melli (007) 3/3

4 Moimuuujameeelmä Yhde seliäjä lieaarie regressiomalli TKK Ilkka Melli (007) 4/3

5 Moimuuujameeelmä Yhde seliäjä lieaarie regressiomalli. Yhde seliäjä lieaarie regressiomalli, se esimoii ja esaus.. Yhde seliäjä lieaarise regressiomalli ja mallia koskeva oleukse Yhde seliäjä lieaarisessa regressiomallissa () y = β0 + β + ε, =,,, o seuraava osa: y = selieävä muuuja y sauaie ja havaiu arvo havaiossa = seliävä muuuja eli seliäjä kiieä (ei-sauaie) ja havaiu arvo havaiossa β 0 = vakioseliäjä regressiokerroi, kiieä (ei-sauaie) ja uemao vakio β = seliäjä regressiokerroi, kiieä (ei-sauaie) ja uemao vakio ε = jääösermi ε sauaie ja ei-havaiu arvo havaiossa Malli () kuvaa selieävä muuuja y havaiuje arvoje y lieaarisa riippuvuua seliävä muuuja eli seliäjä havaiuisa arvoisa. Malli avoieea o seliää selieävä muuuja y havaiuje arvoje vaihelu seliävä muuuja havaiuje arvoje vaihelu avulla. Huomauus : Malli () lieaarisuudella arkoieaa siä, eä malli o lieaarie regressiokeroimie β 0 ja β suhee, mua o syyä huomaa, eä malli o lieaarie myös seliäjä arvoje suhee. Huomauus : Selieävä muuuja y oleeaa mia-aseikollisila omiaisuuksilaa jakuvaksi. Huomauus 3: Kerroi β 0 o vakioseliäjä (seliäjä, joka jokaie havaioarvo = ) regressiokerroi. Vakioseliäjä ei ole samassa mielessä aio seliäjä kui muuuja. Huomauus 4: Malli () esimoiia koskeva ulokse eivä välämää päde ässä esieävässä muodossa, jos mallissa ei ole vakioseliäjää. Seliävä muuuja ja se arvoja koskeva oleukse Yhde seliäjä lieaarise regressiomalli () y = β0 + β + ε, =,,, seliävä muuuja havaiu arvo oleeaa kiieiksi eli ei-sauaisiksi. Tiukasi oae oleus voi päeä vai sellaisissa ilaeissa, joissa seliäjä arvo valiaa. Tieyi TKK Ilkka Melli (007) 5/3

6 Moimuuujameeelmä Yhde seliäjä lieaarie regressiomalli ehdoi seliävä muuuja sauaisuudella ei kuiekaa ole vaikuusa jakossa esieävii uloksii; ks. kappalea 3. Usea seliäjä lieaarise regressiomalli seliäjie arvoja koskeva oleus, joka akaa se, eä regressiokeroimilla o yksikäsieise pieimmä eliösumma esimaaori, saa yhde seliäjä lieaarise regressiomalli () apauksessa seuraava muodo: Seliäjä arvo eivä saa olla yhä suuria. Jääösermi ja iiä koskeva oleukse Yhde seliäjä lieaarise regressiomalli () y = β0 + β + ε, =,,, jääösermi ε ova ei-havaiuja sauaismuuujia. Jääösermeisä ε ehdää seuraava oleukse: () E(ε ) = 0, =,,, (3) D (ε ) = σ, =,,, (4) Cov(ε s, ε ) = 0, jos s Jos lisäksi oleeaa, eä jääösermi ε oudaava ormaalijakaumaa, ii oleuksisa () ja (3) seuraa, eä (5) ε N(0, σ ), =,,, Jääösermejä koskevie oleuksie ulkia Oleukse () mukaa kaikilla jääösermeillä ε o sama odousarvo: E(ε ) = 0, =,,, Sie jääösermi ε vaiheleva sauaisesi havaiosa oisee, mua olla ympärillä. Oleukse (3) mukaa kaikilla jääösermeillä ε o sama variassi: D (ε ) = σ, =,,, Tää oleusa kusuaa homoskedasisuusoleukseksi. Jos jääösermie ε variassi vaihelee havaiosa oisee, jääösermi ova heeroskedasisia. Jääösermie yheisä variassia σ kusuaa malli jääösvariassiksi. Oleukse (4) mukaa jääösermi ova korreloimaomia. Selieävä muuuja ja se arvoje sokasise omiaisuude Yhde seliäjä lieaarise regressiomalli () y = β0 + β + ε, =,,, selieävä muuuja y havaiu arvo y ova sauaisia. Jääösermeisä ε edellä ehdyisä oleuksisa ()-(4) ja siiä, eä seliäjä o oleeu ei-sauaiseksi seuraa, eä selieävä muuuja y havaiuilla arvoilla y o seuraava sokasise omiaisuude: () E(y ) = β 0 + β, =,,, (3) D (y ) = σ, =,,, (4) Cov(y s, y ) = 0, jos s TKK Ilkka Melli (007) 6/3

7 Moimuuujameeelmä Yhde seliäjä lieaarie regressiomalli Jos jääösermi ε oudaava ormaalijakaumaa, ii myös selieävä muuuja y havaiu arvo y oudaava ormaalijakaumaa: (5) y N(E(y ), σ ), =,,, Malli sysemaaie osa ja sauaie osa Jääösermeisä ε ehdyisä oleuksisa ja siiä, eä seliäjä o oleeu ei-sauaisiksi seuraa, eä yhde seliäjä lieaarie regressiomalli () y = β0 + β + ε, =,,, voidaa kirjoiaa muooo y = E(y ) + ε, =,,, jossa odousarvo E(y ) = β 0 + β, =,,, o vakio, joka riippuu seliäjä saamasa arvosa havaiossa ja jääösermi ε, =,,, o sauaismuuuja, joka ei riipu seliäjä saamasa arvosa havaiossa. Sie yhde seliäjä lieaarise regressiomalli () selieävä muuuja y saama arvo y o esiey kahde osaekijä summaa, jossa osaekijää E(y ) = β 0 + β, =,,, kusuaa malli sysemaaiseksi (ai seliäjä arvoisa riippuvaksi) osaksi ja osaekijää ε, =,,, kusuaa malli sauaiseksi (ai seliäjä arvoisa riippumaomaksi) osaksi. Sysemaaie osa E(y ) o lieaarie sekä regressiokeroimie β 0 ja β eä seliäjä arvoje suhee. Regressiosuora Yhde seliäjä lieaarise regressiomalli () y = β0 + β + ε, =,,, sysemaaie osa E(y ) = β 0 + β, =,,, määrielee suora y = β 0 + β avaruudessa. Malli sysemaaise osa määrielemää suoraa kusuaa regressiosuoraksi. Seliävä muuuja regressiokerroi β o suora kulmakerroi ja vakioseliäjä regressiokerroi β 0 o suora ja y-akseli leikkauspise. Jääösvariassi σ miaa selieävä muuuja arvoje vaihelua regressiosuora ympärillä. TKK Ilkka Melli (007) 7/3

8 Moimuuujameeelmä Yhde seliäjä lieaarie regressiomalli Regressiokeroime ja iiä koskeva oleukse Yhde seliäjä lieaarise regressiomalli () y = β0 + β + ε, =,,, regressiokeroime β 0 ja β ova ei-sauaisia ja uemaomia vakioia. Vakioparamerisuusoleus Ku yhde seliäjä lieaarie regressiomalli esieää muodossa () y = β 0 + β + ε, =,,, oleeaa implisiiisesi, eä regressiokeroime β 0 ja β ova sama kaikille havaioille. Tää oleusa kusuaa vakioparamerisuusoleukseksi. Regressiosuora kulmakeroime ulkia Oleeaa, eä seliävällä muuujalla o vakioarvo. Tällöi yhde seliäjä lieaarise regressiomalli () y = β0 + β + ε, =,,, sysemaaisella osalla E(y ) = β 0 + β o vakioarvo y = E( y) = β + β 0 Oleeaa, eä selieävä muuuja arvo kasvaa yhdellä yksiköllä: + Tällöi selieävä muuuja y saama arvo sysemaaie osa y = E( y) muuuu regressiokeroime β verra: y y+ β Sie regressiokerroi β keroo paljoko siä vasaava seliäjä arvossa apahuva yksikö kokoie lisäys muuaa selieävä muuuja y saama arvo sysemaaisa osaa. Malli parameri Yhde seliäjä lieaarise regressiomalli () paramereja ova regressiokeroime β 0 ja β sekä jääösvariassi σ. Yhde seliäjä lieaarise regressiomalli sadardioleukse Yhde seliäjä lieaarisessa regressiomallissa () y = β 0 + β + ε, =,,, o seuraava osa: y = selieävä muuuja y sauaie ja havaiu arvo havaiossa = seliäjä ei-sauaie ja havaiu arvo havaiossa β 0 = vakioseliäjä ei-sauaie ja uemao regressiokerroi β = seliäjä ei-sauaie ja uemao regressiokerroi TKK Ilkka Melli (007) 8/3

9 Moimuuujameeelmä Yhde seliäjä lieaarie regressiomalli ε = sauaie ja ei-havaiu jääösermi Seuraavia oleuksia kusuaa yhde seliäjä lieaarise regressiomalli () sadardioleuksiksi: (i) Seliäjä havaiu arvo ova ei-sauaisia, =,,, (ii) Seliäjä havaiu arvo eivä ole yhä suuria, =,,, (iii) E(ε ) = 0, =,,, (iv) D (ε ) = σ, =,,, (v) Cov(ε s, ε ) = 0, jos s Usei oleuksii (i)-(v) liieää vielä jääösermejä ε koskeva ormaalisuusoleus: (vi) ε N(0, σ ), =,,, Lisäieoja (mm. odisukse) yhde seliäjä lieaarisesa regressiomallisa: ks. moisea Tilasollise meeelmä. Usea seliäjä lieaarisa regressiomallia eli yleisä lieaarisa mallia käsiellää luvussa Yleie lieaarie malli... Yhde seliäjä lieaarise regressiomalli paramerie esimoii Regressiokeroimie PNS-esimaaori Yhde seliäjä lieaarise regressiomalli () y = β 0 + β + ε, =,,, regressiokeroime β 0 ja β esimoidaa avallisesi pieimmä eliösumma (PNS-) meeelmällä. Pieimmä eliösumma meeelmässä jääösermie ε eliösumma ε = ( y β0 β) = = miimoidaa regressiokeroimie β 0 ja β suhee. Miimi löydeää derivoimalla eliösumma merkisemällä derivaaa olliksi. Neliösumma ja β suhee lieaarisee yhälöryhmää ε y β0 β β 0 = = = ( ) = 0 ε y β0 β β = = = ( ) = 0 ε regressiokeroimie β 0 ja β suhee ja ε derivoii johaa regressiokeroimie β 0 Näillä ormaaliyhälöillä o yksikäsieie rakaisu paramerie β 0 ja β suhee, jos yhde seliäjä lieaarisa regressiomallia koskeva sadardioleus (ii) päee. Rakaisuksi saadaa regressiokeroimie β 0 ja β pieimmä eliösumma (PNS-) esimaaori: b0 = y b TKK Ilkka Melli (007) 9/3

10 Moimuuujameeelmä Yhde seliäjä lieaarie regressiomalli ˆ σ b = = ˆ ρ ˆ σ ˆ σ ˆ σ Regressiokeroimie β 0 ja β PNS-esimaaoreide lausekkeissa y = y = y o selieävä muuuja y havaiuje arvoje y arimeeie keskiarvo, = = o seliävä muuuja havaiuje arvoje arimeeie keskiarvo, ˆ σ y = ( y y) = o selieävä muuuja y havaiuje arvoje y oosvariassi, ˆ σ = ( ) = o seliävä muuuja havaiuje arvoje oosvariassi, ˆ σ ( )( ) ˆ = y y = σ y = o selieävä muuuja y ja seliävä muuuja havaiuje arvoje y ja ooskovariassi ja ˆ σ ˆ σ y ˆ ρ = ˆ ρy ˆ σσˆ = ˆ σσˆ = y y o selieävä muuuja y ja seliävä muuuja havaiuje arvoje y ja ooskorrelaaiokerroi. Regressiokeroimie suurimma uskoavude esimaaori Oleeaa, eä yhde seliäjä lieaarise regressiomalli () y = β 0 + β + ε, =,,, sadardioleuksie (i)-(v) lisäksi jääösermejä ε koskeva ormaalisuusoleus (vi) päee. Tällöi regressiokeroimie β 0 ja β suurimma uskoavuude esimaaori yhyvä keroimie β 0 ja β PNS-esimaaoreihi b 0 ja b. Esimoiu regressiosuora Olkoo b 0 ja b yhde seliäjä lieaarise regressiomalli () regressiokeroimie β 0 ja β PNS-esimaaori. Yhälö () y = b 0 + b määrielee suora avaruudessa regressiosuoraksi.. Suoraa () kusuaa mallia () vasaavaksi esimoiduksi TKK Ilkka Melli (007) 0/3

11 Moimuuujameeelmä Yhde seliäjä lieaarie regressiomalli Olkoo y selieävä muuuja y havaiuje arvoje y arimeeie keskiarvo ja seliäjä havaiuje arvoje arimeeie keskiarvo. Esimoiu regressiosuora () kulkee aia havaioaieiso paiopisee (, y ) kaua eli y = b0 + b Regressiokeroimie PNS-esimaaoreide sokasise omiaisuude Lause... Oleeaa, eä yhde seliäjä lieaarise regressiomalli () sadardioleukse (i)-(v) päevä. Tällöi (i) σ = 0 = β 0 b0 = E( b ) Var( ) ( ) = (ii) E( b) = β Var( b) = = σ ( ) Huomauus : Lauseesa... ähdää, eä yhde seliäjä lieaarise regressiomalli () regressiokeroimie β 0 ja β PNS-esimaaori b 0 ja b ova harhaomia eli ja Huomauus : E(b 0 ) = β 0 E(b ) = β = ( ) = σˆ Huomauus 3: Lauseesa... ja huomauuksesa ähdää, eä yhde seliäjä lieaarise regressiomalli () regressiokeroimie β 0 ja β PNS-esimaaoreide b 0 ja b variassi pieeevä, jos seliäjä saamie arvoje variassi ˆ σ ai havaioje lukumäärä aeaa kasvaa. Lause... Oleeaa, eä yhde seliäjä lieaarisa regressiomalli () sadardioleuksie (i)-(v) lisäksi ormaalisuusoleus (vi) päee. Tällöi regressiokeroimie β 0 ja β PNSesimaaoreide b 0 ja b oosjakauma ova ormaalisia: TKK Ilkka Melli (007) /3

12 Moimuuujameeelmä Yhde seliäjä lieaarie regressiomalli (i) (ii) b σ = 0 N β 0, b N β, ( ) = = ( ) σ Soviee Määriellää esimoidu malli soviee kaavalla yˆ = b + b, =,,, 0 jossa b 0 ja b ova yhde seliäjä lieaarise regressiomalli () regressiokeroimie β 0 ja β PNS-esimaaori ja o seliäjä arvo havaiossa. Sovie yˆ o esimoidu malli aama arvo selieävälle muuujalle y, ku seliäjällä o arvo. Huomauus: Soviee määräää iille havaioille, joia o käyey regressiokeroimie β 0 ja β PNS-esimaaoreia b 0 ja b määrääessä. Residuaali Määriellää esimoidu malli residuaali kaavalla e = y yˆ, =,,, jossa y o selieävä muuuja y arvo havaiossa ja y ˆ o vasaava sovie. Residuaali o selieävä muuuja y havaiu arvo y ja esimoidu malli aama arvo y ˆ erous. Residuaali e ova ei-havaiuje jääösermie ε empiirisiä vasieia. Residuaalie avulla voidaa selviää piäväkö mallisa ehdy oleukse paikkaasa. Huomauus: Residuaali määräää iille havaioille, joia o käyey regressiokeroimie β 0 ja β PNS-esimaaoreia b 0 ja b määrääessä. Sovieide ja residuaalie omiaisuude Lause..3. Oleeaa, eä yhde seliäjä lieaarise regressiomalli () sadardioleukse (i)-(v) päevä. Tällöi (i) E( yˆ ) = β0 + β, =,,, TKK Ilkka Melli (007) /3

13 Moimuuujameeelmä Yhde seliäjä lieaarie regressiomalli (ii) E( e ) = 0, =,,, (iii) yˆ = = = y (iv) = e = 0 (v) = ye ˆ = 0 (vi) = e = 0 Jääösvariassi harhao esimaaori Oleeaa, eä yhde seliäjä lieaarise regressiomalli () sadardioleukse (i)-(v) päevä. Olkoo SSE = e = residuaalie vaihelua kuvaava jääöseliösumma. Tällöi SSE s = o jääösvariassi σ harhao esimaaori eli E(s ) = σ Esimaaoria s kusuaa residuaalivariassiksi. Huomauus: Esimaaori s kaava aaa residuaalie variassi, koska mallissa o seliäjää vakio, jolloi e = 0. Jääösvariassi suurimma uskoavuude esimaaori Oleeaa, eä yhde seliäjä lieaarise regressiomalli () y = β 0 + β + ε, =,,, sadardioleuksie (i)-(v) lisäksi jääösermejä ε koskeva ormaalisuusoleus (vi) päee. Tällöi jääösvariassi σ suurimma uskoavuude esimaaori o ˆ σ = SSE Regressiokeroimie PNS-esimaaoreide variassie esimoii Edellä o odeu, eä yhde seliäjä lieaarise regressiomalli () y = β 0 + β + ε, =,,, TKK Ilkka Melli (007) 3/3

14 Moimuuujameeelmä Yhde seliäjä lieaarie regressiomalli regressiokeroimie PNS-esimaaoreilla o sadardioleuksie (i)-(vi) päiessä seuraava sokasise omiaisuude: Sie Merkiää Tällöi b σ = 0 N β 0, b N β, ( ) = = ( ) σ E( b) = β, i = 0, i i Var( bi) = D ( bi), i = 0, i bi E( bi) zi = N(0,), i = 0, D( b ) Tämä regressiokeroime β i PNS-esimaaori b i oosjakaumaa koskeva ulos o epäoperaioaalie, koska jääösvariassi σ o ormaalisi uemao. Korvaaa σ yo. kaavoissa harhaomalla esimaaorillaa ja olkoo s = SSE ˆD ( bi ), i = 0, äi saaava regressiokeroime β i PNS-esimaaori b i operaioalisoiu variassi. Voidaa osoiaa, eä ˆD ( b i ) o regressiokeroime b i variassi harhao esimaaori ja lisäksi bi E( bi) i = ( ), i = 0, ˆD( b ) i Regressiokeroimie luoamusväli Lause..4. Oleeaa, eä yhde seliäjä lieaarise regressiomalli () sadardioleuksie (i)-(v) lisäksi ormaalisuusoleus (vi) päee. Tällöi regressiokeroimie β 0 ja β luoamusväli luoamusasolla ( α) saadaa kaavoisa TKK Ilkka Melli (007) 4/3

15 Moimuuujameeelmä Yhde seliäjä lieaarie regressiomalli (i) = b0 ± α/ ˆD( b0) = b0 ± α/ s ( ) = (ii) b ± α/ ˆD( b) = b ± α/ s = ( ) joissa b 0 ja b ova regressiokeroimie β 0 ja β PNS-esimaaori, α/ ja + α/ ova luoamusasoo ( α) liiyvä luoamuskeroime -jakaumasa, joka vapausaseide lukumäärä o ( ), ˆD ( b ) o regressiokeroime β 0 PNS-esimaaori b 0 variassi harhao esimaaori, 0 ˆD ( ) b o regressiokeroime β PNS-esimaaori b variassi harhao esimaaori ja s o jääösvariassi σ harhao esimaaori. Huomauus : Huomauus : = ( ) = σˆ Lauseesa..4. ja huomauuksesa ähdää, eä lieaarise regressiomalli () regressiokeroimie β 0 ja β luoamusväli kaveuva, jos seliäjä saamie arvoje variassi σ ai havaioje lukumäärä kasvaa. ˆ Variassiaalyysihajoelma Mia-aseikolaa jakuvie muuuja arvoje vaihelua miaaa avallisesi iide variassilla. Yhde seliäjä lieaarise regressiomalli () selieävä muuuja y arvoje variassi o jossa σ = SST ˆ y SST = ( y y) = o selieävä muuuja y arvoje vaihelua kuvaava kokoaiseliösumma. Kokoaiseliösumma SST lausekkeessa ermi y = y = o selieävä muuuja y havaiuje arvoje y arimeeie keskiarvo. Voidaa osoiaa, eä residuaalie e vaihelua kuvaava jääöseliösumma SSE = e = ( ˆ ρ ) SST = TKK Ilkka Melli (007) 5/3

16 Moimuuujameeelmä Yhde seliäjä lieaarie regressiomalli jossa ˆ ρ o selieävä muuuja y ja seliävä muuuja havaiuje arvoje ooskorrelaaiokerroi. Koska 0 ˆ ρ äsä yhälösä ähdää, eä jääöseliösumma o korkeiaa yhä suuri kui kokoaiseliösumma: SSE SST Jääöseliösumma SSE lausekkeessa e = y yˆ, =,,, o esimoidu malli residuaali, jossa yˆ = b + b, =,,, 0 o esimoidu malli sovie. Yhälösä = SSE = e = ( ˆ ρ ) SST ja ooskorrelaaiokeroime ˆ ρ omiaisuuksisa ähdää, eä seuraava ehdo ova yhäpiäviä: (i) SSE = 0 (ii) e = 0 kaikille =,,, (iii) Kaikki havaiopisee (, y ), =,,, aseuva samalle suoralle. (iv) ˆ ρ = Erousa SSM = SST SSE kusuaa regressio- ai mallieliösummaksi, koska voidaa osoiaa, eä (ˆ ˆ) (ˆ ) = = SSM = y y = y y Ideieeiä SST = SSM + SSE kusuaa lieaarise regressiomalli () selieävä muuuja y arvoje vaihelua kuvaava kokoaiseliösumma SST variassiaalyysihajoelmaksi. Huomauus: y = y = yˆ = yˆ = = TKK Ilkka Melli (007) 6/3

17 Moimuuujameeelmä Yhde seliäjä lieaarie regressiomalli Variassiaalyysihajoelma ulkia Selieävä muuuja y arvoje vaihelua kuvaava kokoaiseliösumma SST o hajoeu yhde seliäjä lieaarise regressiomalli () avulla kahde osaekijä summaksi: SST = SSM + SSE Mallieliösumma SSM kuvaa malli () seliämää osaa selieävä muuuja y arvoje kokoaisvaihelusa ja jääöseliösumma SSE kuvaa siä osaa kokoaisvaihelusa, joa malli () ei ole pysyy seliämää. Malli () seliää selieävä muuuja y arvoje vaihelu siä paremmi miä suurempi o mallieliösumma SSM osuus kokoaiseliösummasa ai, mikä o sama asia, miä pieempi o jääöseliösumma SSE osuus kokoaiseliösummasa. Seliysase Variassiaalyysihajoelma SST = SSM + SSE moivoi uusluvu SSM SSE R = = SST SST käyö regressiomalli hyvyyde ai seliysvoima miaamisessa. Tuuslukua R kusuaa esimoidu malli seliysaseeksi. Seliysasee omiaisuude Lause..5. (i) 0 R (ii) Jos kaikki residuaali häviävä eli e = 0, =,,, ii SSE = 0 ja R = Tällöi malli sopii havaioihi äydellisesi. (iii) Jos b = 0, residuaali ova muooa e = y y, =,,, jolloi SSE = SST ja R = 0 Tällöi seliäjä ei seliä ollekaa selieävä muuuja y arvoje vaihelua. TKK Ilkka Melli (007) 7/3

18 Moimuuujameeelmä Yhde seliäjä lieaarie regressiomalli (iv) jossa R = [Cor( yy, ˆ)] Cor( yy, ˆ) = = ( y y)(ˆ y y) ( y y) (ˆ y y) = = (v) selieävä muuuja y arvoje y ja vasaavie sovieide y ˆ välie ooskorrelaaiokerroi. Yhde seliäjä lieaarise regressiomalli apauksessa R = ˆ ρ jossa ˆ ρ o selieävä muuuja y ja seliävä muuuja havaiuje arvoje ooskorrelaaiokerroi. Koska Lausee..5. kohda (i) mukaa 0 R, seliysase ilmoieaa avallisesi proseeia: 00 R % Huomauus: y = y = yˆ = yˆ = =.3. Yhde seliäjä lieaarise regressiomalli regressiokeroimia koskeva esi Olkoo () y = β 0 + β + ε, =,,, yhde seliäjä lieaarie regressiomalli, jossa y = selieävä muuuja y sauaie ja havaiu arvo havaiossa = seliäjä ei-sauaie ja havaiu arvo havaiossa β 0 = vakioseliäjä ei-sauaie ja uemao regressiokerroi β = seliäjä ei-sauaie ja uemao regressiokerroi ε = sauaie ja ei-havaiu jääösermi Oleeaa, eä lieaarise regressiomalli () sadardioleuksie (i)-(v) lisäksi ormaalisuusoleus (vi) päee (ks. kappale..). Tesi regressiokeroimille Lieaarise regressiomalli () paramerie esimoimise jälkee o apaa esaa seuraavia malli regressiokeroimia koskevia hypoeeseja: (i) H 0 : β = 0 TKK Ilkka Melli (007) 8/3

19 Moimuuujameeelmä Yhde seliäjä lieaarie regressiomalli Jos ollahypoeesi H 0 päee, regressiomalli () selieävä muuuja y ei riipu lieaarisesi seliäjäsä. (ii) H 00 : β 0 = 0 Jos ollahypoeesi H 00 päee, regressiomallissa () ei arvia vakioseliäjää. Tesi regressiosuora kulmakeroimelle Olkoo ollahypoeesia H 0 : β = 0 Jos ollahypoeesi H 0 päee, regressiomalli () selieävä muuuja y ei riipu lieaarisesi seliäjäsä. Nollahypoeesia H 0 voidaa esaa esisuureella b = = ˆD( b ) s/ ( ) = b jossa b o regressiokeroime β PNS-esimaaori, ˆD ( b ) o regressiokeroime β PNSesimaaori b variassi harhao esimaaori ja s o jääösvariassi σ harhao esimaaori. Oleeaa, eä lieaarisa regressiomallia () koskeva oleukse (i)-(vi) päevä. Tällöi esisuure o jakauuu -jakauma mukaa vapausasei ( ), jos ollahypoeesi H 0 päee: ( ) H 0 Iseisarvolaa suure esisuuree arvo viiaava siihe, eä ollahypoeesi ei päde. Jos ollahypoeesi H 0 : β = 0 hyläää, saoaa, eä kerroi β ja siä vasaava seliäjä ova ilasollisesi merkiseviä. Huomauus : Huomauus : = ( ) = σˆ Tesisuuree arvo kasvaa, jos seliäjä saamie arvoje variassi ˆ σ ai havaioje lukumäärä kasvaa. Tesi regressiosuora vakiolle Olkoo ollahypoeesia H 00 : β 0 = 0 Jos ollahypoeesi H 00 päee, regressiomallissa () ei arvia vakioseliäjää. TKK Ilkka Melli (007) 9/3

20 Moimuuujameeelmä Yhde seliäjä lieaarie regressiomalli Nollahypoeesia H 00 voidaa esaa esisuureella b = = ˆD( b0 ) = s ( ) = b jossa b 0 o regressiokeroime β 0 PNS-esimaaori, ˆD ( b 0) o regressiokeroime β 0 PNSesimaaori b 0 variassi harhao esimaaori ja s o jääösvariassi σ harhao esimaaori. Oleeaa, eä lieaarisa regressiomallia () koskeva oleukse (i)-(vi) päevä. Tällöi esisuure 0 o jakauuu -jakauma mukaa vapausasei ( ), jos ollahypoeesi H 00 päee: 0 ( ) H 00 Iseisarvolaa suure esisuuree 0 arvo viiaava siihe, eä ollahypoeesi ei päde. Jos ollahypoeesi H 00 : β = 0 hyläää, mallissa () arviaa vakioseliäjää. Huomauus : Huomauus : = ( ) = σˆ Tesisuuree 0 arvo kasvaa, jos seliäjä saamie arvoje variassi ˆ σ ai havaioje lukumäärä kasvaa. Regressio olemassaolo esaamie Yhde seliäjä regressiomalli apauksessa edellä esiey -esi ollahypoeesille H 0 : β = 0 o ekvivalei F-esi kassa, jossa esisuureea o SSM F = ( ) SSE SST SSE = ( ) SSE R = ( ) R ˆ ρ = ( ) ˆ ρ missä SST = o selieävä muuuja y arvoje vaihelua kuvaava kokoaiseliösumma SSM = esimoidu malli mallieliösumma TKK Ilkka Melli (007) 0/3

21 Moimuuujameeelmä Yhde seliäjä lieaarie regressiomalli ja SSE = esimoidu malli jääöseliösumma SSM SSE R = = = ˆ ρ SST SST o esimoidu malli seliysase, missä ˆ ρ o selieävä muuuja y ja seliävä muuuja havaiuje arvoje ooskorrelaaiokerroi. Oleeaa, eä yhde seliäjä lieaarise regressiomalli () sadardioleukse (i)-(vi) päevä. Tällöi esisuure F o jakauuu F-jakauma mukaa vapausasei ja ( ), jos ollahypoeesi H 0 päee: F F(, ) H 0 Suure esisuuree F arvo viiaava siihe, eä ollahypoeesi H 0 ei päde. Huomauus: F = jossa o edellä esiey -esisuure ollahypoeesille H 0 : β = 0 TKK Ilkka Melli (007) /3

22 Moimuuujameeelmä Yhde seliäjä lieaarie regressiomalli. Eusamie yhde seliäjä lieaarisella regressiomallilla.. Eusamisehävä Oleukse Olkoo () y = β 0 + β + ε, =,,, yhde seliäjä lieaarie regressiomalli, jossa y = selieävä muuuja y sauaie ja havaiu arvo havaiossa = seliäjä ei-sauaie ja havaiu arvo havaiossa β 0 = vakioseliäjä ei-sauaie ja uemao regressiokerroi β = seliäjä ei-sauaie ja uemao regressiokerroi ε = sauaie ja ei-havaiu jääösermi Seuraavia oleuksia kusuaa yhde seliäjä lieaarise regressiomalli () sadardioleuksiksi: (i) Seliäjä havaiu arvo ova ei-sauaisia, =,,, (ii) Seliäjä havaiu arvo eivä ole yhä suuria, =,,, (iii) E(ε ) = 0, =,,, (iv) D (ε ) = σ, =,,, (v) Cov(ε s, ε ) = 0, jos s Usei oleuksii (i)-(v) liieää vielä jääösermejä ε koskeva ormaalisuusoleus: (vi) ε N(0, σ ), =,,, Eusamisehävä Mie yhde seliäjä lieaarise regressiomalli () selieävä muuuja y käyäyymisä voidaa eusaa? Tällä eusamisehävällä arkoieaa kaha oisillee läheisä sukua olevaa ogelmaa: (i) Mikä o paras arvio eli euse selieävä muuuja y odoeavissa olevalle arvolle, jos seliäjä saa arvo? (ii) Mikä o paras arvio eli euse selieävä muuuja y arvolle, jos seliäjä saa arvo?.. Selieävä muuuja odoeavissa oleva arvo eusamie Euse Mikä o paras arvio eli euse yhde seliäjä lieaarise regressiomalli TKK Ilkka Melli (007) /3

23 Moimuuujameeelmä Yhde seliäjä lieaarie regressiomalli () y = β 0 + β + ε, =,,, selieävä muuuja y odoeavissa olevalle arvolle, ku seliäjä saa arvo, ja mikä ova eusee sokasise omiaisuude? Oleeaa, eä selieävä muuuja y saa arvo y, ku seliäjä saa arvo. Tällöi ja y = β + β + ε 0 E( y ) = β + β 0 o selieävä muuuja y saama arvo y odousarvo, ku seliäjä saa arvo. Käyeää odousarvo E( y ) euseea lausekea () yˆ = b0 + b missä b 0 ja b ova regressiokeroimie β 0 ja β PNS-esimaaori. Huomauus: Odousarvo E( y ) o vakio, ku aas euse yˆ o sauaismuuuja. Eusee jakauma Lause... Oleeaa, eä yhde seliäjä lieaarise regressiomalli () sadardioleukse (i)-(v) päevä. Tällöi (i) E( yˆ ) = β0 + β (ii) Huomauus : Var( yˆ ) ( ) ( ) = = σ + Lausee... kohda (i) mukaa yˆ = b + b 0 o harhao euse selieävä muuuja y odoeavissa olevalle arvolle, ku seliäjä saa arvo eli Huomauus : E( ˆ ) = β + β = E( ) 0 Voidaa osoiaa, eä yˆ = b + b 0 o paras selieävä muuuja y odoeavissa oleva arvo E( y ) lieaarise ja harhaomie euseide joukossa siiä mielessä, eä se miimoi eusee keskieliövirhee. TKK Ilkka Melli (007) 3/3

24 Moimuuujameeelmä Yhde seliäjä lieaarie regressiomalli Huomauus 3: = ( ) = σˆ Huomauus 4: Lausee... kohda (ii) mukaa eusee yˆ = b + b 0 variassi pieeee, jos havaioje lukumäärä ai seliäjä variassi ˆ σ kasvaa. Toisaala eusee yˆ = b + b 0 variassi o siä suurempi miä kauempaa o seliäjä keroimie β 0 ja β PNSesimoiissa käyeyje havaiuje arvoje arimeeisesa keskiarvosa. Lause... Oleeaa, eä yhde seliäjä lieaarise regressiomalli () sadardioleuksie (i)-(v) lisäksi ormaalisuusoleus (vi) päee. Tällöi yˆ N(E( yˆ ),Var( yˆ )) missä ja E( yˆ ) = β + β Var( yˆ ) 0 ( ) ( ) = = σ + Selieävä muuuja odoeavissa oleva arvo luoamusväli Lause..3. Oleeaa, eä yhde seliäjä lieaarise regressiomalli () sadardioleukse (i)-(vi) päevä ja olkoo E( y ) selieävä muuuja y saama arvo y odousarvo, ku seliäjä saa arvo. Tällöi odousarvo E( y ) luoamusväli luoamusasolla ( α) o ( ) b0 + b ± α / s + ( ) = jossa s o jääösvariassi σ harhao esimaaori ja α/ ja + α/ ova luoamusasoo ( α) liiyvä luoamuskeroime -jakaumasa, joka vapausaseide lukumäärä o ( ). TKK Ilkka Melli (007) 4/3

25 Moimuuujameeelmä Yhde seliäjä lieaarie regressiomalli Huomauus : = ( ) = σˆ Huomauus : Lauseesa..3. ähdää, eä luoamusväli kaveuu, jos havaioje lukumäärä ai seliäjä variassi σ kasvaa. ˆ Toisaala luoamusväli o siä leveämpi miä kauempaa o seliäjä keroimie β 0 ja β PNS-esimoiissa käyeyje havaiuje arvoje arimeeisesa keskiarvosa..3. Selieävä muuuja arvo eusamie Euse Mikä o paras arvio eli euse lieaarise regressiomalli () y = β 0 + β + ε, =,,, selieävä muuuja y arvolle, ku seliäjällä saa arvo, ja mikä ova eusee sokasise omiaisuude? Oleeaa, eä selieävä muuuja y saa arvo y, ku seliäjä saa arvo. Tällöi ja y = β + β + ε 0 E( y ) = β + β 0 o selieävä muuuja y saama arvo y odousarvo, ku seliäjä saa arvo. Käyeää selieävä muuuja y arvo y euseea lausekea (3) yˆ = b0 + b missä b 0 ja b ova regressiokeroimie β 0 ja β PNS-esimaaori. Huomauus: Sekä selieävä muuuja y arvo y eä euse ŷ ova sauaismuuujia. Eusevirhe Erousa kusuaa eusevirheeksi. e = y yˆ = β b + ( β b) + ε 0 0 TKK Ilkka Melli (007) 5/3

26 Moimuuujameeelmä Yhde seliäjä lieaarie regressiomalli Eusee jakauma Lause.3.. Oleeaa, eä yhde seliäjä lieaarise regressiomalli () sadardioleukse (i)-(v) päevä. Tällöi (i) E( y yˆ ) = 0 (ii) Huomauus : ( ) y yˆ = σ + + ( ) = Var( ) Lausee.3.. kohda (i) mukaa yˆ = b + b 0 o harhao euse selieävä muuuja y arvo y odousarvolle E( y ), ku seliäjä saa arvo, siiä mielessä eä E( y yˆ ) = 0 Se sijaa yˆ ei ole harhao euse selieävä muuuja y arvolle y, koska yleesä E( yˆ ) = β + β y Huomauus : 0 Voidaa osoiaa, eä yˆ = b + b 0 o paras selieävä muuuja y odoeavissa oleva arvo E( y ) lieaarise ja harhaomie euseide joukossa siiä mielessä, eä se miimoi eusee keskieliövirhee. Huomauus 3: = ( ) = σˆ Huomauus 4: Lausee.3.. kohda (ii) mukaa eusee yˆ = b + b 0 variassi pieeee, jos havaioje lukumäärä ai seliäjä variassi ˆ σ kasvaa. Toisaala eusee yˆ = b + b 0 variassi o siä suurempi miä kauempaa o seliäjä keroimie β 0 ja β PNSesimoiissa käyeyje havaiuje arvoje arimeeisesa keskiarvosa. TKK Ilkka Melli (007) 6/3

27 Moimuuujameeelmä Yhde seliäjä lieaarie regressiomalli Lause.3.. Oleeaa, eä yhde seliäjä lieaarise regressiomalli () sadardioleuksie (i)-(v) lisäksi ormaalisuusoleus (vi) päee. Tällöi y yˆ N 0,Var( y yˆ ) missä ( ) ( ) y yˆ = σ + + ( ) = Var( ) Selieävä muuuja arvo luoamusväli Lause.3.3. Oleeaa, eä yhde seliäjä lieaarise regressiomalli () sadardioleukse (i)-(vi) päevä. Tällöi selieävä muuuja y arvo y luoamusväli luoamusasolla ( α) o ( ) b0 + b ± α / s + + ( ) = jossa s o jääösvariassi σ harhao esimaaori ja α/ ja + α/ ova luoamusasoo ( α) liiyvä luoamuskeroime -jakaumasa, joka vapausaseide lukumäärä o ( ). Huomauus : = ( ) = σˆ Huomauus : Lauseesa.3.3. ähdää, eä luoamusväli kaveuu, jos havaioje lukumäärä ai seliäjä variassi σ kasvaa. ˆ Toisaala luoamusväli o siä leveämpi miä kauempaa o seliäjä keroimie β 0 ja β PNS-esimoiissa käyeyje havaiuje arvoje arimeeisesa keskiarvosa. Huomauus 3: Lauseisa..3. ja.3.3. ähdää, eä selieävä muuuja y odoeavissa oleva arvo E( y ) luoamusväli o kapeampi kui selieävä muuuja y arvo y luoamusväli. Tämä o ymmärreävää, koska muuuja keskimääräise arvo eusamie o helpompaa kui se yksiäise arvo eusamie. TKK Ilkka Melli (007) 7/3

28 Moimuuujameeelmä Yhde seliäjä lieaarie regressiomalli 3. Yhde seliäjä lieaarie regressiomalli ja sokasie seliäjä 3.. Sokasise seliäjä ogelma Malli Olkoo () y = β 0 + β + ε, =,,, yhde seliäjä lieaarie regressiomalli, jossa Huomauus: y = selieävä muuuja y sauaie ja havaiu arvo havaiossa = seliäjä sauaie ja havaiu arvo havaiossa β 0 = vakioseliäjä ei-sauaie ja uemao regressiokerroi β = seliäjä ei-sauaie ja uemao regressiokerroi ε = sauaie ja ei-havaiu jääösermi Seliäjä arvo o (oisi kui kappaleissa ja ) oleeu sauaisiksi. Kiieä ja sauaise seliäjä Yhde seliäjä lieaarise regressiomalli () sadardioleuksissa seliäjä havaiu arvo o oleeu kiieiksi eli ei-sauaisiksi (ks. kappale..). Tiukasi oae ämä oleus voi päeä vai sellaisissa ilaeissa, joissa seliäjä arvo pääsää valisemaa. Seliäjä arvo pääsää valisemaa puhaissa koeaseelmissa, mua muulloi oleus o vaikeasi peruselavissa. Tarkasellaa seuraavassa ilaea, jossa seliäjä arvo o oleeu sauaisiksi. Mie ämä vaikuaa lieaarise regressiomalli () sovelamisee? Täydellise vasaukse aamie ähä kysymyksee o moimukaie ehävä eikä siihe ässä edes pyriä. Tieyi ehdoi sauaise seliäjä apauksessa voidaa kuieki oimia samalla avalla kui kiieä, ei-sauaise seliäjä apauksessa. Täydellise kuvaukse usea sauaismuuuja käyäyymisesä aaa iide yheisjakauma. Sauaismuuujie riippuvuua voidaa ukia iide yheisjakauma muodosamassa kehikossa arkaselemalla iide regressiofukioia. Koska regressiofukio ova yleesä epälieaarisia, jouduaa ällaisissa ilaeissa yleesä sovelamaa epälieaarisa regressioaalyysia; sivuuamme epälieaarise regressiomallie käsiely ässä esiyksessä. Jos arkaselavie sauaismuuujie yheisjakauma o muliormaalijakauma, lieaarise regressiomallie sovelamie peruselua, koska kaikki muliormaalijakauma regressiofukio ova lieaarisia. Lieaarise regressiomalli sovelamie o peruselua myös sellaisissa ilaeissa, joissa epälieaarisa regressiofukioa voidaa approksimoida lieaarisella lausekkeella. TKK Ilkka Melli (007) 8/3

29 Moimuuujameeelmä Yhde seliäjä lieaarie regressiomalli 3.. Ehdollisamie Modifioidu sadardioleukse Oleeaa, eä seuraava, yhde seliäjä lieaarise regressiomalli () y = β 0 + β + ε, =,,, modifioidu sadardioleukse ova voimassa: (i) Seliäjä havaiu arvo ova sauaisia, =,,, (ii) Seliäjä havaiu arvo eivä ole yhä suuria, =,,, (iii) E(ε ) = 0, =,,, (iv) D (ε ) = σ, =,,, (v) Cov(ε s, ε s, ) = 0, jos s Usei oleuksii (i) -(v) liieää vielä jääösermejä ε koskeva ormaalisuusoleus: (vi) (ε ) N(0, σ ), =,,, Oleukse (i) -(v) ova yhäpiäviä seuraavie oleuse kassa: (i) Seliäjä havaiu arvo ova sauaisia, =,,, (ii) Seliäjä havaiu arvo eivä ole yhä suuria, =,,, (iii) E(y ) = β 0 + β, =,,, (iv) D (y ) = σ, =,,, (v) Cov(y s, y s, ) = 0, jos s Tällöi ormaalisuusoleusa (vi) vasaa oleus (vi) (y ) N(0, σ ), =,,, Huomauus : Oleukse (iii) mukaa selieävä muuuja y havaiuje arvoje ehdollie odousarvo eli regressiofukio o lieaarie seliävä muuuja havaiuje arvoje suhee. Tämä merkisee ehdollisamisa seliävä muuuja havaiuje arvoje suhee. Huomauus : Koska selieävä muuuja y ehdollie odousarvo eli regressiofukio seliävä muuuja suhee o yleesä epälieaarie, oleus (iii) regressiofukio lieaarisuudesa o hyvi voimakas oleus. Huomauus 3: Jos sauaismuuujie y ja yheisjakauma o -uloeie ormaalijakauma, sekä muuuja y regressiofukio muuuja suhee eä muuuja regressiofukio muuuja y suhee ova lieaarisia. TKK Ilkka Melli (007) 9/3

30 Moimuuujameeelmä Yhde seliäjä lieaarie regressiomalli 3.3. Regressiomalleja o kaksi Kaksi regressiomallia Jos muuuja y ja ova molemma sauaisia, saaaa olla mielekäsä muodosaa kaksi kappalea yhde seliäjä lieaarisia regressiomalleja: () y = β 0 + β + ε, =,,, () = α 0 + α y + δ, =,,, Tämä o mahdollisa esimerkiksi silloi, ku sauaismuuujie y ja yheisjakauma o -uloeie ormaalijakauma. Malli () seliää muuuja y havaiuje arvoje vaihelu muuuja havaiuje arvoje vaihelu avulla, ku aas malli () seliää muuuja havaiuje arvoje vaihelu muuuja y saamie arvoje vaihelu avulla. Jos modifioidu sadardioleukse (i) -(vi) ova voimassa mallille () ja vasaavalla avalla modifioidu sadardioleukse ova voimassa mallille (), kaikki kappaleissa. ja. esiey eoria päee molemmille malleille. Huomauus: Sovellus määrää usei mie ukiavaa ilmiöä kuvaava muuuja o mielekäsä jakaa selieäviksi ja seliäviksi muuujiksi. Regressioaalyysia sovelleaa kuieki myös sellaisissa ilaeissa, joissa jako ei ole isesää selvä ai, joissa voidaa samaaikaisesi sovelaa useampia äkökulmia. Paramerie esimoii Yhde seliäjä lieaarise regressiomalli () regressiokeroimie β 0 ja β PNSesimaaori ova b0 = y b ˆ σ ˆ σ y b ˆ = = ρ ˆ σ ˆ σ Sie malli () esimoiu regressiosuora o (3) y = b 0 + b Suora (3) yhälö voidaa esiää muodossa ˆ y (4) y y = ˆ ρ σ ( ) ˆ σ Yhde seliäjä lieaarise regressiomalli () regressiokeroimie α 0 ja α PNSesimaaori ova a0 = ay ˆ σ a = = ˆ ρ ˆ σ y ˆ σ ˆ σ Sie malli () esimoiu regressiosuora o (5) = a 0 + a y y TKK Ilkka Melli (007) 30/3

31 Moimuuujameeelmä Yhde seliäjä lieaarie regressiomalli Suora (5) yhälö voidaa esiää muodossa ˆ σ (6) = ˆ ρ ( y y) ˆ σ Jos yhälö (6) rakaisaa muuuja y suhee, saadaa yhälö ˆ y (7) y y = σ ( ) ˆ ρ ˆ σ y Yhälöisä (4) ja (7) ähdää väliömäsi, eä muuuja y regressiosuora muuuja suhee ja muuuja regressiosuora muuuja y suhee eivä yleesä ole sama. Regressiosuora (4) ja (7) yhyvä äsmällee silloi, ku eli ˆ ρ ˆ ρ = ˆ ρ = mikä o yhäpiävää se kassa, eä kaikki havaiopisee (, y ), =,,, aseuva samalle suoralle. Regressiosuorie yhälöisä (4) ja (7) ähdää myös, eä molemma regressiosuora kulkeva havaioarvoje paiopisee (, y ) kaua Korrelaaio olemassaolo esaamie Tesi korrelaaiolle Oleeaa, eä sauaismuuujie y ja yheisjakauma o -uloeie ormaalijakauma ja olkoo σ ρ = Cor(, ) = = ρy σσ sauaismuuujie y ja korrelaaiokerroi, missä σ = Cov(y, ) σ y = Var(y) = Cov(y, y) y σ = Var() = Cov(, ) Aseeaa ollahypoeesi H 0 : ρ = 0 Jos ollahypoeesi H 0 päee, sauaismuuuja y ja ova korreloimaomia. TKK Ilkka Melli (007) 3/3

32 Moimuuujameeelmä Yhde seliäjä lieaarie regressiomalli Tesi ollahypoeesille H 0 voidaa perusaa esisuureesee ˆ ρ = ˆ ρ jossa ˆ ρ o selieävä muuuja y ja seliävä muuuja havaiuje arvoje ooskorrelaaiokerroi. Em. esisuure o jakauuu -jakauma mukaa vapausasei ( ), jos ollahypoeesi H 0 päee: H 0 Iseisarvolaa suure esisuuree arvo viiaava siihe, eä ollahypoeesi H 0 ei päde. Jos ollahypoeesi H 0 : ρ = 0 hyläää, saomme, eä sauaismuuujie y ja korrelaaio ρ o ilasollisesi merkisevää. Tesisuuree eliö yhyy kappaleessa.3. esieyy F-esisuureesee eli = F Sie esi ollahypoeesille H 0 : ρ = 0 ja kappaleessa.3. esiey -esi regressiosuora kulmakeroimelle β, jossa ollahypoeesia o H 0 : β = 0 ova ekvivaleeja. Täsä ähdää, eä yhde seliäjä lieaarisessa regressiomallissa muuuja y ei riipu lieaarisesi muuujasa ja muuuja ei riipu lieaarisesi muuujasa y, äsmällee silloi, ku muuuja y ja ova korreloimaomia. TKK Ilkka Melli (007) 3/3