Yleinen lineaarinen malli. Yleinen lineaarinen malli. Yleinen lineaarinen malli: Mitä opimme? 2/4. Yleinen lineaarinen malli: Mitä opimme?

Transkriptio

1 TKK (c) Ila Melli (004) Yleie lieaarie malli Johdatus tilastotieteesee Yleie lieaarie malli Usea selittää lieaarie regressiomalli Yleise lieaarise malli matriisisesitys Yleise lieaarise malli estimoiti Variassiaalyysihaotelma a selitysaste Päättely yleisestä lieaarisesta mallista Eustamie yleisellä lieaarisella mallilla Yleie lieaarie malli a satuaiset selittäät TKK (c) Ila Melli (004) Yleie lieaarie malli: Mitä opimme? /4 Yleie lieaarie malli o lieaarie regressiomalli, ossa selitettävä muuttua tilastollie riippuvuus yhdestä tai useammasta selittävästä muuttuasta pyritää selittämää selittävie muuttuie futiolla, oa o lieaarie seä regressioertoimie että selittäiä äytettävie muuttuie arvoe suhtee. Tavoitteea o selittää selitettävä muuttua havaittue arvoe vaihtelu selittävie muuttuie havaittue arvoe vaihtelu avulla. Yleie lieaarie malli: Mitä opimme? /4 Tässä luvussa tarastellaa seuraavia yleise lieaarise malli soveltamisee liittyviä ysymysiä: Mite malli formuloidaa? Mitä ovat malli osat a mitä ovat osie tuliat? Mitä ovat mallia osevat oletuset? Mite malli parametrit estimoidaa? Mite malli parametrea osevia hypoteesea testataa? Mite malli hyvyyttä mitataa? Mite mallilla eustetaa? TKK (c) Ila Melli (004) 3 TKK (c) Ila Melli (004) 4 Yleie lieaarie malli: Mitä opimme? 3/4 Yleise lieaarise malli formuloiissa o ätevää äyttää matriisimeritöä. Regressiomallie parametrie estimoitii äytetää tavallisesti pieimmä eliösumma meetelmää. Estimoidu regressiomalli hyvyyttä mitataa selitysasteella. Selitysastee määritelmä perustuu s. variassiaalyysihaotelmaa. Variassiaalyysihaotelmassa selitettävä muuttua havaittue arvoe vaihtelua uvaava eliösumma aetaa ahdesi eliösummasi, oista toie uvaa malli a havaitoe yhteesopivuutta a toie malli a havaitoe yhteesopimattomuutta. Yleie lieaarie malli: Mitä opimme? 4/4 Lieaarise regressiomalli perusoletusii uuluu se, että selittävie muuttuie arvot ovat ei-satuaisia. Selittävie muuttuie arvoe satuaisuus ei uiteaa vaiuta malli estimoiissa a testausessa äytettävii tavaomaisii meetelmii esimerisi seuraavissa tilateissa: (i) Jos tavaomaiset mallista tehdyt oletuset pätevät, u siirrytää tarastelemaa selittävä muuttua ehdollista odotusarvoa selittäie suhtee. (ii) Jos selitettävä muuttua a selittäie yhteisaaumaa o multiormaaliaauma. TKK (c) Ila Melli (004) 5 TKK (c) Ila Melli (004) 6

2 TKK (c) Ila Melli (004) 7 Yleie lieaarie malli: Esitiedot Esitiedot: s. seuraavia luua: Tilastollie riippuvuus a orrelaatio Johdatus regressioaalyysii Yhde selittää lieaarie regressiomalli Moiulotteiset satuaismuuttuat a todeäöisyysaaumat Moiulotteisia todeäöisyysaaumia Yleie lieaarie malli: Lisätiedot Yleise lieaarise malli soveltamise erityisysymysiä äsitellää luvuissa Regressiodiagostiia Regressiomalli valita Regressioaalyysi erityisysymysiä TKK (c) Ila Melli (004) 8 Yleie lieaarie malli Usea selittää lieaarie regressiomalli >> Usea selittää lieaarie regressiomalli Yleise lieaarise malli matriisisesitys Yleise lieaarise malli estimoiti Variassiaalyysihaotelma a selitysaste Päättely yleisestä lieaarisesta mallista Eustamie yleisellä lieaarisella mallilla Yleie lieaarie malli a satuaiset selittäät Avaisaat Ei-satuaisuus Havaito Heterosedastisuus Homosedastisuus Homosedastisuusoletus Jääöstermi Jääösvariassi Korreloitumattomuusoletus Korreloitueisuus Kulmaerroi Lieaarie regressiomalli Lieaarisuus Normaalisuusoletus Odotusarvo Regressioerroi Regressiotaso Satuaie osa Satuaisuus Selitettävä muuttua Selittää Selittävä muuttua Stadardioletuset Systemaattie osa Vaihtelu Vaioselittää Virhetermi Yleie lieaarie malli TKK (c) Ila Melli (004) 9 TKK (c) Ila Melli (004) 0 Usea selittää lieaarie regressiomalli Selitettävä muuttua a selittävät muuttuat Usea selittää lieaarie regressiomalli Havaiot /3 Oletetaa, että selitettävä muuttua y havaittue arvoe vaihtelu halutaa selittää selittävie muuttuie eli selittäie x, x,, x havaittue arvoe vaihtelu avulla. Tehdää seuraavat oletuset: Selitettävä muuttua y o suhdeasteiollie satuaismuuttua. Selittävät muuttuat x, x,, x ovat iiteitä eli eisatuaisia muuttuia. Huomautus: Satuaiste selittäie tapausta äsitellää erisee. Oloot y, y,, y selitettävä muuttua y a x i, x i,, x i selittävä muuttua x i, i =,,, havaittua arvoa. Oletetaa lisäsi, että havaiot x i a y liittyvät samaa havaitoysiöö =,,, aiille i =,,,. TKK (c) Ila Melli (004) TKK (c) Ila Melli (004)

3 TKK (c) Ila Melli (004) 3 Usea selittää lieaarie regressiomalli Havaiot /3 Usea selittää lieaarie regressiomalli Havaiot 3/3 Järestetää selitettävää muuttuaa y a selittäiä x, x,, x osevat havaitoarvot havaitoysiöittäi seuraavalla tavalla: Havaitoysiö : x, x,, x, y Havaitoysiö : x, x,, x, y Havaitoysiö : x, x,, x, y Havaitoarvoa voidaa asettaa vastaamaa pisteet ( + )- ulotteisessa avaruudessa: ( x, x,, x +, y ) R, =,,, Havaitopistee + ( x, x,, x, y) R, =,,, oordiaateilla o seuraavat tuliat: y = selitettävä muuttua y satuaie a havaittu arvo havaitoysiössä x i = selitettävä muuttua eli selittää x i eisatuaie a havaittu arvo havaitoysiössä, i =,,, = (aitoe) selittäie x i luumäärä = havaitoe luumäärä TKK (c) Ila Melli (004) 4 Usea selittää lieaarie regressiomalli Yleie lieaarie malli a se osat /3 Usea selittää lieaarie regressiomalli Yleie lieaarie malli a se osat /3 Oletetaa, että muuttuie y a x, x,, x havaittue arvoe y a x i välillä vallitsee lieaarie tilastollie riippuvuus, oa voidaa ilmaista yhtälöllä y = β0 + βx+ βx + + βx + ε, =,,, Yhtälö määrittelee usea selittää lieaarise regressiomalli, ota utsutaa tavallisesti yleisesi lieaarisesi mallisi. Yhtälö y = β0 + βx+ βx + + βx + ε, =,,, määrittelee yleise lieaarise malli, ossa: y = selitettävä muuttua y satuaie a havaittu arvo havaitoysiössä x i = selittävä muuttua eli selittää x i eisatuaie a havaittu arvo havaitoysiössä, i =,,, ε = ääös- eli virhetermi ε satuaie a ei-havaittu arvo havaitoysiössä TKK (c) Ila Melli (004) 5 TKK (c) Ila Melli (004) 6 Usea selittää lieaarie regressiomalli Yleie lieaarie malli a se osat 3/3 Yhtälö y = β0 + βx+ βx + + βx + ε, =,,, määrittelemässä yleisessä lieaarisessa mallissa o seuraavat ertoimet: β 0 = vaioselittää regressioerroi; β 0 o ei-satuaie a tutemato vaio β i = selittää x i regressioerroi, i =,,, ; β i o ei-satuaie a tutemato vaio Huomautus: Regressioertoimet β 0, β, β,, β o oletettu samoisi aiille havaitoysiöille. Usea selittää lieaarie regressiomalli Vaioselittää: Kommetti Yleise lieaarise malli y = β0 + βx+ βx + + βx + ε, =,,, erroita β 0 utsutaa vaioselittää regressioertoimesi. Nimitys ohtuu siitä, että erroita β 0 vastaa eioteoie selittää, oa saa aiille havaitoysiöille =,,, vaioarvo. Huomautus: Jatossa esitettävät aavat eivät välttämättä päde tässä esitettävässä muodossa, os mallissa ei ole vaioselittäää. Oletamme atossa, että mallissa o aia vaioselittää. TKK (c) Ila Melli (004) 7 TKK (c) Ila Melli (004) 8

4 TKK (c) Ila Melli (004) 9 Usea selittää lieaarie regressiomalli Stadardioletuset / Usea selittää lieaarie regressiomalli Stadardioletuset / Oloo y = β0 + βx+ βx + + βx + ε, =,,, yleie lieaarie malli. Mallista tehdää tavallisesti seuraavalla alvolla esitettävät 6 oletusta, oita utsutaa yleistä lieaarista mallia osevisi stadardioletusisi. Näide oletusie voimassaolo taaa se, että atossa esiteltäviä s. tavaomaisia estimoiti- a testausmeetelmiä saa äyttää malli aalysoitii. Yleistä lieaarista mallia y = β0 + βx+ βx + + βx + ε, =,,, osevat stadardioletuset: (i) Selittäie x i arvot x i ovat iiteitä eli eisatuaisia vaioita, =,,,, i =,,, (ii) Selittäie välillä ei ole lieaarisia riippuvuusia. (iii) E(ε ) = 0, =,,, (iv) Var(ε ) = σ, =,,, (v) Cor(ε, ε l ) = 0, l (vi) ε ~ N(0, σ ), =,,, TKK (c) Ila Melli (004) 0 Usea selittää lieaarie regressiomalli Stadardioletus (i): Kommettea / Stadardioletus (i): Selittäie x i arvot x i ovat iiteitä eli eisatuaisia vaioita, =,,,, i =,,, Jatossa esitettävä lieaariste regressiomallie teoria oaa voimaaasti oletusee (i). Oletus (i) o uitei sage raoittava a se voi toteutua äytäöllisesti atsoe vai sellaisissa tilateissa, oissa selittäie arvot voidaa valita. Selittäie arvot voidaa valita puhtaissa oeasetelmissa, mutta harvoi muulaisissa tutimusasetelmissa. Usea selittää lieaarie regressiomalli Stadardioletus (i): Kommettea / Stadardioletus (i): Selittäie x i arvot x i ovat iiteitä eli eisatuaisia vaioita, =,,,, i =,,, Vaia stadardioletus (i) o sage raoittava, tässä luvussa esitettävää lieaariste regressiomallie teoriaa voidaa soveltaa os sopivat lisäehdot pätevät myös moissa sellaisissa tilateissa, oissa selittäie arvo ovat satuaisia; s. appaletta Yleie lieaarie malli a satuaiset selittäät. TKK (c) Ila Melli (004) TKK (c) Ila Melli (004) Usea selittää lieaarie regressiomalli Stadardioletus (ii): Kommettea Stadardioletus (ii): Selittäie välillä ei ole lieaarisia riippuvuusia Asialoogie perustelu oletuselle (ii): Jos selittää x i riippuu lieaarisesti muista selittäistä, x i o selittäää redudatti a voidaa poistaa mallista. Teie perustelu oletuselle (ii): Ehto (ii) taaa se, että pieimmä eliösumma meetelmä tuottaa regressioertoimille β 0, β, β,, β ysiäsitteiset estimaattorit suletussa muodossa. Usea selittää lieaarie regressiomalli Stadardioletus (iii): Kommettea Stadardioletus (iii): E(ε ) = 0, =,,, Oletuse (iii) muaa aiilla ääös- eli virhetermeillä ε o sama odotusarvo. Oletusesta (iii) seuraa, että mallissa ei ole systemaattista virhettä. TKK (c) Ila Melli (004) 3 TKK (c) Ila Melli (004) 4

5 TKK (c) Ila Melli (004) 5 Usea selittää lieaarie regressiomalli Stadardioletus (iv): Kommettea /3 Stadardioletus (iv): Var(ε ) = σ, =,,, Usea selittää lieaarie regressiomalli Stadardioletus (iv): Kommettea /3 Stadardioletus (iv): Var(ε ) = σ, =,,, Oletuse (iv) muaa aiilla ääös- eli virhetermeillä ε o sama variassi. Oletusta (iv) utsutaa homosedastisuusoletusesi. Jos oletus (iv) pätee, ääöstermeä ε saotaa homosedastisisi. Oletuse (iv) muaa ääöstermit ovat homosedastisia. Jos oletus (iv) ei päde, ääöstermeä ε saotaa heterosedastisisi. Heterosedastisuus teee regressioertoimie estimaattoreista tehottomia. Homosedastisuutta voidaa testata tilastollisesti. TKK (c) Ila Melli (004) 6 Usea selittää lieaarie regressiomalli Stadardioletus (iv): Kommettea 3/3 Stadardioletus (iv): Var(ε ) = σ, =,,, Usea selittää lieaarie regressiomalli Stadardioletus (v): Kommettea Stadardioletus (v): Cor(ε, ε l ) = 0, l Myös ääös- eli virhetermie ε yhteie variassi σ o malli parametri a se uvaa havaitopisteide vaihtelua regressiotaso ympärillä. Oletusie (iii) a (iv) muaa ääös- eli virhetermit ε vaihtelevat satuaisesti olla ympärillä. Oletuse (v) muaa ääös- eli virhetermit ε eivät orreloi eseää. Oletusta (v) utsutaa orreloimattomuusoletusesi. Jos oletus (v) ei päde, ääöstermit ε ovat orreloitueita. Korreloitueisuus teee regressioertoimie estimaattoreista tehottomia a opa harhaisia. Korreloimattomuutta voidaa testata tilastollisesti. TKK (c) Ila Melli (004) 7 TKK (c) Ila Melli (004) 8 Usea selittää lieaarie regressiomalli Stadardioletus (vi): Kommettea Stadardioletus (vi): ε ~ N(0, σ ), =,,, Oletuse (vi) muaa ääös- eli virhetermit ε ovat ormaaliaautueita. Oletusta (vi) utsutaa ormaalisuusoletusesi. Oletus (vi) sisältää oletuset (iii) a (iv). Normaalisuutta voidaa testata tilastollisesti. Usea selittää lieaarie regressiomalli Stadardioletusie meritys Oletamme atossa, että oletuset (i)-(vi) pätevät. Oletuset (i)-(vi) taaavat se, että yleise lieaarise malli estimoiti a testaus voidaa tehdä atossa esitettävällä tavalla. Homosedastisuusoletuse (iv), orreloimattomuusoletuse (v) a ormaalisuusoletuse (vi) voimassaoloa voidaa tutia regressiodiagostiia avulla. Oletusia (i)-(vi) voidaa lievetää tai iistä voidaa opa luopua, mutta os oletusista (i)-(vi) luovutaa, saattaa olla syytä äyttää muita ui tässä esitettäviä estimoiti- a testausmeetelmiä. TKK (c) Ila Melli (004) 9 TKK (c) Ila Melli (004) 30

6 TKK (c) Ila Melli (004) 3 Usea selittää lieaarie regressiomalli Yleise lieaarise malli parametrit Usea selittää lieaarie regressiomalli Selitettävä muuttua omiaisuudet Yleise lieaarise malli y = β0 + βx+ βx + + βx + ε, =,,, parametrea ovat malli regressioertoimet β 0, β, β,, β seä ääös- eli virhetermie ε yhteie variassi Var( ε ) = σ, =,,, ota utsutaa ääösvariassisi. Kosa regressioertoimet β 0, β, β,, β a ääösvariassi σ ovat tavallisesti tutemattomia, e o estimoitava muuttuie x, x,, x a y havaituista arvoista. Jos yleistä lieaarista mallia y = β0 + βx+ βx + + βx + ε, =,,, osevat stadardioletuset (i)-(vi) pätevät, malli selitettävä muuttua y havaituilla arvoilla y i o seuraavat stoastiset omiaisuudet: (iii) E( y) = β0 + βx+ βx + + βx, =,,, (iv) Var(y ) = σ, =,,, (v) Cor(y, y l ) = 0, l (vi) y ~ N(E(y ), σ ), =,,, TKK (c) Ila Melli (004) 3 Usea selittää lieaarie regressiomalli Malli systemaattie osa a satuaie osa / Usea selittää lieaarie regressiomalli Malli systemaattie osa a satuaie osa / Oletetaa, että yleistä lieaarista mallia y = β0 + βx+ βx + + βx + ε, =,,, osevat stadardioletuset (i)-(v) pätevät. Tällöi selitettävä muuttua y havaitut arvot y voidaa esittää seuraavalla tavalla ahde osateiä summaa: y = E( y) + ε, =,,, ossa E( y ) = β + β x + β x + + β x, =,,, 0 Odotusarvo E( y ) = β0 + βx + βx + + β x muodostaa yleise lieaarise malli systemaattise eli raeeosa, oa riippuu selittäille x i aetuista arvoista. Jääös- eli virhetermi ε muodostaa yleise lieaarise malli satuaise osa, oa stadardioletuste pätiessä ei riipu selittäille x i aetuista arvoista. TKK (c) Ila Melli (004) 33 TKK (c) Ila Melli (004) 34 Usea selittää lieaarie regressiomalli Regressiotaso Usea selittää lieaarie regressiomalli Regressioertoimie tulita Yleise lieaarise malli y = β0 + βx+ βx + + βx + ε, =,,, systemaattie osa E(y ) määrittelee taso y = β0 + βx+ βx + + βx + avaruudessa. Tasoa utsutaa regressiotasosi. Jääös- eli virhetermie ε variassi σ uvaa havaitopisteide + ( x, x,, x, y) R, =,,, vaihtelua regressiotaso ympärillä. Yleise lieaarise malli määrittelemä regressiotaso y = β0 + βx+ βx + + βx ertoimilla β, β,, β o seuraavat tuliat: Oletetaa, että selittää x i arvo asvaa yhdellä ysiöllä: x i x i + a aiie muide selittäie arvot pysyvät muuttumattomia. Tällöi erroi β i ertoo paloo selitettävä muuttua y arvo muuttuu: y y + β i TKK (c) Ila Melli (004) 35 TKK (c) Ila Melli (004) 36

7 TKK (c) Ila Melli (004) 37 Yleie lieaarie malli Yleise lieaarise malli matriisiesitys Usea selittää lieaarie regressiomalli >> Yleise lieaarise malli matriisisesitys Yleise lieaarise malli estimoiti Variassiaalyysihaotelma a selitysaste Päättely yleisestä lieaarisesta mallista Eustamie yleisellä lieaarisella mallilla Yleie lieaarie malli a satuaiset selittäät Avaisaat Havaito Jääöstermi Jääösvariassi Kovariassimatriisi Lieaarie regressiomalli Lieaarisuus Matriisi Normaalisuusoletus Odotusarvovetori Regressioerroi Selitettävä muuttua Selittää Selittävä muuttua Stadardioletuset Täysiasteie matriisi Vaioselittää Vetori Virhetermi Yleie lieaarie malli TKK (c) Ila Melli (004) 38 Yleise lieaarise malli matriisiesitys Yleie lieaarie malli a se osat / Yleise lieaarise malli matriisiesitys Yleie lieaarie malli a se osat / Oloo y = β0 + βx+ βx + + βx + ε, =,,, yleie lieaarie malli, ossa y = selitettävä muuttua y satuaie a havaittu arvo havaitoysiössä x i = selittävä muuttua eli selittää x i eisatuaie a havaittu arvo havaitoysiössä, i =,,, ε = ääös- eli virhetermi ε satuaie a ei-havaittu arvo havaitoysiössä Yleisessä lieaarisessa mallissa y = β0 + βx+ βx + + βx + ε, =,,, o seuraavat ertoimet: β 0 = vaioselittää regressioerroi; β 0 o ei-satuaie a tutemato vaio β i = selittää x i regressioerroi; β i o ei-satuaie a tutemato vaio TKK (c) Ila Melli (004) 39 TKK (c) Ila Melli (004) 40 Yleise lieaarise malli matriisiesitys Selitettävä muuttua arvoe matriisi Yleise lieaarise malli matriisiesitys Selittävie muuttuie arvoe matriisi Oloo y y y = ( y, y,, y) = y selitettävä muuttua y havaittue arvoe y, =,,, muodostama -vetori. Oloo x x x x x x X = x x x selittävie muuttuie x, x,, x havaittue arvoe x i, =,,,, i =,,, a yöste muodostama ( + )-matriisi. Matriisi X yöste muodostama. sarae vastaa malli vaioselittäää. TKK (c) Ila Melli (004) 4 TKK (c) Ila Melli (004) 4

8 TKK (c) Ila Melli (004) 43 Yleise lieaarise malli matriisiesitys Regressioertoimie matriisi Yleise lieaarise malli matriisiesitys Jääöstermie matriisi Oloo β0 β β = ( β0, β, β,, β ) = β β regressioertoimie β 0, β, β,, β muodostama ( + )-vetori, ossa β 0 = vaioselittää regressioerroi β i = selittää x i regressioerroi, i =,,, Oloo ε ε ε = ( ε, ε,, ε ) = ε ääöstermie ε, =,,, muodostama -vetori. TKK (c) Ila Melli (004) 44 Yleise lieaarise malli matriisiesitys Yleise lieaarise malli matriisiesitys Yleise lieaarise malli matriisiesitys Stadardioletuset Yleie lieaarie malli voidaa esittää matriisei muodossa ossa y = selitettävä muuttua y havaittue arvoe muodostama satuaie -vetori X = selittäie x, x,, x havaittue arvoe a yöste muodostama ( + )-matriisi β = regressioertoimie muodostama tutemato a iiteä eli ei-satuaie ( + )-vetori ε = ääöstermie muodostama ei-havaittu a satuaie -vetori TKK (c) Ila Melli (004) 45 Jos yleise lieaarise malli selittäät x, x,, x ovat iiteitä eli ei-satuaisia muuttuia, mallia osevat stadardioletuset voidaa esittää matriisei seuraavassa muodossa: (i) Matriisi X aliot ovat iiteitä eli ei-satuaisia vaioita (ii) Matriisi X o täysiasteie: r(x) = + (iii) E(ε) = 0 (iv)&(v) Cov(ε) = σ I (vi) ε N (0, σ I) TKK (c) Ila Melli (004) 46 Yleise lieaarise malli matriisiesitys Odotusarvovetori Yleise lieaarise malli matriisiesitys Kovariassimatriisi Oloo z = (z, z,, z p ) satuaismuuttuie z, z,, z p muodostama p-vetori. Määritellää satuaisvetori z odotusarvovetori µ aavalla µ = E( z ) = (E( z),e( z),,e( z p )) p-vetori µ = E(z) i. alio µ i o satuaismuuttua z i odotusarvo: µ = E( z ), i =,,, p i i Oloo z = (z, z,, z p ) satuaismuuttuie z, z,, z p muodostama p-vetori. Määritellää satuaisvetori z ovariassimatriisi Σ aavalla Σ = Cov( z) = E [( z E( z))( z E( z)) ] p p-matriisi Σ = Cov(z) i. rivi a. saraee alio σ i o satuaismuuttuie z i a z ovariassi: σ i = Cov( zi, z ) = E ( zi E( zi))( z E( z)) TKK (c) Ila Melli (004) 47 TKK (c) Ila Melli (004) 48

9 TKK (c) Ila Melli (004) 49 Yleie lieaarie malli Yleise lieaarise malli parametrie estimoiti Usea selittää lieaarie regressiomalli Yleise lieaarise malli matriisisesitys >> Yleise lieaarise malli parametrie estimoiti Variassiaalyysihaotelma a selitysaste Päättely yleisestä lieaarisesta mallista Eustamie yleisellä lieaarisella mallilla Yleie lieaarie malli a satuaiset selittäät Avaisaat Estimaattoreide omiaisuudet Estimaattori Estimoiti Gaussi a Marovi lause Harhattomuus Jääöstermie eliösumma Jääösvariassi Lieaarie regressiomalli Lieaarisuus Miimoiti Paremmuus Pieimmä eliösumma estimaattori Pieimmä eliösumma meetelmä Regressiotaso Residuaali Sovite Stadardioletuset Yleie lieaarie malli TKK (c) Ila Melli (004) 50 Yleise lieaarise malli parametrie estimoiti Yleie lieaarie malli a se osat / Yleise lieaarise malli parametrie estimoiti Yleie lieaarie malli a se osat / Oloo y = β0 + βx+ βx + + βx + ε, =,,, yleie lieaarie malli, ossa y = selitettävä muuttua y satuaie a havaittu arvo havaitoysiössä x i = selittävä muuttua eli selittää x i eisatuaie a havaittu arvo havaitoysiössä, i =,,, ε = ääös- eli virhetermi ε satuaie a ei-havaittu arvo havaitoysiössä Yleisessä lieaarisessa mallissa y = β0 + βx+ βx + + βx + ε, =,,, o seuraavat ertoimet: β 0 = vaioselittää regressioerroi; β 0 o ei-satuaie a tutemato vaio β i = selittää x i regressioerroi; β i o ei-satuaie a tutemato vaio TKK (c) Ila Melli (004) 5 TKK (c) Ila Melli (004) 5 Yleise lieaarise malli parametrie estimoiti Yleise lieaarise malli matriisiesitys Yleise lieaarise malli parametrie estimoiti Stadardioletuset Yleie lieaarie malli voidaa esittää matriisei muodossa ossa y = selitettävä muuttua y havaittue arvoe muodostama satuaie -vetori X = selittäie x, x,, x havaittue arvoe a yöste muodostama ( + )-matriisi β = regressioertoimie muodostama tutemato a iiteä eli ei-satuaie ( + )-vetori ε = ääöstermie muodostama ei-havaittu a satuaie -vetori TKK (c) Ila Melli (004) 53 Jos yleise lieaarise malli selittäät x, x,, x ovat iiteitä eli ei-satuaisia muuttuia, mallia osevat stadardioletuset voidaa esittää matriisei seuraavassa muodossa: (i) Matriisi X aliot ovat iiteitä eli ei-satuaisia vaioita (ii) Matriisi X o täysiasteie: r(x) = + (iii) E(ε) = 0 (iv)&(v) Cov(ε) = σ I (vi) ε N (0, σ I) TKK (c) Ila Melli (004) 54

10 TKK (c) Ila Melli (004) 55 Yleise lieaarise malli parametrie estimoiti Regressioertoimie PNS-estimoiti /3 Yleise lieaarise malli parametrie estimoiti Regressioertoimie PNS-estimoiti /3 Yleise lieaarise malli y = β0 + βx+ βx + + βx + ε, =,,, regressioertoimet β 0, β, β,, β estimoidaa tavallisesti pieimmä eliösumma (PNS-) meetelmällä. PNS-meetelmässä regressioertoimie β 0, β, β,, β estimaattorit määrätää miimoimalla ääös- eli virhetermie ε eliösumma ε = ( y β0 βx βx βx) = = regressioertoimie β 0, β, β,, β suhtee. Neliösumma ε = ( y β0 βx βx βx) = = miimoiti voidaa tehdä derivoimalla eliösumma regressioertoimie β 0, β, β,, β suhtee a meritsemällä derivaatat ollisi. Tämä ohtaa regressioertoimie β 0, β, β,, β suhtee lieaarisee yhtälöryhmää, ossa o ( + ) yhtälöä. Yhtälöryhmällä o rataisu, os stadardioletus (ii) pätee. TKK (c) Ila Melli (004) 56 Yleise lieaarise malli parametrie estimoiti Regressioertoimie PNS-estimoiti 3/3 Yhtälöryhmä rataisuia saadaa regressioertoimie β 0, β, β,, β PNS-estimaattorit, oita meritää vastaavilla latialaisilla iraimilla: b i = ertoime β PNS-estimaattori, i = 0,,,, Regressioertoimie β 0, β, β,, β PNSestimaattoreide b 0, b, b,, b lauseeet o muavita esittää matriisimuodossa. Yleise lieaarise malli parametrie estimoiti Regressioertoimie PNS-estimaattoreide matriisiesitys Oloo stadardioletuse (ii) r(x) = + toteuttava yleie lieaarie malli. Tällöi regressioertoimie vetori β PNS-estimaattori o b= ( XX ) Xy TKK (c) Ila Melli (004) 57 TKK (c) Ila Melli (004) 58 Yleise lieaarise malli parametrie estimoiti PNS-estimaattori odotusarvo a ovariassimatriisi Yleise lieaarise malli parametrie estimoiti PNS-estimaattori ormaalisuus Oloo b= ( XX ) Xy yleise lieaarise malli regressioertoimie vetori β PNS-estimaattori. Jos stadardioletuset (i)-(v) pätevät, E( b) = β Cov( b) = σ ( XX ) Kosa E(b) = β, ii PNS-estimaattori b o regressioertoimie vetori β harhato estimaattori. Oloo b= ( XX ) Xy yleise lieaarise malli regressioertoimie vetori β PNS-estimaattori. Jos stadardioletuset (i)-(vi) pätevät, b N β, σ ( XX) ( ) + TKK (c) Ila Melli (004) 59 TKK (c) Ila Melli (004) 60

11 TKK (c) Ila Melli (004) 6 Yleise lieaarise malli parametrie estimoiti PNS-estimaattori paremmuus: Gaussi a Marovi lause Oloo yleie lieaarie malli, oa toteuttaa stadardioletuset (i)-(v). Tällöi pätee Gaussi a Marovi lause: Regressioertoimie vetori β PNS-estimaattori b= ( XX ) Xy o paras (siiä mielessä, että se o tehoai) vetori β lieaariste a harhattomie estimaattoreide ouossa. Yleise lieaarise malli parametrie estimoiti PNS-estimaattori paremmuus: Gaussi a Marovi lausee tulita /3 Regressioertoimie vetori β PNS-estimaattori b paremmuudella taroitetaa Gaussi a Marovi lauseessa seuraavaa: Oloo b * o miä tahasa toie regressioertoimie vetori β lieaarie a harhato estimaattori, ii tällöi * Cov( b ) Cov( b) TKK (c) Ila Melli (004) 6 Yleise lieaarise malli parametrie estimoiti PNS-estimaattori paremmuus: Gaussi a Marovi lausee tulita /3 Meritä * Cov( b ) Cov( b) taroittaa sitä, että erotus * Cov( b ) Cov( b) o positiivisesti semidefiiitti matriisi eli * a Cov( b ) Cov( b) a 0 aiille a 0 ( ) Yleise lieaarise malli parametrie estimoiti PNS-estimaattori paremmuus: Gaussi a Marovi lausee tulita 3/3 Epäyhtälöstä * a ( Cov( b ) Cov( b) ) a 0 aiille a 0 seuraa erityisesti se, että ysittäiste regressioertoimie PNS-estimaattoreide b i, i = 0,,,, variassit ovat pieimpiä mahdollisia lieaariste a harhattomie estimaattoreide ouossa. Tämä ähdää valitsemalla vetorisi a vetori, ossa aioa ollasta poieava alio o paiassa i: a = (0,,0,,0,,0) i. TKK (c) Ila Melli (004) 63 TKK (c) Ila Melli (004) 64 Yleise lieaarise malli parametrie estimoiti PNS-estimaattori omiaisuudet Yleise lieaarise malli parametrie estimoiti Sovitteet Yleise lieaarise malli regressioertoimie vetori β PNS-estimaattorilla b o stadardioletusie (i)-(vi) pätiessä seuraavat omiaisuudet: () b o harhato. () b paras (eli tehoai) lieaariste a harhattomie estimaattoreide ouossa. (3) b o tyhetävä. (4) b o (sopivi lisäehdoi) taretuva. (5) b o ormaalie. Oloot yleise lieaarise malli y = β0 + βx+ βx + + βx + ε, =,,, regressioertoimie PNS-estimaattorit b 0, b, b,, b. Sovite yˆ = b0 + bx + bx + + b x, =,,, o estimoidu malli selitettävälle muuttualle y atama arvo havaitopisteessä ( x, x,, x) Jos stadardioletuset (i)-(v) pätevät, E( y ) = β + β x + β x + + β x, =,,, ˆ 0 TKK (c) Ila Melli (004) 65 TKK (c) Ila Melli (004) 66

12 TKK (c) Ila Melli (004) 67 Yleise lieaarise malli parametrie estimoiti Residuaalit Yleise lieaarise malli parametrie estimoiti Sovitteet, residuaalit a regressiomalli hyvyys Oloot yleise lieaarise malli y = β0 + βx+ βx + + βx + ε, =,,, regressioertoimie PNS-estimaattorit b 0, b, b,, b. Residuaali e = y yˆ = y b0 bx bx bx, =,,, o selitettävä muuttua y havaitu arvo y a sovittee yˆ erotus. Jos stadardioletuset (i)-(v) pätevät, E( e ) = 0, =,,, Regressiomalli hyvyyde tutimisessa voidaa äyttää hyväsi estimoidu malli sovitteita a residuaalea : (i) Regressiomalli selittää selitettävä muuttua havaittue arvoe vaihtelu sitä paremmi mitä lähempää estimoidu malli sovitteet yˆ ovat selitettävä muuttua havaittua arvoa y. (ii) Regressiomalli selittää selitettävä muuttua havaittue arvoe vaihtelu sitä paremmi mitä pieempiä ovat estimoidu malli residuaalit e. TKK (c) Ila Melli (004) 68 Yleise lieaarise malli parametrie estimoiti Sovitteide a residuaalie matriisiesityset / Yleise lieaarise malli parametrie estimoiti Sovitteide a residuaalie matriisiesityset / Oloo b= ( XX ) Xy yleise lieaarise malli regressioertoimie vetori β PNS-estimaattori. Tällöi yˆ = Xb = X( X X) X y = Py o sovitteide yˆ, =,,, muodostama -vetori a e = y yˆ = ( I X( XX ) X ) y = ( I P) y = My o residuaalie e, =,,, muodostama -vetori. Sovitteide a residuaalie muodostamie vetoreide lauseeissa esiityvät -matriisit P= X( XX ) X M = I P= I X( XX ) X ovat symmetrisiä a idempotettea eli proetioita: P = P P = P M = M M = M Lisäsi PM = MP = 0 Näillä matriisea P a M osevilla tulosilla o eseie meritys ohdettaessa lieaarise malli estimoitii a testausee liittyviä aaumatulosia. TKK (c) Ila Melli (004) 69 TKK (c) Ila Melli (004) 70 Yleise lieaarise malli parametrie estimoiti Sovitteide a residuaalie omiaisuudet Yleise lieaarise malli parametrie estimoiti Jääösvariassi estimoiti Sovitteide a residuaalie muodostamilla vetoreilla o seuraavat stoastiset omiaisuudet: Sovitteide muodostama vetori ŷ : E( yˆ ) = Xβ Cov( yˆ ) = σ P = σ X( XX ) X Residuaalie muodostama vetori e : E( e) = 0 Cov( e) = σ M = σ ( I P) = σ ( I X( XX ) X ) Huomautus: Residuaalit e ovat siis (lievästi) orreloitueita, vaia ääöstermit ε o oletettu orreloimattomisi. Jos yleise lieaarise malli ääös- eli virhetermeä ε osevat stadardioletuset (i)-(v) pätevät, ääösvariassi Var(ε ) = σ harhato estimaattori o s = e = ossa e = estimoidu malli residuaali, =,,, = havaitoe luumäärä = (aitoe) selittäie x i luumäärä TKK (c) Ila Melli (004) 7 TKK (c) Ila Melli (004) 7

13 TKK (c) Ila Melli (004) 73 Yleise lieaarise malli parametrie estimoiti Jääösvariassi estimoiti: Kommetti Estimaattori s o residuaalie e variassi. Tämä seuraa siitä, että mallissa o vaioselittää, olloi ei = 0 i= a site myös e = ei = 0 i = olloi s e e e ( ) = = = = Yleise lieaarise malli parametrie estimoiti Estimoitu regressiotaso Yleise lieaarise malli y = β0 + βx+ βx + + βx + ε, =,,, regressioertoimie β 0, β, β,, β PNS-estimaattorit b 0, b, b,, b määrittelevät taso y = b0 + bx + bx + + bx + avaruudessa. Tasoa utsutaa estimoidusi regressiotasosi. Jääösvariassi σ estimaattori s uvaa havaitopisteide + ( x, x,, x, y) R, =,,, vaihtelua estimoidu regressiotaso ympärillä. TKK (c) Ila Melli (004) 74 Yleie lieaarie malli Variassiaalyysihaotelma a selitysaste Usea selittää lieaarie regressiomalli Yleise lieaarise malli matriisisesitys Yleise lieaarise malli estimoiti >> Variassiaalyysihaotelma a selitysaste Päättely yleisestä lieaarisesta mallista Eustamie yleisellä lieaarisella mallilla Yleie lieaarie malli a satuaiset selittäät TKK (c) Ila Melli (004) 75 Avaisaat Jääöseliösumma Jääösvaihtelu Kooaiseliösumma Kooaisvaihtelu Korrelaatio Lieaarie regressiomalli Mallieliösumma Pieimmä eliösumma estimaattori Residuaali Selitysaste Sovite Stadardioletuset Variassiaalyysihaotelma Yleie lieaarie malli TKK (c) Ila Melli (004) 76 Variassiaalyysihaotelma a selitysaste Variassiaalyysihaotelma idea Variassiaalyysihaotelma a selitysaste Sovitteet Regressiomalli tehtävää o selittää selitettävä muuttua y havaittue arvoe vaihtelu selittävie muuttuie x, x,, x havaittue arvoe vaihtelulla. Tämä tehtävä oistumista voidaa uvata s. variassiaalyysihaotelma avulla. Haotelmassa selitettävä muuttua y havaittue arvoe ooaisvaihtelua uvaava s. ooaiseliösumma aetaa ahde osateiä summasi: (i) Toie osateiä uvaa estimoidu malli selittämää osaa ooaisvaihtelusta. (ii) Toie osateiä uvaa mallilla selittämättä ääyttä osaa ooaisvaihtelusta. TKK (c) Ila Melli (004) 77 Oloot yleise lieaarise malli y = β0 + βx+ βx + + βx + ε, =,,, regressioertoimie PNS-estimaattorit b 0, b, b,, b. Sovite yˆ = b0 + bx + bx + + b x, =,,, o estimoidu malli selitettävälle muuttualle y atama arvo havaitopisteessä ( x, x,, x ) TKK (c) Ila Melli (004) 78

14 TKK (c) Ila Melli (004) 79 Variassiaalyysihaotelma a selitysaste Residuaalit Variassiaalyysihaotelma a selitysaste Kooaiseliösumma Oloot yleise lieaarise malli y = β0 + βx+ βx + + βx + ε, =,,, regressioertoimie PNS-estimaattorit b 0, b, b,, b. Residuaali e = y yˆ = y b0 bx bx bx, =,,, o selitettävä muuttua y havaitu arvo y a sovittee y erotus. ˆ Yleise lieaarise malli selitettävä muuttua y havaittue arvoe y vaihtelu mittaamie perustuu ooaiseliösummaa SST = ( y y) = ossa y o selitettävä muuttua y havaittue arvoe y aritmeettie esiarvo. Selitettävä muuttua y havaittue arvoe y variassi voidaa määritellä aavalla SST sy = TKK (c) Ila Melli (004) 80 Variassiaalyysihaotelma a selitysaste Jääöseliösumma Variassiaalyysihaotelma a selitysaste Mallieliösumma Residuaalie e vaihtelu mittaamie perustuu ääöseliösummaa SSE = e = Kosa mallissa o vaioselittää, olloi e = 0, residuaalie e variassi voidaa määritellä aavalla SSE s = Kosa E(s ) = σ ii estimaattori s o harhato ääösvariassille σ. Voidaa osoittaa, että ääöseliösumma o oreitaa yhtä suuri ui ooaiseliösumma: SSE SST Määritellää erotus SSM = SST SSE Kosa SSM = ( yˆ y) = ossa y o selitettävä muuttua y havaittue arvoe y aritmeettie esiarvo, erotusta SSM utsutaa mallieliösummasi. TKK (c) Ila Melli (004) 8 TKK (c) Ila Melli (004) 8 Variassiaalyysihaotelma a selitysaste Variassiaalyysihaotelma / Variassiaalyysihaotelma a selitysaste Variassiaalyysihaotelma / Edellä esitety muaa ooaiseliösumma SST = ( y y) voidaa esittää ahde osateiä SSM a SSE summaa: SST = SSM + SSE ossa SSM = ( yˆ y) a = = e = SSE = Variassiaalyysihaotelmassa SST = SSM + SSE selitettävä muuttua y havaittue arvoe vaihtelua uvaava ooaiseliösumma SST o esitetty ahde osateiä SSM a SSE summaa: (i) Mallieliösumma SSM uvaa sitä osaa selitettävä muuttua y havaittue arvoe vaihtelusta, oa estimoitu malli o selittäyt. (ii) Jääöseliösumma SSE uvaa sitä osaa selitettävä muuttua y havaittue arvoe vaihtelusta, ota estimoitu malli ei ole selittäyt. TKK (c) Ila Melli (004) 83 TKK (c) Ila Melli (004) 84

15 TKK (c) Ila Melli (004) 85 Variassiaalyysihaotelma a selitysaste Variassiaalyysihaotelma tulita Variassiaalyysihaotelma a selitysaste Selitysaste Variassiaalyysihaotelma SST = SSM + SSE uvaa estimoidu regressiomalli hyvyyttä: (i) Mitä suurempi o mallieliösumma SSM osuus ooaiseliösummasta SST, sitä paremmi estimoitu malli selittää selitettävä muuttua havaittue arvoe vaihtelu. (ii) Mitä pieempi o ääöseliösumma SSE osuus ooaiseliösummasta SST, sitä paremmi estimoitu malli selittää selitettävä muuttua havaittue arvoe vaihtelu. Variassiaalyysihaotelma SST = SSM + SSE motivoi tuusluvu SSE SSM R = = SST SST äytö regressiomalli hyvyyde mittaria. Tuusluua R utsutaa selitysasteesi a se mittaa regressiomalli selittämää osuutta selitettävä muuttua havaitoarvoe ooaisvaihtelusta. Selitysaste ilmaistaa tavallisesti prosetteia: 00 R % TKK (c) Ila Melli (004) 86 Variassiaalyysihaotelma a selitysaste Selitysaste a orrelaatio Variassiaalyysihaotelma a selitysaste Selitysastee omiaisuudet / Voidaa osoittaa, että selitysaste R = [ Cor( y, yˆ )] ossa Cor( yy, ˆ) o selitettävä muuttua y havaittue arvoe y a sovitteide y otosorrelaatioerroi. ˆ TKK (c) Ila Melli (004) 87 Selitysasteella R o seuraavat omiaisuudet: (i) 0 R (ii) Seuraavat ehdot ovat yhtäpitäviä: () R = () Kaii residuaalit häviävät: e = 0 aiille =,,, (3) Kaii havaitopisteet ( x, x,, x, y), =,,, asettuvat samalle tasolle. (4) Malli selittää täydellisesti selitettävä muuttua arvoe vaihtelu. TKK (c) Ila Melli (004) 88 Variassiaalyysihaotelma a selitysaste Selitysastee omiaisuudet / Yleie lieaarie malli (iii) Seuraavat ehdot ovat yhtäpitäviä: () R = 0 () b = b = = b = 0 (3) Malli ei olleaa selitä selitettävä muuttua arvoe vaihtelua. Usea selittää lieaarie regressiomalli Yleise lieaarise malli matriisisesitys Yleise lieaarise malli estimoiti Variassiaalyysihaotelma a selitysaste >> Päättely yleisestä lieaarisesta mallista Eustamie yleisellä lieaarisella mallilla Yleie lieaarie malli a satuaiset selittäät TKK (c) Ila Melli (004) 89 TKK (c) Ila Melli (004) 90

16 TKK (c) Ila Melli (004) 9 Päättely yleisestä lieaarisesta mallista Päättely yleisestä lieaarisesta mallista Mallia oseva tilastollie päättely Avaisaat F-testi Lieaarie regressiomalli Luottamusväli Otataaauma Pieimmä eliösumma estimaattori Regressioerroi Selitysaste Stadardioletuset Testaus t-testi Yleie lieaarie malli Tässä appaleessa tarastellaa seuraavia yleistä lieaarista mallia osevia päättely ogelmia: Regressioertoimie estimaattoreide odotusarvot a variassit Regressioertoimie estimaattoreide otosaaumat Regressioertoimie luottamusvälit Yleistesti regressio olemassaololle Testit regressioertoimille TKK (c) Ila Melli (004) 9 Päättely yleisestä lieaarisesta mallista Yleie lieaarie malli a se osat Päättely yleisestä lieaarisesta mallista Stadardioletuset Yleisessä lieaarisessa mallissa o seuraavat osat: y = selitettävä muuttua y havaittue arvoe muodostama satuaie -vetori X = selittäie x, x,, x havaittue arvoe a yöste muodostama ( + )-matriisi β = regressioertoimie muodostama tutemato a iiteä eli ei-satuaie ( + )-vetori ε = ääöstermie muodostama ei-havaittu a satuaie -vetori Jos yleise lieaarise malli selittäät x, x,, x ovat iiteitä eli ei-satuaisia muuttuia, mallia osevat stadardioletuset voidaa esittää matriisei seuraavassa muodossa: (i) Matriisi X aliot ovat iiteitä eli ei-satuaisia vaioita (ii) Matriisi X o täysiasteie: r(x) = + (iii) E(ε) = 0 (iv)&(v) Cov(ε) = σ I (vi) ε N (0, σ I) TKK (c) Ila Melli (004) 93 TKK (c) Ila Melli (004) 94 Päättely yleisestä lieaarisesta mallista Regressioertoimie PNS-estimoiti Päättely yleisestä lieaarisesta mallista PNS-estimaattori otosaauma / Yleise lieaarise malli regressioertoimie vetori β PNS-estimaattori o b= ( XX ) Xy Jos stadardioletuset (i)-(v) pätevät, regressioertoimie vetori β PNS-estimaattorilla b= ( XX ) Xy o seuraavat stoastiset omiaisuudet: E( b) = β Cov( b) = σ ( XX ) Jos myös stadardioletus (vi) pätee, PNS-estimaattori b oudattaa ormaaliaaumaa: b N ( β, σ ( XX) ) + TKK (c) Ila Melli (004) 95 TKK (c) Ila Melli (004) 96

17 TKK (c) Ila Melli (004) 97 Päättely yleisestä lieaarisesta mallista PNS-estimaattori otosaauma / Päättely yleisestä lieaarisesta mallista PNS-estimaattoreide variassie estimoiti Jos stadardioletuset (i)-(v) pätevät, regressioertoime β i, i = 0,,,, PNS-estimaattorilla b i o seuraavat stoastiset omiaisuudet: E( bi) = βi D( bi) = σb = σ ( ) i XX i+, i+ Jos myös stadardioletus (vi) pätee, PNS-estimaattori b i oudattaa ormaaliaaumaa: b N( β, σ ) i i b i Jos stadardioletuset (i)-(v) pätevät, regressioertoime β i, i = 0,,,, PNS-estimaattori b i variassi D( bi) = σb = σ ( ) i XX i+, i+ harhato estimaattori o ˆD ( bi ) = s ( XX ) i+, i+ ossa s = e = o ääösvariassi σ harhato estimaattori. TKK (c) Ila Melli (004) 98 Päättely yleisestä lieaarisesta mallista PNS-estimaattoreide luottamusvälit Päättely yleisestä lieaarisesta mallista PNS-estimaattoreide luottamusvälie tulita Jos stadardioletuset (i)-(vi) pätevät, regressioertoime β i, i = 0,,,, luottamusväli luottamustasolla ( α) o muotoa b ˆD( i ± t / bi) α ossa b i = regressioertoime β i PNS-estimaattori ±t α/ = luottamustasoa ( α) vastaavat luottamusertoimet t-aaumasta, oa vapausasteide luumäärä o ( ) ˆD ( b i ) = regressioertoime β i PNS-estimaattori variassi harhato estimaattori Regressioertoime β i, i = 0,,,, luottamustasoo ( α) liittyvä luottamusväli b ˆD( i ± tα / bi) peittää regressioertoime β i todeäöisyydellä ( α): ( b ˆ ˆ i tα/ bi βi bi tα/ bi ) Pr D( ) + D( ) = α Frevessitulita luottamusvälille: Jos otataa toistetaa, otosista ostruoiduista luottamusväleistä 00 ( α) % peittää parametri β i todellise arvo a 00 α % väleistä ei peitä parametri β i todellista arvoa. TKK (c) Ila Melli (004) 99 TKK (c) Ila Melli (004) 00 Päättely yleisestä lieaarisesta mallista Yleistesti regressio olemassaololle: Nollahypoteesi Oloo ollahypoteesia H 0: β = β = = β = 0 Jos ollahypoteesi H 0 pätee, selitettävä muuttua y ei riipu lieaarisesti yhdestäää selittäästä x, x,, x. Jos ollahypoteesi H 0 ei päde, selitettävä muuttua y riippuu lieaarisesti aiai yhdestä selittäästä x, x,, x. Päättely yleisestä lieaarisesta mallista Yleistesti regressio olemassaololle: Testisuure / Määritellää F-testisuure R SSM F = = R SSE ossa R = estimoidu malli selitysaste SSM = estimoidu malli mallieliösumma SSE = estimoidu malli ääöseliösumma TKK (c) Ila Melli (004) 0 TKK (c) Ila Melli (004) 0

18 TKK (c) Ila Melli (004) 03 Päättely yleisestä lieaarisesta mallista Yleistesti regressio olemassaololle: Testisuure / Testisuure R SSM F = = R SSE vertaa toisiisa residuaalivariassia SSE s = a mallivariassia s M = SSM Päättely yleisestä lieaarisesta mallista Yleistesti regressio olemassaololle: Testisuuree aauma Oletetaa, että stadardioletuset (i)-(vi) pätevät. Tällöi testisuure F oudattaa ollahypoteesi H 0 pätiessä F-aaumaa vapausastei a ( ): F F (, ) Testisuuree F ormaaliarvo eli odotusarvo ollahypoteesi H 0 pätiessä o (suurille ) E( F) = 3 Suuret testisuuree F arvot viittaavat siihe, että ollahypoteesi H 0 ei päde. TKK (c) Ila Melli (004) 04 Päättely yleisestä lieaarisesta mallista Testit regressioertoimille: Nollahypoteesit Oloo ollahypoteesia H 0i : β i = 0, i = 0,,,, Jos ollahypoteesi H 00 pätee, mallissa ei ole vaiota. Jos ollahypoteesi H 0i, i =,,, pätee, selitettävä muuttua y ei riipu lieaarisesti selittäästä x i. Jos ollahypoteesi H 0i, i =,,, ei päde, selitettävä muuttua y riippuu lieaarisesti selittäästä x i. Päättely yleisestä lieaarisesta mallista Testit regressioertoimille: Testisuureet Määritellää t-testisuureet bi ti =, i = 0,,,, ˆD( bi ) ossa b i = regressioertoime β i PNS-estimaattori ˆD ( b i ) = regressioertoime β i PNS-estimaattori variassi harhato estimaattori TKK (c) Ila Melli (004) 05 TKK (c) Ila Melli (004) 06 Päättely yleisestä lieaarisesta mallista Testit regressioertoimille: Testisuureide aaumat Oletetaa, että stadardioletuset (i)-(vi) pätevät. Tällöi testisuure t i oudattaa ollahypoteesi H 0i : β i = 0 pätiessä t-aaumaa vapausastei ( ): ti t( ) Testisuuree t i ormaaliarvo eli odotusarvo ollahypoteesi H 0i pätiessä o E( t i ) = 0 Itseisarvoltaa suuret testisuuree arvot t i viittaavat siihe, että ollahypoteesi H 0i ei päde. Yleie lieaarie malli Usea selittää lieaarie regressiomalli Yleise lieaarise malli matriisisesitys Yleise lieaarise malli estimoiti Variassiaalyysihaotelma a selitysaste Päättely yleisestä lieaarisesta mallista >> Eustamie yleisellä lieaarisella mallilla Yleie lieaarie malli a satuaiset selittäät TKK (c) Ila Melli (004) 07 TKK (c) Ila Melli (004) 08

19 TKK (c) Ila Melli (004) 09 Eustamie yleisellä lieaarisella mallilla Eustamie yleisellä lieaarisella mallilla Eustamie Avaisaat Eustamie Euste Lieaarie regressiomalli Luottamusväli Otataaauma Pieimmä eliösumma estimaattori Regressiotaso Selitettävä muuttua arvo Selitettävä muuttua odotusarvo Stadardioletuset Yleie lieaarie malli Oletetaa, että muuttuie x, x,, x a y havaittue arvoe x, x,, x a y välillä o lieaarie tilastollie riippuvuus, oa voidaa ilmaista muodossa y = β0 + βx+ βx + + βx + ε, =,,, Haluamme eustaa selitettävää muuttuaa y, u selittävät muuttuat x, x,, x saavat arvot x, x,, x. Jaetaa tarastelu ahtee osaa: (i) Tavoitteea o eustaa selitettävä muuttua y odotettavissa oleva eli esimääräie arvo. (ii) Tavoitteea o eustaa selitettävä muuttua y arvo. TKK (c) Ila Melli (004) 0 Eustamie yleisellä lieaarisella mallilla Yleie lieaarie malli a se osat Eustamie yleisellä lieaarisella mallilla Stadardioletuset Yleisessä lieaarisessa mallissa o seuraavat osat: y = selitettävä muuttua y havaittue arvoe muodostama satuaie -vetori X = selittäie x, x,, x havaittue arvoe a yöste muodostama ( + )-matriisi β = regressioertoimie muodostama tutemato a iiteä eli ei-satuaie ( + )-vetori ε = ääöstermie muodostama ei-havaittu a satuaie -vetori Jos yleise lieaarise malli selittäät x, x,, x ovat iiteitä eli ei-satuaisia muuttuia, mallia osevat stadardioletuset voidaa esittää matriisei seuraavassa muodossa: (i) Matriisi X aliot ovat iiteitä eli ei-satuaisia vaioita (ii) Matriisi X o täysiasteie: r(x) = + (iii) E(ε) = 0 (iv)&(v) Cov(ε) = σ I (vi) ε N (0, σ I) TKK (c) Ila Melli (004) TKK (c) Ila Melli (004) Eustamie yleisellä lieaarisella mallilla PNS-estimaattori a se odotusarvo Eustamie yleisellä lieaarisella mallilla y: odotusarvo eustamie Yleise lieaarise malli regressioertoimie vetori β PNS-estimaattorilla b= ( XX ) Xy o stadardioletusie (i)-(vi) pätiessä seuraavat stoastiset omiaisuudet: E( b) = β Cov( b) = σ ( XX ) b N ( β, σ ( XX ) ) + Oletetaa, että selitettävä muuttua y saa arvo y = β0 + βx + βx + + βx + ε os selittäät x, x,, x saavat arvot x, x,, x. Miä o paras euste selitettävä muuttua y odotettavissa olevalle arvolle E( yx, x,, x ), os selittävät muuttuat x, x,, x saavat arvot x, x,, x? Selitettävä muuttua y odotusarvo E( yx, x,, x ) uvaa selitettävä muuttua y esimääri saamia arvoa selittäie x, x,, x saamie arvoe futioa. TKK (c) Ila Melli (004) 3 TKK (c) Ila Melli (004) 4

20 TKK (c) Ila Melli (004) 5 Eustamie yleisellä lieaarisella mallilla y: odotusarvo eustamie: Euste Valitaa selitettävä muuttua odotusarvo E( yx, x,, x ) eusteesi (estimaattorisi) lausee yx ˆ, x,, x = b0 + bx + bx + + bx ossa b 0, b, b,, b ovat regressioertoimie β 0, β, β,, β PNS-estimaattorit. Voidaa osoittaa, että yx ˆ, x,, x o (eustevirhee esieliövirhee mielessä) paras lieaarie a harhato euste odotusarvolle E( yx, x,, x ). Huomautus: Ehdollie odotusarvo E( yx, x,, x ) o iiteille x, x,, x vaio, u taas euste yx ˆ, x,, x o satuaismuuttua. Eustamie yleisellä lieaarisella mallilla y: odotusarvo eustamie: Otosaauma Oletetaa, että stadardioletuset (i)-(vi) pätevät. Tällöi eustee yx ˆ, x,, x = b0 + bx + bx + + bx otosaauma o ormaaliaauma: yx ˆ, x,, x ~N β0 + βx + βx + + βx, σ z ( XX ) z ossa z = (, x, x,, x ) o ( + )-vetori. ( ) TKK (c) Ila Melli (004) 6 Eustamie yleisellä lieaarisella mallilla y: odotusarvo eustamie: Luottamusväli Odotusarvo E( yx ˆ, x,, x ) = β0 + βx + βx + + βx luottamusväli luottamustasolla ( α) o b0 + bx + bx + + bx ± tα / s z ( XX ) z ossa t α/ a +t α/ ovat luottamustasoo ( α) liittyvät luottamusertoimet Studeti t-aaumasta, oa vapausasteide luu o ( ). Eustamie yleisellä lieaarisella mallilla y: arvo eustamie Oletetaa, että selitettävä muuttua y saa arvo y = β0 + βx + βx + + βx + ε os selittäät x, x,, x saavat arvot x, x,, x. Miä o paras euste selitettävä muuttua y arvolle y, os selittävät muuttuat x, x,, x saavat arvot x, x,, x? Luottamusväli muodostaa selittäie x, x,, x arvoe x, x,, x futioa luottamusvyö estimoidu regressiotaso b 0 + b x + b x + + b x ympärille. TKK (c) Ila Melli (004) 7 TKK (c) Ila Melli (004) 8 Eustamie yleisellä lieaarisella mallilla y: arvo eustamie: Euste Valitaa selitettävä muuttua arvo y eusteesi (estimaattorisi) lausee yx ˆ, x,, x = b0 + bx + bx + + bx ossa b 0, b, b,, b ovat regressioertoimie β 0, β, β,, β PNS-estimaattorit. Voidaa osoittaa, että yx ˆ, x,, x o (eustevirhee esieliövirhee mielessä) paras lieaarie a harhato euste odotusarvolle E( yx, x,, x ). Huomautus: Seä selitettävä muuttua y arvo y että euste yˆ x, x,, x ovat satuaismuuttuia. Eustamie yleisellä lieaarisella mallilla y: arvo eustamie: Otosaauma Oletetaa, että stadardioletuset (i)-(vi) pätevät. Tällöi eustevirhee y yˆ x, x,, x otosaauma o ormaaliaauma: y yˆ x, x,, x ~ N( 0, σ + z ( XX ) z ) ossa z = (, x, x,, x ) o ( + )-vetori. TKK (c) Ila Melli (004) 9 TKK (c) Ila Melli (004) 0

21 TKK (c) Ila Melli (004) Eustamie yleisellä lieaarisella mallilla y: arvo eustamie: Luottamusväli Selitettävä muuttua y arvo y luottamusväli luottamustasolla ( α)o b0 + bx + bx + + bx ± tα /s + z ( XX ) z ossa t α/ a +t α/ ovat luottamustasoo ( α) liittyvät luottamusertoimet Studeti t-aaumasta, oa vapausasteide luu o ( ). Eustamie yleisellä lieaarisella mallilla y: arvo luottamusvyö vs y: odotusarvo luottamusvyö Selitettävä muuttua y arvo y luottamusvyö o leveämpi ui selitettävä muuttua y odotettavissa oleva arvo E( yx ) luottamusvyö. Tämä ohtuu siitä, että selitettävä muuttua yesimääräise arvo eustamie o helpompaa ui se ysittäise arvo eustamie. Luottamusväli muodostaa selittäie x, x,, x arvoe x, x,, x futioa luottamusvyö estimoidu regressiotaso b 0 + b x + b x + + b x ympärille. TKK (c) Ila Melli (004) Yleie lieaarie malli Yleie lieaarie malli a satuaiset selittäät Usea selittää lieaarie regressiomalli Yleise lieaarise malli matriisisesitys Yleise lieaarise malli estimoiti Variassiaalyysihaotelma a selitysaste Päättely yleisestä lieaarisesta mallista Eustamie yleisellä lieaarisella mallilla >> Yleie lieaarie malli a satuaiset selittäät TKK (c) Ila Melli (004) 3 Avaisaat Ehdollie odotusarvo Harhattomuus Lieaarie regressiomalli Lieaarisuus Modifioidut stadardioletuset Pieimmä eliösumma meetelmä Regressiofutio Regressiosuora Satuaisuus Selittää Selittävä muuttua Stadardioletuset Taretuvuus Yleie lieaarie malli TKK (c) Ila Melli (004) 4 Yleie lieaarie malli a satuaiset selittäät Yleie lieaarie malli a se osat Yleie lieaarie malli a satuaiset selittäät Stadardioletuset iiteille selittäille Yleisessä lieaarisessa mallissa o seuraavat osat: y = selitettävä muuttua y havaittue arvoe muodostama satuaie -vetori X = selittäie x, x,, x havaittue arvoe a yöste muodostama ( + )-matriisi β = regressioertoimie muodostama tutemato a iiteä eli ei-satuaie ( + )-vetori ε = ääöstermie muodostama ei-havaittu a satuaie -vetori Jos yleise lieaarise malli selittäät x, x,, x ovat iiteitä eli ei-satuaisia muuttuia, mallia osevat stadardioletuset voidaa esittää matriisei seuraavassa muodossa: (i) Matriisi X aliot ovat iiteitä eli ei-satuaisia vaioita (ii) Matriisi X o täysiasteie: r(x) = + (iii) E(ε) = 0 (iv)&(v) Cov(ε) = σ I (vi) ε N (0, σ I) TKK (c) Ila Melli (004) 5 TKK (c) Ila Melli (004) 6

22 TKK (c) Ila Melli (004) 7 Yleie lieaarie malli a satuaiset selittäät Selittäie satuaisuus / Yleie lieaarie malli a satuaiset selittäät Selittäie satuaisuus / Yleise lieaarise malli matriisi X satuaisuus saattaa aiheuttaa vaavia ogelmia malli estimoiille a mallia osevalle tilastolliselle päättelylle. Jos matriisi X o satuaie, PNS-meetelmä ei välttämättä tuota harhattomia tai edes taretuvia estimaattoreita regressioertoimille. Näi äy esimerisi silloi, u virhetermi a selittäät orreloivat. Jos regressioertoimie PNS-estimaattorit eivät ole harhattomia tai taretuvia, mallia osevaa tavaomaista tilastollista päättelyä ei saa soveltaa. Kysymys: Milloi edellä iiteille selittäille esitettyä teoriaa voidaa soveltaa satuaisille selittäille? Vastaus: Kiiteille selittäille esitettyä teoriaa voidaa soveltaa esimerisi silloi, u ääös- eli virhetermit ε toteuttavat iiteille selittäille esitetyt stadardioletuset ehdollisesti selittäie x, x,, x havaittue arvoe suhtee. Tässä appaleessa tarastelemme lieaarise regressiomalli määrittelemistä sellaisella tavalla, oa taaa se, että iiteille selittäille esitetty teoria pätee. TKK (c) Ila Melli (004) 8 Yleie lieaarie malli a satuaiset selittäät PNS-estimaattori harhattomuus /3 Yleie lieaarie malli a satuaiset selittäät PNS-estimaattori harhattomuus /3 Oloo b= ( XX ) Xy lieaarise malli regressioertoimie vetori β PNS-estimaattori. Estimaattori b lausee voidaa iroittaa muotoo b = β + ( XX ) Xε Jos matriisi X o iiteä, estimaattori b o harhato, osa stadardioletuse (iii) muaa E(ε) = 0, olloi E( b) = β + ( XX ) X E( ε) = β Jos matriisi X o satuaie, ei saa iroittaa E(( XX ) Xε ) = ( XX ) X E( ε) Se siaa PNS-estimaattori b ehdollisessa odotusarvossa matriisi X suhtee matriisia X voidaa pitää iiteää a site E( bx) = β + E(( XX ) Xε X) = β + ( XX ) X E( ε X) TKK (c) Ila Melli (004) 9 TKK (c) Ila Melli (004) 30 Yleie lieaarie malli a satuaiset selittäät PNS-estimaattori harhattomuus 3/3 Yleie lieaarie malli a satuaiset selittäät Ehto PNS-estimaattori harhattomuudelle PNS-estimaattori b o siis ehdollisesti harhato eli E( bx) = β os oletus E( ε X) = 0 pätee. Tällöi PNS-estimaattori b o myös ehdottomasti harhato, osa iteroidu odotusarvo lai muaa E( b) = E(E( b X)) = E( β) = β Edellä esitetystä ähdää, että ehdo E( ε X) = 0 voimassaolo rataisee se, oo PNS-estimaattori b harhato lieaarise malli regressioertoimie vetorille β. Voidaa osoittaa, että vastaava oraus muihi yleise lieaarise malli stadardioletusii (iii)-(vi) pelastaa iiteide selittäie tapausessa esitety teoria. Huomautus: Tilastotieteessä ohdataa myös tilateita, oissa edes seuraavassa esitettävät modifioidut ehdot eivät päde. TKK (c) Ila Melli (004) 3 TKK (c) Ila Melli (004) 3

23 TKK (c) Ila Melli (004) 33 Yleie lieaarie malli a satuaiset selittäät Stadardioletuset satuaisille selittäille Yleie lieaarie malli a satuaiset selittäät Kommettea modifioituihi stadardioletusii /3 Jos yleise lieaarise malli selittäät x, x,, x ovat satuaismuuttuia, mallia osevat stadardioletuset voidaa esittää matriisei seuraavassa muodossa: (i) Matriisi X aliot ovat (vaioselittää arvoa luuu ottamatta) satuaismuuttuia (ii) Matriisi X o täysiasteie: r(x) = + (iii) E(ε X) = 0 (iv) &(v) Cov(ε X) = σ I (vi) (ε X) N (0, σ I) Modifioidusta stadardioletusesta (iii) E(ε X) = 0 seuraa, että E( yx ) = Xβ Tämä meritsee sitä, että selitettävä muuttua y ehdollie odotusarvo eli regressiofutio selittäie havaittue arvoe suhtee o lieaarie. TKK (c) Ila Melli (004) 34 Yleie lieaarie malli a satuaiset selittäät Kommettea modifioituihi stadardioletusii /3 Yleie lieaarie malli a satuaiset selittäät Kommettea modifioituihi stadardioletusii 3/3 Modifioidusta stadardioletusesta (iii) E(ε X) = 0 seuraa, että E( z ε ) = 0 ossa z = (, x, x,, x) Site oletusesta (iii) seuraa, että selittäie arvot a ääös- eli virhetermit ovat orreloimattomia. Jos modifioidut stadardioletuset (i) -(vi) pätevät, tavaomaie ei-satuaisille selittäille esitetty estimoiti- a päättelyteiia pätee. TKK (c) Ila Melli (004) 35 TKK (c) Ila Melli (004) 36 Yleie lieaarie malli a satuaiset selittäät Selittäie satuaisuus: Kommettea Myös edellä esitetyt modifioidut ehdot ääöseli virhetermeille ovat melo raoittavia a etei aiasaroe regressiomallie soveltamise yhteydessä ohdataa tilateita, oissa eivät edes ämä modifioidut ehdot päde. Tällaisissa tilateissa PNS-meetelmää ei saa äyttää malli parametrie estimoitii. Tilastotiede tutee uitei meetelmiä, oilla regressiomalli parametrit voidaa estimoida (aiai) taretuvasti myös moissa iissä tilateissa, oissa edellä esitetyt modifioidut ehdot ääöstermeille eivät päde. TKK (c) Ila Melli (004) 37