TKK (c) Ilkka Melli (4) Yhde selittää lieaarie regressiomalli Johdatus tilastotieteesee Yhde selittää lieaarie regressiomalli Yhde selittää lieaarie regressiomalli a sitä koskevat oletukset Yhde selittää lieaarise regressiomalli estimoiti Variassiaalsihaotelma a selitsaste Päättel hde selittää lieaarisesta regressiomallista Eustamie hde selittää lieaarisella regressiomallilla Yhde selittää lieaarise regressiomalli a satuaie selittää -ulotteise ormaaliakauma regressiofuktioide estimoiti TKK (c) Ilkka Melli (4) Yhde selittää lieaarie regressiomalli: Mitä opimme? /3 Yhde selittää lieaarie regressiomalli prkii selittämää selitettävä muuttua havaittue arvoe vaihtelu hde selittävä muuttua havaittue arvoe vaihtelu avulla. Tässä luvussa tarkastellaa seuraavia hde selittävä muuttua lieaarise regressiomalli soveltamisee liittviä ksmksiä: Mite malli formuloidaa? Mitkä ovat malli osat a mitkä ovat osie tulkiat? Mitkä ovat mallia koskevat oletukset? Mite malli parametrit estimoidaa? Mite malli parametrea koskevia hpoteesea testataa? Mite malli hvttä mitataa? Mite mallilla eustetaa? Yhde selittää lieaarie regressiomalli: Mitä opimme? /3 Regressiomallie parametrie estimoitii kätetää tavallisesti pieimmä eliösumma meetelmää. Estimoidu regressiomalli hvttä mitataa selitsasteella. Selitsastee määritelmä perustuu s. variassiaalsihaotelmaa. Variassiaalsihaotelmassa selitettävä muuttua havaittue arvoe vaihtelua kuvaava eliösumma o aettu kahdeksi eliösummaksi, oista toie kuvaa malli a havaitoe hteesopivuutta a toie malli a havaitoe hteesopimattomuutta. TKK (c) Ilkka Melli (4) 3 TKK (c) Ilkka Melli (4) 4 Yhde selittää lieaarie regressiomalli: Mitä opimme? 3/3 Lieaarise regressiomalli perusoletuksii kuuluu se, että selittävie muuttuie arvot ovat ei-satuaisia. Selittävä muuttua arvoe satuaisuus ei kuitekaa vaikuta malli estimoiissa a testauksessa kätettävii meetelmii seuraavissa tilateissa: Tavaomaiset mallista tehdt oletukset pätevät (sopivasti modifioituia), ku siirrtää tarkastelemaa selittävä muuttua ehdollista odotusarvoa selittäie suhtee. Selitettävä muuttua a selittäät oudattavat hdessä multiormaaliakaumaa. Yhde selittää lieaarie regressiomalli: Esitiedot Esitiedot: ks. seuraavia lukua: Tilastollie riippuvuus a korrelaatio Johdatus regressioaalsii Moiulotteiset satuaismuuttuat a todeäköissakaumat Moiulotteisia todeäköissakaumia TKK (c) Ilkka Melli (4) 5 TKK (c) Ilkka Melli (4) 6
TKK (c) Ilkka Melli (4) 7 Yhde selittää lieaarie regressiomalli: Lisätiedot Pitemmälle meeviä regressioaalsi ksmksiä käsitellää luetosara Tilastollise aalsi perusteet luvuissa Yleie lieaarie malli Regressiodiagostiikka Regressiomalli valita Regressioaalsi eritisksmksiä Yhde selittää lieaarie regressiomalli >> Yhde selittää lieaarie regressiomalli a sitä koskevat oletukset Yhde selittää lieaarise regressiomalli estimoiti Variassiaalsihaotelma a selitsaste Päättel hde selittää lieaarisesta regressiomallista Eustamie hde selittää lieaarisella regressiomallilla Yhde selittää lieaarise regressiomalli a satuaie selittää -ulotteise ormaaliakauma regressiofuktioide estimoiti TKK (c) Ilkka Melli (4) 8 Yhde selittää lieaarie regressiomalli a sitä koskevat oletukset Yhde selittää lieaarie regressiomalli a sitä koskevat oletukset Selitettävä muuttua a selittävä muuttua Avaisaat Ei-satuaisuus Havaito Heteroskedastisuus Homoskedastisuus Homoskedastisuusoletus Jääöstermi Jääösvariassi Lieaarie regressiomalli Korreloitumattomuusoletus Korreloitueisuus Kulmakerroi Lieaarisuus Normaalisuusoletus Odotusarvo Regressiokerroi Regressiosuora Satuaie osa Satuaisuus Selitettävä muuttua Selittää Selittävä muuttua Stadardioletukset Sstemaattie osa Vaihtelu Vakioselittää Virhetermi Oletetaa, että selitettävä muuttua havaittue arvoe vaihtelu halutaa selittää selittävä muuttua eli selittää havaittue arvoe vaihtelu avulla. Tehdää seuraavat oletukset: (i) Selitettävä muuttua o suhdeasteikollie satuaismuuttua. (ii) Selittävä muuttua o kiiteä eli ei-satuaie muuttua. TKK (c) Ilkka Melli (4) 9 TKK (c) Ilkka Melli (4) Yhde selittää lieaarie regressiomalli a sitä koskevat oletukset Selitettävä muuttua a selittävä muuttua: Kommetti Satuaise selittää tapausta käsitellää tämä luvu lopussa kappaleissa Yhde selittää lieaarise regressiomalli a satuaie selittää a -ulotteise ormaaliakauma regressiofuktioide estimoiti. Yhde selittää lieaarie regressiomalli a sitä koskevat oletukset Havaiot Olkoot,,, selitettävä muuttua a,,, selittävä muuttua havaittua arvoa. Oletetaa lisäksi, että havaitoarvot a liittvät samaa havaitoksikköö kaikille =,,,. Tällöi havaitoarvot a muodostavat pisteitä - ulotteisessa avaruudessa: (, ), =,,, TKK (c) Ilkka Melli (4) TKK (c) Ilkka Melli (4)
TKK (c) Ilkka Melli (4) 3 Yhde selittää lieaarie regressiomalli a sitä koskevat oletukset Malli a se osat / Yhde selittää lieaarie regressiomalli a sitä koskevat oletukset Malli a se osat / Oletetaa, että havaitoarvoe a välillä o lieaarie tilastollie riippuvuus, oka voidaa ilmaista htälöllä = β + β + ε, =,,, Yhtälö määrittelee hde selittää lieaarise regressiomalli, ossa = selitettävä muuttua satuaie a havaittu arvo havaitoksikössä = selittävä muuttua eli selittää eisatuaie a havaittu arvo havaitoksikössä ε = ääös- eli virhetermi ε satuaie a ei-havaittu arvo havaitoksikössä Yhde selittää lieaarisessa regressiomallissa = β + β + ε, =,,, o seuraavat regressiokertoimet: β = vakioselittää regressiokerroi; β o ei-satuaie a tutemato vakio β = selittää regressiokerroi; β o ei-satuaie a tutemato vakio Huomautus: Regressiokertoimet β a β o oletettu samoiksi kaikille havaitoksiköille. TKK (c) Ilkka Melli (4) 4 Yhde selittää lieaarie regressiomalli a sitä koskevat oletukset Vakioselittää Yhde selittää lieaarie regressiomalli a sitä koskevat oletukset Stadardioletukset ääöstermeistä / Yhde selittää lieaarisessa regressiomallissa = β + β + ε, =,,, kerroita β kutsutaa vakioselittää regressiokertoimeksi. Nimits ohtuu siitä, että kerroita β vastaa keiotekoie selittää, oka saa kaikille havaitoksiköille =,,, vakioarvo. Huomautus: Jatkossa esitettävät kaavat eivät välttämättä päde tässä esitettävässä muodossa, os mallissa ei ole vakioselittäää. Oletamme atkossa, että mallissa o aia vakioselittää. Tehdää hde selittää lieaarise regressiomalli = β + β + ε, =,,, ääös-elivirhetermeistä ε s. stadardioletukset: (i) E( ε ) =, =,,, (ii) Jääöstermeillä o vakiovariassi eli e ovat homoskedastisia: Var( ε ) = σ, =,,, (iii) Jääöstermit ovat korreloimattomia: Cor( ε, ε l) =, l TKK (c) Ilkka Melli (4) 5 TKK (c) Ilkka Melli (4) 6 Yhde selittää lieaarie regressiomalli a sitä koskevat oletukset Stadardioletukset ääöstermeistä / Yhde selittää lieaarie regressiomalli a sitä koskevat oletukset Selitettävä muuttua omiaisuudet Lisäksi ääös- eli virhetermeistä ε tehdää tavallisesti ormaalisuusoletus: (iv) ε N(, σ ), =,,, Jos hde selittää lieaarise regressiomalli = β + β + ε, =,,, ääös- eli virhetermeä ε koskevat stadardioletukset (i)-(iii) pätevät, malli selitettävä muuttua havaituilla arvoilla o seuraavat stokastiset omiaisuudet: (i) E( ) = β + β, =,,, (ii) Var( ) = σ, =,,, (iii) Cor(, l) =, l Jos lisäksi ääös- eli virhetermeä ε koskeva ormaalisuusoletus (iv) pätee, ii (iv) N( β + β, σ ), =,,, TKK (c) Ilkka Melli (4) 7 TKK (c) Ilkka Melli (4) 8
TKK (c) Ilkka Melli (4) 9 Yhde selittää lieaarie regressiomalli a sitä koskevat oletukset Malli parametrit Yhde selittää lieaarie regressiomalli a sitä koskevat oletukset Malli sstemaattie a satuaie osa / Yhde selittää lieaarise regressiomalli = β + β + ε, =,,, parametrea ovat malli regressiokertoimet β a β sekä ääös- eli virhetermie ε hteie variassi Var( ε ) = σ, =,,, ota kutsutaa ääösvariassiksi. Koska regressiokertoimet β a β sekä ääösvariassi σ ovat tavallisesti tutemattomia, e o estimoitava muuttuie a havaituista arvoista a, =,,,. Oletetaa, että hde selittää lieaarise regressiomalli = β + β + ε, =,,, ääös- eli virhetermeä ε koskeva stadardioletus (i) E( ε ) =, =,,, pätee. Tällöi selitettävä muuttua havaitut arvot voidaa esittää seuraavalla tavalla kahde osatekiä summaa: = E( ) + ε, =,,, ossa E( ) = β + β, =,,, TKK (c) Ilkka Melli (4) Yhde selittää lieaarie regressiomalli a sitä koskevat oletukset Malli sstemaattie a satuaie osa / Yhde selittää lieaarie regressiomalli a sitä koskevat oletukset Regressiosuora Odotusarvo E( ) = β + β, =,,, muodostaa hde selittää lieaarise regressiomalli sstemaattise osa, oka riippuu selittäälle aetuista arvoista. Jääös- eli virhetermi ε, =,,, muodostaa malli satuaise osa, oka ei riipu selittäälle aetuista arvoista. Yhde selittää lieaarise regressiomalli = β + β + ε, =,,, sstemaattie osa E( ) = β + β määrittelee suora = β + β avaruudessa. Suoraa kutsutaa regressiosuoraksi a se htälössä β = regressiosuora a -akseli leikkauspiste β = regressiosuora kulmakerroi Jääös- eli virhetermie ε variassi σ kuvaa havaitopisteide (, ), =,,, vaihtelua regressiosuora mpärillä. TKK (c) Ilkka Melli (4) TKK (c) Ilkka Melli (4) Yhde selittää lieaarie regressiomalli a sitä koskevat oletukset Regressiosuora kulmakertoime tulkita Yhde selittää lieaarie regressiomalli Yhde selittää lieaarise regressiomalli määrittelemä regressiosuora = β + β kulmakertoimella β o seuraava tulkita: Oletetaa, että selittää arvo kasvaa hdellä ksiköllä: + Tällöi kerroi β kertoo paloko selitettävä muuttua arvo muuttuu: β + β ( + ) = β + β + β = + β Yhde selittää lieaarie regressiomalli a sitä koskevat oletukset >> Yhde selittää lieaarise regressiomalli estimoiti Variassiaalsihaotelma a selitsaste Päättel hde selittää lieaarisesta regressiomallista Eustamie hde selittää lieaarisella regressiomallilla Yhde selittää lieaarise regressiomalli a satuaie selittää -ulotteise ormaaliakauma regressiofuktioide estimoiti TKK (c) Ilkka Melli (4) 3 TKK (c) Ilkka Melli (4) 4
TKK (c) Ilkka Melli (4) 5 Yhde selittää lieaarise regressiomalli estimoiti Yhde selittää lieaarise regressiomalli estimoiti Estimoitiogelma Avaisaat Aritmeettie keskiarvo Estimaattori Estimoiti Harhattomuus Jääöstermie eliösumma Jääösvariassi Keskihaota Kulmakerroi Lieaarie regressiomalli Miimoiti Otoskorrelaatiokerroi Otoskovariassi Otostuusluvut Otosvariassi Paiopiste Pieimmä eliösumma estimaattori Pieimmä eliösumma meetelmä Regressiosuora Residuaali Sovite Stadardioletukset Vakioselittää Yhde selittää lieaarise regressiomalli = β + β + ε, =,,, regressiokertoimet β a β ovat tavallisesti tutemattomia, ote e o estimoiva muuttuie a havaituista arvoista a, =,,,. Estimoiissa regressiokertoimille β a β pritää lötämää sellaiset arvot, että iide määräämä regressiosuora selittäisi mahdollisimma hvi selitettävä muuttua arvoe vaihtelu. Regressiokertoimie β a β estimoitii o tarolla useita erilaisia meetelmiä, oista tavallisesti kätetää pieimmä eliösumma meetelmää. TKK (c) Ilkka Melli (4) 6 Yhde selittää lieaarise regressiomalli estimoiti Pieimmä eliösumma meetelmä Yhde selittää lieaarise regressiomalli estimoiti Otostuusluvut Pieimmä eliösumma meetelmässä hde selittää lieaarise regressiomalli = β + β + ε, =,,, regressiokertoimie β a β estimaattorit määrätää miimoimalla ääös-elivirhetermie ε eliösumma εi = ( β β) = = regressiokertoimie β a β suhtee. TKK (c) Ilkka Melli (4) 7 Määritellää havaitoe a, =,,, aritmeettiset keskiarvot, otosvariassit, otoskovariassi a otoskorrelaatiokerroi tavaomaisilla kaavoillaa: = = = = = ( ) = ( i ) = = = ( )( ) = s s s s r = ss TKK (c) Ilkka Melli (4) 8 Yhde selittää lieaarise regressiomalli estimoiti Regressiokertoimie PNS-estimaattorit Yhde selittää lieaarise regressiomalli estimoiti PNS-estimaattoreide ohto /4 Yhde selittää lieaarise regressiomalli = β + β + ε, =,,, regressiokertoimie β a β pieimmä eliösumma (PNS-) estimaattorit ovat b = b s s b = = r s s Yhde selittää lieaarise regressiomalli = β + β + ε =,,,, regressiokertoimet β a β estimoidaa PNS-meetelmällä miimoimalla ääöstermie ε eliösumma = = = = S( β, β ) ε ( β β ) kertoimie β a β suhtee Tämä tapahtuu tavaomaisee tapaa derivoimalla fuktio S(β, β ) kertoimie β a β suhtee a merkitsemällä derivaatat olliksi. TKK (c) Ilkka Melli (4) 9 TKK (c) Ilkka Melli (4) 3
TKK (c) Ilkka Melli (4) 3 Yhde selittää lieaarise regressiomalli estimoiti PNS-estimaattoreide ohto /4 Yhde selittää lieaarise regressiomalli estimoiti PNS-estimaattoreide ohto 3/4 Derivoidaa fuktio = = = = S( β, β ) ε ( β β ) regressiokertoimie β a β suhtee a merkitää derivaatat olliksi: S( β, β) () = ( β β) = β = S( β, β) () = ( β β) = β = Regressiokertoimie β a β PNS-estimaattorit saadaa ormaalihtälöide () a () ratkaisuia. Kiroitetaa ormaalihtälöt () a () muotoo () β β = = = () β β = = = = Ratkaistaa β htälöstä () : (3) β = β = β = = a sioitetaa ratkaisu htälöö () : β β = = (4) + = TKK (c) Ilkka Melli (4) 3 Yhde selittää lieaarise regressiomalli estimoiti PNS-estimaattoreide ohto 4/4 Yhde selittää lieaarise regressiomalli estimoiti Regressiokertoimie laskemie /3 Parametri β PNS-estimaattoriksi saadaa htälöstä (4): (5) b = = = = r s s = s Sioittamalla b htälöö (3) saadaa parametri β PNSestimaattoriksi (6) b = b Sivuutetaa se osoittamie, että saatu ääriarvo o todellaki miimi. s Oletetaa, että haluamme laskea hde selittää lieaarise regressiomalli = β + β + ε, =,,, regressiokertoimie β a β PNS-estimaatit käsi tai kättämällä laskita. Tällöi tarvittavat laskutoimitukset o mukavita ärestää seuraavalla kalvolla esitettävä kaavio muotoo. Huomautus: Samasta kaaviosta voidaa laskea mös muuttuie a havaittue arvoe aritmeettiset keskiarvot, otosvariassit, otoskeskihaoat, otoskovariassi a otoskorrelaatio; ks. lukua Tilastollie riippuvuus a korrelaatio. TKK (c) Ilkka Melli (4) 33 TKK (c) Ilkka Melli (4) 34 Yhde selittää lieaarise regressiomalli estimoiti Regressiokertoimie laskemie /3 Yhde selittää lieaarise regressiomalli estimoiti Regressiokertoimie laskemie 3/3 Määrätää esi havaitoarvoe summat, eliösummat a tulosumma: i Summa i i i i i i i i i i ii i= i= i= i= i= Regressiokertoimie β a β PNS-estimaatit saadaa havaitoarvoe summista, eliösummista a tulosummasta alla esitetillä kaavoilla: = i = i i= i= i i i i i = i= i= b = i i i= i= b = b TKK (c) Ilkka Melli (4) 35 TKK (c) Ilkka Melli (4) 36
TKK (c) Ilkka Melli (4) 37 Yhde selittää lieaarise regressiomalli estimoiti Tuuslukue laskemie: Havaiollistava esimerkki /3 Yhde selittää lieaarise regressiomalli estimoiti Tuuslukue laskemie: Havaiollistava esimerkki /3 Taulukossa oikealla o keiotekoise kahde muuttua aieisto havaitoarvot ( = 6). Aieistoa kuvaava pistediagrammi o oikealla alhaalla. i.5 3 3 3 4 6 4 6 5 5 7 7.5 6 8 8 8 6 4 Pistediagrammi Alla olevassa taulukossa o laskettu muuttuie a havaittue arvoe summat, eliösummat a tulosumma. i.5 6.5.5 3 3 9 9 9 3 4 6 6 36 4 4 6 5 36 5 3 5 7 7.5 49 56.5 5.5 6 8 8 64 64 64 Summa 9 3 75 96.5 8 Yhde selittää lieaarise regressiomalli = β + β + ε =,,,, regressiokertoimie β a β PNS-estimaatit voidaa laskea äistä viidestä summasta; ks. seuraavaa kalvoa. 4 6 8 TKK (c) Ilkka Melli (4) 38 Yhde selittää lieaarise regressiomalli estimoiti Tuuslukue laskemie: Havaiollistava esimerkki 3/3 Regressiokertoimie β a β PNS-estimaatit: = i = 9 = 4.833 i= 6 = i = 3 = 5.333 i= 6 i i i i 8 9 3 i = i= i= b 6 = = =.785 75 9 i i 6 i= i= b = b = 5.333.7847 4.833 =.54 Yhde selittää lieaarise regressiomalli estimoiti Estimoitu regressiosuora /3 Yhde selittää lieaarie regressiomalli = β + β + ε, =,,, regressiokertoimie β a β PNS-estimaattorit b a b määrittelevät suora avaruudessa : = b + b ossa b = estimoidu regressiosuora a -akseli leikkauspiste b = estimoidu regressiosuora kulmakerroi TKK (c) Ilkka Melli (4) 39 TKK (c) Ilkka Melli (4) 4 Yhde selittää lieaarise regressiomalli estimoiti Estimoitu regressiosuora /3 Yhde selittää lieaarise regressiomalli estimoiti Estimoitu regressiosuora 3/3 Sioitetaa regressiokertoimie β a β PNSestimaattoreide lausekkeet s b = b b = r s estimoidu regressiosuora lausekkeesee. Tällöi estimoidu regressiosuora htälö voidaa kiroittaa seuraavaa muotoo: s = + r ( ) s Yhtälöstä ähdää, että estimoitu regressiosuora kulkee havaitopisteide (, ), =,,, paiopistee (, ) kautta. Estimoidulla regressiosuoralla s = + r ( ) s o seuraavat omiaisuudet: (i) Jos r >, suora o ouseva. (ii) Jos r <, suora o laskeva. (iii) Jos r =, suora o vaakasuorassa. (iv) Suora rkkeee (loiveee), os korrelaatio itseisarvo r kasvaa (pieeee) keskihaota s kasvaa (pieeee) keskihaota pieeee (kasvaa) s TKK (c) Ilkka Melli (4) 4 TKK (c) Ilkka Melli (4) 4
TKK (c) Ilkka Melli (4) 43 Yhde selittää lieaarise regressiomalli estimoiti Estimoitu regressiosuora: Havaiollistava esimerkki / Yhde selittää lieaarise regressiomalli estimoiti Estimoitu regressiosuora: Havaiollistava esimerkki / Taulukossa oikealla o keiotekoise kahde muuttua aieisto havaitoarvot ( = 6). Aieistoa kuvaava pistediagrammi o oikealla alhaalla. i.5 3 3 3 4 6 4 6 5 5 7 7.5 6 8 8 8 6 4 Pistediagrammi Yhde selittää lieaarise regressiomalli = β + β + ε =,,, regressiokertoimie β a β PNS-estimaateiksi saatii edellä b =.547 b =.7847 Estimoidu regressiosuora htälö o site =.547 +.7847 ks. kuviota oikealla. Pistediagrammi 9 =.7847 +.547 8 R =.833 7 6 5 4 3 3 4 5 6 7 8 9 4 6 8 TKK (c) Ilkka Melli (4) 44 Yhde selittää lieaarise regressiomalli estimoiti Regressiosuora estimoiti:. esimerkki / Yhde selittää lieaarise regressiomalli estimoiti Regressiosuora estimoiti:. esimerkki / Hooke lai mukaa (ideaalise) kierreouse pituus riippuu lieaarisesti ousee ripustetusta paiosta : = α + β ossa α = ouse pituus ilma paioa β = s. ousivakio Jousivakio määräämiseksi ousee ripustettii seuraavat paiot:,, 4, 6, 8, kg a ouse pituus mitattii. Mittaustulokset o aettu taulukossa oikealla. Paio (kg) Pituus (cm) 43. 43.6 4 44.5 6 44.55 8 45. 45.5 Estimoidu regressiosuora htälö o = 43.55 +.457 ks. kuviota oikealla. Suora kulmakertoime b =.457 tulkita: Jousee ripustetu paio lisäämie kg:lla pidetää ousta keskimääri.457 cm:llä. Jouse pituus (cm) Kierreouse pituude riippuvuus ousee ripustetusta paiosta 46. =.457 + 43.55 45.5 R =.9983 45. 44.5 44. 43.5 43. 4.5-4 6 8 Paio (kg) TKK (c) Ilkka Melli (4) 45 TKK (c) Ilkka Melli (4) 46 Yhde selittää lieaarise regressiomalli estimoiti Regressiosuora estimoiti:. esimerkki / Yhde selittää lieaarise regressiomalli estimoiti Regressiosuora estimoiti:. esimerkki / Periöllisstietee mukaa lapset perivät geeettiset omiaisuutesa vahemmiltaa. Peritkö isä pituus heidä poillee? Havaitoaieisto koostuu 3: isä a heidä poikiesa pituuksie muodostamasta lukuparista (, ), =,,, 3 ossa = isä pituus = isä poa pituus Ks. pistediagrammia oikealla. Poa pituus (cm) Isie a poikie pituudet 95 9 85 8 75 7 65 6 55 6 65 7 75 8 85 9 Isä pituus (cm) Estimoidu regressiosuora htälö o = 97.39+.477 ks. kuviota oikealla. Suora kulmakertoime b =.477 tulkita: Jos isä A o cm pitempi kui isä B, isä A: poika o keskimääri.477 cm pitempi kui isä B: poika. Poa pituus (cm) Isie a poikie pituudet 95 =.477 + 97.39 R =.938 9 85 8 75 7 65 6 55 6 65 7 75 8 85 9 Isä pituus (cm) TKK (c) Ilkka Melli (4) 47 TKK (c) Ilkka Melli (4) 48
TKK (c) Ilkka Melli (4) 49 Yhde selittää lieaarise regressiomalli estimoiti Regressiosuora estimoiti: 3. esimerkki / Yhde selittää lieaarise regressiomalli estimoiti Regressiosuora estimoiti: 3. esimerkki / Oko keuhkosöpä leisempää sellaisissa maissa, oissa tupakoidaa palo? Oikealla o tiedot savukkeide kulutuksesta a keuhkosövä leisdestä :ssä maassa. Havaitoaieisto koostuu :stä lukuparista (, ), =,,, ossa = savukkeide kulutus maassa 93 = sairastuvuus keuhkosöpää maassa 95 Maa Savukkeide kulutus (kpl) per capita 93 Keuhkosöpätapauste lkm per mil. hekilöä 95 Islati 58 Nora 5 9 Ruotsi 3 5 Kaada 5 5 Taska 38 65 Itävalta 455 7 Hollati 46 45 Sveitsi 53 5 Suomi 5 35 Eglati 45 465 Estimoidu regressiosuora htälö o = 3.553 +.3577 Suora kulmakertoime b =.3577 tulkita: Jos maassa A poltettii vuoa 93 sata savuketta eemmä per capita kui maassa B, maassa A oli vuoa 95 keskimääri.3577 36 keuhkosöpätapausta eemmä per mil. asukasta kui maassa B. Keuhkosöpätapaukset per mil. hekilöä 95 Savukkeide kulutus a sairastuvuus keuhkosöpää 5 =.3577 + 3.553 R =.8855 4 3 4 6 8 4 Savukkeide kulutus (kpl) per capita 93 TKK (c) Ilkka Melli (4) 5 Yhde selittää lieaarise regressiomalli estimoiti Sovitteet a residuaalit Olkoot b a b hde selittää lieaarise regressiomalli = β + β + ε, =,,, regressiokertoimie β a β PNS-estimaattorit. Määritellää estimoidu malli sovitteet kaavalla ˆ = b + b, =,,, Määritellää estimoidu malli residuaalit kaavalla e = ˆ = b b, =,,, Huomaa, että = ˆ + e, =,,, Yhde selittää lieaarise regressiomalli estimoiti Sovitteet a residuaalit: Tulkiat / Sovite ˆ = b + b, =,,, o estimoidu regressiosuora htälö selitettävälle muuttualle atama arvo havaitopisteessä. Residuaali e = ˆ = b b, =,,, o selitettävä muuttua havaitu arvo a sovittee ˆ eli estimoidu regressiosuora htälö selitettävälle muuttualle havaitopisteessä atama arvo erotus. TKK (c) Ilkka Melli (4) 5 TKK (c) Ilkka Melli (4) 5 Yhde selittää lieaarise regressiomalli estimoiti Sovitteet a residuaalit: Tulkiat / Yhde selittää lieaarise regressiomalli estimoiti Sovitteet a residuaalit: Havaiollistus Estimoitu regressiomalli selittää selitettävä muuttua havaittue arvoe vaihtelu sitä paremmi mitä lähempää estimoidu malli sovitteet ˆ ovat selitettävä muuttua havaittua arvoa. Yhtäpitävästi edellise kassa: Estimoitu regressiomalli selittää selitettävä muuttua havaittue arvoe vaihtelu sitä paremmi mitä pieempiä ovat estimoidu malli residuaalit e. Kuvio oikealla havaiollistaa sovitteide a residuaalie geometrista tulkitaa. Malli: = β + β + ε =,,,, PNS-suora: = b + b Sovite: ˆ = b + b, =,,, Residuaali: e = ˆ, =,,, e ˆ (, ) = b + b (, ˆ ) TKK (c) Ilkka Melli (4) 53 TKK (c) Ilkka Melli (4) 54
TKK (c) Ilkka Melli (4) 55 Yhde selittää lieaarise regressiomalli estimoiti Sovitteet a residuaalit: Havaiollistava esimerkki /3 Yhde selittää lieaarise regressiomalli estimoiti Sovitteet a residuaalit: Havaiollistava esimerkki /3 Taulukossa oikealla o keiotekoise kahde muuttua aieisto havaitoarvot ( = 6). Estimoidu regressiosuora htälöksi saatii edellä =.547 +.7847 ks. kuviota oikealla. i.5 3 3 3 4 6 4 6 5 5 7 7.5 6 8 8 8 6 4 Pistediagrammi =.7847 +.547 R =.833 4 6 8 Alla olevassa taulukossa o laskettu estimoidu malli =.547 +.7847 sovitteet ŷ a residuaalit e: i Sovite Residuaali.5.35.75 3 3 3.895 -.895 3 4 6 4.679.3 4 6 5 6.49 -.49 5 7 7.5 7.33.467 6 8 8 7.88.8 Summa 9 3 3.. Esimerkiksi, ku i = 3, ii ˆ 3 =.547 +.78473 =.547 +.7847 4 = 4.679 e = ˆ = 6 4.679 =.3 3 3 3 TKK (c) Ilkka Melli (4) 56 Yhde selittää lieaarise regressiomalli estimoiti Sovitteet a residuaalit: Havaiollistava esimerkki 3/3 Yhde selittää lieaarise regressiomalli estimoiti Jääösvariassi estimoiti / Kuvioo oikealla o lisätt estimoidu regressiomalli residuaalea vastaavat aat. Huomautus: Pieimmä eliösumma meetelmässä regressiosuora kertoimet tulevat valituiksi site, että malli residuaalea vastaavie aoe pituuksie eliöide summa o piei mahdollie. Pistediagrammi 9 =.7847 +.547 8 R =.833 7 6 5 4 3 3 4 5 6 7 8 9 Jos hde selittää lieaarise regressiomalli ääöseli virhetermeä ε koskevat stadardioletukset (i)-(iii) pätevät, ääösvariassi Var(ε ) = σ harhato estimaattori o s = e = ossa e = ˆ = b b, =,,, = estimoidu malli residuaali = havaitoe lukumäärä TKK (c) Ilkka Melli (4) 57 TKK (c) Ilkka Melli (4) 58 Yhde selittää lieaarise regressiomalli estimoiti Jääösvariassi estimoiti / Jääösvariassi σ estimaattori s = e = kuvaa havaitopisteide (, ), =,,, vaihtelua estimoidu regressiosuora mpärillä. Yhde selittää lieaarise regressiomalli estimoiti Jääösvariassi estimoiti: Kommetti Estimaattori s o residuaalie e variassi. Tämä seuraa siitä, että mallissa o vakioselittää, olloi e = i i= a site mös e = e = i i = olloi s e e e ( ) = = = = TKK (c) Ilkka Melli (4) 59 TKK (c) Ilkka Melli (4) 6
TKK (c) Ilkka Melli (4) 6 Yhde selittää lieaarise regressiomalli estimoiti Jääösvariassi estimoiti: Havaiollistava esimerkki / Yhde selittää lieaarise regressiomalli estimoiti Jääösvariassi estimoiti: Havaiollistava esimerkki / Taulukossa alla o keiotekoise kahde muuttua aieisto havaitoarvot ( = 6): i.5 3 3 3 4 6 4 6 5 5 7 7.5 6 8 8 Aieistoa kuvaava pistediagrammi o oikealla. Kuvioo o merkitt mös aieistosta estimoidu regressiosuora htälö. Pistediagrammi 9 =.7847 +.547 8 R =.833 7 6 5 4 3 3 4 5 6 7 8 9 Alla olevassa taulukossa o laskettu estimoidu malli sovitteet ŷ, residuaalit e (sovitteide a residuaalie laskemista o käsitelt edellä) a residuaalie eliöt e. i Sovite Residuaali Res.5.35.75.3 3 3 3.895 -.895.8 3 4 6 4.679.3.744 4 6 5 6.49 -.49.56 5 7 7.5 7.33.467.8 6 8 8 7.88.8.33 Summa 9 3 3.. 4.385 Jääösvariassi σ harhato estimaattori o s e 4.385.96 = 6 = TKK (c) Ilkka Melli (4) 6 Yhde selittää lieaarie regressiomalli Variassiaalsihaotelma a selitsaste Yhde selittää lieaarie regressiomalli a sitä koskevat oletukset Yhde selittää lieaarise regressiomalli estimoiti >> Variassiaalsihaotelma a selitsaste Päättel hde selittää lieaarisesta regressiomallista Eustamie hde selittää lieaarisella regressiomallilla Yhde selittää lieaarise regressiomalli a satuaie selittää -ulotteise ormaaliakauma regressiofuktioide estimoiti Avaisaat Jääöseliösumma Jääösvaihtelu Kokoaiseliösumma Kokoaisvaihtelu Korrelaatio Lieaarie regressiomalli Mallieliösumma Pieimmä eliösumma estimaattori Residuaali Selitsaste Sovite Stadardioletukset Variassiaalsihaotelma TKK (c) Ilkka Melli (4) 63 TKK (c) Ilkka Melli (4) 64 Variassiaalsihaotelma a selitsaste Variassiaalsihaotelma idea Variassiaalsihaotelma a selitsaste Malli a se osat / Yhde selittää regressiomalli tehtävää o selittää selitettävä muuttua havaittue arvoe vaihtelu selittävä muuttua havaittue arvoe vaihtelulla. Oistumista tässä tehtävässä voidaa kuvata s. variassiaalsihaotelma avulla. Haotelmassa selitettävä muuttua havaittue arvoe kokoaisvaihtelua kuvaava s. kokoaiseliösumma aetaa kahde osatekiä summaksi: (i) Toie osatekiä kuvaa estimoidu malli selittämää osaa kokoaisvaihtelusta. (ii) Toie osatekiä kuvaa mallilla selittämättä äättä osaa kokoaisvaihtelusta. TKK (c) Ilkka Melli (4) 65 Oletetaa, että havaitoarvoe a välillä o lieaarie tilastollie riippuvuus, oka voidaa ilmaista htälöllä = β + β + ε, =,,, Yhtälö määrittelee hde selittää lieaarise regressiomalli, ossa = selitettävä muuttua satuaie a havaittu arvo havaitoksikössä = selittävä muuttua eli selittää eisatuaie a havaittu arvo havaitoksikössä ε = ääös- eli virhetermi ε satuaie a ei-havaittu arvo havaitoksikössä TKK (c) Ilkka Melli (4) 66
TKK (c) Ilkka Melli (4) 67 Variassiaalsihaotelma a selitsaste Malli a se osat / Variassiaalsihaotelma a selitsaste Oletukset Yhde selittää lieaarisessa regressiomallissa = β + β + ε, =,,, o seuraavat kertoimet: β = vakioselittää regressiokerroi; β o ei-satuaie a tutemato vakio β = selittää regressiokerroi; β o ei-satuaie a tutemato vakio Oletetaa, että hde selittää lieaarise regressiomalli = β + β + ε, =,,, ääös-elivirhetermiä ε koskevat stadardioletukset pätevät: (i) E(ε ) =, =,,, (ii) Jääöstermit ovat homoskedastisia: Var(ε ) = σ, =,,, (iii) Jääöstermit ovat korreloimattomia: Cor(ε, ε l ) =, l TKK (c) Ilkka Melli (4) 68 Variassiaalsihaotelma a selitsaste Otostuusluvut Variassiaalsihaotelma a selitsaste Regressiokertoimie PNS-estimaattorit Määritellää havaitoe a, =,,, aritmeettiset keskiarvot, otosvariassit, otoskovariassi a otoskorrelaatiokerroi tavaomaisilla kaavoillaa: = = = = = ( ) = ( i ) = = = ( )( ) = s s s s r = ss TKK (c) Ilkka Melli (4) 69 Yhde selittää lieaarise regressiomalli = β + β + ε, =,,, regressiokertoimie β a β pieimmä eliösumma (PNS-) estimaattorit ovat b = b s s b = = r s s TKK (c) Ilkka Melli (4) 7 Variassiaalsihaotelma a selitsaste Sovitteet a residuaalit Variassiaalsihaotelma a selitsaste Jääösvariassi estimoiti Olkoot b a b hde selittää lieaarise regressiomalli = β + β + ε, =,,, regressiokertoimie β a β PNS-estimaattorit. Määritellää estimoidu malli sovitteet kaavalla ˆ = b + b, =,,, Määritellää estimoidu malli residuaalit kaavalla e = ˆ = b b, =,,, Jos hde selittää lieaarise regressiomalli ääöseli virhetermeä ε koskevat stadardioletukset (i)-(iii) pätevät, ääösvariassi Var(ε ) = σ harhato estimaattori o s = e = ossa e = estimoidu malli residuaali = havaitoe lukumäärä TKK (c) Ilkka Melli (4) 7 TKK (c) Ilkka Melli (4) 7
TKK (c) Ilkka Melli (4) 73 Variassiaalsihaotelma a selitsaste Kokoaiseliösumma Variassiaalsihaotelma a selitsaste Jääöseliösumma Neliösumma SST = ( ) = kuvaa selitettävä muuttua havaittue arvoe vaihtelua a sitä kutsutaa kokoaiseliösummaksi. Selitettävä muuttua havaittue arvoe variassi voidaa määritellä kaavalla s = SST Neliösumma kuvaa residuaalie e vaihtelua a sitä kutsutaa ääöseliösummaksi. Koska mallissa o vakioselittää, olloi e =, residuaalie e variassi voidaa määritellä kaavalla s = SSE s o ääösvariassi σ harhato estimaattori. e = SSE = TKK (c) Ilkka Melli (4) 74 Variassiaalsihaotelma a selitsaste Kokoais- a ääöseliösumma htes /4 Variassiaalsihaotelma a selitsaste Kokoais- a ääöseliösumma htes /4 Voidaa osoittaa, että hde selittää lieaarisessa regressiomallissa ääöseliösumma SSE a kokoaiseliösumma SST toteuttavat htälöt ossa r = = SSE = e = ( r ) ( ) = ( r ) SST s = s s = selitettävä muuttua a selittää havaittue arvoe otoskorrelaatiokerroi Koska otoskorrelaatiokerroi r toteuttaa epähtälöt r + htälöistä = = SSE = e = ( r ) ( ) = ( r ) SST ähdää välittömästi, että SSE SST TKK (c) Ilkka Melli (4) 75 TKK (c) Ilkka Melli (4) 76 Variassiaalsihaotelma a selitsaste Kokoais- a ääöseliösumma htes 3/4 Variassiaalsihaotelma a selitsaste Kokoais- a ääöseliösumma htes 4/4 Yhtälöistä = = SSE = e = ( r ) ( ) = ( r ) SST ähdää, että seuraavat ehdot ovat htäpitäviä: (i) SSE = (ii) e = kaikille =,,, (iii) r = ± Jos ehdot (i)-(iii) pätevät, ii kaikki havaitopisteet (, ), =,,, ovat samalla suoralla a tätä suoraa vastaava lieaarie regressiomalli selittää tädellisesti selitettävä muuttua havaittue arvoe vaihtelu. Yhtälöistä = = SSE = e = ( r ) ( ) = ( r ) SST ähdää, että seuraavat ehdot ovat htäpitäviä: (i) SSE = SST (ii) e = kaikille =,,, (iii) r = Jos ehdot (i) -(iii) pätevät, ii selitettävä muuttua havaittue arvoe vaihtelua ei voida selittää lieaarisella regressiomallilla. TKK (c) Ilkka Melli (4) 77 TKK (c) Ilkka Melli (4) 78
TKK (c) Ilkka Melli (4) 79 Variassiaalsihaotelma a selitsaste Mallieliösumma / Variassiaalsihaotelma a selitsaste Mallieliösumma / Määritellää suure SSM htälöllä SSM = SST SSE Koska SSE SST ii SSM Koska voidaa osoittaa, että SSM = ( ˆ ) = suuretta SSM kutsutaa mallieliösummaksi. Mallieliösumma SSM voidaa esittää mös muodossa ( ˆ ˆ) SSM = = ossa ˆ = ˆ = = = = TKK (c) Ilkka Melli (4) 8 Variassiaalsihaotelma a selitsaste Variassiaalsihaotelma / Variassiaalsihaotelma a selitsaste Variassiaalsihaotelma / Edellä esitet mukaa kokoaiseliösumma SST = ( ) voidaa esittää kahde osatekiä SSM a SSE summaa: SST = SSM + SSE ossa SSM = ( ˆ ) a = = e = SSE = Variassiaalsihaotelmassa SST = SSM + SSE selitettävä muuttua havaittue arvoe vaihtelua kuvaava kokoaiseliösumma SST o esitett kahde osatekiä SSM a SSE summaa: (i) Mallieliösumma SSM kuvaa sitä osaa selitettävä muuttua havaittue arvoe vaihtelusta, oka estimoitu malli o selittät. (ii) Jääöseliösumma SSE kuvaa sitä osaa selitettävä muuttua havaittue arvoe vaihtelusta, ota estimoitu malli ei ole selittät. TKK (c) Ilkka Melli (4) 8 TKK (c) Ilkka Melli (4) 8 Variassiaalsihaotelma a selitsaste Variassiaalsihaotelma tulkita Variassiaalsihaotelma a selitsaste Selitsaste Variassiaalsihaotelma SST = SSM + SSE kuvaa estimoidu regressiomalli hvttä: (i) Mitä suurempi o mallieliösumma SSM osuus kokoaiseliösummasta SST, sitä paremmi estimoitu malli selittää selitettävä muuttua havaittue arvoe vaihtelu. (ii) Mitä pieempi o ääöseliösumma SSE osuus kokoaiseliösummasta SST, sitä paremmi estimoitu malli selittää selitettävä muuttua havaittue arvoe vaihtelu. Variassiaalsihaotelma SST = SSM + SSE motivoi tuusluvu SSE SSM R = = SST SST kätö regressiomalli hvde mittaria. Tuuslukua R kutsutaa selitsasteeksi a se mittaa regressiomalli selittämää osuutta selitettävä muuttua havaittue arvoe kokoaisvaihtelusta. Selitsaste R ilmaistaa tavallisesti prosetteia: R % TKK (c) Ilkka Melli (4) 83 TKK (c) Ilkka Melli (4) 84
TKK (c) Ilkka Melli (4) 85 Variassiaalsihaotelma a selitsaste Selitsaste a korrelaatio Variassiaalsihaotelma a selitsaste Selitsastee omiaisuudet / Voidaa osoittaa, että R = [ Cor(, ˆ )] ossa Cor(, ˆ) o selitettävä muuttua havaittue arvoe a sovitteide ˆ otoskorrelaatiokerroi. Yhde selittää lieaarisessa regressiomallissa pätee lisäksi se, että selitsaste R o selitettävä a selittävä muuttua havaittue arvoe otoskorrelaatiokertoime r eliö: R = r Selitsasteella R o seuraavat omiaisuudet: (i) R (ii) Seuraavat ehdot ovat htäpitäviä: () R = () Kaikki residuaalit häviävät: e =, kaikille =,,, (3) Kaikki havaitopisteet (, ), =,,, asettuvat samalle suoralle. (4) r = ± (5) Määritelt malli selittää tädellisesti selitettävä muuttua havaittue arvoe vaihtelu. TKK (c) Ilkka Melli (4) 86 Variassiaalsihaotelma a selitsaste Selitsastee omiaisuudet / Variassiaalsihaotelma a selitsaste Selitsastee laskemie: Havaiollistava esimerkki /3 (iii) Seuraavat ehdot ovat htäpitäviä: () R = () b = (3) r = (4) Määritelt malli ei ollekaa selitä selitettävä muuttua havaittue arvoe vaihtelua. Taulukossa oikealla o keiotekoise kahde muuttua aieisto havaitoarvot ( = 6). Aieistosta estimoidu regressiosuora htälöksi saatii kappaleessa Yhde selittää lieaarise regressiomalli estimoiti =.547 +.7847 ks. kuviota oikealla. i.5 3 3 3 4 6 4 6 5 5 7 7.5 6 8 8 8 6 4 Pistediagrammi =.7847 +.547 R =.833 4 6 8 TKK (c) Ilkka Melli (4) 87 TKK (c) Ilkka Melli (4) 88 Variassiaalsihaotelma a selitsaste Selitsastee laskemie: Havaiollistava esimerkki /3 Alla olevassa taulukossa o laskettu havaitoarvoe summat a eliösummat sekä estimoidu malli sovitteet ŷ, residuaalit e (sovitteide a residuaalie laskemista o käsitelt em. kappaleessa) a residuaalie eliöt e. i Sovite Residuaali Res.5 6.5.35.75.3 3 3 9 9 3.895 -.895.8 3 4 6 6 36 4.679.3.744 4 6 5 36 5 6.49 -.49.56 5 7 7.5 49 56.5 7.33.467.8 6 8 8 64 64 7.88.8.33 Summa 9 3 75 96.5 3. 4.385 Estimoidu malli selitsaste saadaa tauluko sarakesummista seuraavalla kalvolla esitettävällä tavalla. Variassiaalsihaotelma a selitsaste Selitsastee laskemie: Havaiollistava esimerkki 3/3 Kokoaiseliösumma: SST = = 96.5 3 = 5.833 = = 6 Jääöseliösumma: SSE = e = 4.385 Selitsaste: = SSE 4.385 R = = =.83 SST 5.833 Site estimoitu malli o selittät 83. % selitettävä muuttua arvoe vaihtelusta. TKK (c) Ilkka Melli (4) 89 TKK (c) Ilkka Melli (4) 9
TKK (c) Ilkka Melli (4) 9 Yhde selittää lieaarie regressiomalli Yhde selittää lieaarie regressiomalli a sitä koskevat oletukset Yhde selittää lieaarise regressiomalli estimoiti Variassiaalsihaotelma a selitsaste >> Päättel hde selittää lieaarisesta regressiomallista Eustamie hde selittää lieaarisella regressiomallilla Yhde selittää lieaarise regressiomalli a satuaie selittää -ulotteise ormaaliakauma regressiofuktioide estimoiti Päättel hde selittää lieaarisesta regressiomallista Avaisaat F-testi Kulmakerroi Lieaarie regressiomalli Luottamusväli Otosakauma Pieimmä eliösumma estimaattori Regressiokerroi Selitsaste Stadardioletukset Testaus t-testi Vakio TKK (c) Ilkka Melli (4) 9 Päättel hde selittää lieaarisesta regressiomallista Mallia koskeva tilastollie päättel Päättel hde selittää lieaarisesta regressiomallista Malli a se osat /3 Tarkastellaa seuraavia hde selittää lieaarista regressiomallia koskevia päättel ogelmia: Regressiokertoimie estimaattoreide odotusarvot a variassit Regressiokertoimie estimaattoreide otosakaumat Regressiokertoimie luottamusvälit Testit regressiokertoimille Testi selitsasteelle TKK (c) Ilkka Melli (4) 93 Oletetaa, että havaitoarvoe a välillä o lieaarie tilastollie riippuvuus, oka voidaa ilmaista htälöllä = β + β + ε, =,,, Yhtälö määrittelee hde selittää lieaarise regressiomalli, ossa = selitettävä muuttua satuaie a havaittu arvo havaitoksikössä = selittävä muuttua eli selittää eisatuaie a havaittu arvo havaitoksikössä ε = ääös- eli virhetermi ε satuaie a ei-havaittu arvo havaitoksikössä TKK (c) Ilkka Melli (4) 94 Päättel hde selittää lieaarisesta regressiomallista Malli a se osat /3 Päättel hde selittää lieaarisesta regressiomallista Malli a se osat 3/3 Yhde selittää lieaarisessa regressiomallissa = β + β + ε, =,,, o seuraavat kertoimet: β = vakioselittää regressiokerroi; β o ei-satuaie a tutemato vakio β = selittää regressiokerroi; β o ei-satuaie a tutemato vakio Yhde selittää lieaarise regressiomalli = β + β + ε, =,,, määrittelemä regressiosuora = β + β htälössä β = regressiosuora a -akseli leikkauspiste eli regressiosuora vakio β = regressiosuora kulmakerroi TKK (c) Ilkka Melli (4) 95 TKK (c) Ilkka Melli (4) 96
TKK (c) Ilkka Melli (4) 97 Päättel hde selittää lieaarisesta regressiomallista Oletukset Päättel hde selittää lieaarisesta regressiomallista Otostuusluvut Oletetaa, että hde selittää lieaarise regressiomalli = β + β + ε, =,,, ääös-elivirhetermiä ε koskevat stadardioletukset pätevät: (i) E(ε ) =, =,,, (ii) Jääöstermit ovat homoskedastisia: Var(ε ) = σ, =,,, (iii) Jääöstermit ovat korreloimattomia: Cor(ε, ε l ) =, l Lisäksi oletetaa, että virhetermit ε ovat ormaalisia: (iv) ε ~ N(, σ ), =,,, Määritellää havaitoe a, =,,, aritmeettiset keskiarvot, otosvariassit, otoskovariassi a otoskorrelaatiokerroi tavaomaisilla kaavoillaa: = = = = = ( ) = ( i ) = = = ( )( ) = s s s s r = ss TKK (c) Ilkka Melli (4) 98 Päättel hde selittää lieaarisesta regressiomallista Regressiokertoimie PNS-estimaattorit Päättel hde selittää lieaarisesta regressiomallista Sovitteet a residuaalit Yhde selittää lieaarise regressiomalli = β + β + ε, =,,, regressiokertoimie β a β pieimmä eliösumma (PNS-) estimaattorit ovat b = b s s b = = r s s Olkoot b a b hde selittää lieaarise regressiomalli = β + β + ε, =,,, regressiokertoimie β a β PNS-estimaattorit. Määritellää estimoidu malli sovitteet kaavalla ˆ = b + b, =,,, Määritellää estimoidu malli residuaalit kaavalla e = ˆ = b b, =,,, TKK (c) Ilkka Melli (4) 99 TKK (c) Ilkka Melli (4) Päättel hde selittää lieaarisesta regressiomallista Jääösvariassi estimoiti Jos hde selittää lieaarise regressiomalli ääöseli virhetermeä ε koskevat stadardioletukset (i)-(iii) pätevät, ääösvariassi Var(ε ) = σ harhato estimaattori o s = e = ossa e = estimoidu malli residuaali = havaitoe lukumäärä Päättel hde selittää lieaarisesta regressiomallista Regressiokertoimie estimaattorit: Odotusarvot a variassit Jos stadardioletukset (i)-(iii) pätevät, ii regressiokertoimie β a β PNS-estimaattoreilla b a b o seuraavat odotusarvot a variassit: σ E( b) = β Var( b) = D ( b) = ( ) s σ = E( b) = β Var( b) = D ( b) = ( ) s Eritisesti: PNS-estimaattorit b a b ovat oletuksie (i)- (iii) pätiessä harhattomia. TKK (c) Ilkka Melli (4) TKK (c) Ilkka Melli (4)
TKK (c) Ilkka Melli (4) 3 Päättel hde selittää lieaarisesta regressiomallista Regressiokertoimie estimaattorit: Otosakaumat Jos stadardioletuksie (i)-(iii) lisäksi ormaalisuusoletus (iv) pätee, regressiokertoimie β a β PNS-estimaattorit b a b ovat ormaaliakautueita: σ b N β, ( ) s σ = b N β, ( ) s Päättel hde selittää lieaarisesta regressiomallista Regressiosuora kulmakertoime luottamusväli Jos stadardioletuksie (i)-(iii) lisäksi ormaalisuusoletus (iv) pätee, ii regressiokertoime β eli regressiosuora kulmakertoime luottamusväli luottamustasolla ( α) o muotoa s b ± tα / s ossa t α/ a +t α/ ovat luottamustasoo ( α) liittvät luottamuskertoimet Studeti t-akaumasta, oka vapausasteide luku o ( ) a s o ääösvariassi σ harhato estimaattori. TKK (c) Ilkka Melli (4) 4 Päättel hde selittää lieaarisesta regressiomallista Regressiosuora kulmakertoime luottamusväli: Kommetti Huomaa, että regressiokertoime β luottamusväli o tavaomaista muotoa b ± tα / ˆD( b) ossa s ˆD ( b ) = ( ) s o kertoime β PNS-estimaattori b variassi estimaattori. Päättel hde selittää lieaarisesta regressiomallista Regressiosuora vakio luottamusväli Jos stadardioletuksie (i)-(iii) lisäksi ormaalisuusoletus (iv) pätee, ii regressiokertoime β eli regressiosuora vakio luottamusväli luottamustasolla ( α) o muotoa s = b ± tα / ( ) s ossa t α/ a +t α/ ovat luottamustasoo ( α) liittvät luottamuskertoimet Studeti t-akaumasta, oka vapausasteide luku o ( ) a s o ääösvariassi σ harhato estimaattori. TKK (c) Ilkka Melli (4) 5 TKK (c) Ilkka Melli (4) 6 Päättel hde selittää lieaarisesta regressiomallista Regressiosuora vakio luottamusväli: Kommetti Huomaa, että regressiokertoime β luottamusväli o tavaomaista muotoa b ± tα / ˆD( b) ossa s = ˆD ( b ) = ( ) s o kertoime β PNS-estimaattori b variassi estimaattori. Päättel hde selittää lieaarisesta regressiomallista Testi regressiosuora kulmakertoimelle Oletetaa, että stadardioletuksie (i)-(iii) lisäksi ormaalisuusoletus (iv) pätee. Olkoo ollahpoteesia H :β = β Määritellää t-testisuure b β t = s /( s) Jos ollahpoteesi H pätee, t t( ) Itseisarvoltaa suuret testisuuree t arvot viittaavat siihe, että ollahpoteesi H ei päde. TKK (c) Ilkka Melli (4) 7 TKK (c) Ilkka Melli (4) 8
TKK (c) Ilkka Melli (4) 9 Päättel hde selittää lieaarisesta regressiomallista Testi regressiosuora kulmakertoimelle: Kommetti Päättel hde selittää lieaarisesta regressiomallista Testi regressiosuora kulmakertoimelle: Havaiollistava esimerkki /5 Huomaa, että t-testisuure ollahpoteesille H :β = β o tavaomaista muotoa b β t = ˆD( b ) ossa s ˆD ( b ) = ( ) s o regressiokertoime β PNS-estimaattori b variassi estimaattori, ku ollahpoteesi H pätee. Taulukossa oikealla o keiotekoise kahde muuttua aieisto havaitoarvot ( = 6). Aieistosta estimoidu regressiosuora htälöksi saatii kappaleessa Yhde selittää lieaarise regressiomalli estimoiti =.547 +.7847 ks. kuviota oikealla. i.5 3 3 3 4 6 4 6 5 5 7 7.5 6 8 8 8 6 4 Pistediagrammi =.7847 +.547 R =.833 4 6 8 TKK (c) Ilkka Melli (4) Päättel hde selittää lieaarisesta regressiomallista Testi regressiosuora kulmakertoimelle: Havaiollistava esimerkki /5 Alla olevassa taulukossa o laskettu havaitoarvoe summat a eliösummat sekä estimoidu malli sovitteet ŷ, residuaalit e (sovitteide a residuaalie laskemista o käsitelt em. kappaleessa) a residuaalie eliöt e. i Sovite Residuaali Res.5 6.5.35.75.3 3 3 9 9 3.895 -.895.8 3 4 6 6 36 4.679.3.744 4 6 5 36 5 6.49 -.49.56 5 7 7.5 49 56.5 7.33.467.8 6 8 8 64 64 7.88.8.33 Summa 9 3 75 96.5 3. 4.385 Tarkastellaa testiä malli = β + β + ε =,,,, regressiokerroita β koskevalle ollahpoteesille H : β = Päättel hde selittää lieaarisesta regressiomallista Testi regressiosuora kulmakertoimelle: Havaiollistava esimerkki 3/5 Kertoime β estimaatti: b =.7847 Selittää variassi: s = i i = 75 9 = 6.967 i = i= 6 6 Jääösvariassi: s = e 4.385.96 = = 6 = t-testisuuree arvo: b β.7847 t = = = 4.43 s/( s ).96 /((6 ) 6.967) TKK (c) Ilkka Melli (4) TKK (c) Ilkka Melli (4) Päättel hde selittää lieaarisesta regressiomallista Testi regressiosuora kulmakertoimelle: Havaiollistava esimerkki 4/5 Jos ollahpoteesi H : β = pätee, testisuure t o akautuut Studeti t-akauma mukaa vapausastei ( ) = (6 ) = 4: t t(4) Valitaa merkitsevstasoksi.5. Olkoo vaihtoehtoie hpoteesi muotoa H : β t(4) Tällöi merkitsevstasoa.5 vastaavat kriittiset raat ovat.776 a +.776 ks. kuviota oikealla..5.95.5 Site testi hlkäsalue o muotoa {t t <.776} {t t > +.776}.776 +.776 Päättel hde selittää lieaarisesta regressiomallista Testi regressiosuora kulmakertoimelle: Havaiollistava esimerkki 5/5 Koska t = 4.43 >.776 ii testisuuree t arvo o hlkäsalueella a voimme hlätä ollahpoteesi H : β = a hväksä vaihtoehtoise hpoteesi H : β merkitsevstasolla.5. TKK (c) Ilkka Melli (4) 3 TKK (c) Ilkka Melli (4) 4
TKK (c) Ilkka Melli (4) 5 Päättel hde selittää lieaarisesta regressiomallista Testi regressiosuora vakiolle Oletetaa, että stadardioletuksie (i)-(iii) lisäksi ormaalisuusoletus (iv) pätee. Olkoo ollahpoteesia H :β = β Määritellää t-testisuure b β t = s ( ) s ( ) Jos ollahpoteesi H pätee, t t( ) Itseisarvoltaa suuret testisuuree t arvot viittaavat siihe, että ollahpoteesi H ei päde. Päättel hde selittää lieaarisesta regressiomallista Testi regressiosuora vakiolle: Kommetti Huomaa, että t-testisuure ollahpoteesille H :β = β o tavaomaista muotoa b β t = ˆD( b ) ossa s = ˆD ( b ) = ( ) s o regressiokertoime β PNS-estimaattori b variassi estimaattori, ku ollahpoteesi H pätee. TKK (c) Ilkka Melli (4) 6 Päättel hde selittää lieaarisesta regressiomallista Testi selitsasteelle /4 Päättel hde selittää lieaarisesta regressiomallista Testi selitsasteelle /4 Oletetaa, että stadardioletuksie (i)-(iii) lisäksi ormaalisuusoletus (iv) pätee. Olkoo ollahpoteesia H : β = Määritellää F-testisuure R F = ( ) R ossa R o estimoidu malli selitsaste. Jos ollahpoteesi H : β = pätee, testisuure R F = ( ) F(, ) R ossa F(, ) o Fisheri F-akauma vapausastei a ( ). Suuret testisuuree F arvot viittaavat siihe, että ollahpoteesi H ei päde. TKK (c) Ilkka Melli (4) 7 TKK (c) Ilkka Melli (4) 8 Päättel hde selittää lieaarisesta regressiomallista Testi selitsasteelle 3/4 Päättel hde selittää lieaarisesta regressiomallista Testi selitsasteelle 4/4 Koska R = r, em. F-testisuure voidaa esittää muodossa r F = ( ) r Ottamalla tästä eliöuuri saadaa testisuure r t = r oka oudattaa ollahpoteesi H pätiessä Studeti t- akaumaa vapausastei ( ): t ~ t( ) Itseisarvoltaa suuret testisuuree t arvot viittaavat siihe, että ollahpoteesi H ei päde. Voidaa osoittaa, että r b t = = = t r s/ s ossa testisuure t o tavaomaie t-testisuure ollahpoteesille H : β = F-a t-akaumie htede perusteella o selvää, että t = F ossa F o em. F-testisuure ollahpoteesille H. Huomaa, että llä esitett t-testisuure a t-testisuure korreloimattomuudelle ovat ekvivalettea. TKK (c) Ilkka Melli (4) 9 TKK (c) Ilkka Melli (4)
TKK (c) Ilkka Melli (4) Yhde selittää lieaarie regressiomalli Yhde selittää lieaarie regressiomalli a sitä koskevat oletukset Yhde selittää lieaarise regressiomalli estimoiti Variassiaalsihaotelma a selitsaste Päättel hde selittää lieaarisesta regressiomallista >> Eustamie hde selittää lieaarisella regressiomallilla Yhde selittää lieaarise regressiomalli a satuaie selittää -ulotteise ormaaliakauma regressiofuktioide estimoiti Eustamie hde selittää lieaarisella regressiomallilla Avaisaat Eustamie Euste Lieaarie regressiomalli Luottamusväli Otosakauma Pieimmä eliösumma estimaattori Selitettävä muuttua arvo Selitettävä muuttua odotusarvo Stadardioletukset TKK (c) Ilkka Melli (4) Eustamie hde selittää lieaarisella regressiomallilla Eustamie Eustamie hde selittää lieaarisella regressiomallilla Malli a se osat / Oletetaa, että muuttuie a havaittue arvoe a välillä o lieaarie tilastollie riippuvuus, oka voidaa ilmaista muodossa = β + β + ε, =,,, Haluamme eustaa selitettävää muuttuaa, ku selittävä muuttua saa arvo. Jaetaa tarkastelu kahtee osaa: (i) Tavoitteea o eustaa selitettävä muuttua odotettavissa oleva eli keskimääräie arvo. (ii) Tavoitteea o eustaa selitettävä muuttua arvo. TKK (c) Ilkka Melli (4) 3 Oletetaa, että havaitoarvoe a välillä o lieaarie tilastollie riippuvuus, oka voidaa ilmaista htälöllä = β + β + ε, =,,, Yhtälö määrittelee hde selittää lieaarise regressiomalli, ossa = selitettävä muuttua satuaie a havaittu arvo havaitoksikössä = selittävä muuttua eli selittää eisatuaie a havaittu arvo havaitoksikössä ε = ääös- eli virhetermi ε satuaie a ei-havaittu arvo havaitoksikössä TKK (c) Ilkka Melli (4) 4 Eustamie hde selittää lieaarisella regressiomallilla Malli a se osat / Eustamie hde selittää lieaarisella regressiomallilla Oletukset Yhde selittää lieaarisessa regressiomallissa = β + β + ε, =,,, o seuraavat kertoimet: β = vakioselittää regressiokerroi; β o ei-satuaie a tutemato vakio β = selittää regressiokerroi; β o ei-satuaie a tutemato vakio TKK (c) Ilkka Melli (4) 5 Oletetaa, että hde selittää lieaarise regressiomalli = β + β + ε, =,,, ääös-elivirhetermiä ε koskevat stadardioletukset pätevät: (i) E(ε ) =, =,,, (ii) Jääöstermit ovat homoskedastisia: Var(ε ) = σ, =,,, (iii) Jääöstermit ovat korreloimattomia: Cor(ε, ε l ) =, l Lisäksi oletetaa, että virhetermit ε ovat ormaalisia: (iv) ε ~ N(, σ ), =,,, TKK (c) Ilkka Melli (4) 6
TKK (c) Ilkka Melli (4) 7 Eustamie hde selittää lieaarisella regressiomallilla Otostuusluvut Eustamie hde selittää lieaarisella regressiomallilla Regressiokertoimie PNS-estimaattorit Määritellää havaitoe a, =,,, aritmeettiset keskiarvot, otosvariassit, otoskovariassi a otoskorrelaatiokerroi tavaomaisilla kaavoillaa: = = = = = ( ) = ( i ) = = = ( )( ) = s s s s r = ss Yhde selittää lieaarise regressiomalli = β + β + ε, =,,, regressiokertoimie β a β pieimmä eliösumma (PNS-) estimaattorit ovat b = b s s b = = r s s TKK (c) Ilkka Melli (4) 8 Eustamie hde selittää lieaarisella regressiomallilla Sovitteet a residuaalit Eustamie hde selittää lieaarisella regressiomallilla Jääösvariassi estimoiti Olkoot b a b hde selittää lieaarise regressiomalli = β + β + ε, =,,, regressiokertoimie β a β PNS-estimaattorit. Määritellää estimoidu malli sovitteet kaavalla ˆ = b + b, =,,, Määritellää estimoidu malli residuaalit kaavalla e = ˆ = b b, =,,, Jos hde selittää lieaarise regressiomalli ääöseli virhetermeä ε koskevat stadardioletukset (i)-(iii) pätevät, ääösvariassi Var(ε ) = σ harhato estimaattori o s = e = ossa e = estimoidu malli residuaali = havaitoe lukumäärä TKK (c) Ilkka Melli (4) 9 TKK (c) Ilkka Melli (4) 3 Eustamie hde selittää lieaarisella regressiomallilla : odotusarvo eustamie Oletetaa, että selitettävä muuttua saa arvo = β + β + ε ku selittää saa arvo. Mikä o paras euste selitettävä muuttua odotettavissa olevalle arvolle E( ) = β + β ku selittää saa arvo? Selitettävä muuttua ehdollie odotusarvo E( ) kuvaa selitettävä muuttua keskimääri saamia arvoa selittää saamie arvoe fuktioa. Eustamie hde selittää lieaarisella regressiomallilla : odotusarvo eustamie: Euste Valitaa selitettävä muuttua odotusarvo eusteeksi (estimaattoriksi) lauseke E( ) ŷ = b + b ossa b a b ovat regressiokertoimie β a β PNSestimaattorit. Voidaa osoittaa, että ŷ o (eustevirhee keskieliövirhee mielessä) paras lieaarie a harhato euste ehdolliselle odotusarvolle E( ). Huomautus: Ehdollie odotusarvo E( ) o kiiteälle vakio, ku taas euste ŷ o satuaismuuttua. TKK (c) Ilkka Melli (4) 3 TKK (c) Ilkka Melli (4) 3
TKK (c) Ilkka Melli (4) 33 Eustamie hde selittää lieaarisella regressiomallilla : odotusarvo eustamie: Otosakauma Oletetaa, että hde selittää lieaarise regressiomalli ääös-elivirhetermiä ε koskevat stadardioletuksie (i)-(iii) lisäksi ormaalisuusoletus (iv) pätee. Tällöi eustee ŷ = b + b otosakauma o ormaaliakauma: ( ) ˆ ~ N β + β, σ + ( ) s Eustamie hde selittää lieaarisella regressiomallilla : odotusarvo eustamie: Luottamusväli Odotusarvo E( ) = β + β luottamusväli luottamustasolla ( α) o ( ) b + b ± tα /s + ( ) s ossa t α/ a +t α/ ovat luottamustasoo ( α) liittvät luottamuskertoimet Studeti t-akaumasta, oka vapausasteide luku o ( ) a s o ääösvariassi σ harhato estimaattori. Väli muodostaa selittää arvoe fuktioa luottamusvö estimoidu regressiosuora = b + b mpärille. TKK (c) Ilkka Melli (4) 34 Eustamie hde selittää lieaarisella regressiomallilla : odotusarvo eustamie: Luottamusväli omiaisuuksia Odotusarvo E( ) = β + β luottamusväli ( ) b + b ± tα /s + ( ) s kavetuu, os havaitoe lukumäärä tai selittää otosvariassi s kasvaa. Toisaalta luottamusväli o sitä leveämpi, mitä kauempaa piste o selittää havaittue arvoe aritmeettisesta keskiarvosta. Eustamie hde selittää lieaarisella regressiomallilla : arvo eustamie Oletetaa, että selitettävä muuttua saa arvo = β + β + ε ku selittää saa arvo. Mikä o paras euste selitettävä muuttua arvolle, ku selittää saa arvo? TKK (c) Ilkka Melli (4) 35 TKK (c) Ilkka Melli (4) 36 Eustamie hde selittää lieaarisella regressiomallilla : arvo eustamie: Euste Valitaa selitettävä muuttua arvo eusteeksi (estimaattoriksi) lauseke ŷ = b + b ossa b a b ovat regressiokertoimie β a β PNSestimaattorit. Voidaa osoittaa, että ŷ o (eustevirhee keskieliövirhee mielessä) paras lieaarie a harhato euste ehdolliselle odotusarvolle E( ). Huomautus: Sekä selitettävä muuttua arvo että euste ŷ ovat satuaismuuttuia. Eustamie hde selittää lieaarisella regressiomallilla : arvo eustamie: Otosakauma Oletetaa, että hde selittää lieaarise regressiomalli ääös-elivirhetermiä ε koskevat stadardioletuksie (i)-(iii) lisäksi ormaalisuusoletus (iv) pätee. Tällöi eustevirhee ˆ otosakauma o ormaaliakauma: ( ) ˆ ~ N, σ + + ( ) s TKK (c) Ilkka Melli (4) 37 TKK (c) Ilkka Melli (4) 38