Johdatus tilastotieteeseen Yhden selittäjän lineaarinen regressiomalli. TKK (c) Ilkka Mellin (2005) 1

Transkriptio

1 Johdatus tilastotieteesee Yhde selittää lieaarie regressiomalli TKK (c) Ilkka Melli (2005)

2 Yhde selittää lieaarie regressiomalli Yhde selittää lieaarie regressiomalli a sitä koskevat oletukset Yhde selittää lieaarise regressiomalli estimoiti Variassiaalyysihaotelma a selitysaste Päättely yhde selittää lieaarisesta regressiomallista Eustamie yhde selittää lieaarisella regressiomallilla Yhde selittää lieaarise regressiomalli a satuaie selittää 2-ulotteise ormaaliakauma regressiofuktioide estimoiti TKK (c) Ilkka Melli (2005) 2

3 Yhde selittää lieaarie regressiomalli: Mitä opimme? /3 Yhde selittää lieaarie regressiomalli pyrkii selittämää selitettävä muuttua havaittue arvoe vaihtelu yhde selittävä muuttua havaittue arvoe vaihtelu avulla. Tässä luvussa tarkastellaa seuraavia yhde selittävä muuttua lieaarise regressiomalli soveltamisee liittyviä kysymyksiä: Mite malli formuloidaa? Mitkä ovat malli osat a mitkä ovat osie tulkiat? Mitkä ovat mallia koskevat oletukset? Mite malli parametrit estimoidaa? Mite malli parametrea koskevia hypoteesea testataa? Mite malli hyvyyttä mitataa? Mite mallilla eustetaa? TKK (c) Ilkka Melli (2005) 3

4 Yhde selittää lieaarie regressiomalli: Mitä opimme? 2/3 Regressiomallie parametrie estimoitii käytetää tavallisesti pieimmä eliösumma meetelmää. Estimoidu regressiomalli hyvyyttä mitataa selitysasteella. Selitysastee määritelmä perustuu s. variassiaalyysihaotelmaa. Variassiaalyysihaotelmassa selitettävä muuttua havaittue arvoe vaihtelua kuvaava eliösumma o aettu kahdeksi eliösummaksi, oista toie kuvaa malli a havaitoe yhteesopivuutta a toie malli a havaitoe yhteesopimattomuutta. TKK (c) Ilkka Melli (2005) 4

5 Yhde selittää lieaarie regressiomalli: Mitä opimme? 3/3 Lieaarise regressiomalli perusoletuksii kuuluu se, että selittävie muuttuie arvot ovat ei-satuaisia. Selittävä muuttua arvoe satuaisuus ei kuitekaa vaikuta malli estimoiissa a testauksessa käytettävii meetelmii seuraavissa tilateissa: Tavaomaiset mallista tehdyt oletukset pätevät (sopivasti modifioituia), ku siirrytää tarkastelemaa selittävä muuttua ehdollista odotusarvoa selittäie suhtee. Selitettävä muuttua a selittäät oudattavat yhdessä multiormaaliakaumaa. TKK (c) Ilkka Melli (2005) 5

6 Yhde selittää lieaarie regressiomalli: Esitiedot Esitiedot: ks. seuraavia lukua: Tilastollie riippuvuus a korrelaatio Johdatus regressioaalyysii Tarvitset esitietoa myös seuraavista kalvokokoelma Johdatus todeäköisyyslasketaa luvuista: Moiulotteiset satuaismuuttuat a todeäköisyysakaumat Moiulotteisia todeäköisyysakaumia TKK (c) Ilkka Melli (2005) 6

7 Yhde selittää lieaarie regressiomalli: Lisätiedot Pitemmälle meeviä regressioaalyysi kysymyksiä käsitellää luetosara Tilastollise aalyysi perusteet luvuissa Yleie lieaarie malli Regressiodiagostiikka Regressiomalli valita Regressioaalyysi erityiskysymyksiä TKK (c) Ilkka Melli (2005) 7

8 Yhde selittää lieaarie regressiomalli >> Yhde selittää lieaarie regressiomalli a sitä koskevat oletukset Yhde selittää lieaarise regressiomalli estimoiti Variassiaalyysihaotelma a selitysaste Päättely yhde selittää lieaarisesta regressiomallista Eustamie yhde selittää lieaarisella regressiomallilla Yhde selittää lieaarise regressiomalli a satuaie selittää 2-ulotteise ormaaliakauma regressiofuktioide estimoiti TKK (c) Ilkka Melli (2005) 8

9 Yhde selittää lieaarie regressiomalli a sitä koskevat oletukset Avaisaat Ei-satuaisuus Havaito Heteroskedastisuus Homoskedastisuus Homoskedastisuusoletus Jääöstermi Jääösvariassi Lieaarie regressiomalli Korreloitumattomuusoletus Korreloitueisuus Kulmakerroi Lieaarisuus Normaalisuusoletus Odotusarvo Regressiokerroi Regressiosuora Satuaie osa Satuaisuus Selitettävä muuttua Selittää Selittävä muuttua Stadardioletukset Systemaattie osa Vaihtelu Vakioselittää Virhetermi TKK (c) Ilkka Melli (2005) 9

10 Yhde selittää lieaarie regressiomalli a sitä koskevat oletukset Selitettävä muuttua a selittävä muuttua Oletetaa, että selitettävä muuttua y havaittue arvoe vaihtelu halutaa selittää selittävä muuttua eli selittää x havaittue arvoe vaihtelu avulla. Tehdää seuraavat oletukset: (i) Selitettävä muuttua y o suhdeasteikollie satuaismuuttua. (ii) Selittävä muuttua x o kiiteä eli ei-satuaie muuttua. TKK (c) Ilkka Melli (2005) 0

11 Yhde selittää lieaarie regressiomalli a sitä koskevat oletukset Selitettävä muuttua a selittävä muuttua: Kommetti Satuaise selittää tapausta käsitellää tämä luvu lopussa kappaleissa Yhde selittää lieaarise regressiomalli a satuaie selittää a 2-ulotteise ormaaliakauma regressiofuktioide estimoiti. TKK (c) Ilkka Melli (2005)

12 Yhde selittää lieaarie regressiomalli a sitä koskevat oletukset Havaiot Olkoot y, y 2,, y selitettävä muuttua y a x, x 2,, x selittävä muuttua x havaittua arvoa. Oletetaa lisäksi, että havaitoarvot x a y liittyvät samaa havaitoyksikköö kaikille =, 2,,. Tällöi havaitoarvot x a y muodostavat pisteitä 2- ulotteisessa avaruudessa: 2 ( x, y ), =,2,, TKK (c) Ilkka Melli (2005) 2

13 Yhde selittää lieaarie regressiomalli a sitä koskevat oletukset Malli a se osat /2 Oletetaa, että havaitoarvoe y a x välillä o lieaarie tilastollie riippuvuus, oka voidaa ilmaista yhtälöllä y = β0 + β x + ε, =,2,, Yhtälö määrittelee yhde selittää lieaarise regressiomalli, ossa y = selitettävä muuttua y satuaie a havaittu arvo havaitoyksikössä x = selittävä muuttua eli selittää xeisatuaie a havaittu arvo havaitoyksikössä ε = ääös- eli virhetermi ε satuaie a ei-havaittu arvo havaitoyksikössä TKK (c) Ilkka Melli (2005) 3

14 Yhde selittää lieaarie regressiomalli a sitä koskevat oletukset Malli a se osat 2/2 Yhde selittää lieaarisessa regressiomallissa y = β0 + β x + ε, =,2,, o seuraavat regressiokertoimet: β 0 = vakioselittää regressiokerroi; β 0 o ei-satuaie a tutemato vakio β = selittää x regressiokerroi; β o ei-satuaie a tutemato vakio Huomautus: Regressiokertoimet β 0 a β o oletettu samoiksi kaikille havaitoyksiköille. TKK (c) Ilkka Melli (2005) 4

15 Yhde selittää lieaarie regressiomalli a sitä koskevat oletukset Vakioselittää Yhde selittää lieaarisessa regressiomallissa y = β0 + β x + ε, =,2,, kerroita β 0 kutsutaa vakioselittää regressiokertoimeksi. Nimitys ohtuu siitä, että kerroita β 0 vastaa keiotekoie selittää, oka saa kaikille havaitoyksiköille =, 2,, vakioarvo. Huomautus: Jatkossa esitettävät kaavat eivät välttämättä päde tässä esitettävässä muodossa, os mallissa ei ole vakioselittäää. Oletamme atkossa, että mallissa o aia vakioselittää. TKK (c) Ilkka Melli (2005) 5

16 Yhde selittää lieaarie regressiomalli a sitä koskevat oletukset Stadardioletukset ääöstermeistä /2 Tehdää yhde selittää lieaarise regressiomalli y = β0 + β x + ε, =,2,, ääös- elivirhetermeistä ε s. stadardioletukset: (i) E( ε ) = 0, =,2,, (ii) Jääöstermeillä o vakiovariassi eli e ovat homoskedastisia: 2 Var( ε ) = σ, =,2,, (iii) Jääöstermit ovat korreloimattomia: Cor( ε, ε l) = 0, l TKK (c) Ilkka Melli (2005) 6

17 Yhde selittää lieaarie regressiomalli a sitä koskevat oletukset Stadardioletukset ääöstermeistä 2/2 Lisäksi ääös- eli virhetermeistä ε tehdää tavallisesti ormaalisuusoletus: 2 (iv) ε N(0, σ ), =,2,, Huomautus: Oletus (iv) sisältää oletukset (i) a (ii). TKK (c) Ilkka Melli (2005) 7

18 Yhde selittää lieaarie regressiomalli a sitä koskevat oletukset Selitettävä muuttua omiaisuudet Jos yhde selittää lieaarise regressiomalli y = β0 + β x + ε, =,2,, ääös- eli virhetermeä ε koskevat stadardioletukset (i)-(iii) pätevät, malli selitettävä muuttua y havaituilla arvoilla y o seuraavat stokastiset omiaisuudet: (i) E( y) = β0 + βx, =,2,, 2 (ii) Var( y ) = σ, =,2,, (iii) Cor( y, yl) = 0, l Jos lisäksi ääös- eli virhetermeä ε koskeva ormaalisuusoletus (iv) pätee, ii 2 (iv) y N( β + β x, σ ), =,2,, 0 TKK (c) Ilkka Melli (2005) 8

19 Yhde selittää lieaarie regressiomalli a sitä koskevat oletukset Malli parametrit Yhde selittää lieaarise regressiomalli y = β0 + β x + ε, =,2,, parametrea ovat malli regressiokertoimet β 0 a β sekä ääös- eli virhetermie ε yhteie variassi 2 Var( ε ) = σ, =,2,, ota kutsutaa ääösvariassiksi. Koska regressiokertoimet β 0 a β sekä ääösvariassi σ 2 ovat tavallisesti tutemattomia, e o estimoitava muuttuie x a y havaituista arvoista x a y, =, 2,,. TKK (c) Ilkka Melli (2005) 9

20 Yhde selittää lieaarie regressiomalli a sitä koskevat oletukset Malli systemaattie a satuaie osa /2 Oletetaa, että yhde selittää lieaarise regressiomalli y = β0 + β x + ε, =,2,, ääös- eli virhetermeä ε koskeva stadardioletus (i) E( ε ) = 0, =,2,, pätee. Tällöi selitettävä muuttua y havaitut arvot y voidaa esittää seuraavalla tavalla kahde osatekiä summaa: y = E(y ) + ε, =, 2,, ossa E(y ) = β 0 + β x, =, 2,, TKK (c) Ilkka Melli (2005) 20

21 Yhde selittää lieaarie regressiomalli a sitä koskevat oletukset Malli systemaattie a satuaie osa 2/2 Odotusarvo E(y ) = β 0 + β x, =, 2,, muodostaa yhde selittää lieaarise regressiomalli systemaattise osa, oka riippuu selittäälle x aetuista arvoista. Jääös- eli virhetermi ε, =, 2,, muodostaa malli satuaise osa, oka ei riipu selittäälle x aetuista arvoista. TKK (c) Ilkka Melli (2005) 2

22 Yhde selittää lieaarie regressiomalli a sitä koskevat oletukset Regressiosuora Yhde selittää lieaarise regressiomalli y = β0 + β x + ε, =,2,, systemaattie osa E(y ) = β 0 + β x määrittelee suora y = β 0 + β x 2 avaruudessa. Suoraa kutsutaa regressiosuoraksi a se yhtälössä β 0 = regressiosuora a y-akseli leikkauspiste β = regressiosuora kulmakerroi Jääös- eli virhetermie ε variassi σ 2 kuvaa havaitopisteide (x, y ), =, 2,, vaihtelua regressiosuora ympärillä. TKK (c) Ilkka Melli (2005) 22

23 Yhde selittää lieaarie regressiomalli a sitä koskevat oletukset Regressiosuora kulmakertoime tulkita Yhde selittää lieaarise regressiomalli systemaattise osa määrittelemä regressiosuora y = β 0 + β x kulmakertoimella β seuraava tulkita: Oletetaa, että selittää x arvo kasvaa yhdellä yksiköllä: x x + Tällöi kerroi β kertoo paloko selitettävä muuttua y vastaava odotettavissa oleva arvo muuttuu: E(y) = β 0 + β x β 0 + β (x + ) = β 0 + β x + β = E(y) + β TKK (c) Ilkka Melli (2005) 23

24 Yhde selittää lieaarie regressiomalli Yhde selittää lieaarie regressiomalli a sitä koskevat oletukset >> Yhde selittää lieaarise regressiomalli estimoiti Variassiaalyysihaotelma a selitysaste Päättely yhde selittää lieaarisesta regressiomallista Eustamie yhde selittää lieaarisella regressiomallilla Yhde selittää lieaarise regressiomalli a satuaie selittää 2-ulotteise ormaaliakauma regressiofuktioide estimoiti TKK (c) Ilkka Melli (2005) 24

25 Yhde selittää lieaarise regressiomalli estimoiti Avaisaat Aritmeettie keskiarvo Estimaattori Estimoiti Harhattomuus Jääöstermie eliösumma Jääösvariassi Keskihaota Kulmakerroi Lieaarie regressiomalli Miimoiti Otoskorrelaatiokerroi Otoskovariassi Otostuusluvut Otosvariassi Paiopiste Pieimmä eliösumma estimaattori Pieimmä eliösumma meetelmä Regressiosuora Residuaali Sovite Stadardioletukset Vakioselittää TKK (c) Ilkka Melli (2005) 25

26 Yhde selittää lieaarise regressiomalli estimoiti Estimoitiogelma Yhde selittää lieaarise regressiomalli y = β0 + β x + ε, =,2,, regressiokertoimet β 0 a β ovat tavallisesti tutemattomia, ote e o estimoiva muuttuie x a y havaituista arvoista x a y, =, 2,,. Estimoiissa regressiokertoimille β 0 a β pyritää löytämää sellaiset arvot, että iide määräämä regressiosuora selittäisi mahdollisimma hyvi selitettävä muuttua y arvoe vaihtelu. Regressiokertoimie β 0 a β estimoitii o tarolla useita erilaisia meetelmiä, oista tavallisesti käytetää pieimmä eliösumma meetelmää. TKK (c) Ilkka Melli (2005) 26

27 Yhde selittää lieaarise regressiomalli estimoiti Pieimmä eliösumma meetelmä Pieimmä eliösumma meetelmässä yhde selittää lieaarise regressiomalli y = β0 + β x + ε, =,2,, regressiokertoimie β 0 a β estimaattorit määrätää miimoimalla ääös- elivirhetermie ε eliösumma 2 2 ε = ( y β0 βx) = = regressiokertoimie β 0 a β suhtee. TKK (c) Ilkka Melli (2005) 27

28 Yhde selittää lieaarise regressiomalli estimoiti Otostuusluvut Määritellää havaitoe x a y, =, 2,, aritmeettiset keskiarvot, otosvariassit, otoskovariassi a otoskorrelaatiokerroi tavaomaisilla kaavoillaa: x = x y = y = = s x x s y y x = ( ) y = ( i ) = = s = ( x x)( y y) r xy = xy = s x xy ss y TKK (c) Ilkka Melli (2005) 28

29 Yhde selittää lieaarise regressiomalli estimoiti Regressiokertoimie PNS-estimaattorit Yhde selittää lieaarise regressiomalli y = β0 + β x + ε, =,2,, regressiokertoimie β 0 a β pieimmä eliösumma (PNS-) estimaattorit ovat b0 = y bx sxy sy b = = r 2 xy s s x x TKK (c) Ilkka Melli (2005) 29

30 Yhde selittää lieaarise regressiomalli estimoiti PNS-estimaattoreide ohto /4 Yhde selittää lieaarise regressiomalli y = β0 + β x + ε, =,2,, regressiokertoimet β 0 a β estimoidaa PNS-meetelmällä miimoimalla ääöstermie ε eliösumma = = 0 = = S( β, β ) ε ( y β β x ) kertoimie β 0 a β suhtee Tämä tapahtuu tavaomaisee tapaa derivoimalla fuktio S(β 0, β ) kertoimie β 0 a β suhtee a merkitsemällä derivaatat olliksi. TKK (c) Ilkka Melli (2005) 30

31 Yhde selittää lieaarise regressiomalli estimoiti PNS-estimaattoreide ohto 2/4 Derivoidaa fuktio = = 0 = = S( β, β ) ε ( y β β x ) regressiokertoimie β 0 a β suhtee a merkitää derivaatat olliksi: S( β0, β) () = 2 ( y β0 βx) = 0 β0 = S( β0, β) (2) = 2 ( y β0 βx) x = 0 β = Regressiokertoimie β 0 a β PNS-estimaattorit saadaa ormaaliyhtälöide () a (2) ratkaisuia. TKK (c) Ilkka Melli (2005) 3

32 Yhde selittää lieaarise regressiomalli estimoiti PNS-estimaattoreide ohto 3/4 Kiroitetaa ormaaliyhtälöt () a (2) muotoihi () y β β x = 0 0 = = 2 (2) yx β0 x β x = 0 = = = Ratkaistaa β 0 yhtälöstä () : (3) a sioitetaa ratkaisu yhtälöö (2) : β = y β x = y β x 0 = = 2 2 yx yx βx β x = = (4) + = 0 TKK (c) Ilkka Melli (2005) 32

33 Yhde selittää lieaarise regressiomalli estimoiti PNS-estimaattoreide ohto 4/4 Parametri β PNS-estimaattoriksi saadaa yhtälöstä (4): (5) b yx yx = xy y = = = r 2 xy 2 2 sx sx x x = s Sioittamalla b yhtälöö (3) saadaa parametri β 0 PNSestimaattoriksi (6) b0 = y bx Sivuutetaa se osoittamie, että saatu ääriarvo o todellaki miimi. s TKK (c) Ilkka Melli (2005) 33

34 Yhde selittää lieaarise regressiomalli estimoiti Regressiokertoimie laskemie /3 Oletetaa, että haluamme laskea yhde selittää lieaarise regressiomalli y = β0 + β x + ε, =,2,, regressiokertoimie β 0 a β PNS-estimaatit käsi tai käyttämällä laskita. Tällöi tarvittavat laskutoimitukset o mukavita ärestää seuraavalla kalvolla esitettävä kaavio muotoo. Huomautus: Samasta kaaviosta voidaa laskea myös muuttuie x a y havaittue arvoe aritmeettiset keskiarvot, otosvariassit, otoskeskihaoat, otoskovariassi a otoskorrelaatio; ks. lukua Tilastollie riippuvuus a korrelaatio. TKK (c) Ilkka Melli (2005) 34

35 Yhde selittää lieaarise regressiomalli estimoiti Regressiokertoimie laskemie 2/3 Määrätää esi havaitoarvoe summat, eliösummat a tulosumma: i x y x y x y 2 x x y y x x y y x y x y x y x y x y Summa 2 2 i i i i i i i i xi yi i= i= i= i= i= x y x y i i TKK (c) Ilkka Melli (2005) 35

36 Yhde selittää lieaarise regressiomalli estimoiti Regressiokertoimie laskemie 3/3 Regressiokertoimie β 0 a β PNS-estimaatit saadaa havaitoarvoe summista, eliösummista a tulosummasta alla esitetyillä kaavoilla: x = xi y = yi i= i= xi yi xi yi i = i= i= b = 2 2 xi xi i= i= b = y b x 0 TKK (c) Ilkka Melli (2005) 36

37 Yhde selittää lieaarise regressiomalli estimoiti Tuuslukue laskemie: Havaiollistava esimerkki /3 Taulukossa oikealla o keiotekoise kahde muuttua aieisto havaitoarvot ( = 6). Aieistoa kuvaava pistediagrammi o oikealla alhaalla. i x y Pistediagrammi 8 6 y x TKK (c) Ilkka Melli (2005) 37

38 Yhde selittää lieaarise regressiomalli estimoiti Tuuslukue laskemie: Havaiollistava esimerkki 2/3 Alla olevassa taulukossa o laskettu muuttuie x a y havaittue arvoe summat, eliösummat a tulosumma. i x y x 2 y 2 xy Summa Yhde selittää lieaarise regressiomalli y = β0 + β x + ε, =,2,, regressiokertoimie β 0 a β PNS-estimaatit voidaa laskea äistä viidestä summasta; ks. seuraavaa kalvoa. TKK (c) Ilkka Melli (2005) 38

39 Yhde selittää lieaarise regressiomalli estimoiti Tuuslukue laskemie: Havaiollistava esimerkki 3/3 Regressiokertoimie β 0 a β PNS-estimaatit: x = xi = 29 = i= 6 y = yi = 32 = i= 6 xy i i xi yi i = i= i= b 6 = = = x i x i 6 i= i= b = y bx = =.54 0 TKK (c) Ilkka Melli (2005) 39

40 Yhde selittää lieaarise regressiomalli estimoiti Estimoitu regressiosuora /3 Yhde selittää lieaarie regressiomalli y = β0 + β x + ε, =,2,, regressiokertoimie β 0 a β PNS-estimaattorit b 0 a b 2 määrittelevät suora avaruudessa : y = b 0 + b x ossa b 0 = estimoidu regressiosuora a y-akseli leikkauspiste b = estimoidu regressiosuora kulmakerroi TKK (c) Ilkka Melli (2005) 40

41 Yhde selittää lieaarise regressiomalli estimoiti Estimoitu regressiosuora 2/3 Sioitetaa regressiokertoimie β 0 a β PNSestimaattoreide lausekkeet sy b0 = y bx b = rxy s x estimoidu regressiosuora lausekkeesee. Tällöi estimoidu regressiosuora yhtälö voidaa kiroittaa seuraavaa muotoo: sy y = y+ rxy ( x x) sx Yhtälöstä ähdää, että estimoitu regressiosuora kulkee havaitopisteide (x, y ), =, 2,, paiopistee ( x, y) kautta. TKK (c) Ilkka Melli (2005) 4

42 Yhde selittää lieaarise regressiomalli estimoiti Estimoitu regressiosuora 3/3 Estimoidulla regressiosuoralla sy y = y+ rxy ( x x) sx o seuraavat omiaisuudet: (i) Jos r > 0, suora o ouseva. xy (ii) Jos r < 0, suora o laskeva. xy (iii) Jos r = 0, suora o vaakasuorassa. xy (iv) Suora yrkkeee (loiveee), os korrelaatio itseisarvo kasvaa (pieeee) keskihaota kasvaa (pieeee) s y keskihaota pieeee (kasvaa) s x r xy TKK (c) Ilkka Melli (2005) 42

43 Yhde selittää lieaarise regressiomalli estimoiti Estimoitu regressiosuora: Havaiollistava esimerkki /2 Taulukossa oikealla o keiotekoise kahde muuttua aieisto havaitoarvot ( = 6). Aieistoa kuvaava pistediagrammi o oikealla alhaalla. i x y Pistediagrammi 8 6 y x TKK (c) Ilkka Melli (2005) 43

44 Yhde selittää lieaarise regressiomalli estimoiti Estimoitu regressiosuora: Havaiollistava esimerkki 2/2 Yhde selittää lieaarise regressiomalli y = β + β x + ε 0 =, 2,, regressiokertoimie β 0 a β PNS-estimaateiksi saatii edellä b 0 =.5407 b = Estimoidu regressiosuora yhtälö o site y = x ks. kuviota oikealla. y Pistediagrammi y = x R 2 = x TKK (c) Ilkka Melli (2005) 44

45 Yhde selittää lieaarise regressiomalli estimoiti Regressiosuora estimoiti:. esimerkki /2 Hooke lai mukaa (ideaalise) kierreouse pituus y riippuu lieaarisesti ousee ripustetusta paiosta x: y = α + β x ossa α = ouse pituus ilma paioa β = s. ousivakio Jousivakio määräämiseksi ousee ripustettii seuraavat paiot: 0, 2, 4, 6, 8, 0 kg a ouse pituus mitattii. Mittaustulokset o aettu taulukossa oikealla. Paio (kg) Pituus (cm) TKK (c) Ilkka Melli (2005) 45

46 Yhde selittää lieaarise regressiomalli estimoiti Regressiosuora estimoiti:. esimerkki 2/2 Estimoidu regressiosuora yhtälö o y = x ks. kuviota oikealla. Suora kulmakertoime b = tulkita: Jousee ripustetu paio lisäämie kg:lla pidetää ousta keskimääri cm:llä. Jouse pituus (cm) Kierreouse pituude riippuvuus ousee ripustetusta paiosta y = x R 2 = Paio (kg) TKK (c) Ilkka Melli (2005) 46

47 Yhde selittää lieaarise regressiomalli estimoiti Regressiosuora estimoiti: 2. esimerkki /2 Periöllisyystietee mukaa lapset perivät geeettiset omiaisuutesa vahemmiltaa. Periytyykö isä pituus heidä poillee? Havaitoaieisto koostuu 300: isä a heidä poikiesa pituuksie muodostamasta lukuparista (x, y ), =, 2,, 300 ossa x = isä pituus y = isä poa pituus Ks. pistediagrammia oikealla. Poa pituus (cm) Isie a poikie pituudet Isä pituus (cm) TKK (c) Ilkka Melli (2005) 47

48 Yhde selittää lieaarise regressiomalli estimoiti Regressiosuora estimoiti: 2. esimerkki 2/2 Estimoidu regressiosuora yhtälö o y = x ks. kuviota oikealla. Suora kulmakertoime b = tulkita: Jos isä A o cm pitempi kui isä B, isä A: poika o keskimääri cm pitempi kui isä B: poika. Poa pituus (cm) Isie a poikie pituudet 95 y = x R 2 = Isä pituus (cm) TKK (c) Ilkka Melli (2005) 48

49 Yhde selittää lieaarise regressiomalli estimoiti Regressiosuora estimoiti: 3. esimerkki /2 Oko keuhkosyöpä yleisempää sellaisissa maissa, oissa tupakoidaa palo? Oikealla o tiedot savukkeide kulutuksesta a keuhkosyövä yleisyydestä 0:ssä maassa. Havaitoaieisto koostuu 0:stä lukuparista (x, y ), =, 2,, 0 ossa x = savukkeide kulutus maassa 930 y = sairastuvuus keuhkosyöpää maassa 950 Maa Savukkeide kulutus (kpl) per capita 930 Keuhkosyöpätapauste lkm per mil. hekilöä 950 Islati Nora Ruotsi 30 5 Kaada Taska Itävalta Hollati Sveitsi Suomi Eglati TKK (c) Ilkka Melli (2005) 49

50 Yhde selittää lieaarise regressiomalli estimoiti Regressiosuora estimoiti: 3. esimerkki 2/2 Estimoidu regressiosuora yhtälö o y = x Suora kulmakertoime b = tulkita: Jos maassa A poltettii vuoa 930 sata savuketta eemmä per capita kui maassa B, maassa A oli vuoa 950 keskimääri keuhkosyöpätapausta eemmä per mil. asukasta kui maassa B. Keuhkosyöpätapaukset per mil. hekilöä Savukkeide kulutus a sairastuvuus keuhkosyöpää y = x R 2 = Savukkeide kulutus (kpl) per capita 930 TKK (c) Ilkka Melli (2005) 50

51 Yhde selittää lieaarise regressiomalli estimoiti Sovitteet a residuaalit Olkoot b 0 a b yhde selittää lieaarise regressiomalli y = β0 + β x + ε, =,2,, regressiokertoimie β 0 a β PNS-estimaattorit. Määritellää estimoidu malli sovitteet kaavalla yˆ = b0 + bx, =,2,, Määritellää estimoidu malli residuaalit kaavalla e = y yˆ = y b0 bx, =,2,, Huomaa, että y = yˆ + e, =,2,, TKK (c) Ilkka Melli (2005) 5

52 Yhde selittää lieaarise regressiomalli estimoiti Sovitteet a residuaalit: Tulkiat /2 Sovite yˆ = b0 + bx, =,2,, o estimoidu regressiosuora yhtälö selitettävälle muuttualle y atama arvo havaitopisteessä x. Residuaali e = y yˆ = y b0 bx, =,2,, o selitettävä muuttua y havaitu arvo y a sovittee yˆ eli estimoidu regressiosuora yhtälö selitettävälle muuttualle y havaitopisteessä x atama arvo erotus. TKK (c) Ilkka Melli (2005) 52

53 Yhde selittää lieaarise regressiomalli estimoiti Sovitteet a residuaalit: Tulkiat 2/2 Estimoitu regressiomalli selittää selitettävä muuttua y havaittue arvoe vaihtelu sitä paremmi mitä lähempää estimoidu malli sovitteet yˆ ovat selitettävä muuttua y havaittua arvoa y. Yhtäpitävästi edellise kassa: Estimoitu regressiomalli selittää selitettävä muuttua y havaittue arvoe y vaihtelu sitä paremmi mitä pieempiä ovat estimoidu malli residuaalit e. TKK (c) Ilkka Melli (2005) 53

54 Yhde selittää lieaarise regressiomalli estimoiti Sovitteet a residuaalit: Havaiollistus Kuvio oikealla havaiollistaa sovitteide a residuaalie geometrista tulkitaa. Malli: y = β0 + β x + ε, =,2,, PNS-suora: y = b0 + bx Sovite: yˆ = b0 + bx, =,2,, Residuaali: e = y yˆ, =,2,, e yˆ y x (x, y ) y = b0 + bx ( x, yˆ ) x TKK (c) Ilkka Melli (2005) 54

55 Yhde selittää lieaarise regressiomalli estimoiti Sovitteet a residuaalit: Havaiollistava esimerkki /3 Taulukossa oikealla o keiotekoise kahde muuttua aieisto havaitoarvot ( = 6). Estimoidu regressiosuora yhtälöksi saatii edellä y = x ks. kuviota oikealla. i x y Pistediagrammi y = x R 2 = y x TKK (c) Ilkka Melli (2005) 55

56 Yhde selittää lieaarise regressiomalli estimoiti Sovitteet a residuaalit: Havaiollistava esimerkki 2/3 Alla olevassa taulukossa o laskettu estimoidu malli y = x sovitteet ŷ a residuaalit e: i x y Sovite Residuaali Summa Esimerkiksi, ku i = 3, ii yˆ 3 = x3 = = e = y yˆ = = TKK (c) Ilkka Melli (2005) 56

57 Yhde selittää lieaarise regressiomalli estimoiti Sovitteet a residuaalit: Havaiollistava esimerkki 3/3 Kuvioo oikealla o lisätty estimoidu regressiomalli residuaalea vastaavat aat. Huomautus: Pistediagrammi y = x R 2 = Pieimmä eliösumma meetelmässä regressiosuora kertoimet tulevat valituiksi site, että malli residuaalea vastaavie aoe pituuksie eliöide summa o piei mahdollie. y x TKK (c) Ilkka Melli (2005) 57

58 Yhde selittää lieaarise regressiomalli estimoiti Jääösvariassi estimoiti /2 Jos yhde selittää lieaarise regressiomalli ääöseli virhetermeä ε koskevat stadardioletukset (i)-(iii) pätevät, ääösvariassi Var(ε ) = σ 2 harhato estimaattori o 2 2 s = e 2 = ossa e = y yˆ = y b bx, =,2,, 0 = estimoidu malli residuaali = havaitoe lukumäärä TKK (c) Ilkka Melli (2005) 58

59 Yhde selittää lieaarise regressiomalli estimoiti Jääösvariassi estimoiti 2/2 Jääösvariassi σ 2 estimaattori 2 2 s = e 2 = kuvaa havaitopisteide (x, y ), =, 2,, vaihtelua estimoidu regressiosuora ympärillä. TKK (c) Ilkka Melli (2005) 59

60 Yhde selittää lieaarise regressiomalli estimoiti Jääösvariassi estimoiti: Kommetti Estimaattori s 2 o residuaalie e variassi. Tämä seuraa siitä, että mallissa o vakioselittää, olloi i= e 0 a site myös e i = = ei = i = 0 olloi s e e e 2 ( ) 2 2 = = 2 = 2 = TKK (c) Ilkka Melli (2005) 60

61 Yhde selittää lieaarise regressiomalli estimoiti Jääösvariassi estimoiti: Havaiollistava esimerkki /2 Taulukossa alla o keiotekoise kahde muuttua aieisto havaitoarvot ( = 6): i x y y Pistediagrammi y = x R 2 = Aieistoa kuvaava pistediagrammi o oikealla x Kuvioo o merkitty myös aieistosta estimoidu regressiosuora yhtälö. TKK (c) Ilkka Melli (2005) 6

62 Yhde selittää lieaarise regressiomalli estimoiti Jääösvariassi estimoiti: Havaiollistava esimerkki 2/2 Alla olevassa taulukossa o laskettu estimoidu malli sovitteet ŷ, residuaalit e (sovitteide a residuaalie laskemista o käsitelty edellä) a residuaalie eliöt e 2. i x y Sovite Residuaali Res Summa Jääösvariassi σ 2 harhato estimaattori o 2 2 s = e = 6 2 = = TKK (c) Ilkka Melli (2005) 62

63 Yhde selittää lieaarie regressiomalli Yhde selittää lieaarie regressiomalli a sitä koskevat oletukset Yhde selittää lieaarise regressiomalli estimoiti >> Variassiaalyysihaotelma a selitysaste Päättely yhde selittää lieaarisesta regressiomallista Eustamie yhde selittää lieaarisella regressiomallilla Yhde selittää lieaarise regressiomalli a satuaie selittää 2-ulotteise ormaaliakauma regressiofuktioide estimoiti TKK (c) Ilkka Melli (2005) 63

64 Variassiaalyysihaotelma a selitysaste Avaisaat Jääöseliösumma Jääösvaihtelu Kokoaiseliösumma Kokoaisvaihtelu Korrelaatio Lieaarie regressiomalli Mallieliösumma Pieimmä eliösumma estimaattori Residuaali Selitysaste Sovite Stadardioletukset Variassiaalyysihaotelma TKK (c) Ilkka Melli (2005) 64

65 Variassiaalyysihaotelma a selitysaste Variassiaalyysihaotelma idea Yhde selittää regressiomalli tehtävää o selittää selitettävä muuttua y havaittue arvoe vaihtelu selittävä muuttua x havaittue arvoe vaihtelulla. Oistumista tässä tehtävässä voidaa kuvata s. variassiaalyysihaotelma avulla. Haotelmassa selitettävä muuttua y havaittue arvoe kokoaisvaihtelua kuvaava s. kokoaiseliösumma aetaa kahde osatekiä summaksi: (i) Toie osatekiä kuvaa estimoidu malli selittämää osaa kokoaisvaihtelusta. (ii) Toie osatekiä kuvaa mallilla selittämättä ääyttä osaa kokoaisvaihtelusta. TKK (c) Ilkka Melli (2005) 65

66 Variassiaalyysihaotelma a selitysaste Malli a se osat /2 Oletetaa, että havaitoarvoe y a x välillä o lieaarie tilastollie riippuvuus, oka voidaa ilmaista yhtälöllä y = β0 + β x + ε, =,2,, Yhtälö määrittelee yhde selittää lieaarise regressiomalli, ossa y = selitettävä muuttua y satuaie a havaittu arvo havaitoyksikössä x = selittävä muuttua eli selittää xeisatuaie a havaittu arvo havaitoyksikössä ε = ääös- eli virhetermi ε satuaie a ei-havaittu arvo havaitoyksikössä TKK (c) Ilkka Melli (2005) 66

67 Variassiaalyysihaotelma a selitysaste Malli a se osat 2/2 Yhde selittää lieaarisessa regressiomallissa y = β0 + β x + ε, =,2,, o seuraavat kertoimet: β 0 = vakioselittää regressiokerroi; β 0 o ei-satuaie a tutemato vakio β = selittää x regressiokerroi; β o ei-satuaie a tutemato vakio TKK (c) Ilkka Melli (2005) 67

68 Variassiaalyysihaotelma a selitysaste Oletukset Oletetaa, että yhde selittää lieaarise regressiomalli y = β0 + β x + ε, =,2,, ääös- elivirhetermiä ε koskevat stadardioletukset pätevät: (i) E(ε ) = 0, =, 2,, (ii) Jääöstermit ovat homoskedastisia: Var(ε ) = σ 2, =, 2,, (iii) Jääöstermit ovat korreloimattomia: Cor(ε, ε l ) = 0, l TKK (c) Ilkka Melli (2005) 68

69 Variassiaalyysihaotelma a selitysaste Otostuusluvut Määritellää havaitoe x a y, =, 2,, aritmeettiset keskiarvot, otosvariassit, otoskovariassi a otoskorrelaatiokerroi tavaomaisilla kaavoillaa: x = x y = y = = s x x s y y x = ( ) y = ( i ) = = s = ( x x)( y y) r xy = xy = s x xy ss y TKK (c) Ilkka Melli (2005) 69

70 Variassiaalyysihaotelma a selitysaste Regressiokertoimie PNS-estimaattorit Yhde selittää lieaarise regressiomalli y = β0 + β x + ε, =,2,, regressiokertoimie β 0 a β pieimmä eliösumma (PNS-) estimaattorit ovat b0 = y bx sxy sy b = = r 2 xy s s x x TKK (c) Ilkka Melli (2005) 70

71 Variassiaalyysihaotelma a selitysaste Sovitteet a residuaalit Olkoot b 0 a b yhde selittää lieaarise regressiomalli y = β0 + β x + ε, =,2,, regressiokertoimie β 0 a β PNS-estimaattorit. Määritellää estimoidu malli sovitteet kaavalla yˆ = b0 + bx, =,2,, Määritellää estimoidu malli residuaalit kaavalla e = y yˆ = y b bx, =,2,, 0 TKK (c) Ilkka Melli (2005) 7

72 Variassiaalyysihaotelma a selitysaste Jääösvariassi estimoiti Jos yhde selittää lieaarise regressiomalli ääöseli virhetermeä ε koskevat stadardioletukset (i)-(iii) pätevät, ääösvariassi Var(ε ) = σ 2 harhato estimaattori o 2 2 s = e 2 ossa e = = = estimoidu malli havaitoe lukumäärä residuaali TKK (c) Ilkka Melli (2005) 72

73 Variassiaalyysihaotelma a selitysaste Kokoaiseliösumma Neliösumma SST = ( y y) = 2 kuvaa selitettävä muuttua y havaittue arvoe y vaihtelua a sitä kutsutaa kokoaiseliösummaksi. Selitettävä muuttua y havaittue arvoe y variassi voidaa määritellä kaavalla s = SST 2 y TKK (c) Ilkka Melli (2005) 73

74 Variassiaalyysihaotelma a selitysaste Jääöseliösumma Neliösumma SSE kuvaa residuaalie e vaihtelua a sitä kutsutaa ääöseliösummaksi. Koska mallissa o vakioselittää, olloi e = 0, residuaalie e variassi voidaa määritellä kaavalla s = SSE 2 2 = e = 2 s 2 o ääösvariassi σ 2 harhato estimaattori. TKK (c) Ilkka Melli (2005) 74

75 Variassiaalyysihaotelma a selitysaste Kokoais- a ääöseliösumma yhteys /4 Voidaa osoittaa, että yhde selittää lieaarisessa regressiomallissa ääöseliösumma SSE a kokoaiseliösumma SST toteuttavat yhtälöt ossa xy xy = = SSE e ( r ) ( y y) ( r ) SST r xy = = = = s x xy ss y = selitettävä muuttua y a selittää x havaittue arvoe otoskorrelaatiokerroi TKK (c) Ilkka Melli (2005) 75

76 Variassiaalyysihaotelma a selitysaste Kokoais- a ääöseliösumma yhteys 2/4 Koska otoskorrelaatiokerroi r xy toteuttaa epäyhtälöt r xy + yhtälöistä xy xy = = = = = SSE e ( r ) ( y y) ( r ) SST ähdää välittömästi, että SSE SST TKK (c) Ilkka Melli (2005) 76

77 Variassiaalyysihaotelma a selitysaste Kokoais- a ääöseliösumma yhteys 3/4 Yhtälöistä xy xy = = = = = SSE e ( r ) ( y y) ( r ) SST ähdää, että seuraavat ehdot ovat yhtäpitäviä: (i) SSE = 0 (ii) e = 0 kaikille =, 2,, (iii) r xy = ± Jos ehdot (i)-(iii) pätevät, ii kaikki havaitopisteet (x, y ), =, 2,, ovat samalla suoralla a tätä suoraa vastaava lieaarie regressiomalli selittää täydellisesti selitettävä muuttua y havaittue arvoe vaihtelu. TKK (c) Ilkka Melli (2005) 77

78 Variassiaalyysihaotelma a selitysaste Kokoais- a ääöseliösumma yhteys 4/4 Yhtälöistä xy xy = = = = = SSE e ( r ) ( y y) ( r ) SST ähdää, että seuraavat ehdot ovat yhtäpitäviä: (i) SSE = SST (ii) e = y y kaikille =, 2,, (iii) r xy = 0 Jos ehdot (i) -(iii) pätevät, ii selitettävä muuttua y havaittue arvoe vaihtelua ei voida selittää lieaarisella regressiomallilla. TKK (c) Ilkka Melli (2005) 78

79 Variassiaalyysihaotelma a selitysaste Mallieliösumma /2 Määritellää suure SSM yhtälöllä SSM = SST SSE Koska 0 SSE SST ii SSM 0 Koska voidaa osoittaa, että SSM = ( yˆ y) = suuretta SSM kutsutaa mallieliösummaksi. 2 TKK (c) Ilkka Melli (2005) 79

80 Variassiaalyysihaotelma a selitysaste Mallieliösumma 2/2 Mallieliösumma SSM voidaa esittää myös muodossa = ( ˆ ˆ) 2 SSM = y y ossa yˆ = yˆ = y = y = = TKK (c) Ilkka Melli (2005) 80

81 Variassiaalyysihaotelma a selitysaste Variassiaalyysihaotelma /2 Edellä esitety mukaa kokoaiseliösumma voidaa esittää kahde osatekiä SSM a SSE summaa: SST = SSM + SSE ossa a SST = ( y y) SSE = SSM = ( yˆ y) = = e = TKK (c) Ilkka Melli (2005) 8

82 Variassiaalyysihaotelma a selitysaste Variassiaalyysihaotelma 2/2 Variassiaalyysihaotelmassa SST = SSM + SSE selitettävä muuttua y havaittue arvoe vaihtelua kuvaava kokoaiseliösumma SST o esitetty kahde osatekiä SSM a SSE summaa: (i) Mallieliösumma SSM kuvaa sitä osaa selitettävä muuttua y havaittue arvoe vaihtelusta, oka estimoitu malli o selittäyt. (ii) Jääöseliösumma SSE kuvaa sitä osaa selitettävä muuttua y havaittue arvoe vaihtelusta, ota estimoitu malli ei ole selittäyt. TKK (c) Ilkka Melli (2005) 82

83 Variassiaalyysihaotelma a selitysaste Variassiaalyysihaotelma tulkita Variassiaalyysihaotelma SST = SSM + SSE kuvaa estimoidu regressiomalli hyvyyttä: (i) Mitä suurempi o mallieliösumma SSM osuus kokoaiseliösummasta SST, sitä paremmi estimoitu malli selittää selitettävä muuttua havaittue arvoe vaihtelu. (ii) Mitä pieempi o ääöseliösumma SSE osuus kokoaiseliösummasta SST, sitä paremmi estimoitu malli selittää selitettävä muuttua havaittue arvoe vaihtelu. TKK (c) Ilkka Melli (2005) 83

84 Variassiaalyysihaotelma a selitysaste Selitysaste Variassiaalyysihaotelma SST = SSM + SSE motivoi tuusluvu R 2 SSE SSM = = SST SST käytö regressiomalli hyvyyde mittaria. Tuuslukua R 2 kutsutaa selitysasteeksi a se mittaa regressiomalli selittämää osuutta selitettävä muuttua y havaittue arvoe kokoaisvaihtelusta. Selitysaste R 2 ilmaistaa tavallisesti prosetteia: 00 R 2 % TKK (c) Ilkka Melli (2005) 84

85 Variassiaalyysihaotelma a selitysaste Selitysaste a korrelaatio Voidaa osoittaa, että 2 R = [ Cor( yy, ˆ) ] 2 ossa Cor( yy, ˆ) o selitettävä muuttua y havaittue arvoe y a sovitteide yˆ otoskorrelaatiokerroi. Yhde selittää lieaarisessa regressiomallissa pätee lisäksi se, että selitysaste R 2 o selitettävä a selittävä muuttua havaittue arvoe otoskorrelaatiokertoime r xy eliö: 2 2 R = r xy TKK (c) Ilkka Melli (2005) 85

86 Variassiaalyysihaotelma a selitysaste Selitysastee omiaisuudet /2 Selitysasteella R 2 o seuraavat omiaisuudet: (i) 0 R 2 (ii) Seuraavat ehdot ovat yhtäpitäviä: () R 2 = (2) Kaikki residuaalit häviävät: e = 0, kaikille =, 2,, (3) Kaikki havaitopisteet (x, y ), =, 2,, asettuvat samalle suoralle. (4) r xy = ± (5) Määritelty malli selittää täydellisesti selitettävä muuttua y havaittue arvoe vaihtelu. TKK (c) Ilkka Melli (2005) 86

87 Variassiaalyysihaotelma a selitysaste Selitysastee omiaisuudet 2/2 (iii) Seuraavat ehdot ovat yhtäpitäviä: () R 2 = 0 (2) b = 0 (3) r xy = 0 (4) Määritelty malli ei ollekaa selitä selitettävä muuttua y havaittue arvoe vaihtelua. TKK (c) Ilkka Melli (2005) 87

88 Variassiaalyysihaotelma a selitysaste Selitysastee laskemie: Havaiollistava esimerkki /3 Taulukossa oikealla o keiotekoise kahde muuttua aieisto havaitoarvot ( = 6). Aieistosta estimoidu regressiosuora yhtälöksi saatii kappaleessa Yhde selittää lieaarise regressiomalli estimoiti y = x ks. kuviota oikealla. y i x y Pistediagrammi y = x R 2 = x TKK (c) Ilkka Melli (2005) 88

89 Variassiaalyysihaotelma a selitysaste Selitysastee laskemie: Havaiollistava esimerkki 2/3 Alla olevassa taulukossa o laskettu havaitoarvoe summat a eliösummat sekä estimoidu malli sovitteet ŷ, residuaalit e (sovitteide a residuaalie laskemista o käsitelty em. kappaleessa) a residuaalie eliöt e 2. i x y x 2 y 2 Sovite Residuaali Res Summa Estimoidu malli selitysaste saadaa tauluko sarakesummista seuraavalla kalvolla esitettävällä tavalla. TKK (c) Ilkka Melli (2005) 89

90 Variassiaalyysihaotelma a selitysaste Selitysastee laskemie: Havaiollistava esimerkki 3/3 Kokoaiseliösumma: SST = y y = = = = 6 Jääöseliösumma: SSE Selitysaste: = e = = SSE R = = = SST Site estimoitu malli o selittäyt 83.0 % selitettävä muuttua arvoe vaihtelusta. TKK (c) Ilkka Melli (2005) 90

91 Yhde selittää lieaarie regressiomalli Yhde selittää lieaarie regressiomalli a sitä koskevat oletukset Yhde selittää lieaarise regressiomalli estimoiti Variassiaalyysihaotelma a selitysaste >> Päättely yhde selittää lieaarisesta regressiomallista Eustamie yhde selittää lieaarisella regressiomallilla Yhde selittää lieaarise regressiomalli a satuaie selittää 2-ulotteise ormaaliakauma regressiofuktioide estimoiti TKK (c) Ilkka Melli (2005) 9

92 Päättely yhde selittää lieaarisesta regressiomallista Avaisaat F-testi Kulmakerroi Lieaarie regressiomalli Luottamusväli Otosakauma Pieimmä eliösumma estimaattori Regressiokerroi Selitysaste Stadardioletukset Testaus t-testi Vakio TKK (c) Ilkka Melli (2005) 92

93 Päättely yhde selittää lieaarisesta regressiomallista Mallia koskeva tilastollie päättely Tarkastellaa seuraavia yhde selittää lieaarista regressiomallia koskevia päättely ogelmia: Regressiokertoimie estimaattoreide odotusarvot a variassit Regressiokertoimie estimaattoreide otosakaumat Regressiokertoimie luottamusvälit Testit regressiokertoimille Testi selitysasteelle TKK (c) Ilkka Melli (2005) 93

94 Päättely yhde selittää lieaarisesta regressiomallista Malli a se osat /3 Oletetaa, että havaitoarvoe y a x välillä o lieaarie tilastollie riippuvuus, oka voidaa ilmaista yhtälöllä y = β0 + β x + ε, =,2,, Yhtälö määrittelee yhde selittää lieaarise regressiomalli, ossa y = selitettävä muuttua y satuaie a havaittu arvo havaitoyksikössä x = selittävä muuttua eli selittää xeisatuaie a havaittu arvo havaitoyksikössä ε = ääös- eli virhetermi ε satuaie a ei-havaittu arvo havaitoyksikössä TKK (c) Ilkka Melli (2005) 94

95 Päättely yhde selittää lieaarisesta regressiomallista Malli a se osat 2/3 Yhde selittää lieaarisessa regressiomallissa y = β0 + β x + ε, =,2,, o seuraavat kertoimet: β 0 = vakioselittää regressiokerroi; β 0 o ei-satuaie a tutemato vakio β = selittää x regressiokerroi; β o ei-satuaie a tutemato vakio TKK (c) Ilkka Melli (2005) 95

96 Päättely yhde selittää lieaarisesta regressiomallista Malli a se osat 3/3 Yhde selittää lieaarise regressiomalli y = β0 + β x + ε, =,2,, määrittelemä regressiosuora y = β 0 + β x yhtälössä β 0 = regressiosuora a y-akseli leikkauspiste eli regressiosuora vakio β = regressiosuora kulmakerroi TKK (c) Ilkka Melli (2005) 96

97 Päättely yhde selittää lieaarisesta regressiomallista Oletukset Oletetaa, että yhde selittää lieaarise regressiomalli y = β0 + β x + ε, =,2,, ääös- elivirhetermiä ε koskevat stadardioletukset pätevät: (i) E(ε ) = 0, =, 2,, (ii) Jääöstermit ovat homoskedastisia: Var(ε ) = σ 2, =, 2,, (iii) Jääöstermit ovat korreloimattomia: Cor(ε, ε l ) = 0, l Lisäksi oletetaa, että virhetermit ε ovat ormaalisia: (iv) ε ~ N(0, σ 2 ), =, 2,, TKK (c) Ilkka Melli (2005) 97

98 Päättely yhde selittää lieaarisesta regressiomallista Otostuusluvut Määritellää havaitoe x a y, =, 2,, aritmeettiset keskiarvot, otosvariassit, otoskovariassi a otoskorrelaatiokerroi tavaomaisilla kaavoillaa: x = x y = y = = s x x s y y x = ( ) y = ( i ) = = s = ( x x)( y y) r xy = xy = s x xy ss y TKK (c) Ilkka Melli (2005) 98

99 Päättely yhde selittää lieaarisesta regressiomallista Regressiokertoimie PNS-estimaattorit Yhde selittää lieaarise regressiomalli y = β0 + β x + ε, =,2,, regressiokertoimie β 0 a β pieimmä eliösumma (PNS-) estimaattorit ovat b0 = y bx sxy sy b = = r 2 xy s s x x TKK (c) Ilkka Melli (2005) 99

100 Päättely yhde selittää lieaarisesta regressiomallista Sovitteet a residuaalit Olkoot b 0 a b yhde selittää lieaarise regressiomalli y = β0 + β x + ε, =,2,, regressiokertoimie β 0 a β PNS-estimaattorit. Määritellää estimoidu malli sovitteet kaavalla yˆ = b0 + bx, =,2,, Määritellää estimoidu malli residuaalit kaavalla e = y yˆ = y b bx, =,2,, 0 TKK (c) Ilkka Melli (2005) 00

101 Päättely yhde selittää lieaarisesta regressiomallista Jääösvariassi estimoiti Jos yhde selittää lieaarise regressiomalli ääöseli virhetermeä ε koskevat stadardioletukset (i)-(iii) pätevät, ääösvariassi Var(ε ) = σ 2 harhato estimaattori o 2 2 s = e 2 ossa e = = estimoidu malli = havaitoe lukumäärä residuaali TKK (c) Ilkka Melli (2005) 0

102 Päättely yhde selittää lieaarisesta regressiomallista Regressiokertoimie estimaattorit: Odotusarvot a variassit Jos stadardioletukset (i)-(iii) pätevät, ii regressiokertoimie β 0 a β PNS-estimaattoreilla b 0 a b o seuraavat odotusarvot a variassit: 2 2 = β = = 2 ( ) sx E( b) Var( b) D ( b) 2 2 σ x 2 = E( b0) = β0 Var( b0) = D ( b0) = 2 ( ) sx Erityisesti: PNS-estimaattorit b 0 a b ovat oletuksie (i)- (iii) pätiessä harhattomia. σ TKK (c) Ilkka Melli (2005) 02

103 Päättely yhde selittää lieaarisesta regressiomallista Regressiokertoimie estimaattorit: Otosakaumat Jos stadardioletuksie (i)-(iii) lisäksi ormaalisuusoletus (iv) pätee, regressiokertoimie β 0 a β PNS-estimaattorit b 0 a b ovat ormaaliakautueita: 2 σ b N β, ( ) 2 s x 2 2 σ x = b0 N β0, 2 ( ) s x TKK (c) Ilkka Melli (2005) 03

104 Päättely yhde selittää lieaarisesta regressiomallista Regressiosuora kulmakertoime luottamusväli Jos stadardioletuksie (i)-(iii) lisäksi ormaalisuusoletus (iv) pätee, ii regressiokertoime β eli regressiosuora kulmakertoime luottamusväli luottamustasolla ( α) o muotoa s b ± tα /2 s x ossa t α/2 a +t α/2 ovat luottamustasoo ( α) liittyvät luottamuskertoimet Studeti t-akaumasta, oka vapausasteide luku o ( 2) a s 2 o ääösvariassi σ 2 harhato estimaattori. TKK (c) Ilkka Melli (2005) 04

105 Päättely yhde selittää lieaarisesta regressiomallista Regressiosuora kulmakertoime luottamusväli: Kommetti Huomaa, että regressiokertoime β luottamusväli o tavaomaista muotoa b ± tα /2 ˆD( b) ossa 2 2 s ˆD ( b ) = 2 ( ) s x o kertoime β PNS-estimaattori b variassi estimaattori. TKK (c) Ilkka Melli (2005) 05

106 Päättely yhde selittää lieaarisesta regressiomallista Regressiosuora vakio luottamusväli Jos stadardioletuksie (i)-(iii) lisäksi ormaalisuusoletus (iv) pätee, ii regressiokertoime β 0 eli regressiosuora vakio luottamusväli luottamustasolla ( α) o muotoa b ± t 0 α /2 s = x 2 ( ) s x ossa t α/2 a +t α/2 ovat luottamustasoo ( α) liittyvät luottamuskertoimet Studeti t-akaumasta, oka vapausasteide luku o ( 2) a s 2 o ääösvariassi σ 2 harhato estimaattori. TKK (c) Ilkka Melli (2005) 06

107 Päättely yhde selittää lieaarisesta regressiomallista Regressiosuora vakio luottamusväli: Kommetti Huomaa, että regressiokertoime β 0 luottamusväli o tavaomaista muotoa b0 ± tα /2 ˆD( b0) ossa 2 2 s x 2 = ˆD ( b0 ) = 2 ( ) sx o kertoime β 0 PNS-estimaattori b 0 variassi estimaattori. TKK (c) Ilkka Melli (2005) 07

108 Päättely yhde selittää lieaarisesta regressiomallista Testi regressiosuora kulmakertoimelle Oletetaa, että stadardioletuksie (i)-(iii) lisäksi ormaalisuusoletus (iv) pätee. Olkoo ollahypoteesia 0 H 0 :β = β Määritellää t-testisuure 0 b β t = s/( sx) Jos ollahypoteesi H 0 pätee, t t( 2) Itseisarvoltaa suuret testisuuree t arvot viittaavat siihe, että ollahypoteesi H 0 ei päde. TKK (c) Ilkka Melli (2005) 08

109 Päättely yhde selittää lieaarisesta regressiomallista Testi regressiosuora kulmakertoimelle: Kommetti Huomaa, että t-testisuure ollahypoteesille o tavaomaista muotoa 0 b β t = ˆD( b ) H :β = β 0 0 ossa 2 2 s ˆD ( b ) = 2 ( ) s x o regressiokertoime β PNS-estimaattori b variassi estimaattori, ku ollahypoteesi H 0 pätee. TKK (c) Ilkka Melli (2005) 09

110 Päättely yhde selittää lieaarisesta regressiomallista Testi regressiosuora kulmakertoimelle: Havaiollistava esimerkki /5 Taulukossa oikealla o keiotekoise kahde muuttua aieisto havaitoarvot ( = 6). Aieistosta estimoidu regressiosuora yhtälöksi saatii kappaleessa Yhde selittää lieaarise regressiomalli estimoiti y = x ks. kuviota oikealla. y i x y Pistediagrammi y = x R 2 = x TKK (c) Ilkka Melli (2005) 0

111 Päättely yhde selittää lieaarisesta regressiomallista Testi regressiosuora kulmakertoimelle: Havaiollistava esimerkki 2/5 Alla olevassa taulukossa o laskettu havaitoarvoe summat a eliösummat sekä estimoidu malli sovitteet ŷ, residuaalit e (sovitteide a residuaalie laskemista o käsitelty em. kappaleessa) a residuaalie eliöt e 2. i x y x 2 y 2 Sovite Residuaali Res Summa Tarkastellaa testiä malli y = β0 + β x + ε, =,2,, regressiokerroita β koskevalle ollahypoteesille H 0 : β = 0 TKK (c) Ilkka Melli (2005)

112 Päättely yhde selittää lieaarisesta regressiomallista Testi regressiosuora kulmakertoimelle: Havaiollistava esimerkki 3/5 Kertoime β estimaatti: b = Selittää x variassi: sx = xi xi = = i = i= 6 6 Jääösvariassi: 2 2 s = e = 6 2 = = t-testisuuree arvo: 0 b β t = = = s/( s ).096 /((6 ) 6.967) x TKK (c) Ilkka Melli (2005) 2

113 Päättely yhde selittää lieaarisesta regressiomallista Testi regressiosuora kulmakertoimelle: Havaiollistava esimerkki 4/5 Jos ollahypoteesi H 0 : β = 0 pätee, testisuure t o akautuut Studeti t-akauma mukaa vapausastei ( 2) = (6 2) = 4: t t(4) Valitaa merkitsevyystasoksi Olkoo vaihtoehtoie hypoteesi muotoa H : β 0 Tällöi merkitsevyystasoa 0.05 vastaavat kriittiset raat ovat a ks. kuviota oikealla. Site testi hylkäysalue o muotoa {t t < 2.776} {t t > } t(4) TKK (c) Ilkka Melli (2005) 3

114 Päättely yhde selittää lieaarisesta regressiomallista Testi regressiosuora kulmakertoimelle: Havaiollistava esimerkki 5/5 Koska t = > ii testisuuree t arvo o hylkäysalueella a voimme hylätä ollahypoteesi H 0 : β = 0 a hyväksyä vaihtoehtoise hypoteesi H : β 0 merkitsevyystasolla TKK (c) Ilkka Melli (2005) 4

115 Päättely yhde selittää lieaarisesta regressiomallista Testi regressiosuora vakiolle Oletetaa, että stadardioletuksie (i)-(iii) lisäksi ormaalisuusoletus (iv) pätee. Olkoo ollahypoteesia 0 H 00 :β0 = β0 Määritellää t-testisuure 0 b0 β0 t0 = 2 s x ( ) ( ) sx Jos ollahypoteesi H 00 pätee, t0 t( 2) Itseisarvoltaa suuret testisuuree t 0 arvot viittaavat siihe, että ollahypoteesi H 00 ei päde. TKK (c) Ilkka Melli (2005) 5

116 Päättely yhde selittää lieaarisesta regressiomallista Testi regressiosuora vakiolle: Kommetti Huomaa, että t-testisuure ollahypoteesille H :β = β o tavaomaista muotoa 0 b0 β0 t0 = ˆD( b ) ossa s x 2 = ˆD ( b0 ) = 2 ( ) sx o regressiokertoime β 0 PNS-estimaattori b 0 variassi estimaattori, ku ollahypoteesi H 00 pätee. TKK (c) Ilkka Melli (2005) 6

117 Päättely yhde selittää lieaarisesta regressiomallista Testi selitysasteelle /4 Oletetaa, että stadardioletuksie (i)-(iii) lisäksi ormaalisuusoletus (iv) pätee. Olkoo ollahypoteesia H 0 : β = 0 Määritellää F-testisuure 2 R F = ( 2) 2 R ossa R 2 o estimoidu malli selitysaste. TKK (c) Ilkka Melli (2005) 7

118 Päättely yhde selittää lieaarisesta regressiomallista Testi selitysasteelle 2/4 Jos ollahypoteesi H 0 : β = 0 pätee, testisuure 2 R F = ( 2) F(, 2) 2 R ossa F(, 2) o Fisheri F-akauma vapausastei a ( 2). Suuret testisuuree F arvot viittaavat siihe, että ollahypoteesi H 0 ei päde. TKK (c) Ilkka Melli (2005) 8

119 Päättely yhde selittää lieaarisesta regressiomallista Testi selitysasteelle 3/4 2 2 Koska R = r xy, em. F-testisuure voidaa esittää muodossa 2 rxy F = ( 2) 2 rxy Ottamalla tästä eliöuuri saadaa testisuure rxy t = 2 2 r xy oka oudattaa ollahypoteesi H 0 pätiessä Studeti t- akaumaa vapausastei ( 2): t ~ t( 2) Itseisarvoltaa suuret testisuuree t arvot viittaavat siihe, että ollahypoteesi H 0 ei päde. TKK (c) Ilkka Melli (2005) 9

120 Päättely yhde selittää lieaarisesta regressiomallista Testi selitysasteelle 4/4 Voidaa osoittaa, että rxy b t = 2 = = t 2 r s/ s xy x ossa testisuure t o tavaomaie t-testisuure ollahypoteesille H 0 : β = 0 F- a t-akaumie yhteyde perusteella o selvää, että 2 t = F ossa F o em. F-testisuure ollahypoteesille H 0. Huomaa, että yllä esitetty t-testisuure a t-testisuure korreloimattomuudelle ovat ekvivalettea. TKK (c) Ilkka Melli (2005) 20

121 Yhde selittää lieaarie regressiomalli Yhde selittää lieaarie regressiomalli a sitä koskevat oletukset Yhde selittää lieaarise regressiomalli estimoiti Variassiaalyysihaotelma a selitysaste Päättely yhde selittää lieaarisesta regressiomallista >> Eustamie yhde selittää lieaarisella regressiomallilla Yhde selittää lieaarise regressiomalli a satuaie selittää 2-ulotteise ormaaliakauma regressiofuktioide estimoiti TKK (c) Ilkka Melli (2005) 2

122 Eustamie yhde selittää lieaarisella regressiomallilla Avaisaat Eustamie Euste Lieaarie regressiomalli Luottamusväli Otosakauma Pieimmä eliösumma estimaattori Selitettävä muuttua arvo Selitettävä muuttua odotusarvo Stadardioletukset TKK (c) Ilkka Melli (2005) 22

123 Eustamie yhde selittää lieaarisella regressiomallilla Eustamie Oletetaa, että muuttuie x a y havaittue arvoe x a y välillä o lieaarie tilastollie riippuvuus, oka voidaa ilmaista muodossa y = β0 + β x + ε, =,2,, Haluamme eustaa selitettävää muuttuaa y, ku selittävä muuttua x saa arvo x. Jaetaa tarkastelu kahtee osaa: (i) Tavoitteea o eustaa selitettävä muuttua y odotettavissa oleva eli keskimääräie arvo. (ii) Tavoitteea o eustaa selitettävä muuttua y arvo. TKK (c) Ilkka Melli (2005) 23