Yhden selittäjän lineaarinen regressiomalli

Transkriptio

1 Ilkka Melli Tilastolliset meetelmät Osa 4: Lieaarie regressioaalyysi Yhde selittäjä lieaarie regressiomalli TKK (c) Ilkka Melli (007)

2 Yhde selittäjä lieaarie regressiomalli >> Yhde selittäjä lieaarie regressiomalli ja sitä koskevat oletukset Yhde selittäjä lieaarise regressiomalli estimoiti Variassiaalyysihajotelma ja selitysaste Päättely yhde selittäjä lieaarisesta regressiomallista Eustamie yhde selittäjä lieaarisella regressiomallilla Yhde selittäjä lieaarise regressiomalli ja satuaie selittäjä -ulotteise ormaalijakauma regressiofuktioide estimoiti TKK (c) Ilkka Melli (007)

3 Yhde selittäjä lieaarie regressiomalli ja sitä koskevat oletukset Selitettävä muuttuja ja selittävä muuttuja Oletetaa, että selitettävä muuttuja y havaittuje arvoje vaihtelu halutaa selittää selittävä muuttuja eli selittäjä x havaittuje arvoje vaihtelu avulla. Tehdää seuraavat oletukset: (i) Selitettävä muuttuja y o suhdeasteikollie satuaismuuttuja. (ii) Selittävä muuttuja x o kiiteä eli ei-satuaie muuttuja. Satuaise selittäjä tapausta käsitellää tämä luvu lopussa kappaleissa Yhde selittäjä lieaarise regressiomalli ja satuaie selittäjä ja -ulotteise ormaalijakauma regressiofuktioide estimoiti. TKK (c) Ilkka Melli (007) 3

4 Yhde selittäjä lieaarie regressiomalli ja sitä koskevat oletukset Havaiot Olkoot y, y,, y selitettävä muuttuja y ja x, x,, x selittävä muuttuja x havaittuja arvoja. Oletetaa lisäksi, että havaitoarvot x i ja y i liittyvät samaa havaitoyksikköö kaikille i =,,,. Tällöi havaitoarvot x i ja y i muodostavat pisteitä - ulotteisessa avaruudessa: ( x, y ), i =,,, i i TKK (c) Ilkka Melli (007) 4

5 Yhde selittäjä lieaarie regressiomalli ja sitä koskevat oletukset Malli ja se osat / Oletetaa, että havaitoarvoje y i ja x i välillä o lieaarie tilastollie riippuvuus, joka voidaa ilmaista yhtälöllä yi = β0 + β xi + εi, i =,,, Yhtälö määrittelee yhde selittäjä lieaarise regressiomalli, jossa y i = selitettävä muuttuja y satuaie ja havaittu arvo havaitoyksikössä i x i = selittävä muuttuja eli selittäjä xeisatuaie ja havaittu arvo havaitoyksikössä i ε i = jääös- eli virhetermi ε satuaie ja ei-havaittu arvo havaitoyksikössä i TKK (c) Ilkka Melli (007) 5

6 Yhde selittäjä lieaarie regressiomalli ja sitä koskevat oletukset Malli ja se osat / Yhde selittäjä lieaarisessa regressiomallissa yi = β0 + β xi + εi, i =,,, o seuraavat regressiokertoimet: β 0 = vakioselittäjä regressiokerroi; β 0 o ei-satuaie ja tutemato vakio β = selittäjä x regressiokerroi; β o ei-satuaie ja tutemato vakio Huomautus: Regressiokertoimet β 0 ja β o oletettu samoiksi kaikille havaitoyksiköille i. TKK (c) Ilkka Melli (007) 6

7 Yhde selittäjä lieaarie regressiomalli ja sitä koskevat oletukset Vakioselittäjä Yhde selittäjä lieaarisessa regressiomallissa yi = β0 + β xi + εi, i =,,, kerroita β 0 kutsutaa vakioselittäjä regressiokertoimeksi. Nimitys johtuu siitä, että kerroita β 0 vastaa keiotekoie selittäjä, joka saa kaikille havaitoyksiköille i =,,, vakioarvo. Huomautus: Jatkossa esitettävät kaavat eivät välttämättä päde tässä esitettävässä muodossa, jos mallissa ei ole vakioselittäjää. Oletamme jatkossa, että mallissa o aia vakioselittäjä. TKK (c) Ilkka Melli (007) 7

8 Yhde selittäjä lieaarie regressiomalli ja sitä koskevat oletukset Stadardioletukset jääöstermeistä / Tehdää yhde selittäjä lieaarise regressiomalli yi = β0 + β xi + εi, i =,,, jääös-elivirhetermeistä ε i s. stadardioletukset: (i) E( ε i ) = 0, i =,,, (ii) Jääöstermeillä o vakiovariassi eli e ovat homoskedastisia: Var( εi ) = σ, i =,,, (iii) Jääöstermit ovat korreloimattomia: Cor( εi, ε l) = 0, i l TKK (c) Ilkka Melli (007) 8

9 Yhde selittäjä lieaarie regressiomalli ja sitä koskevat oletukset Stadardioletukset jääöstermeistä / Lisäksi jääös- eli virhetermeistä ε i tehdää tavallisesti ormaalisuusoletus: (iv) εi N(0, σ ), i =,,, Huomautus: Oletus (iv) sisältää oletukset (i) ja (ii). TKK (c) Ilkka Melli (007) 9

10 Yhde selittäjä lieaarie regressiomalli ja sitä koskevat oletukset Selitettävä muuttuja omiaisuudet Jos yhde selittäjä lieaarise regressiomalli yi = β0 + β xi + εi, i =,,, jääös-eli virhetermejä ε i koskevat stadardioletukset (i)-(iii) pätevät, malli selitettävä muuttuja y havaituilla arvoilla y i o seuraavat stokastiset omiaisuudet: (i) E( yi) = β0 + βxi, i =,,, (ii) Var( yi ) = σ, i =,,, (iii) Cor( yi, yl) = 0, i l Jos lisäksi jääös- eli virhetermejä ε i koskeva ormaalisuusoletus (iv) pätee, ii (iv) y N( β + β x, σ ), i =,,, i 0 i TKK (c) Ilkka Melli (007) 0

11 Yhde selittäjä lieaarie regressiomalli ja sitä koskevat oletukset Malli parametrit Yhde selittäjä lieaarise regressiomalli yi = β0 + β xi + εi, i =,,, parametreja ovat malli regressiokertoimet β 0 ja β sekä jääös- eli virhetermie ε i yhteie variassi Var( εi ) = σ, i =,,, jota kutsutaa jääösvariassiksi. Koska regressiokertoimet β 0 ja β sekä jääösvariassi σ ovat tavallisesti tutemattomia, e o estimoitava muuttujie x ja y havaituista arvoista x i ja y i, i =,,,. TKK (c) Ilkka Melli (007)

12 Yhde selittäjä lieaarie regressiomalli ja sitä koskevat oletukset Malli systemaattie ja satuaie osa / Oletetaa, että yhde selittäjä lieaarise regressiomalli yi = β0 + β xi + εi, i =,,, jääös-eli virhetermejä ε i koskeva stadardioletus (i) E( ε i ) = 0, i =,,, pätee. Tällöi selitettävä muuttuja y havaitut arvot y i voidaa esittää seuraavalla tavalla kahde osatekijä summaa: y i = E(y i ) + ε i, i =,,, jossa E(y i ) = β 0 + β x i, i =,,, TKK (c) Ilkka Melli (007)

13 Yhde selittäjä lieaarie regressiomalli ja sitä koskevat oletukset Malli systemaattie ja satuaie osa / Odotusarvo E(y i ) = β 0 + β x i, i =,,, muodostaa yhde selittäjä lieaarise regressiomalli systemaattise osa eli rakeeosa, joka riippuu selittäjälle x aetuista arvoista. Jääös- eli virhetermi ε i, i =,,, muodostaa malli satuaise osa, joka ei riipu selittäjälle x aetuista arvoista. TKK (c) Ilkka Melli (007) 3

14 Yhde selittäjä lieaarie regressiomalli ja sitä koskevat oletukset Regressiosuora Yhde selittäjä lieaarise regressiomalli yi = β0 + β xi + εi, i =,,, systemaattie osa E(y i ) = β 0 + β x i määrittelee suora y = β 0 + β x avaruudessa. Suoraa kutsutaa regressiosuoraksi ja se yhtälössä β 0 = regressiosuora ja y-akseli leikkauspiste β = regressiosuora kulmakerroi Jääös- eli virhetermie ε i variassi σ kuvaa havaitopisteide (x i, y i ), i =,,, vaihtelua regressiosuora ympärillä. TKK (c) Ilkka Melli (007) 4

15 Yhde selittäjä lieaarie regressiomalli ja sitä koskevat oletukset Regressiosuora kulmakertoime tulkita Yhde selittäjä lieaarise regressiomalli systemaattise osa määrittelemä regressiosuora y = β 0 + β x kulmakertoimella β seuraava tulkita: Oletetaa, että selittäjä x arvo kasvaa yhdellä yksiköllä: x x + Tällöi kerroi β kertoo paljoko selitettävä muuttuja y vastaava odotettavissa oleva arvo muuttuu: E(y) = β 0 + β x β 0 + β (x + ) = β 0 + β x + β = E(y) + β TKK (c) Ilkka Melli (007) 5

16 Yhde selittäjä lieaarie regressiomalli Yhde selittäjä lieaarie regressiomalli ja sitä koskevat oletukset >> Yhde selittäjä lieaarise regressiomalli estimoiti Variassiaalyysihajotelma ja selitysaste Päättely yhde selittäjä lieaarisesta regressiomallista Eustamie yhde selittäjä lieaarisella regressiomallilla Yhde selittäjä lieaarise regressiomalli ja satuaie selittäjä -ulotteise ormaalijakauma regressiofuktioide estimoiti TKK (c) Ilkka Melli (007) 6

17 Yhde selittäjä lieaarise regressiomalli estimoiti Estimoitiogelma Yhde selittäjä lieaarise regressiomalli yi = β0 + β xi + εi, i =,,, regressiokertoimet β 0 ja β ovat ormaalisti tutemattomia, jote e o estimoiva muuttujie x ja y havaituista arvoista x i ja y i, i =,,,. Estimoiissa regressiokertoimille β 0 ja β pyritää löytämää sellaiset arvot, että iide määräämä regressiosuora selittäisi mahdollisimma hyvi selitettävä muuttuja y arvoje vaihtelu. Regressiokertoimie β 0 ja β estimoitii o tarjolla useita erilaisia meetelmiä, joista tavallisesti käytetää pieimmä eliösumma meetelmää. TKK (c) Ilkka Melli (007) 7

18 Yhde selittäjä lieaarise regressiomalli estimoiti Pieimmä eliösumma meetelmä Pieimmä eliösumma meetelmässä yhde selittäjä lieaarise regressiomalli yi = β0 + β xi + εi, i =,,, regressiokertoimie β 0 ja β estimaattorit määrätää miimoimalla jääös-elivirhetermie ε i eliösumma εi = ( yi β0 βxi) i= i= regressiokertoimie β 0 ja β suhtee. TKK (c) Ilkka Melli (007) 8

19 Yhde selittäjä lieaarise regressiomalli estimoiti Otostuusluvut Määritellää havaitoje x i ja y i, i =,,, aritmeettiset keskiarvot, otosvariassit, otoskovariassi ja otoskorrelaatiokerroi tavaomaisilla kaavoillaa: x = xi y = yi i= i= sx = ( xi x) sy = ( yi y) i= i= sxy = ( xi x)( yi y) i= sxy rxy = ss x y TKK (c) Ilkka Melli (007) 9

20 Yhde selittäjä lieaarise regressiomalli estimoiti Regressiokertoimie PNS-estimaattorit Yhde selittäjä lieaarise regressiomalli yi = β0 + β xi + εi, i =,,, regressiokertoimie β 0 ja β pieimmä eliösumma (PNS-) estimaattorit ovat b0 = y bx sxy sy b = = r xy s s x x TKK (c) Ilkka Melli (007) 0

21 Yhde selittäjä lieaarise regressiomalli estimoiti PNS-estimaattoreide johto /4 Yhde selittäjä lieaarise regressiomalli yi = β0 + β xi + εi, i =,,, regressiokertoimet β 0 ja β estimoidaa PNS-meetelmällä miimoimalla jääöstermie ε i eliösumma 0 = i = i 0 i i= i= S( β, β ) ε ( y β β x ) kertoimie β 0 ja β suhtee Tämä tapahtuu tavaomaisee tapaa derivoimalla fuktio S(β 0, β ) kertoimie β 0 ja β suhtee ja merkitsemällä derivaatat olliksi. TKK (c) Ilkka Melli (007)

22 Yhde selittäjä lieaarise regressiomalli estimoiti PNS-estimaattoreide johto /4 Derivoidaa fuktio 0 = i = i 0 i i= i= S( β, β ) ε ( y β β x ) regressiokertoimie β 0 ja β suhtee ja merkitää derivaatat olliksi: S( β0, β) () = ( yi β0 βxi) = 0 β0 i= S( β0, β) () = ( yi β0 βxi) xi = 0 β i= Regressiokertoimie β 0 ja β PNS-estimaattorit saadaa ormaaliyhtälöide () ja () ratkaisuia. TKK (c) Ilkka Melli (007)

23 Yhde selittäjä lieaarise regressiomalli estimoiti PNS-estimaattoreide johto 3/4 Kirjoitetaa ormaaliyhtälöt () ja () muotoihi () y β β x = 0 i 0 i= i= () yx i i β0 xi β xi = 0 i= i= i= Ratkaistaa β 0 yhtälöstä () : (3) β 0 = yi xi y x β = i β = i= ja sijoitetaa ratkaisu yhtälöö () : yx i i yx βx β xi i= i= (4) + = 0 i TKK (c) Ilkka Melli (007) 3

24 Yhde selittäjä lieaarise regressiomalli estimoiti PNS-estimaattoreide johto 4/4 Parametri β PNS-estimaattoriksi saadaa yhtälöstä (4): (5) b yx yx s = = = r i i i= xy sx xj x i= xy Sijoittamalla b yhtälöö (3) saadaa parametri β 0 PNSestimaattoriksi (6) b0 = y bx Sivuutetaa se osoittamie, että saatu ääriarvo o todellaki miimi. s s y x TKK (c) Ilkka Melli (007) 4

25 Yhde selittäjä lieaarise regressiomalli estimoiti Regressiokertoimie laskemie /3 Oletetaa, että haluamme laskea yhde selittäjä lieaarise regressiomalli yi = β0 + β xi + εi, i =,,, regressiokertoimie β 0 ja β PNS-estimaatit käsi tai käyttämällä laskita. Tällöi tarvittavat laskutoimitukset o mukavita järjestää seuraavalla kalvolla esitettävä kaavio muotoo. Huomautus: Samasta kaaviosta voidaa laskea myös muuttujie x ja y havaittuje arvoje aritmeettiset keskiarvot, otosvariassit, otoskeskihajoat, otoskovariassi ja otoskorrelaatio; ks. lukua Tilastollie riippuvuus ja korrelaatio. TKK (c) Ilkka Melli (007) 5

26 Yhde selittäjä lieaarise regressiomalli estimoiti Regressiokertoimie laskemie /3 Määrätää esi havaitoarvoje summat, eliösummat ja tulosumma: i x y x y x y x x y y x x y y x y x y x y x y x y Summa i i i i i i i i xi yi i= i= i= i= i= x y x y i i TKK (c) Ilkka Melli (007) 6

27 Yhde selittäjä lieaarise regressiomalli estimoiti Regressiokertoimie laskemie 3/3 Regressiokertoimie β 0 ja β PNS-estimaatit saadaa havaitoarvoje summista, eliösummista ja tulosummasta alla esitetyillä kaavoilla: x = xi y = yi i= i= xi yi xi yi i = i= i= b = xi xi i= i= b = y b x 0 TKK (c) Ilkka Melli (007) 7

28 Yhde selittäjä lieaarise regressiomalli estimoiti Tuuslukuje laskemie: Havaiollistava esimerkki /3 Taulukossa oikealla o keiotekoise kahde muuttuja aieisto havaitoarvot ( = 6). Aieistoa kuvaava pistediagrammi o oikealla alhaalla. i x y Pistediagrammi 8 6 y x TKK (c) Ilkka Melli (007) 8

29 Yhde selittäjä lieaarise regressiomalli estimoiti Tuuslukuje laskemie: Havaiollistava esimerkki /3 Alla olevassa taulukossa o laskettu muuttujie x ja y havaittuje arvoje summat, eliösummat ja tulosumma. i x y x y xy Summa Yhde selittäjä lieaarise regressiomalli yi = β0 + β xi + εi, i =,,, regressiokertoimie β 0 ja β PNS-estimaatit voidaa laskea äistä viidestä summasta; ks. seuraavaa kalvoa. TKK (c) Ilkka Melli (007) 9

30 Yhde selittäjä lieaarise regressiomalli estimoiti Tuuslukuje laskemie: Havaiollistava esimerkki 3/3 Regressiokertoimie β 0 ja β PNS-estimaatit: x = xi = 9 = i= 6 y = yi = 3 = i= 6 xy i i xi yi i = i= i= b 6 = = = x 75 9 i x i 6 i= i= b = y bx = =.54 0 TKK (c) Ilkka Melli (007) 30

31 Yhde selittäjä lieaarise regressiomalli estimoiti Estimoitu regressiosuora /3 Yhde selittäjä lieaarie regressiomalli yi = β0 + β xi + εi, i =,,, regressiokertoimie β 0 ja β PNS-estimaattorit b 0 ja b määrittelevät suora avaruudessa : y = b 0 + b x jossa b 0 = estimoidu regressiosuora ja y-akseli leikkauspiste b = estimoidu regressiosuora kulmakerroi TKK (c) Ilkka Melli (007) 3

32 Yhde selittäjä lieaarise regressiomalli estimoiti Estimoitu regressiosuora /3 Sijoitetaa regressiokertoimie β 0 ja β PNSestimaattoreide lausekkeet sy b0 = y bx b = rxy s x estimoidu regressiosuora lausekkeesee. Tällöi estimoidu regressiosuora yhtälö voidaa kirjoittaa seuraavaa muotoo: sy y = y+ rxy ( x x) sx Yhtälöstä ähdää, että estimoitu regressiosuora kulkee havaitopisteide (x i, y i ), i =,,, paiopistee ( x, y) kautta. TKK (c) Ilkka Melli (007) 3

33 Yhde selittäjä lieaarise regressiomalli estimoiti Estimoitu regressiosuora 3/3 Estimoidulla regressiosuoralla sy y = y+ rxy ( x x) sx o seuraavat omiaisuudet: (i) Jos r xy > 0, suora o ouseva. (ii) Jos r < 0, suora o laskeva. xy (iii) Jos r = 0, suora o vaakasuorassa. xy (iv) Suora jyrkkeee (loiveee), jos korrelaatio itseisarvo kasvaa (pieeee) keskihajota kasvaa (pieeee) s y keskihajota pieeee (kasvaa) s x r xy TKK (c) Ilkka Melli (007) 33

34 Yhde selittäjä lieaarise regressiomalli estimoiti Estimoitu regressiosuora: Havaiollistava esimerkki / Taulukossa oikealla o keiotekoise kahde muuttuja aieisto havaitoarvot ( = 6). Aieistoa kuvaava pistediagrammi o oikealla alhaalla. i x y Pistediagrammi 8 6 y x TKK (c) Ilkka Melli (007) 34

35 Yhde selittäjä lieaarise regressiomalli estimoiti Estimoitu regressiosuora: Havaiollistava esimerkki / Yhde selittäjä lieaarise regressiomalli yi = β0 + βxi + εi i =,,, regressiokertoimie β 0 ja β PNS-estimaateiksi saatii edellä b 0 =.5407 b = Estimoidu regressiosuora yhtälö o site y = x ks. kuviota oikealla. y Pistediagrammi y = x R = x TKK (c) Ilkka Melli (007) 35

36 Yhde selittäjä lieaarise regressiomalli estimoiti Regressiosuora estimoiti:. esimerkki / Hooke lai mukaa (ideaalise) kierrejouse pituus y riippuu lieaarisesti jousee ripustetusta paiosta x: y = α + β x jossa α = jouse pituus ilma paioa β = s. jousivakio Jousivakio määräämiseksi jousee ripustettii seuraavat paiot: 0,, 4, 6, 8, 0 kg ja jouse pituus mitattii. Mittaustulokset o aettu taulukossa oikealla. Paio (kg) Pituus (cm) TKK (c) Ilkka Melli (007) 36

37 Yhde selittäjä lieaarise regressiomalli estimoiti Regressiosuora estimoiti:. esimerkki / Estimoidu regressiosuora yhtälö o y = x ks. kuviota oikealla. Suora kulmakertoime b = tulkita: Jousee ripustetu paio lisäämie kg:lla pidetää jousta keskimääri cm:llä. Jouse pituus (cm) Kierrejouse pituude riippuvuus jousee ripustetusta paiosta y = 0.457x R = Paio (kg) TKK (c) Ilkka Melli (007) 37

38 Yhde selittäjä lieaarise regressiomalli estimoiti Regressiosuora estimoiti:. esimerkki / Periöllisyystietee mukaa lapset perivät geeettiset omiaisuutesa vahemmiltaa. Periytyykö isä pituus heidä pojillee? Havaitoaieisto koostuu 300: isä ja heidä poikiesa pituuksie muodostamasta lukuparista (x i, y i ), i =,,, 300 jossa x i = isä i pituus y i = isä i poja pituus Ks. pistediagrammia oikealla. Poja pituus (cm) Isie ja poikie pituudet Isä pituus (cm) TKK (c) Ilkka Melli (007) 38

39 Yhde selittäjä lieaarise regressiomalli estimoiti Regressiosuora estimoiti:. esimerkki / Estimoidu regressiosuora yhtälö o y = x ks. kuviota oikealla. Suora kulmakertoime b = tulkita: Jos isä A o cm pitempi kui isä B, isä A: poika o keskimääri cm pitempi kui isä B: poika. Poja pituus (cm) Isie ja poikie pituudet 95 y = x R = Isä pituus (cm) TKK (c) Ilkka Melli (007) 39

40 Yhde selittäjä lieaarise regressiomalli estimoiti Regressiosuora estimoiti: 3. esimerkki / Oko keuhkosyöpä yleisempää sellaisissa maissa, joissa tupakoidaa paljo? Oikealla o tiedot savukkeide kulutuksesta ja keuhkosyövä yleisyydestä 0:ssä maassa. Havaitoaieisto koostuu 0:stä lukuparista (x i, y i ), i =,,, 0 jossa x i = savukkeide kulutus maassa i 930 y i = sairastuvuus keuhkosyöpää maassa i 950 Maa Savukkeide kulutus (kpl) per capita 930 Keuhkosyöpätapauste lkm per milj. hekilöä 950 Islati 0 58 Norja Ruotsi 30 5 Kaada Taska Itävalta Hollati Sveitsi Suomi Eglati TKK (c) Ilkka Melli (007) 40

41 Yhde selittäjä lieaarise regressiomalli estimoiti Regressiosuora estimoiti: 3. esimerkki / Estimoidu regressiosuora yhtälö o y = x Suora kulmakertoime b = tulkita: Jos maassa A poltettii vuoa 930 sata savuketta eemmä per capita kui maassa B, maassa A oli vuoa 950 keskimääri keuhkosyöpätapausta eemmä per milj. asukasta kui maassa B. Keuhkosyöpätapaukset per milj. hekilöä Savukkeide kulutus ja sairastuvuus keuhkosyöpää y = x R = Savukkeide kulutus (kpl) per capita 930 TKK (c) Ilkka Melli (007) 4

42 Yhde selittäjä lieaarise regressiomalli estimoiti Sovitteet ja residuaalit Olkoot b 0 ja b yhde selittäjä lieaarise regressiomalli yi = β0 + β xi + εi, i =,,, regressiokertoimie β 0 ja β PNS-estimaattorit. Määritellää estimoidu malli sovitteet kaavalla yˆ i = b0 + bx i, i =,,, Määritellää estimoidu malli residuaalit kaavalla ei = yi yˆ i = yi b0 bx i, i =,,, Huomaa, että y = yˆ + e, i =,,, i i i TKK (c) Ilkka Melli (007) 4

43 Yhde selittäjä lieaarise regressiomalli estimoiti Sovitteet ja residuaalit: Tulkiat / Sovite yˆ i = b0 + bx i, i =,,, o estimoidu regressiosuora yhtälö selitettävälle muuttujalle y atama arvo havaitopisteessä x i. Residuaali ei = yi yˆ i = yi b0 bx i, i =,,, o selitettävä muuttuja y havaitu arvo y i ja sovittee yˆi eli estimoidu regressiosuora yhtälö selitettävälle muuttujalle y havaitopisteessä x i atama arvo erotus. TKK (c) Ilkka Melli (007) 43

44 Yhde selittäjä lieaarise regressiomalli estimoiti Sovitteet ja residuaalit: Tulkiat / Estimoitu regressiomalli selittää selitettävä muuttuja y havaittuje arvoje vaihtelu sitä paremmi mitä lähempää estimoidu malli sovitteet yˆi ovat selitettävä muuttuja y havaittuja arvoja y i. Yhtäpitävästi edellise kassa: Estimoitu regressiomalli selittää selitettävä muuttuja y havaittuje arvoje y i vaihtelu sitä paremmi mitä pieempiä ovat estimoidu malli residuaalit e i. TKK (c) Ilkka Melli (007) 44

45 Yhde selittäjä lieaarise regressiomalli estimoiti Sovitteet ja residuaalit: Havaiollistus Kuvio oikealla havaiollistaa sovitteide ja residuaalie geometrista tulkitaa. Malli: yi = β0 + β xi + εi, i =,,, PNS-suora: y = b0 + bx Sovite: yˆ i = b0 + bx i, i =,,, Residuaali: e = y yˆ, i =,,, i i i e i yˆi y x i (x i, y i ) y = b0 + bx ( x, yˆ ) i i x TKK (c) Ilkka Melli (007) 45

46 Yhde selittäjä lieaarise regressiomalli estimoiti Sovitteet ja residuaalit: Havaiollistava esimerkki /3 Taulukossa oikealla o keiotekoise kahde muuttuja aieisto havaitoarvot ( = 6). Estimoidu regressiosuora yhtälöksi saatii edellä y = x ks. kuviota oikealla. i x y Pistediagrammi y = x R = y x TKK (c) Ilkka Melli (007) 46

47 Yhde selittäjä lieaarise regressiomalli estimoiti Sovitteet ja residuaalit: Havaiollistava esimerkki /3 Alla olevassa taulukossa o laskettu estimoidu malli y = x sovitteet ŷ ja residuaalit e: i x y Sovite Residuaali Summa Esimerkiksi, ku i = 3, ii yˆ 3 = x3 = = e = y yˆ = = TKK (c) Ilkka Melli (007) 47

48 Yhde selittäjä lieaarise regressiomalli estimoiti Sovitteet ja residuaalit: Havaiollistava esimerkki 3/3 Kuvioo oikealla o lisätty estimoidu regressiomalli residuaaleja vastaavat jaat. Huomautus: Pistediagrammi y = x R = Pieimmä eliösumma meetelmässä regressiosuora kertoimet tulevat valituiksi site, että estimoidu malli residuaaleja vastaavie jaoje pituuksie eliöide summa o piei mahdollie. y x TKK (c) Ilkka Melli (007) 48

49 Yhde selittäjä lieaarise regressiomalli estimoiti Jääösvariassi estimoiti / Jos yhde selittäjä lieaarise regressiomalli jääöseli virhetermejä ε i koskevat stadardioletukset (i)-(iii) pätevät, jääösvariassi Var(ε i ) = σ harhato estimaattori o s = ei i= jossa ei = yi yˆ i = yi b0 bx i, i =,,, = estimoidu malli residuaali = havaitoje lukumäärä TKK (c) Ilkka Melli (007) 49

50 Yhde selittäjä lieaarise regressiomalli estimoiti Jääösvariassi estimoiti / Jääösvariassi σ estimaattori s = ei i= kuvaa havaitopisteide (x i, y i ), i =,,, vaihtelua estimoidu regressiosuora ympärillä. TKK (c) Ilkka Melli (007) 50

51 Yhde selittäjä lieaarise regressiomalli estimoiti Jääösvariassi estimoiti: Kommetti Estimaattori s o todellaki residuaalie e i variassi. Tämä seuraa siitä, että mallissa o vakioselittäjä, jolloi i= e 0 ja site myös e i = = ei = i = 0 jolloi s e e e ( ) = i = i i= i= TKK (c) Ilkka Melli (007) 5

52 Yhde selittäjä lieaarise regressiomalli estimoiti Jääösvariassi estimoiti: Havaiollistava esimerkki / Taulukossa alla o keiotekoise kahde muuttuja aieisto havaitoarvot ( = 6): i x y y Pistediagrammi y = x R = Aieistoa kuvaava pistediagrammi o oikealla x Kuvioo o merkitty myös aieistosta estimoidu regressiosuora yhtälö. TKK (c) Ilkka Melli (007) 5

53 Yhde selittäjä lieaarise regressiomalli estimoiti Jääösvariassi estimoiti: Havaiollistava esimerkki / Alla olevassa taulukossa o laskettu estimoidu malli sovitteet ŷ, residuaalit e (sovitteide ja residuaalie laskemista o käsitelty edellä) ja residuaalie eliöt e. i x y Sovite Residuaali Res Summa Jääösvariassi σ harhato estimaattori o s = ei = 6 = i= TKK (c) Ilkka Melli (007) 53

54 Yhde selittäjä lieaarie regressiomalli Yhde selittäjä lieaarie regressiomalli ja sitä koskevat oletukset Yhde selittäjä lieaarise regressiomalli estimoiti >> Variassiaalyysihajotelma ja selitysaste Päättely yhde selittäjä lieaarisesta regressiomallista Eustamie yhde selittäjä lieaarisella regressiomallilla Yhde selittäjä lieaarise regressiomalli ja satuaie selittäjä -ulotteise ormaalijakauma regressiofuktioide estimoiti TKK (c) Ilkka Melli (007) 54

55 Variassiaalyysihajotelma ja selitysaste Variassiaalyysihajotelma idea Yhde selittäjä regressiomalli tehtävää o selittää selitettävä muuttuja y havaittuje arvoje vaihtelu selittävä muuttuja x havaittuje arvoje vaihtelulla. Oistumista tässä tehtävässä voidaa kuvata s. variassiaalyysihajotelma avulla. Hajotelmassa selitettävä muuttuja y havaittuje arvoje kokoaisvaihtelua kuvaava s. kokoaiseliösumma jaetaa kahde osatekijä summaksi: (i) Toie osatekijä kuvaa estimoidu malli selittämää osaa kokoaisvaihtelusta. (ii) Toie osatekijä kuvaa mallilla selittämättä jääyttä osaa kokoaisvaihtelusta. TKK (c) Ilkka Melli (007) 55

56 Variassiaalyysihajotelma ja selitysaste Malli ja se osat / Oletetaa, että havaitoarvoje y i ja x i välillä o lieaarie tilastollie riippuvuus, joka voidaa ilmaista yhtälöllä yi = β0 + β xi + εi, i =,,, Yhtälö määrittelee yhde selittäjä lieaarise regressiomalli, jossa y i = selitettävä muuttuja y satuaie ja havaittu arvo havaitoyksikössä i x i = selittävä muuttuja eli selittäjä xeisatuaie ja havaittu arvo havaitoyksikössä i ε i = jääös- eli virhetermi ε satuaie ja ei-havaittu arvo havaitoyksikössä i TKK (c) Ilkka Melli (007) 56

57 Variassiaalyysihajotelma ja selitysaste Malli ja se osat / Yhde selittäjä lieaarisessa regressiomallissa yi = β0 + β xi + εi, i =,,, o seuraavat kertoimet: β 0 = vakioselittäjä regressiokerroi; β 0 o ei-satuaie ja tutemato vakio β = selittäjä x regressiokerroi; β o ei-satuaie ja tutemato vakio TKK (c) Ilkka Melli (007) 57

58 Variassiaalyysihajotelma ja selitysaste Oletukset Oletetaa, että yhde selittäjä lieaarise regressiomalli yi = β0 + β xi + εi, i =,,, jääös-elivirhetermiä ε i koskevat stadardioletukset pätevät: (i) E(ε i ) = 0, i =,,, (ii) Jääöstermit ovat homoskedastisia: Var(ε i ) = σ, i =,,, (iii) Jääöstermit ovat korreloimattomia: Cor(ε i, ε l ) = 0, i l TKK (c) Ilkka Melli (007) 58

59 Variassiaalyysihajotelma ja selitysaste Otostuusluvut Määritellää havaitoje x i ja y i, i =,,, aritmeettiset keskiarvot, otosvariassit, otoskovariassi ja otoskorrelaatiokerroi tavaomaisilla kaavoillaa: x = x y = y i i i= i= x = ( i ) y = ( i ) i= i= s x x s y y s = ( x x)( y y) r xy i i i= xy = s x xy ss y TKK (c) Ilkka Melli (007) 59

60 Variassiaalyysihajotelma ja selitysaste Regressiokertoimie PNS-estimaattorit Yhde selittäjä lieaarise regressiomalli yi = β0 + β xi + εi, i =,,, regressiokertoimie β 0 ja β pieimmä eliösumma (PNS-) estimaattorit ovat b0 = y bx sxy sy b = = r xy s s x x TKK (c) Ilkka Melli (007) 60

61 Variassiaalyysihajotelma ja selitysaste Sovitteet ja residuaalit Olkoot b 0 ja b yhde selittäjä lieaarise regressiomalli yi = β0 + β xi + εi, i =,,, regressiokertoimie β 0 ja β PNS-estimaattorit. Määritellää estimoidu malli sovitteet kaavalla yˆ i = b0 + bx i, i =,,, Määritellää estimoidu malli residuaalit kaavalla e = y yˆ = y b bx, i =,,, i i i i 0 i TKK (c) Ilkka Melli (007) 6

62 Variassiaalyysihajotelma ja selitysaste Jääösvariassi estimoiti Jos yhde selittäjä lieaarise regressiomalli jääöseli virhetermejä ε i koskevat stadardioletukset (i)-(iii) pätevät, jääösvariassi Var(ε i ) = σ harhato estimaattori o s = ei jossa ei i= = estimoidu malli residuaali = havaitoje lukumäärä TKK (c) Ilkka Melli (007) 6

63 Variassiaalyysihajotelma ja selitysaste Kokoaiseliösumma Neliösumma SST = ( yi y) i= kuvaa selitettävä muuttuja y havaittuje arvoje y j vaihtelua ja sitä kutsutaa kokoaiseliösummaksi. Selitettävä muuttuja y havaittuje arvoje y i variassi voidaa määritellä kaavalla s = SST y TKK (c) Ilkka Melli (007) 63

64 Variassiaalyysihajotelma ja selitysaste Jääöseliösumma Neliösumma SSE kuvaa residuaalie e i vaihtelua ja sitä kutsutaa jääöseliösummaksi. Koska mallissa o vakioselittäjä, jolloi e i = 0, residuaalie e i variassi voidaa määritellä kaavalla s = SSE = e i= i s o jääösvariassi σ harhato estimaattori. TKK (c) Ilkka Melli (007) 64

65 Variassiaalyysihajotelma ja selitysaste Kokoais- ja jääöseliösumma yhteys /4 Voidaa osoittaa, että yhde selittäjä lieaarisessa regressiomallissa jääöseliösumma SSE ja kokoaiseliösumma SST toteuttavat yhtälöt jossa i xy i xy i= i= SSE e ( r ) ( y y) ( r ) SST r xy = = = = s x xy ss y = selitettävä muuttuja y ja selittäjä x havaittuje arvoje otoskorrelaatiokerroi TKK (c) Ilkka Melli (007) 65

66 Variassiaalyysihajotelma ja selitysaste Kokoais- ja jääöseliösumma yhteys /4 Koska otoskorrelaatiokerroi r xy toteuttaa epäyhtälöt r xy + yhtälöistä i xy i xy i= i= = = = SSE e ( r ) ( y y) ( r ) SST ähdää välittömästi, että SSE SST TKK (c) Ilkka Melli (007) 66

67 Variassiaalyysihajotelma ja selitysaste Kokoais- ja jääöseliösumma yhteys 3/4 Yhtälöistä i xy i xy i= i= = = = SSE e ( r ) ( y y) ( r ) SST ähdää, että seuraavat ehdot ovat yhtäpitäviä: (i) SSE = 0 (ii) e i = 0 kaikille i =,,, (iii) r xy = ± Jos ehdot (i)-(iii) pätevät, ii kaikki havaitopisteet (x i, y i ), i =,,, ovat samalla suoralla ja tätä suoraa vastaava lieaarie regressiomalli selittää täydellisesti selitettävä muuttuja y havaittuje arvoje vaihtelu. TKK (c) Ilkka Melli (007) 67

68 Variassiaalyysihajotelma ja selitysaste Kokoais- ja jääöseliösumma yhteys 4/4 Yhtälöistä i xy i xy i= i= = = = SSE e ( r ) ( y y) ( r ) SST ähdää, että seuraavat ehdot ovat yhtäpitäviä: (i) SSE = SST (ii) ei = yi y kaikille i =,,, (iii) r xy = 0 Jos ehdot (i) -(iii) pätevät, ii selitettävä muuttuja y havaittuje arvoje vaihtelua ei voida selittää lieaarisella regressiomallilla. TKK (c) Ilkka Melli (007) 68

69 Variassiaalyysihajotelma ja selitysaste Mallieliösumma / Määritellää suure SSM yhtälöllä SSM = SST SSE Koska 0 SSE SST ii SSM 0 Koska voidaa osoittaa, että SSM = ( yˆ i y) i= suuretta SSM kutsutaa mallieliösummaksi. TKK (c) Ilkka Melli (007) 69

70 Variassiaalyysihajotelma ja selitysaste Mallieliösumma / Mallieliösumma SSM voidaa esittää myös muodossa SSM = ( yˆ ˆ i y) i= jossa yˆ = yˆ = yi = y i i= i= TKK (c) Ilkka Melli (007) 70

71 Variassiaalyysihajotelma ja selitysaste Variassiaalyysihajotelma / Edellä esitety mukaa kokoaiseliösumma voidaa esittää kahde osatekijä SSM ja SSE summaa: SST = SSM + SSE jossa ja SST = ( yi y) SSE i= SSM = ( yˆ i y) i= = e i= i TKK (c) Ilkka Melli (007) 7

72 Variassiaalyysihajotelma ja selitysaste Variassiaalyysihajotelma / Variassiaalyysihajotelmassa SST = SSM + SSE selitettävä muuttuja y havaittuje arvoje vaihtelua kuvaava kokoaiseliösumma SST o esitetty kahde osatekijä SSM ja SSE summaa: (i) Mallieliösumma SSM kuvaa sitä osaa selitettävä muuttuja y havaittuje arvoje vaihtelusta, joka estimoitu malli o selittäyt. (ii) Jääöseliösumma SSE kuvaa sitä osaa selitettävä muuttuja y havaittuje arvoje vaihtelusta, jota estimoitu malli ei ole selittäyt. TKK (c) Ilkka Melli (007) 7

73 Variassiaalyysihajotelma ja selitysaste Variassiaalyysihajotelma tulkita Variassiaalyysihajotelma SST = SSM + SSE kuvaa estimoidu regressiomalli hyvyyttä: (i) Mitä suurempi o mallieliösumma SSM osuus kokoaiseliösummasta SST, sitä paremmi estimoitu malli selittää selitettävä muuttuja havaittuje arvoje vaihtelu. (ii) Mitä pieempi o jääöseliösumma SSE osuus kokoaiseliösummasta SST, sitä paremmi estimoitu malli selittää selitettävä muuttuja havaittuje arvoje vaihtelu. TKK (c) Ilkka Melli (007) 73

74 Variassiaalyysihajotelma ja selitysaste Selitysaste Variassiaalyysihajotelma SST = SSM + SSE motivoi tuusluvu R SSE SSM = = SST SST käytö regressiomalli hyvyyde mittaria. Tuuslukua R kutsutaa selitysasteeksi ja se mittaa regressiomalli selittämää osuutta selitettävä muuttuja y havaittuje arvoje kokoaisvaihtelusta. Selitysaste R ilmaistaa tavallisesti prosetteia: 00 R % TKK (c) Ilkka Melli (007) 74

75 Variassiaalyysihajotelma ja selitysaste Selitysaste ja korrelaatio Voidaa osoittaa, että R = [ Cor( y, yˆ )] jossa Cor( yy, ˆ) o selitettävä muuttuja y havaittuje arvoje y j ja sovitteide yˆ j otoskorrelaatiokerroi. Yhde selittäjä lieaarisessa regressiomallissa pätee lisäksi se, että selitysaste R o selitettävä ja selittävä muuttuja havaittuje arvoje otoskorrelaatiokertoime r xy eliö: R = r xy TKK (c) Ilkka Melli (007) 75

76 Variassiaalyysihajotelma ja selitysaste Selitysastee omiaisuudet / Selitysasteella R o seuraavat omiaisuudet: (i) 0 R (ii) Seuraavat ehdot ovat yhtäpitäviä: () R = () Kaikki residuaalit häviävät: e i = 0 kaikille i =,,, (3) Kaikki havaitopisteet (x i, y i ), i =,,, asettuvat samalle suoralle. (4) r xy = ± (5) Määritelty malli selittää täydellisesti selitettävä muuttuja y havaittuje arvoje vaihtelu. TKK (c) Ilkka Melli (007) 76

77 Variassiaalyysihajotelma ja selitysaste Selitysastee omiaisuudet / (iii) Seuraavat ehdot ovat yhtäpitäviä: () R = 0 () b = 0 (3) r xy = 0 (4) Määritelty malli ei ollekaa selitä selitettävä muuttuja y havaittuje arvoje vaihtelua. TKK (c) Ilkka Melli (007) 77

78 Variassiaalyysihajotelma ja selitysaste Selitysastee laskemie: Havaiollistava esimerkki /3 Taulukossa oikealla o keiotekoise kahde muuttuja aieisto havaitoarvot ( = 6). Aieistosta estimoidu regressiosuora yhtälöksi saatii kappaleessa Yhde selittäjä lieaarise regressiomalli estimoiti y = x ks. kuviota oikealla. y i x y Pistediagrammi y = x R = x TKK (c) Ilkka Melli (007) 78

79 Variassiaalyysihajotelma ja selitysaste Selitysastee laskemie: Havaiollistava esimerkki /3 Alla olevassa taulukossa o laskettu havaitoarvoje summat ja eliösummat sekä estimoidu malli sovitteet ŷ, residuaalit e (sovitteide ja residuaalie laskemista o käsitelty em. kappaleessa) ja residuaalie eliöt e. i x y x y Sovite Residuaali Res Summa Estimoidu malli selitysaste saadaa tauluko sarakesummista seuraavalla kalvolla esitettävällä tavalla. TKK (c) Ilkka Melli (007) 79

80 Variassiaalyysihajotelma ja selitysaste Selitysastee laskemie: Havaiollistava esimerkki 3/3 Kokoaiseliösumma: SST = yi yi i= = = i= 6 Jääöseliösumma: SSE Selitysaste: = e = i= i SSE R = = = SST Site estimoitu malli o selittäyt 83.0 % selitettävä muuttuja arvoje vaihtelusta. TKK (c) Ilkka Melli (007) 80

81 Yhde selittäjä lieaarie regressiomalli Yhde selittäjä lieaarie regressiomalli ja sitä koskevat oletukset Yhde selittäjä lieaarise regressiomalli estimoiti Variassiaalyysihajotelma ja selitysaste >> Päättely yhde selittäjä lieaarisesta regressiomallista Eustamie yhde selittäjä lieaarisella regressiomallilla Yhde selittäjä lieaarise regressiomalli ja satuaie selittäjä -ulotteise ormaalijakauma regressiofuktioide estimoiti TKK (c) Ilkka Melli (007) 8

82 Päättely yhde selittäjä lieaarisesta regressiomallista Mallia koskeva tilastollie päättely Tarkastellaa seuraavia yhde selittäjä lieaarista regressiomallia koskevia päättely ogelmia: Regressiokertoimie estimaattoreide odotusarvot ja variassit Regressiokertoimie estimaattoreide otosjakaumat Regressiokertoimie luottamusvälit Testit regressiokertoimille Testi selitysasteelle TKK (c) Ilkka Melli (007) 8

83 Päättely yhde selittäjä lieaarisesta regressiomallista Malli ja se osat /3 Oletetaa, että havaitoarvoje y i ja x i välillä o lieaarie tilastollie riippuvuus, joka voidaa ilmaista yhtälöllä yi = β0 + β xi + εi, i =,,, Yhtälö määrittelee yhde selittäjä lieaarise regressiomalli, jossa y i = selitettävä muuttuja y satuaie ja havaittu arvo havaitoyksikössä i x i = selittävä muuttuja eli selittäjä xeisatuaie ja havaittu arvo havaitoyksikössä i ε i = jääös- eli virhetermi ε satuaie ja ei-havaittu arvo havaitoyksikössä i TKK (c) Ilkka Melli (007) 83

84 Päättely yhde selittäjä lieaarisesta regressiomallista Malli ja se osat /3 Yhde selittäjä lieaarisessa regressiomallissa yi = β0 + β xi + εi, i =,,, o seuraavat kertoimet: β 0 = vakioselittäjä regressiokerroi; β 0 o ei-satuaie ja tutemato vakio β = selittäjä x regressiokerroi; β o ei-satuaie ja tutemato vakio TKK (c) Ilkka Melli (007) 84

85 Päättely yhde selittäjä lieaarisesta regressiomallista Malli ja se osat 3/3 Yhde selittäjä lieaarise regressiomalli yi = β0 + β xi + εi, i =,,, määrittelemä regressiosuora y = β 0 + β x yhtälössä β 0 = regressiosuora ja y-akseli leikkauspiste eli regressiosuora vakio β = regressiosuora kulmakerroi TKK (c) Ilkka Melli (007) 85

86 Päättely yhde selittäjä lieaarisesta regressiomallista Oletukset Oletetaa, että yhde selittäjä lieaarise regressiomalli yi = β0 + β xi + εi, i =,,, jääös-elivirhetermiä ε i koskevat stadardioletukset pätevät: (i) E(ε i ) = 0, i =,,, (ii) Jääöstermit ovat homoskedastisia: Var(ε i ) = σ, i =,,, (iii) Jääöstermit ovat korreloimattomia: Cor(ε i, ε l ) = 0, i l Lisäksi oletetaa, että virhetermit ε i ovat ormaalisia: (iv) ε i ~ N(0, σ ), i =,,, TKK (c) Ilkka Melli (007) 86

87 Päättely yhde selittäjä lieaarisesta regressiomallista Otostuusluvut Määritellää havaitoje x i ja y i, i =,,, aritmeettiset keskiarvot, otosvariassit, otoskovariassi ja otoskorrelaatiokerroi tavaomaisilla kaavoillaa: x = x y = y i i i= i= x = ( i ) y = ( i ) i= i= s x x s y y s = ( x x)( y y) r xy i i i= xy = s x xy ss y TKK (c) Ilkka Melli (007) 87

88 Päättely yhde selittäjä lieaarisesta regressiomallista Regressiokertoimie PNS-estimaattorit Yhde selittäjä lieaarise regressiomalli yi = β0 + β xi + εi, i =,,, regressiokertoimie β 0 ja β pieimmä eliösumma (PNS-) estimaattorit ovat b0 = y bx sxy sy b = = r xy s s x x TKK (c) Ilkka Melli (007) 88

89 Päättely yhde selittäjä lieaarisesta regressiomallista Sovitteet ja residuaalit Olkoot b 0 ja b yhde selittäjä lieaarise regressiomalli yi = β0 + β xi + εi, i =,,, regressiokertoimie β 0 ja β PNS-estimaattorit. Määritellää estimoidu malli sovitteet kaavalla yˆ i = b0 + bx i, i =,,, Määritellää estimoidu malli residuaalit kaavalla e = y yˆ = y b bx, i =,,, i i i i 0 i TKK (c) Ilkka Melli (007) 89

90 Päättely yhde selittäjä lieaarisesta regressiomallista Jääösvariassi estimoiti Jos yhde selittäjä lieaarise regressiomalli jääöseli virhetermejä ε i koskevat stadardioletukset (i)-(iii) pätevät, jääösvariassi Var(ε i ) = σ harhato estimaattori o s = ei jossa ei i= = estimoidu malli residuaali = havaitoje lukumäärä TKK (c) Ilkka Melli (007) 90

91 Päättely yhde selittäjä lieaarisesta regressiomallista Regressiokertoimie estimaattorit: Odotusarvot ja variassit Jos stadardioletukset (i)-(iii) pätevät, ii regressiokertoimie β 0 ja β PNS-estimaattoreilla b 0 ja b o seuraavat odotusarvot ja variassit: σ E( b) = β Var( b) = D ( b) = ( ) s x E( b ) = β Var( b ) = D ( b ) = σ + ( ) s Site PNS-estimaattorit b 0 ja b ovat oletuksie (i)-(iii) pätiessä harhattomia x x TKK (c) Ilkka Melli (007) 9

92 Päättely yhde selittäjä lieaarisesta regressiomallista Regressiokertoimie estimaattorit: Otosjakaumat Jos stadardioletuksie (i)-(iii) lisäksi ormaalisuusoletus (iv) pätee, regressiokertoimie β 0 ja β PNS-estimaattorit b 0 ja b ovat ormaalijakautueita: b b σ N β, ( ) sx 0 N β0, σ + ( ) sx x TKK (c) Ilkka Melli (007) 9

93 Päättely yhde selittäjä lieaarisesta regressiomallista Regressiosuora kulmakertoime luottamusväli Jos stadardioletuksie (i)-(iii) lisäksi ormaalisuusoletus (iv) pätee, ii regressiokertoime β eli regressiosuora kulmakertoime luottamusväli luottamustasolla ( α) o muotoa s b ± tα / s x jossa t α/ ja +t α/ ovat luottamustasoo ( α) liittyvät luottamuskertoimet Studeti t-jakaumasta, joka vapausasteide luku o ( ) ja s o jääösvariassi σ harhato estimaattori. TKK (c) Ilkka Melli (007) 93

94 Päättely yhde selittäjä lieaarisesta regressiomallista Regressiosuora kulmakertoime luottamusväli: Kommetti Huomaa, että regressiokertoime β luottamusväli o tavaomaista muotoa b ± tα / ˆD( b) jossa s ˆD ( b ) = ( ) s x o kertoime β PNS-estimaattori b variassi estimaattori. TKK (c) Ilkka Melli (007) 94

95 Päättely yhde selittäjä lieaarisesta regressiomallista Regressiosuora vakio luottamusväli Jos stadardioletuksie (i)-(iii) lisäksi ormaalisuusoletus (iv) pätee, ii regressiokertoime β 0 eli regressiosuora vakio luottamusväli luottamustasolla ( α) o muotoa x b0 ± tα /s + ( ) sx jossa t α/ ja +t α/ ovat luottamustasoo ( α) liittyvät luottamuskertoimet Studeti t-jakaumasta, joka vapausasteide luku o ( ) ja s o jääösvariassi σ harhato estimaattori. TKK (c) Ilkka Melli (007) 95

96 Päättely yhde selittäjä lieaarisesta regressiomallista Regressiosuora vakio luottamusväli: Kommetti Huomaa, että regressiokertoime β 0 luottamusväli o tavaomaista muotoa b0 ± tα / ˆD( b0) jossa x ˆD ( b0 ) = s + ( ) s x o kertoime β 0 PNS-estimaattori b 0 variassi estimaattori. TKK (c) Ilkka Melli (007) 96

97 Päättely yhde selittäjä lieaarisesta regressiomallista Testi regressiosuora kulmakertoimelle Oletetaa, että stadardioletuksie (i)-(iii) lisäksi ormaalisuusoletus (iv) pätee. Olkoo ollahypoteesia 0 H 0 :β = β Määritellää t-testisuure 0 b β t = s/( sx) Jos ollahypoteesi H 0 pätee, t t( ) Itseisarvoltaa suuret testisuuree t arvot viittaavat siihe, että ollahypoteesi H 0 ei päde. TKK (c) Ilkka Melli (007) 97

98 Päättely yhde selittäjä lieaarisesta regressiomallista Testi regressiosuora kulmakertoimelle: Kommetti Huomaa, että t-testisuure ollahypoteesille o tavaomaista muotoa 0 b β t = ˆD( b ) H :β = β 0 0 jossa s ˆD ( b ) = ( ) s x o regressiokertoime β PNS-estimaattori b variassi estimaattori, ku ollahypoteesi H 0 pätee. TKK (c) Ilkka Melli (007) 98

99 Päättely yhde selittäjä lieaarisesta regressiomallista Testi regressiosuora kulmakertoimelle: Havaiollistava esimerkki /5 Taulukossa oikealla o keiotekoise kahde muuttuja aieisto havaitoarvot ( = 6). Aieistosta estimoidu regressiosuora yhtälöksi saatii kappaleessa Yhde selittäjä lieaarise regressiomalli estimoiti y = x ks. kuviota oikealla. y i x y Pistediagrammi y = x R = x TKK (c) Ilkka Melli (007) 99

100 Päättely yhde selittäjä lieaarisesta regressiomallista Testi regressiosuora kulmakertoimelle: Havaiollistava esimerkki /5 Alla olevassa taulukossa o laskettu havaitoarvoje summat ja eliösummat sekä estimoidu malli sovitteet ŷ, residuaalit e (sovitteide ja residuaalie laskemista o käsitelty em. kappaleessa) ja residuaalie eliöt e. i x y x y Sovite Residuaali Res Summa Tarkastellaa testiä malli yi = β0 + β xi + εi, i =,,, regressiokerroita β koskevalle ollahypoteesille H 0 : β = 0 TKK (c) Ilkka Melli (007) 00

101 Päättely yhde selittäjä lieaarisesta regressiomallista Testi regressiosuora kulmakertoimelle: Havaiollistava esimerkki 3/5 Kertoime β estimaatti: b = Selittäjä x variassi: sx = xi xi = 75 9 = i = i= 6 6 Jääösvariassi: s = ei = i= 6 = t-testisuuree arvo: 0 b β t = = = 4.43 s/( s ).096 /((6 ) 6.967) x TKK (c) Ilkka Melli (007) 0

102 Päättely yhde selittäjä lieaarisesta regressiomallista Testi regressiosuora kulmakertoimelle: Havaiollistava esimerkki 4/5 Jos ollahypoteesi H 0 : β = 0 pätee, testisuure t o jakautuut Studeti t-jakauma mukaa vapausastei ( ) = (6 ) = 4: t t(4) Valitaa merkitsevyystasoksi Olkoo vaihtoehtoie hypoteesi muotoa H : β 0 Tällöi merkitsevyystasoa 0.05 vastaavat kriittiset rajat ovat ja ks. kuviota oikealla. Site testi hylkäysalue o muotoa {t t <.776} {t t > +.776} t(4) TKK (c) Ilkka Melli (007) 0

103 Päättely yhde selittäjä lieaarisesta regressiomallista Testi regressiosuora kulmakertoimelle: Havaiollistava esimerkki 5/5 Koska t = 4.43 >.776 ii testisuuree t arvo o hylkäysalueella ja voimme hylätä ollahypoteesi H 0 : β = 0 ja hyväksyä vaihtoehtoise hypoteesi H : β 0 merkitsevyystasolla TKK (c) Ilkka Melli (007) 03

104 Päättely yhde selittäjä lieaarisesta regressiomallista Testi regressiosuora vakiolle Oletetaa, että stadardioletuksie (i)-(iii) lisäksi ormaalisuusoletus (iv) pätee. Olkoo ollahypoteesia 0 H 00 :β0 = β0 Määritellää t-testisuure 0 x t0 = ( b0 β0) s + ( ) sx Jos ollahypoteesi H 00 pätee, t0 t( ) Itseisarvoltaa suuret testisuuree t 0 arvot viittaavat siihe, että ollahypoteesi H 00 ei päde. TKK (c) Ilkka Melli (007) 04

105 Päättely yhde selittäjä lieaarisesta regressiomallista Testi regressiosuora vakiolle: Kommetti Huomaa, että t-testisuure ollahypoteesille H :β = β o tavaomaista muotoa 0 b0 β0 t0 = ˆD( b ) jossa x ˆD ( b0 ) = s + ( ) s x o regressiokertoime β 0 PNS-estimaattori b 0 variassi estimaattori, ku ollahypoteesi H 00 pätee. TKK (c) Ilkka Melli (007) 05

106 Päättely yhde selittäjä lieaarisesta regressiomallista Testi selitysasteelle /4 Oletetaa, että stadardioletuksie (i)-(iii) lisäksi ormaalisuusoletus (iv) pätee. Olkoo ollahypoteesia H 0 : β = 0 Määritellää F-testisuure R F = ( ) R jossa R o estimoidu malli selitysaste. TKK (c) Ilkka Melli (007) 06

107 Päättely yhde selittäjä lieaarisesta regressiomallista Testi selitysasteelle /4 Jos ollahypoteesi H 0 : β = 0 pätee, testisuure R F = ( ) F(, ) R jossa F(, ) o Fisheri F-jakauma vapausastei ja ( ). Suuret testisuuree F arvot viittaavat siihe, että ollahypoteesi H 0 ei päde. TKK (c) Ilkka Melli (007) 07

108 Päättely yhde selittäjä lieaarisesta regressiomallista Testi selitysasteelle 3/4 Koska R = r xy, em. F-testisuure voidaa esittää muodossa rxy F = ( ) rxy Ottamalla tästä eliöjuuri saadaa testisuure rxy t = r xy joka oudattaa ollahypoteesi H 0 pätiessä Studeti t- jakaumaa vapausastei ( ): t ~ t( ) Itseisarvoltaa suuret testisuuree t arvot viittaavat siihe, että ollahypoteesi H 0 ei päde. TKK (c) Ilkka Melli (007) 08

109 Päättely yhde selittäjä lieaarisesta regressiomallista Testi selitysasteelle 4/4 Voidaa osoittaa, että rxy b t = = = t r s/ s xy x jossa testisuure t o tavaomaie t-testisuure ollahypoteesille H 0 : β = 0 F-ja t-jakaumie yhteyde perusteella o selvää, että t = F jossa F o em. F-testisuure ollahypoteesille H 0. Huomaa, että yllä esitetty t-testisuure ja t-testisuure korreloimattomuudelle ovat ekvivaletteja. TKK (c) Ilkka Melli (007) 09

110 Yhde selittäjä lieaarie regressiomalli Yhde selittäjä lieaarie regressiomalli ja sitä koskevat oletukset Yhde selittäjä lieaarise regressiomalli estimoiti Variassiaalyysihajotelma ja selitysaste Päättely yhde selittäjä lieaarisesta regressiomallista >> Eustamie yhde selittäjä lieaarisella regressiomallilla Yhde selittäjä lieaarise regressiomalli ja satuaie selittäjä -ulotteise ormaalijakauma regressiofuktioide estimoiti TKK (c) Ilkka Melli (007) 0

111 Eustamie yhde selittäjä lieaarisella regressiomallilla Eustamie Oletetaa, että muuttujie x ja y havaittuje arvoje x i ja y i välillä o lieaarie tilastollie riippuvuus, joka voidaa ilmaista muodossa yi = β0 + β xi + εi, i =,,, Haluamme eustaa selitettävää muuttujaa y, ku selittävä muuttuja x saa arvo x. Jaetaa tarkastelu kahtee osaa: (i) Tavoitteea o eustaa selitettävä muuttuja y odotettavissa oleva eli keskimääräie arvo. (ii) Tavoitteea o eustaa selitettävä muuttuja y arvo. TKK (c) Ilkka Melli (007)

112 Eustamie yhde selittäjä lieaarisella regressiomallilla Malli ja se osat / Oletetaa, että havaitoarvoje y i ja x i välillä o lieaarie tilastollie riippuvuus, joka voidaa ilmaista yhtälöllä yi = β0 + β xi + εi, i =,,, Yhtälö määrittelee yhde selittäjä lieaarise regressiomalli, jossa y i = selitettävä muuttuja y satuaie ja havaittu arvo havaitoyksikössä i x i = selittävä muuttuja eli selittäjä xeisatuaie ja havaittu arvo havaitoyksikössä i ε i = jääös- eli virhetermi ε satuaie ja ei-havaittu arvo havaitoyksikössä i TKK (c) Ilkka Melli (007)

113 Eustamie yhde selittäjä lieaarisella regressiomallilla Malli ja se osat / Yhde selittäjä lieaarisessa regressiomallissa yi = β0 + β xi + εi, i =,,, o seuraavat kertoimet: β 0 = vakioselittäjä regressiokerroi; β 0 o ei-satuaie ja tutemato vakio β = selittäjä x regressiokerroi; β o ei-satuaie ja tutemato vakio TKK (c) Ilkka Melli (007) 3

114 Eustamie yhde selittäjä lieaarisella regressiomallilla Oletukset Oletetaa, että yhde selittäjä lieaarise regressiomalli yi = β0 + β xi + εi, i =,,, jääös-elivirhetermiä ε i koskevat stadardioletukset pätevät: (i) E(ε i ) = 0, i =,,, (ii) Jääöstermit ovat homoskedastisia: Var(ε i ) = σ, i =,,, (iii) Jääöstermit ovat korreloimattomia: Cor(ε i, ε l ) = 0, i l Lisäksi oletetaa, että virhetermit ε i ovat ormaalisia: (iv) ε i ~ N(0, σ ), i =,,, TKK (c) Ilkka Melli (007) 4

115 Eustamie yhde selittäjä lieaarisella regressiomallilla Otostuusluvut Määritellää havaitoje x i ja y i, i =,,, aritmeettiset keskiarvot, otosvariassit, otoskovariassi ja otoskorrelaatiokerroi tavaomaisilla kaavoillaa: x = x y = y i i i= i= x = ( i ) y = ( i ) i= i= s x x s y y s = ( x x)( y y) r xy i i i= xy = s x xy ss y TKK (c) Ilkka Melli (007) 5

116 Eustamie yhde selittäjä lieaarisella regressiomallilla Regressiokertoimie PNS-estimaattorit Yhde selittäjä lieaarise regressiomalli yi = β0 + β xi + εi, i =,,, regressiokertoimie β 0 ja β pieimmä eliösumma (PNS-) estimaattorit ovat b = y bx b 0 s = = r xy sx xy s s y x TKK (c) Ilkka Melli (007) 6

117 Eustamie yhde selittäjä lieaarisella regressiomallilla Sovitteet ja residuaalit Olkoot b 0 ja b yhde selittäjä lieaarise regressiomalli yi = β0 + β xi + εi, i =,,, regressiokertoimie β 0 ja β PNS-estimaattorit. Määritellää estimoidu malli sovitteet kaavalla yˆ i = b0 + bx i, i =,,, Määritellää estimoidu malli residuaalit kaavalla e = y yˆ = y b bx, i =,,, i i i i 0 i TKK (c) Ilkka Melli (007) 7

118 Eustamie yhde selittäjä lieaarisella regressiomallilla Jääösvariassi estimoiti Jos yhde selittäjä lieaarise regressiomalli jääöseli virhetermejä ε i koskevat stadardioletukset (i)-(iii) pätevät, jääösvariassi Var(ε i ) = σ harhato estimaattori o s = ei i= jossa ei = estimoidu malli residuaali = havaitoje lukumäärä TKK (c) Ilkka Melli (007) 8

119 Eustamie yhde selittäjä lieaarisella regressiomallilla y: odotusarvo eustamie Oletetaa, että selitettävä muuttuja y saa arvo y = β0 + βx + ε ku selittäjä x saa arvo x. Mikä o paras euste selitettävä muuttuja y odotettavissa olevalle arvolle E( y x) = β0 + βx ku selittäjä x saa arvo x? Selitettävä muuttuja y ehdollie odotusarvo E( y x) kuvaa selitettävä muuttuja y keskimääri saamia arvoja selittäjä x saamie arvoje fuktioa. TKK (c) Ilkka Melli (007) 9

120 Eustamie yhde selittäjä lieaarisella regressiomallilla y: odotusarvo eustamie: Euste Valitaa selitettävä muuttuja odotusarvo eusteeksi (estimaattoriksi) lauseke E( yx ) ŷx = b0 + bx jossa b 0 ja b ovat regressiokertoimie β 0 ja β PNSestimaattorit. Voidaa osoittaa, että ŷx o (eustevirhee keskieliövirhee mielessä) paras lieaarie ja harhato euste ehdolliselle odotusarvolle E( yx ). Huomautus: Ehdollie odotusarvo E( yx ) o kiiteälle x vakio, ku taas euste ŷx o satuaismuuttuja. TKK (c) Ilkka Melli (007) 0

121 Eustamie yhde selittäjä lieaarisella regressiomallilla y: odotusarvo eustamie: Otosjakauma Oletetaa, että yhde selittäjä lieaarise regressiomalli jääös-elivirhetermiä ε i koskevat stadardioletuksie (i)-(iii) lisäksi ormaalisuusoletus (iv) pätee. Tällöi eustee ŷx = b0 + bx otosjakauma o ormaalijakauma: ( x x) yx ˆ ~N β0 + βx, σ + ( ) s x TKK (c) Ilkka Melli (007)