Tilastollinen riippuvuus ja korrelaatio

Transkriptio

1 Tlastollset meetelmät Osa 4: Leaare regressoaalyys Tlastolle rppuvuus ja korrelaato KE (204)

2 Tlastolle rppuvuus ja korrelaato >> Tlastolle rppuvuus, korrelaato ja regresso Kahde muuttuja havatoaesto kuvaame Pearso korrelaatokertome estmot ja testaus Mlla Kbble (203) 2

3 Tlastolle rppuvuus, korrelaato ja regresso Muuttuje välset rppuvuudet tlastollse tutkmukse kohteea Teteellse tutkmukse tärkemmät ja melektosmmat kysymykset lttyvät tavallsest tutkmukse kohteea olevaa lmötä kuvaave muuttuje väls rppuvuuks. Jos tlastollse tutkmukse kohteea olevaa lmöö lttyy useampa ku yks muuttuja, yhde muuttuja tlastollset meetelmät atavat tavallsest va rajottuee kuva lmöstä. Sovelluste kaalta ehkä merkttäv osa tlastotedettä kästtelee kahde ta useamma muuttuja välste rppuvuukse kuvaamsta ja malltamsta. Mlla Kbble (203) 3

4 Tlastolle rppuvuus, korrelaato ja regresso Eksakt vs tlastolle rppuvuus Tarkastelemme tässä estyksessä ykskertasuude vuoks pääasassa kahde muuttuja välstä rppuvuutta: () Saomme, että muuttuje väle rppuvuus o eksakta, jos tose arvot vodaa eustaa tarkast tose saame arvoje perusteella. () Saomme, että muuttuje väle rppuvuus o tlastollsta, jos de välllä e ole eksakta rppuvuutta, mutta tose muuttuja arvoja vodaa käyttää apua tose muuttuja arvoje eustamsessa. Mlla Kbble (203) 4

5 Tlastolle rppuvuus, korrelaato ja regresso Tlastolle rppuvuus ja korrelaato Kahde muuttuja välstä leaarsta tlastollsta rppuvuutta kutsutaa tlastoteteessä tavallsest korrelaatoks. Korrelaato el leaarse tlastollse rppuvuude vomakkuutta mttaava tlastollsa tuuslukuja kutsutaa korrelaatokertomks. Korrelaatot muodostavat perusta muuttuje välste rppuvuukse ymmärtämselle. Mlla Kbble (203) 5

6 Tlastolle rppuvuus, korrelaato ja regresso Tlastolle rppuvuus ja regresso Vakka korrelaatot muodostavat perusta muuttuje välste rppuvuukse ymmärtämselle, rppuvuuksa halutaa tavallsest aalysoda myös tarkemm. Regressoaalyys o tlastolle meetelmä, jossa jok, s. seltettävä muuttuja tlastollsta rppuvuutta jostak tossta, s. selttävstä muuttujsta pyrtää malltamaa regressomallks kutsutulla tlastollsella malllla. Mlla Kbble (203) 6

7 Tlastolle rppuvuus, korrelaato ja regresso Kahde muuttuja havatoaesto kuvaame Kute yhde muuttuja havatoaestoje tapauksessa, lähtökohda kahde ta useamma muuttuja havatoaestoje kuvaamselle muodostaa tutustume havatoarvoje jakaumaa. Havatoarvoje jakaumaa vodaa kuvalla ja estellä tvstämällä havatoarvoh ssältyvä formaato sopvaa muotoo: Havatoarvoje jakaumaa kokoasuutea vodaa kuvata sopvast valtulla graafslla estyksllä. Havatoarvoje jakauma karakterstsa omasuuksa vodaa kuvata sopvast valtulla otostuusluvulla. Mlla Kbble (203) 7

8 Tlastolle rppuvuus ja korrelaato Tlastolle rppuvuus, korrelaato ja regresso >> Kahde muuttuja havatoaesto kuvaame Pearso korrelaatokertome estmot ja testaus Mlla Kbble (203) 8

9 Kahde muuttuja havatoaesto kuvaame Pstedagramm Tarkastellaa tlaetta, jossa tutkmukse kohtea olevsta havatoyksköstä o mtattu kahde järjestys-, välmatka- ta suhdeastekollse muuttuja x ja y arvot. Muuttuje x ja y arvoje samaa havatoykskköö lttyve pare muodostamaa havatoaestoa vodaa kuvata graafsest pstedagrammlla. Pstedagramm sop ertysest kahde muuttuja välse rppuvuude havaollstamsee. Pstedagramm o keskee työväle korrelaato- ja regressoaalyysssa. Mlla Kbble (203) 9

10 Kahde muuttuja havatoaesto kuvaame Pstedagramm: Määrtelmä Olkoot x ja y järjestys-, välmatka- ta suhdeastekollsa muuttuja, jode havatut arvot ovat x, x 2,, x y, y 2,, y Oletetaa lsäks, että havatoarvot x ja y lttyvät samaa havatoykskköö kaklle =, 2,,. Havatoarvoje x, x 2,, x ja y, y 2,, y pare pstedagramm saadaa esttämällä lukupart (x, y ), =, 2,, 2 psteä avaruudessa. Mlla Kbble (203) 0

11 Kahde muuttuja havatoaesto kuvaame Pstedagramm: Havaollstus Kuvo okealla esttää lukupare (x, y ) ja (x j, y j ) määrtteleme pstede esttämstä tasokoordaatstossa. (x, y ) y j y y (x j, y j ) x x x j Mlla Kbble (203)

12 Kahde muuttuja havatoaesto kuvaame Pstedagramm:. esmerkk /2 Hooke la mukaa kerrejouse ptuus rppuu leaarsest jousee rpustetusta paosta. Okealla o tulokset kokeesta, jossa Hooke la pätevyyttä tutktt rpustamalla jousee 6 erkokosta paoa. Merktää: (x, y ), =, 2, 3, 4, 5, 6 jossa x = pao y = jouse ptuus, ku paoa o x Pao (kg) Ptuus (cm) KE (204) 2

13 Kahde muuttuja havatoaesto kuvaame Pstedagramm:. esmerkk 2/2 Pstedagramm okealla havaollstaa koetuloksa graafsest. Ovatko havaot sopusoussa Hooke la kassa? Vastausta tarkastellaa luvussa Yhde selttäjä leaare regressomall. Jouse ptuus (cm) Kerrejouse ptuude rppuvuus jousee rpustetusta paosta Pao (kg) Mlla Kbble (203) 3

14 Kahde muuttuja havatoaesto kuvaame Pstedagramm: 2. esmerkk /2 Peröllsyystetee mukaa lapset pervät geeettset omasuutesa vahemmltaa. Perytyykö sä ptuus hedä pojllee? Havatoaesto koostuu 300: sä ja hedä pokesa ptuukse muodostamasta lukuparsta (x, y ), =, 2,, 300 jossa x = sä ptuus y = sä poja ptuus Ks. pstedagramma okealla. Poja ptuus (cm) Ise ja poke ptuudet Isä ptuus (cm) Mlla Kbble (203) 4

15 Kahde muuttuja havatoaesto kuvaame Pstedagramm: 2. esmerkk 2/2 Yhtä ptkllä sllä äyttää oleva moe mttasa poka. Mutta: Lyhyllä sllä äyttää oleva keskmäär lyhyempä poka ku ptkllä sllä ja ptkllä sllä äyttää oleva keskmäär ptempä poka ku lyhyllä sllä. Tällaste tlastollste rppuvuukse aalysomsta leaarste regressomalle avulla tarkastellaa luvussa Yhde selttäjä leaare regressomall. Poja ptuus (cm) Ise ja poke ptuudet Isä ptuus (cm) Mlla Kbble (203) 5

16 Kahde muuttuja havatoaesto kuvaame Tuusluvut Kahde välmatka- ta suhdeastekollse muuttuja havatoarvoje pare muodostamaa jakaumaa vodaa karaktersoda seuraavlla tuusluvulla: Havatoarvoje keskmäärästä sjata kuvataa artmeettslla keskarvolla. Havatoarvoje hajaatuesuutta ta keskttyesyyttä kuvataa (otos-) keskhajoolla ta (otos-) varassella. Havatoarvoje leaarsta rppuvuutta kuvataa otoskovarasslla ja otoskorrelaatokertomella. Mlla Kbble (203) 6

17 Kahde muuttuja havatoaesto kuvaame Havaot Olkoot ja x, x 2,, x y, y 2,, y välmatka- ta suhdeastekollste muuttuje x ja y havattuja arvoja. Oletetaa lsäks, että havatoarvot x ja y lttyvät samaa havatoykskköö kaklle =, 2,,. Mlla Kbble (203) 7

18 Kahde muuttuja havatoaesto kuvaame Artmeettset keskarvot: Määrtelmät Havatoarvoje x, x 2,, x artmeette keskarvo o x x + x + + x 2 x = = = Havatoarvoje y, y 2,, y artmeette keskarvo o y y + y + + y 2 y = = = Mlla Kbble (203) 8

19 Kahde muuttuja havatoaesto kuvaame Artmeettset keskarvot: Tulkat Havatoarvoje paresta (x, y ), =, 2,, laskettuje artmeettste keskarvoje x ja ymuodostama lukupar ( x, y) o havatoarvoje pare (x, y ) muodostame pstejouko paopste. Havatoarvoje artmeette keskarvo kuvaa havatoarvoje keskmäärästä sjata. Mlla Kbble (203) 9

20 Kahde muuttuja havatoaesto kuvaame Varasst: Määrtelmät Havatoarvoje x, x 2,, x (otos-) varass o 2 s ( ) 2 x = x x = jossa x o x-havatoarvoje artmeette keskarvo. Havatoarvoje y, y 2,, y (otos-) varass o 2 s ( ) 2 y = y y = jossa y o y-havatoarvoje artmeette keskarvo. Havatoarvoje varass mttaa havatoarvoje hajaatuesuutta ta keskttyesyyttä havatoarvoje artmeettse keskarvo suhtee. KE (204) 20

21 Kahde muuttuja havatoaesto kuvaame Keskhajoat: Määrtelmät Havatoarvoje x, x 2,, x (otos-) keskhajota o s ( ) 2 x = x x = jossa x o x-havatoarvoje artmeette keskarvo. Havatoarvoje y, y 2,, y (otos-) keskhajota o s ( ) 2 y = y y = jossa y o y-havatoarvoje artmeette keskarvo. Havatoarvoje keskhajota mttaa havatoarvoje hajaatuesuutta ta keskttyesyyttä havatoarvoje artmeettse keskarvo suhtee. Mlla Kbble (203) 2

22 Kahde muuttuja havatoaesto kuvaame Otoskovarass: Määrtelmä Havatoarvoje paresta (x, y ), =, 2,, laskettu otoskovarass o sxy = x x y y = jossa ( )( ) x = x-havatoarvoje artmeette keskarvo y = y-havatoarvoje artmeette keskarvo x- ja y-havatoarvoje otoskovarasst de tsesä kassa ovat de varasseja: 2 s = s s xx yy = s x 2 y KE (204) 22

23 Kahde muuttuja havatoaesto kuvaame Otoskovarass: Tulkta Havatoarvoje paresta (x, y ), =, 2,, laskettu otoskovarass s xy mttaa x- ja y-havatoarvoje yhtesvahtelua de artmeettste keskarvoje muodostama pstee ympärllä. Mtä suuremp o otoskovarass s xy tsesarvo s xy stä vomakkaampaa o x- ja y-havatoarvoje yhtesvahtelu. Mlla Kbble (203) 23

24 Kahde muuttuja havatoaesto kuvaame Otoskovarass: Merk määräytyme /4 Otoskovarass s xy merk määrää summalauseke () ( x x)( y y) Summalausekkee (). term ( x x)( y y) tsesarvo x x y y o sellase suorakatee pta-ala, joka svuje ptuudet ovat ja x y x y Mlla Kbble (203) 24

25 Kahde muuttuja havatoaesto kuvaame Otoskovarass: Merk määräytyme 2/4 Summalausekkee (). term ( x x)( y y) merkk määräytyy seuraavalla tavalla: jos x x ja y y ( x x)( y y) 0 jos x x ja y y jos x x ja y y ( x x)( y y) 0 jos x x ja y y Merk määräytymstä vodaa havaollstaa geometrsest seuraavalla tavalla (ks. kuvota seuraavalla kalvolla): () Jaetaa xy-taso eljää osaa el eljäeksee pstee ( x, y) kautta prretyllä koordaattakselede suutaslla suorlla. () Term ( x x)( y y) merk määrää se, mh eljäeksee havatopste (x, y ) sjottuu. Mlla Kbble (203) 25

26 Kahde muuttuja havatoaesto kuvaame Otoskovarass: Merk määräytyme 3/4 ( x x)( y y) 0 ( x x)( y y) 0 ( x, y ) ( x, y) ( x, y) ( x, y ) ( x, y ) ( x x)( y y) 0 ( x x)( y y) 0 Mlla Kbble (203) 26

27 Kahde muuttuja havatoaesto kuvaame Otoskovarass: Merk määräytyme 4/4 Jos postvset termt summalausekkeesee () ( x x)( y y) tuottave suorakatede yhteelaskettu pta-ala o suuremp (peemp) ku egatvset termt tuottave suorakatede yhteelaskettu pta-ala, otoskovarass s xy merkk o postve (egatve). Ste otoskovarasslla o tapumus saada postvsa (egatvsa) arvoja, jos havatopstede muodostama psteplv ta -parv äyttää ousevalta (laskevalta) okealle metäessä. Mlla Kbble (203) 27

28 Kahde muuttuja havatoaesto kuvaame Otoskovarass: Merk määräytyme Esmerkk /2 Taulukossa okealla o keotekose kahde muuttuja aesto havatoarvot ( = 6). Aestoa kuvaava pstedagramm o okealla alhaalla. x y Pstedagramm 8 6 y x Mlla Kbble (203) 28

29 Kahde muuttuja havatoaesto kuvaame Otoskovarass: Merk määräytyme Esmerkk 2/2 Kuvoo okealla o lsätty havatopstede paopste ( x, y ) = (4.833,5.333) 0 8 II Pstedagramm I 6 y Lsäks kuvoo o prretty paopstee kautta kulkevat koordaattakselede suutaset suorat sekä otoskovarass merk määräytymstä havaollstavat suorakateet III ( x, y) IV x Otoskovarass o postve, koska I ja III eljäekse suorakatede yhteelaskettu pta-ala o suuremp ku II ja IV eljäekse suora-katede yhteelaskettu pta-ala. Mlla Kbble (203) 29

30 Kahde muuttuja havatoaesto kuvaame Otoskovarass ja Pearso otoskorrelaatokerro: Määrtelmä /2 Määrtellää otoskovarass avulla x- ja y- havatoarvoje leaarse tlastollse rppuvuude vomakkuude mttar: Havatoarvoje paresta (x, y ), =, 2,, laskettu Pearso otoskorrelaatokerro o sxy rxy = ss x y jossa s xy = x- ja y-havatoarvoje otoskovarass s x = x-havatoarvoje keskhajota s y = y-havatoarvoje keskhajota Mlla Kbble (203) 30

31 Kahde muuttuja havatoaesto kuvaame Pearso otoskorrelaatokerro: Määrtelmä 2/2 Havatoarvoje paresta (x, y ), =, 2,, laskettu Pearso otoskorrelaatokerro vodaa krjottaa myös muotoo r jossa x y xy = = ( x x)( y y) 2 2 ( x x) ( y y) = = = x-havatoarvoje artmeette keskarvo = y-havatoarvoje artmeette keskarvo Mlla Kbble (203) 3

32 Kahde muuttuja havatoaesto kuvaame Pearso otoskorrelaatokerro: Omasuuksa Havatoarvoje paresta (x, y ), =, 2,, lasketulla Pearso otoskorrelaatokertomella r xy o seuraavat omasuudet: () r + () r xy xy = ±, jos ja va jos y = α + βx jossa α ja β ovat reaalsa vakota ja β 0. Lsäks sg( β ) = sg( r ) () Korrelaatokertomella rxy ja kovarasslla s o aa sama merkk. xy xy Mlla Kbble (203) 32

33 Kahde muuttuja havatoaesto kuvaame Pearso otoskorrelaatokerro: Tulkta Havatoarvoje paresta (x, y ), =, 2,, laskettu Pearso otoskorrelaatokerro r xy mttaa x- ja y-havatoarvoje leaarse tlastollse rppuvuude vomakkuutta. Jos r xy = ±, x- ja y-havatoarvoje välllä o eksakt el fuktoaale leaare rppuvuus, mkä merktsee stä, että kakk havatopsteet (x, y ) asettuvat samalle suoralle. Jos r xy = 0, x- ja y-havatoarvoje välllä e vo olla eksakta leaarsta rppuvuutta. Vakka r xy = 0, x- ja y-havatoarvoje välllä saattaa slt olla jopa eksakt epäleaare rppuvuus. Mlla Kbble (203) 33

34 Kahde muuttuja havatoaesto kuvaame Pearso otoskorrelaatokerro: Havaollstus Kuvot alla havaollstavat kahde muuttuja havattuje arvoje ( = 30) pstedagramm lmee ja korrelaato välstä yhteyttä. r xy = 0.8 r xy = 0.62 r xy = 0.48 r xy = 0.43 r xy = 0.83 r xy = KE (204) 34

35 Kahde muuttuja havatoaesto kuvaame Tuuslukuje laskeme /4 Oletetaa, että haluamme laskea havatoarvoje paresta (x, y ), =, 2,, seuraavat otostuusluvut käs ta käyttämällä laskta: () Artmeettset keskarvot: x, y 2 2 () Varasst: sx, sy () Keskhajoat: s, s (v) Kovarass: (v) Korrelaaato: s xy r xy x y Tällö tarvttavat laskutomtukset o mukavta järjestää seuraavalla kalvolla estettävä kaavo muotoo. Mlla Kbble (203) 35

36 Kahde muuttuja havatoaesto kuvaame Tuuslukuje laskeme 2/4 Määrätää es havatoarvoje summat, elösummat ja tulosumma: x y x y xy 2 x x y y x x y y xy xy x y x y xy Summa x y = = = = = x y x y Mlla Kbble (203) 36

37 Mlla Kbble (203) 37 Kahde muuttuja havatoaesto kuvaame Tuuslukuje laskeme 3/4 Havatoarvoje artmeettset keskarvot, varasst ja kovarass saadaa havatoarvoje summsta, elösummsta ja tulosummasta alla estetyllä kaavolla: x y xy x x s y s xy x y x y y s x y = = = = = = = = = = = = = =

38 Kahde muuttuja havatoaesto kuvaame Tuuslukuje laskeme 4/4 Havatoarvoje keskhajoat ja Pearso otoskorrelaatokerro saadaa havatoarvoje varassesta ja kovarasssta alla estetyllä kaavolla: s s r x y xy = = = s s s x 2 x 2 y xy ss y Mlla Kbble (203) 38

39 Tlastolle rppuvuus ja korrelaato Tlastolle rppuvuus, korrelaato ja regresso Kahde muuttuja havatoaesto kuvaame >> Pearso korrelaatokertome estmot ja testaus Mlla Kbble (203) 39

40 Pearso korrelaatokertome estmot ja testaus Satuasmuuttuje kovarass ja korrelaato /2 Olkoo (X, Y) satuasmuuttuje X ja Y muodostama järjestetty par. Olkoot µ = E( X ) X µ Y = E( Y ) satuasmuuttuje X ja Y odotusarvot ja σ = Var( X) = D ( X) = E[( X µ ) ] X σ Y = Var( Y) = D ( Y) = E[( Y µ Y) ] satuasmuuttuje X ja Y varasst. X Mlla Kbble (203) 40

41 Pearso korrelaatokertome estmot ja testaus Satuasmuuttuje kovarass ja korrelaato 2/2 Määrtellää satuasmuuttuje X ja Y kovarass σ XY kaavalla σ XY = Cov( XY, ) = E[( X µ X )( Y µ Y )] Määrtellää satuasmuuttuje X ja Y korrelaato ρ XY kaavalla σ XY ρ XY = Cor( XY, ) = σ XσY jossa 2 σ = D( X ) = σ σ X Y = D( Y ) = σ 2 Y X Mlla Kbble (203) 4

42 Pearso korrelaatokertome estmot ja testaus Satuasmuuttuje korrelaato Satuasmuuttuje X ja Y korrelaatota ρ XY = Cor(X, Y) kutsutaa tavallsest Pearso (tulomomett-) korrelaatokertomeks. Pearso korrelaatokerro ρ XY mttaa satuasmuuttuje X ja Y leaarse rppuvuude vomakkuutta. Huomautus: Tutustumme Pearso korrelaatokertomee todeäkösyyslaskea lueossa Moulotteset satuasmuuttujat ja jakaumat. Mlla Kbble (203) 42

43 Pearso korrelaatokertome estmot ja testaus Pearso korrelaatokertome estmot /3 Oletetaa, että satuasmuuttuje X ja Y muodostama järjestetty par (X, Y) oudattaa 2-ulottesta ormaaljakaumaa N 2 (µ X, µ Y, σ X2, σ Y2, ρ XY ), jossa µ = E( X) µ = E( Y) σ X = Var( X) σ = Var( Y) 2 2 X Y ρ XY = Cor( XY, ) Olkoo ( X, Y), =, 2,, rppumato satuasotos satuasmuuttuje X ja Y muodostama par (X, Y) jakaumasta. Y Mlla Kbble (203) 43

44 Pearso korrelaatokertome estmot ja testaus Pearso korrelaatokertome estmot 2/3 Olkoot X = X Y = Y = = s X X s Y Y X = ( ) Y = ( ) = = s = ( X X)( Y Y) r XY = XY = sxy s s X Y tavaomaset havatoarvoje paresta lasketut otostuusluvut. ( X, Y), =, 2,, KE (204) 44

45 Pearso korrelaatokertome estmot ja testaus Pearso korrelaatokertome estmot 3/3 Satuasmuuttuje X ja Y Pearso (tulomomett-) korrelaatokerro σ XY ρ XY = Cor( XY, ) = σ σ vodaa estmoda vastaavalla Pearso otoskorrelaatokertomella sxy rxy = s s X Y X Y Mlla Kbble (203) 45

46 Pearso korrelaatokertome estmot ja testaus Pearso korrelaatokerro Estmaattor r XY vodaa johtaa suurmma uskottavuude meetelmällä. Luottamusvält ja testt Pearso tulomomettkorrelaatokertomelle ρ XY vodaa kostruoda samatapasella tekkalla ku luottamusvält ja testt kostruodaa ormaaljakauma odotusarvolle. Tässä estyksessä tarkastellaa va yhtä testä Pearso tulomomettkorrelaatokertomelle ρ XY. Se o erkostapaus Yhde otokse teststä korrelaatokertomelle: Korrelomattomuude testaame. (Testataa ollahypoteesa H : ρ 0 XY 0 ρ = jossa ). 0 0 = ρ Mlla Kbble (203) 46

47 Pearso korrelaatokertome estmot ja testaus Korrelomattomuude testaame: Testausasetelma Mossa tutkmustlatessa ollaa kostueta stä ovatko satuasmuuttujat X ja Y korrelomattoma va e. Huomautuksa: Satuasmuuttuje X ja Y korrelomattomuudesta e välttämättä seuraa de rppumattomuus, vakka satuasmuuttuje X ja Y rppumattomuudesta seuraa aa de korrelomattomuus. Jos satuasmuuttujat X ja Y oudattavat 2-ulottesta ormaaljakaumaa, satuasmuuttuje X ja Y korrelomattomuudesta seuraa de rppumattomuus. Mossa tutkmusasetelmssa tovotaa, että korrelomattomuusoletus tulee testssä hylätyks. Mlla Kbble (203) 47

48 Pearso korrelaatokertome estmot ja testaus Korrelomattomuude testaame: Ylee hypotees Ylee hypotees H : () Oletetaa, että satuasmuuttuje X ja Y järjestetty par (X, Y) oudattaa 2-ulottesta ormaaljakaumaa, joka parametrt ovat µ = E( X) µ = E( Y) σ X = Var( X) σ = Var( Y) 2 2 X Y ρ XY = Cor( XY, ) () Olkoo ( X, Y), =, 2,, satuasotos satuasmuuttuje X ja Y muodostama par (X, Y) jakaumasta. Y Mlla Kbble (203) 48

49 Pearso korrelaatokertome estmot ja testaus Korrelomattomuude testaame: Nollahypotees ja vahtoehtoe hypotees Nollahypotees H 0 : H : ρ = 0 0 XY Vahtoehtoe hypotees H : H: ρ XY > 0 -suutaset vahtoehtoset hypoteest H: ρ XY < 0 H : ρ 0 2-suutae vahtoehtoe hypotees XY Mlla Kbble (203) 49

50 Pearso korrelaatokertome estmot ja testaus Korrelomattomuude testaame: Parametre estmot Estmodaa 2-ulottese ormaaljakauma parametrt tavaomaslla estmaattorellaa: X = X Y = Y = = sx = ( X X) sy = ( Y Y) = = sxy = ( X X)( Y Y) = sxy rxy = s s X Y Mlla Kbble (203) 50

51 Pearso korrelaatokertome estmot ja testaus Korrelomattomuude testaame: Testsuure ja se jakauma Määrtellää t-testsuure rxy t = 2 r Jos ollahypotees H : ρ = 0 0 XY 2 XY pätee, testsuure t oudattaa Studet t-jakaumaa, joka vapausasteluku o 2: t t ( 2) Mlla Kbble (203) 5

52 Pearso korrelaatokertome estmot ja testaus Korrelomattomuude testaame: Test Testsuuree t ormaalarvo = 0, koska ollahypotees H : ρ = 0pätessä 0 XY E(t) = 0 Ste tsesarvoltaa suuret testsuuree t arvot vttaavat she, että ollahypotees H 0 e päde. Nollahypotees H 0 hylätää, jos test p-arvo o kyll pe. Mlla Kbble (203) 52

53 Tlastollset meetelmät Osa 4: Leaare regressoaalyys Yhde selttäjä leaare regressomall (Osa ) KE (204) 53

54 Yhde selttäjä leaare regressomall >> Yhde selttäjä leaare regressomall ja stä koskevat oletukset Yhde selttäjä leaarse regressomall estmot Varassaalyyshajotelma ja seltysaste Mlla Kbble (203) 54

55 Yhde selttäjä leaare regressomall ja stä koskevat oletukset Seltettävä muuttuja ja selttävä muuttuja Oletetaa, että seltettävä muuttuja y havattuje arvoje vahtelu halutaa selttää selttävä muuttuja el selttäjä x havattuje arvoje vahtelu avulla. Tehdää seuraavat oletukset: () Seltettävä muuttuja y o suhdeastekolle satuasmuuttuja. () Selttävä muuttuja x o kteä el e-satuae muuttuja. Satuase selttäjä tapausta kästellää tämä luvu lopussa (Osa 2) kappalessa Yhde selttäjä leaarse regressomall ja satuae selttäjä ja 2-ulottese ormaaljakauma regressofuktode estmot. KE (204) 55

56 Yhde selttäjä leaare regressomall ja stä koskevat oletukset Havaot Olkoot y, y 2,, y seltettävä muuttuja y ja x, x 2,, x selttävä muuttuja x havattuja arvoja. Oletetaa lsäks, että havatoarvot x ja y lttyvät samaa havatoykskköö kaklle =, 2,,. Tällö havatoarvot x ja y muodostavat pstetä 2-ulottesessa avaruudessa: 2 ( x, y ), =, 2,, Mlla Kbble (203) 56

57 Yhde selttäjä leaare regressomall ja stä koskevat oletukset Mall ja se osat /2 Oletetaa, että havatoarvoje y ja x välllä o leaare tlastolle rppuvuus, joka vodaa lmasta yhtälöllä () y = β0 + β x + ε, =, 2,, Yhtälö () määrttelee yhde selttäjä leaarse regressomall, jossa y = seltettävä muuttuja y satuae ja havattu arvo havatoykskössä x = selttävä muuttuja el selttäjä x esatuae ja havattu arvo havatoykskössä ε = jääös- el vrheterm ε satuae ja e-havattu arvo havatoykskössä Mlla Kbble (203) 57

58 Yhde selttäjä leaare regressomall ja stä koskevat oletukset Mall ja se osat 2/2 Yhde selttäjä leaarsessa regressomallssa () y = β0 + β x + ε, =, 2,, o seuraavat regressokertomet: β 0 = vakoselttäjä regressokerro; β 0 o e-satuae ja tutemato vako β = selttäjä x regressokerro; β o e-satuae ja tutemato vako Kutsumme yhtälö () määrttelemää malla tavallseks yhde selttäjä leaarseks regressomallks. Huomautus: Jatkossa estettävät kaavat evät välttämättä päde tässä estettävässä muodossa, jos mallssa e ole vakoselttäjää. Oletamme jatkossa, että mallssa o aa vakoselttäjä. Mlla Kbble (203) 58

59 Yhde selttäjä leaare regressomall ja stä koskevat oletukset Stadardoletukset jääöstermestä /2 Tehdää tavallse yhde selttäjä leaarse regressomall y = β0 + β x + ε, =, 2,, jääös- el vrhetermestä ε s. stadardoletukset: () E( ε ) = 0, =, 2,, () Jääöstermellä o vakovarass el e ovat homoskedastsa: 2 Var( ε ) = σ, =, 2,, () Jääöstermt ovat korrelomattoma: Cor( ε, ε l) = 0, l Mlla Kbble (203) 59

60 Yhde selttäjä leaare regressomall ja stä koskevat oletukset Stadardoletukset jääöstermestä 2/2 Lsäks jääös- el vrhetermestä ε tehdää tavallsest ormaalsuusoletus: 2 (v) ε N(0, σ ), =,2,, Huomautus: Oletus (v) ssältää oletukset () ja (). Mlla Kbble (203) 60

61 Yhde selttäjä leaare regressomall ja stä koskevat oletukset Seltettävä muuttuja omasuudet Jos tavallse yhde selttäjä leaarse regressomall y = β0 + β x + ε, =, 2,, jääös- el vrhetermejä ε koskevat stadardoletukset ()-() pätevät, mall seltettävä muuttuja y havatulla arvolla y o seuraavat stokastset omasuudet: () E( y) = β0 + βx, =, 2,, 2 () Var( y ) = σ, =, 2,, () Cor( y, y ) = 0, l Jos lsäks jääös- el vrhetermejä ε koskeva ormaalsuusoletus (v) pätee, (v) l 2 N( β0 + β, σ ), =, 2,, y x Mlla Kbble (203) 6

62 Yhde selttäjä leaare regressomall ja stä koskevat oletukset Mall parametrt Tavallse yhde selttäjä leaarse regressomall y = β0 + β x + ε, =, 2,, parametreja ovat mall regressokertomet β 0 ja β sekä jääös- el vrheterme ε yhtee varass 2 Var( ε ) = σ, =, 2,, jota kutsutaa jääösvarassks. Koska regressokertomet β 0 ja β sekä jääösvarass σ 2 ovat tavallsest tutemattoma, e o estmotava muuttuje x ja y havatusta arvosta x ja y, =, 2,,. Mlla Kbble (203) 62

63 Yhde selttäjä leaare regressomall ja stä koskevat oletukset Mall systemaatte ja satuae osa /2 Oletetaa, että yhde selttäjä leaarse regressomall y = β0 + β x + ε, =, 2,, jääös- el vrhetermejä ε koskeva stadardoletus () E( ε ) = 0, =, 2,, pätee. Tällö seltettävä muuttuja y havatut arvot y vodaa esttää seuraavalla tavalla kahde osatekjä summaa: y = E(y ) + ε, =, 2,, jossa E(y ) = β 0 + β x, =, 2,, Mlla Kbble (203) 63

64 Yhde selttäjä leaare regressomall ja stä koskevat oletukset Mall systemaatte ja satuae osa 2/2 Odotusarvo E(y ) = β 0 + β x, =, 2,, muodostaa tavallse yhde selttäjä leaarse regressomall systemaattse osa el rakeeosa, joka rppuu selttäjälle x aetusta arvosta. Jääös- el vrheterm ε, =, 2,, muodostaa mall satuase osa, joka e rpu selttäjälle x aetusta arvosta. Mlla Kbble (203) 64

65 Yhde selttäjä leaare regressomall ja stä koskevat oletukset Regressosuora Tavallse yhde selttäjä leaarse regressomall y = β0 + β x + ε, =, 2,, systemaatte osa E(y ) = β 0 + β x määrttelee suora y = β 0 + β x 2 avaruudessa. Suoraa kutsutaa regressosuoraks ja se yhtälössä β 0 = regressosuora ja y-aksel lekkauspste β = regressosuora kulmakerro Jääös- el vrheterme ε varass σ 2 kuvaa havatopstede (x, y ), =, 2,, vahtelua regressosuora ympärllä. KE (204) 65

66 Yhde selttäjä leaare regressomall ja stä koskevat oletukset Regressosuora kulmakertome tulkta Tavallse yhde selttäjä leaarse regressomall systemaattse osa määrttelemä regressosuora y = β 0 + β x kulmakertomella β seuraava tulkta: Oletetaa, että selttäjä x arvo kasvaa yhdellä yksköllä: x x + Tällö kerro β kertoo paljoko seltettävä muuttuja y vastaava odotettavssa oleva arvo muuttuu: E(y) = β 0 + β x β 0 + β (x + ) = β 0 + β x + β = E(y) + β Mlla Kbble (203) 66

67 Yhde selttäjä leaare regressomall Yhde selttäjä leaare regressomall ja stä koskevat oletukset >> Yhde selttäjä leaarse regressomall estmot Varassaalyyshajotelma ja seltysaste Mlla Kbble (203) 67

68 Yhde selttäjä leaarse regressomall estmot Estmotogelma Tavallse yhde selttäjä leaarse regressomall y = β0 + β x + ε, =, 2,, regressokertomet β 0 ja β ovat ormaalst tutemattoma, jote e o estmotava muuttuje x ja y havatusta arvosta x ja y, =, 2,,. Estmossa regressokertomlle β 0 ja β pyrtää löytämää sellaset arvot, että de määräämä regresso-suora selttäs mahdollsmma hyv seltettävä muuttuja y arvoje vahtelu. Regressokertome β 0 ja β estmot o tarjolla useta erlasa meetelmä, josta yles o pemmä elösumma meetelmä. Mlla Kbble (203) 68

69 Yhde selttäjä leaarse regressomall estmot Pemmä elösumma meetelmä Pemmä elösumma meetelmässä mall y = β0 + β x + ε, =, 2,, regressokertome β 0 ja β estmaattort määrätää mmomalla jääös- el vrheterme ε elösumma 2 2 ε = ( y β0 βx) = = regressokertome β 0 ja β suhtee. Mlla Kbble (203) 69

70 Yhde selttäjä leaarse regressomall estmot Otostuusluvut Määrtellää havatoje x ja y, =, 2,, artmeettset keskarvot, otosvarasst, otoskovarass ja otoskorrelaatokerro tavaomaslla kaavollaa: x = x y = y = = sx = ( x x) sy = ( y y) = = sxy = ( x x)( y y) = sxy rxy = ss x y KE (204) 70

71 Yhde selttäjä leaarse regressomall estmot Regressokertome PNS-estmaattort Tavallse yhde selttäjä leaarse regressomall y = β0 + β x + ε, =, 2,, regressokertome β 0 ja β pemmä elösumma (PNS-) estmaattort ovat b = y bx b 0 s = = r xy 2 sx xy s s y x Mlla Kbble (203) 7

72 Yhde selttäjä leaarse regressomall estmot PNS-estmaattorede johto /4 Tavallse yhde selttäjä leaarse regressomall y = β0 + β x + ε, =, 2,, regressokertomet β 0 ja β estmodaa PNS-meetelmällä mmomalla jääösterme ε elösumma = = 0 = = S( β, β ) ε ( y β β x ) kertome β 0 ja β suhtee Tämä tapahtuu tavaomasee tapaa dervomalla fukto S(β 0, β ) kertome β 0 ja β suhtee ja merktsemällä dervaatat ollks. Mlla Kbble (203) 72

73 Yhde selttäjä leaarse regressomall estmot PNS-estmaattorede johto 2/4 Dervodaa fukto = = 0 = = S( β, β ) ε ( y β β x ) regressokertome β 0 ja β suhtee ja merktää dervaatat ollks: S( β0, β) () = 2 ( y β0 βx) = 0 β 0 = S( β0, β) (2) = 2 ( y β0 βx) x = 0 β = Regressokertome β 0 ja β PNS-estmaattort saadaa ormaalyhtälöde () ja (2) ratkasua. Mlla Kbble (203) 73

74 Yhde selttäjä leaarse regressomall estmot PNS-estmaattorede johto 3/4 Krjotetaa ormaalyhtälöt () ja (2) muotoh () y β β x = 0 0 = = 2 (2) yx β0 x β x = 0 = = = Ratkastaa β 0 yhtälöstä () : (3) β 0 = y x y x β = β = = ja sjotetaa ratkasu yhtälöö (2) : 2 2 yx yx βx β x = = (4) + = 0 Mlla Kbble (203) 74

75 Yhde selttäjä leaarse regressomall estmot PNS-estmaattorede johto 4/4 Parametr β PNS-estmaattorks saadaa yhtälöstä (4): (5) b y x yx s = = = r = xy sx xj x = Sjottamalla b yhtälöö (3) saadaa parametr β 0 PNSestmaattorks (6) b0 = y bx Svuutamme se osottamse, että saatu äärarvo o todellak mm. xy s s y x Mlla Kbble (203) 75

76 Yhde selttäjä leaarse regressomall estmot Tuuslukuje laskeme: Havaollstava esmerkk /3 Taulukossa okealla o keotekose kahde muuttuja aesto havatoarvot ( = 6). Aestoa kuvaava pstedagramm o okealla alhaalla. x y Pstedagramm 8 6 y x Mlla Kbble (203) 76

77 Yhde selttäjä leaarse regressomall estmot Tuuslukuje laskeme: Havaollstava esmerkk 2/3 Alla olevassa taulukossa o laskettu muuttuje x ja y havattuje arvoje summat, elösummat ja tulosumma. x y x 2 y 2 xy Summa Yhde selttäjä leaarse regressomall y = β0 + β x + ε, =, 2,, regressokertome β 0 ja β PNS-estmaatt vodaa laskea ästä vdestä summasta; ks. seuraavaa kalvoa. Mlla Kbble (203) 77

78 Yhde selttäjä leaarse regressomall estmot Tuuslukuje laskeme: Havaollstava esmerkk 3/3 Regressokertome β 0 ja β PNS-estmaatt: x = x = 29 = = y = y = 32 = = xy x y = = = b 6 = = = x x 6 = = b = y bx= =.54 0 Mlla Kbble (203) 78

79 Yhde selttäjä leaarse regressomall estmot Estmotu regressosuora /3 Tavallse yhde selttäjä leaare regressomall y = β0 + β x + ε, =, 2,, regressokertome β 0 ja β PNS-estmaattort b 0 ja b 2 määrttelevät suora avaruudessa : y = b 0 + b x jossa b 0 = estmodu regressosuora ja y-aksel lekkauspste b = estmodu regressosuora kulmakerro Mlla Kbble (203) 79

80 Yhde selttäjä leaarse regressomall estmot Estmotu regressosuora 2/3 Sjotetaa regressokertome β 0 ja β PNSestmaattorede lausekkeet sy b0 = y bx b = rxy s x estmodu regressosuora lausekkeesee. Tällö estmodu regressosuora yhtälö vodaa krjottaa seuraavaa muotoo: sy y = y+ rxy ( x x) sx Yhtälöstä ähdää, että estmotu regressosuora kulkee havatopstede (x, y ), =, 2,, paopstee ( x, y) kautta. Mlla Kbble (203) 80

81 Yhde selttäjä leaarse regressomall estmot Estmotu regressosuora 3/3 Estmodulla regressosuoralla sy y = y+ rxy ( x x) sx o seuraavat omasuudet: () Jos r xy > 0, suora o ouseva. () Jos r xy < 0, suora o laskeva. () Jos r xy = 0, suora o vaakasuorassa. (v) Suora jyrkkeee (loveee), jos korrelaato tsesarvo r xy kasvaa (peeee) keskhajota s y kasvaa (peeee) keskhajota peeee (kasvaa) s x KE (204) 8

82 Yhde selttäjä leaarse regressomall estmot Estmotu regressosuora: Havaollstava esmerkk /2 Taulukossa okealla o keotekose kahde muuttuja aesto havatoarvot ( = 6). Aestoa kuvaava pstedagramm o okealla alhaalla. x y Pstedagramm 8 6 y x Mlla Kbble (203) 82

83 Yhde selttäjä leaarse regressomall estmot Estmotu regressosuora: Havaollstava esmerkk 2/2 Yhde selttäjä leaarse regressomall y = β0 + βx + ε =, 2,, regressokertome β 0 ja β PNS-estmaateks saat edellä b 0 =.5407 b = Estmodu regressosuora yhtälö o ste y = x ks. kuvota okealla. y Pstedagramm y = x R 2 = x Mlla Kbble (203) 83

84 Päättely yhde selttäjä leaarsesta regressomallsta Malla koskeva tlastolle päättely Vosmme tutulla tavalla myös määrätä tavallse yhde selttäjä leaarse regressomall y = β0 + β x + ε, =, 2,, regressokertome β 0 ja β pemmä elösumma (PNS-) estmaattorette b 0 ja b otosjakaumat ja regressokertome luottamusvält ja tarkastella testejä regressokertomlle. Mlla Kbble (203) 84

85 Yhde selttäjä leaarse regressomall estmot Sovtteet ja resduaalt Olkoot b 0 ja b yhde selttäjä leaarse regressomall y = β0 + β x + ε, =, 2,, regressokertome β 0 ja β PNS-estmaattort. Määrtellää estmodu mall sovtteet kaavalla yˆ = b + bx, =, 2,, 0 Määrtellää estmodu mall resduaalt kaavalla e = y yˆ = y b bx, =, 2,, 0 Huomaa, että y = yˆ + e, =, 2,, Mlla Kbble (203) 85

86 Yhde selttäjä leaarse regressomall estmot Sovtteet ja resduaalt: Tulkat /2 Sovte yˆ = b + bx, =, 2,, 0 o estmodu regressosuora atama arvo seltettävälle muuttujalle y havatopsteessä x. Resduaal e = y yˆ = y b0 bx, =, 2,, o seltettävä muuttuja y havatu arvo y ja sovttee y erotus. ˆ Mlla Kbble (203) 86

87 Yhde selttäjä leaarse regressomall estmot Sovtteet ja resduaalt: Tulkat 2/2 Estmotu regressomall selttää seltettävä muuttuja y havattuje arvoje vahtelu stä paremm mtä lähempää estmodu mall sovtteet yˆ ovat seltettävä muuttuja y havattuja arvoja y. Yhtäptäväst edellse kassa: Estmotu regressomall selttää seltettävä muuttuja y havattuje arvoje y vahtelu stä paremm mtä peempä ovat estmodu mall resduaalt e. Mlla Kbble (203) 87

88 Yhde selttäjä leaarse regressomall estmot Sovtteet ja resduaalt: Havaollstus Kuvo okealla havaollstaa sovttede ja resduaale geometrsta tulktaa. Mall: y = β0 + β x + ε, =, 2,, PNS-suora: y= b0 + bx Sovte: yˆ = b0 + bx, =, 2,, Resduaal: e = y yˆ, =, 2,, e yˆ y x (x, y ) y= b0 + bx ( x, yˆ ) x Mlla Kbble (203) 88

89 Yhde selttäjä leaarse regressomall estmot Sovtteet ja resduaalt: Havaollstava esmerkk /3 Taulukossa okealla o keotekose kahde muuttuja aesto havatoarvot ( = 6). Estmodu regressosuora yhtälöks saat edellä y = x ks. kuvota okealla. x y Pstedagramm y = x R 2 = y x Mlla Kbble (203) 89

90 Yhde selttäjä leaarse regressomall estmot Sovtteet ja resduaalt: Havaollstava esmerkk 2/3 Alla olevassa taulukossa o laskettu estmodu mall y = x sovtteet ŷ ja resduaalt e: x y Sovte Resduaal Summa Esmerkks, ku = 3, yˆ 3 = x3 = = e = y yˆ = = Mlla Kbble (203) 90

91 Yhde selttäjä leaarse regressomall estmot Sovtteet ja resduaalt: Havaollstava esmerkk 3/3 Kuvoo okealla o lsätty estmodu regressomall resduaaleja vastaavat jaat. Huomautus: Pstedagramm y = x R 2 = Pemmä elösumma meetelmässä regressosuora kertomet tulevat valtuks ste, että estmodu mall resduaaleja vastaave jaoje ptuukse elöde summa o pe mahdolle. y x Mlla Kbble (203) 9

92 Yhde selttäjä leaarse regressomall estmot Jääösvarass estmot /2 Jos tavallse yhde selttäjä leaarse regressomall jääös- el vrhetermejä ε koskevat stadardoletukset ()-() pätevät, jääösvarass Var(ε ) = σ 2 harhato estmaattor o 2 2 s = e 2 = jossa e = y yˆ = y b bx, =, 2,, 0 = estmodu mall resduaal = havatoje lukumäärä Mlla Kbble (203) 92

93 Yhde selttäjä leaarse regressomall estmot Jääösvarass estmot 2/2 Jääösvarass σ 2 estmaattor 2 2 s = e 2 = kuvaa havatopstede (x, y ), =, 2,, vahtelua estmodu regressosuora ympärllä. Mlla Kbble (203) 93

94 Yhde selttäjä leaarse regressomall estmot Jääösvarass estmot: Kommett Estmaattor s 2 o todellak resduaale e varass. Tämä seuraa stä, että mallssa o vakoselttäjä, jollo = ja ste myös e jollo e = 0 = e = = 0 s e e e 2 ( ) 2 2 = = 2 = 2 = Mlla Kbble (203) 94

95 Yhde selttäjä leaarse regressomall estmot Jääösvarass estmot: Havaollstava esmerkk /2 Taulukossa alla o keotekose kahde muuttuja aesto havatoarvot ( = 6): x y y Pstedagramm y = x R 2 = Aestoa kuvaava pstedagramm o okealla x Kuvoo o merktty myös aestosta estmodu regressosuora yhtälö. Mlla Kbble (203) 95

96 Yhde selttäjä leaarse regressomall estmot Jääösvarass estmot: Havaollstava esmerkk 2/2 Alla olevassa taulukossa o laskettu estmodu mall sovtteet ŷ, resduaalt e (sovttede ja resduaale laskemsta o kästelty edellä) ja resduaale elöt e 2. x y Sovte Resduaal Res Summa Jääösvarass σ 2 harhato estmaattor o 2 2 s = e = 6 2 = = Mlla Kbble (203) 96

97 Yhde selttäjä leaare regressomall Yhde selttäjä leaare regressomall ja stä koskevat oletukset Yhde selttäjä leaarse regressomall estmot >> Varassaalyyshajotelma ja seltysaste Mlla Kbble (203) 97

98 Varassaalyyshajotelma ja seltysaste Varassaalyyshajotelma dea Yhde selttäjä regressomall tehtävää o selttää seltettävä muuttuja y havattuje arvoje vahtelu selttävä muuttuja x havattuje arvoje vahtelulla. Ostumsta tässä tehtävässä vodaa kuvata s. varassaalyyshajotelma avulla. Hajotelmassa seltettävä muuttuja y havattuje arvoje kokoasvahtelua kuvaava s. kokoaselösumma jaetaa kahde osatekjä summaks: () Toe osatekjä kuvaa estmodu mall selttämää osaa kokoasvahtelusta. () Toe osatekjä kuvaa malllla selttämättä jääyttä osaa kokoasvahtelusta. Mlla Kbble (203) 98

99 Varassaalyyshajotelma ja seltysaste Kokoaselösumma Nelösumma SST = ( y y) = 2 kuvaa seltettävä muuttuja y havattuje arvoje y j vahtelua ja stä kutsutaa kokoaselösummaks. Seltettävä muuttuja y havattuje arvoje y varass vodaa määrtellä kaavalla s = SST 2 y Mlla Kbble (203) 99

100 Varassaalyyshajotelma ja seltysaste Jääöselösumma Nelösumma SSE kuvaa resduaale e vahtelua ja stä kutsutaa jääöselösummaks. Koska mallssa o vakoselttäjä, jollo e = 0, resduaale e varass vodaa määrtellä kaavalla s = SSE 2 2 = e = 2 s 2 o jääösvarass σ 2 harhato estmaattor. Mlla Kbble (203) 00

101 Varassaalyyshajotelma ja seltysaste Kokoas- ja jääöselösumma yhteys /4 Vodaa osottaa, että yhde selttäjä leaarsessa regressomallssa jääöselösumma SSE ja kokoaselösumma SST toteuttavat yhtälöt jossa r xy xy = = SSE e ( r ) ( y y) ( r ) SST xy = = = = s x xy ss y = seltettävä muuttuja y ja selttäjä x havattuje arvoje otoskorrelaatokerro Mlla Kbble (203) 0

102 Varassaalyyshajotelma ja seltysaste Kokoas- ja jääöselösumma yhteys 2/4 Koska otoskorrelaatokerro r xy toteuttaa epäyhtälöt r xy + yhtälöstä ähdää välttömäst, että SSE SST xy xy = = = = = SSE e ( r ) ( y y) ( r ) SST Mlla Kbble (203) 02

103 Varassaalyyshajotelma ja seltysaste Kokoas- ja jääöselösumma yhteys 3/4 Yhtälöstä ähdää, että seuraavat ehdot ovat yhtäptävä: () SSE = 0 () e = 0 kaklle =, 2,, () r xy = ± xy xy = = = = = SSE e ( r ) ( y y) ( r ) SST Jos ehdot ()-() pätevät, kakk havatopsteet (x, y ), =, 2,, ovat samalla suoralla ja tätä suoraa vastaava leaare regressomall selttää täydellsest seltettävä muuttuja y havattuje arvoje vahtelu. Mlla Kbble (203) 03

104 Varassaalyyshajotelma ja seltysaste Kokoas- ja jääöselösumma yhteys 4/4 Yhtälöstä ähdää, että seuraavat ehdot ovat yhtäptävä: () () SSE = SST e = y y () r xy = xy xy = = = = = SSE e ( r ) ( y y) ( r ) SST kaklle =, 2,, Jos ehdot () -() pätevät, seltettävä muuttuja y havattuje arvoje vahtelua e voda selttää malla käytety leaarse regressomall avulla. Mlla Kbble (203) 04

105 Varassaalyyshajotelma ja seltysaste Mallelösumma Määrtellää suure SSM yhtälöllä Koska SSM = SST SSE 0 SSE SST SSM 0 Koska vodaa osottaa, että SSM = ( yˆ y) = 2 suuretta SSM kutsutaa mallelösummaks. Mlla Kbble (203) 05

106 Varassaalyyshajotelma ja seltysaste Varassaalyyshajotelma /2 Edellä estety mukaa kokoaselösumma vodaa esttää kahde osatekjä SSM ja SSE summaa: SST = SSM + SSE jossa ja SST = ( y y) SSE = SSM = ( yˆ y) = = e = Mlla Kbble (203) 06

107 Varassaalyyshajotelma ja seltysaste Varassaalyyshajotelma 2/2 Varassaalyyshajotelmassa SST = SSM + SSE seltettävä muuttuja y havattuje arvoje vahtelua kuvaava kokoaselösumma SST o estetty kahde osatekjä SSM ja SSE summaa: () Mallelösumma SSM kuvaa stä osaa seltettävä muuttuja y havattuje arvoje vahtelusta, joka estmotu mall o selttäyt. () Jääöselösumma SSE kuvaa stä osaa seltettävä muuttuja y havattuje arvoje vahtelusta, jota estmotu mall e ole selttäyt. Mlla Kbble (203) 07

108 Varassaalyyshajotelma ja seltysaste Varassaalyyshajotelma tulkta Varassaalyyshajotelma SST = SSM + SSE kuvaa estmodu regressomall hyvyyttä: () Mtä suuremp o mallelösumma SSM osuus kokoaselösummasta SST, stä paremm estmotu mall selttää seltettävä muuttuja havattuje arvoje vahtelu. () Mtä peemp o jääöselösumma SSE osuus kokoaselösummasta SST, stä paremm estmotu mall selttää seltettävä muuttuja havattuje arvoje vahtelu. Mlla Kbble (203) 08

109 Varassaalyyshajotelma ja seltysaste Seltysaste Varassaalyyshajotelma SST = SSM + SSE motvo tuusluvu 2 SSE SSM R = = SST SST käytö regressomall hyvyyde mttara. Tuuslukua R 2 kutsutaa seltysasteeks ja se mttaa regressomall selttämää osuutta seltettävä muuttuja y havattuje arvoje kokoasvahtelusta. Seltysaste R 2 lmastaa tavallsest prosettea: 00 R 2 % Mlla Kbble (203) 09

110 Varassaalyyshajotelma ja seltysaste Seltysaste ja korrelaato Vodaa osottaa, että 2 R = Cor( yy, ˆ) jossa Cor( yy, ˆ) [ ] 2 o seltettävä muuttuja y havattuje arvoje y ja sovttede y otoskorrelaatokerro. ˆ Yhde selttäjä leaarse regressomall tapauksessa pätee lsäks se, että seltysaste R 2 o seltettävä ja selttävä muuttuja havattuje arvoje otoskorrelaatokertome r xy elö: 2 2 R = r xy Mlla Kbble (203) 0

111 Varassaalyyshajotelma ja seltysaste Seltysastee omasuudet /2 Seltysasteella R 2 o seuraavat omasuudet: () 0 R 2 () Seuraavat ehdot ovat yhtäptävä: () R 2 = (2) Kakk resduaalt hävävät: e = 0 kaklle =, 2,, (3) Kakk havatopsteet (x, y ), =, 2,, asettuvat samalle suoralle. (4) r xy = ± (5) Määrtelty mall selttää täydellsest seltettävä muuttuja y havattuje arvoje vahtelu. Mlla Kbble (203)

112 Varassaalyyshajotelma ja seltysaste Seltysastee omasuudet 2/2 () Seuraavat ehdot ovat yhtäptävä: () R 2 = 0 (2) b = 0 (3) r xy = 0 (4) Määrtelty mall e ollekaa seltä seltettävä muuttuja y havattuje arvoje vahtelua. Mlla Kbble (203) 2

113 Varassaalyyshajotelma ja seltysaste Seltysastee laskeme: Havaollstava esmerkk /3 Taulukossa okealla o keotekose kahde muuttuja aesto havatoarvot ( = 6). Aestosta estmodu regressosuora yhtälöks saat kappaleessa Yhde selttäjä leaarse regressomall estmot y = x ks. kuvota okealla. y x y Pstedagramm y = x R 2 = x Mlla Kbble (203) 3

114 Varassaalyyshajotelma ja seltysaste Seltysastee laskeme: Havaollstava esmerkk 2/3 Alla olevassa taulukossa o laskettu havatoarvoje summat ja elösummat sekä estmodu mall sovtteet ŷ, resduaalt e (sovttede ja resduaale laskemsta o kästelty em. kappaleessa) ja resduaale elöt e 2. x y x 2 y 2 Sovte Resduaal Res Summa Estmodu mall seltysaste saadaa tauluko sarakesummsta seuraavalla kalvolla estettävällä tavalla. Mlla Kbble (203) 4

115 Varassaalyyshajotelma ja seltysaste Seltysastee laskeme: Havaollstava esmerkk 3/3 Kokoaselösumma: 2 2 SST = y y = = = = 6 Jääöselösumma: SSE Seltysaste: 2 SSE R = = = SST Ste estmotu mall o selttäyt 83.0 % = e = = seltettävä muuttuja arvoje vahtelusta. 2 Mlla Kbble (203) 5

116 Tlastollset meetelmät Osa 4: Leaare regressoaalyys Yhde selttäjä leaare regressomall (Osa 2) KE (204) 6

117 Yhde selttäjä leaare regressomall >> Eustame yhde selttäjä leaarsella regressomalllla Yhde selttäjä leaarse regressomall ja satuae selttäjä 2-ulottese ormaaljakauma regressofuktode estmot Mlla Kbble (203) 7

118 Eustame yhde selttäjä leaarsella regressomalllla Eustame Oletetaa, että muuttuje x ja y havattuje arvoje x ja y välllä o leaare tlastolle rppuvuus, joka vodaa lmasta muodossa y = β0 + β x + ε, =, 2,, Haluamme eustaa seltettävää muuttujaa y, ku selttävä muuttuja x saa arvo x. Jaetaa tarkastelu kahtee osaa: () Tavotteea o eustaa seltettävä muuttuja y odotettavssa oleva el keskmääräe arvo. () Tavotteea o eustaa seltettävä muuttuja y arvo. Mlla Kbble (203) 8

119 Eustame yhde selttäjä leaarsella regressomalllla Mall ja se osat Tarkastellaa tavallsta yhde selttäjä leaarsta regressomalla y = β0 + β x + ε, =, 2,, joka jääöstermt ε toteuttavat s. tavaomaset el stadardoletukset: () () () E( ε ) = 0, =, 2,, 2 Var( ε ) = σ, =, 2,, Cor( ε, ε l) = 0, l Mlla Kbble (203) 9

120 Eustame yhde selttäjä leaarsella regressomalllla y: odotusarvo eustame Oletetaa, että seltettävä muuttuja y saa arvo y = β0 + βx + ε ku selttäjä x saa arvo x. Mkä o paras euste seltettävä muuttuja y odotettavssa olevalle arvolle E( yx ) = β0 + βx ku selttäjä x saa arvo x? Seltettävä muuttuja y ehdolle odotusarvo E( yx ) kuvaa seltettävä muuttuja y keskmäär saama arvoja selttäjä x saame arvoje fuktoa. Mlla Kbble (203) 20

121 Eustame yhde selttäjä leaarsella regressomalllla y: odotusarvo eustame: Euste Valtaa seltettävä muuttuja odotusarvo eusteeks (estmaattorks) lauseke yx = b + bx 0 E( yx ) jossa b 0 ja b ovat regressokertome β 0 ja β PNSestmaattort. Vodaa osottaa, että yx o (eustevrhee keskelövrhee melessä) paras leaare ja harhato euste ehdollselle odotusarvolle E( yx ). Huomautus: Ehdolle odotusarvo E( yx ) o kteälle x vako, ku taas euste o satuasmuuttuja. yx Mlla Kbble (203) 2

122 Eustame yhde selttäjä leaarsella regressomalllla y: odotusarvo eustame: Otosjakauma Oletetaa, että yhde selttäjä leaarse regressomall jääös- el vrhetermä ε koskevat stadardoletukse ()-() lsäks ormaalsuusoletus (v) pätee. Tällö eustee yx = b0 + bx otosjakauma o ormaaljakauma: yx ~N β β, σ ( x x) ( ) s x x + 2 Mlla Kbble (203) 22

123 Eustame yhde selttäjä leaarsella regressomalllla y: odotusarvo eustame: Luottamusväl Odotusarvo E( yx ) = β + β x 0 luottamusväl luottamustasolla ( α) o 2 ( x x) b0 + bx ± tα /2 s + 2 ( ) s x jossa t α/2 ja +t α/2 ovat luottamustasoo ( α) lttyvät luottamuskertomet Studet t-jakaumasta, joka vapausastede luku o ( 2) ja s 2 o jääösvarass σ 2 harhato estmaattor. Väl muodostaa selttäjä x arvoje x fuktoa luottamusvyö estmodu regressosuora y = b 0 + b x ympärlle. Mlla Kbble (203) 23

124 Eustame yhde selttäjä leaarsella regressomalllla y: odotusarvo eustame: Luottamusväl omasuuksa Odotusarvo E( yx ) luottamusväl = β + β x 0 2 ( x x) b0 + bx ± tα /2 s + 2 ( ) s x kavetuu, jos havatoje lukumäärä ta selttäjä otosvarass 2 kasvaa. s x Tosaalta luottamusväl o stä leveämp, mtä kauempaa pste x o selttäjä x havattuje arvoje artmeettsesta keskarvosta x. Mlla Kbble (203) 24

125 Eustame yhde selttäjä leaarsella regressomalllla y: arvo eustame Oletetaa, että seltettävä muuttuja y saa arvo y = β0 + βx + ε ku selttäjä x saa arvo x. Mkä o paras euste seltettävä muuttuja y arvolle y, ku selttäjä x saa arvo x? Mlla Kbble (203) 25

126 Eustame yhde selttäjä leaarsella regressomalllla y: arvo eustame: Euste Valtaa seltettävä muuttuja arvo y eusteeks (estmaattorks) lauseke yx = b + bx 0 jossa b 0 ja b ovat regressokertome β 0 ja β PNSestmaattort. yx o (eustevrhee keskelö-vrhee melessä) paras leaare ja harhato euste ehdollselle odotusarvolle E( y x ) Huomautus: Sekä seltettävä muuttuja y arvo y että euste yx ovat satuasmuuttuja. Mlla Kbble (203) 26

127 Eustame yhde selttäjä leaarsella regressomalllla y: arvo eustame: Otosjakauma Oletetaa, että yhde selttäjä leaarse regressomall jääös- el vrhetermä ε koskevat stadardoletukse ()-() lsäks ormaalsuusoletus (v) pätee. Tällö eustevrhee y yx otosjakauma o ormaaljakauma: y 2 yx~n 0, σ ( x x) 2 ( ) s x Mlla Kbble (203) 27

128 Eustame yhde selttäjä leaarsella regressomalllla y: arvo eustame: Luottamusväl Seltettävä muuttuja y arvo y luottamusväl luottamustasolla ( α) o 2 ( x x) b0 + bx ± tα /2 s ( ) s x jossa t α/2 ja +t α/2 ovat luottamustasoo ( α) lttyvät luottamuskertomet Studet t-jakaumasta, joka vapausastede luku o ( 2) ja s 2 o jääösvarass σ 2 harhato estmaattor. Väl muodostaa selttäjä x arvoje x fuktoa luottamusvyö estmodu regressosuora y = b 0 + b x ympärlle. Mlla Kbble (203) 28

129 Eustame yhde selttäjä leaarsella regressomalllla y: arvo eustame: Luottamusväl omasuuksa Seltettävä muuttuja y arvo y luottamusväl 2 ( x x) b0 + bx ± tα /2 s ( ) s x kavetuu, jos havatoje lukumäärä ta selttäjä otosvarass 2 kasvaa. s x Tosaalta luottamusväl o stä leveämp, mtä kauempaa pste x o selttäjä x havattuje arvoje artmeettsesta keskarvosta x. Mlla Kbble (203) 29

130 Eustame yhde selttäjä leaarsella regressomalllla y: arvo luottamusväl vs y: odotusarvo luottamusväl Seltettävä muuttuja y arvo y luottamusvyö o leveämp ku seltettävä muuttuja y arvo y odotusarvo E( yx ) luottamusvyö. Tämä seuraa oleasest stä, että seltettävä muuttuja y keskmääräse arvo eustame o helpompaa ku se yksttäse arvo eustame. Mlla Kbble (203) 30

131 Yhde selttäjä leaare regressomall Eustame yhde selttäjä leaarsella regressomalllla >> Yhde selttäjä leaarse regressomall ja satuae selttäjä 2-ulottese ormaaljakauma regressofuktode estmot Mlla Kbble (203) 3

132 Yhde selttäjä leaare regressomall ja satuae selttäjä Seltettävä muuttuja ja selttävä muuttuja Oletetaa, että seltettävä muuttuja y havattuje arvoje vahtelu halutaa selttää selttävä muuttuja el selttäjä x havattuje arvoje vahtelu avulla. Tehdää seuraavat oletukset: () Sekä seltettävä muuttuja y että selttäjä x ovat satuasmuuttuja. () Seltettävä muuttuja y o suhdeastekolle muuttuja. Mlla Kbble (203) 32

133 Yhde selttäjä leaare regressomall ja satuae selttäjä Havaot Olkoot y, y 2,, y seltettävä muuttuja y ja x, x 2,, x selttävä muuttuja x havattuja arvoja. Oletetaa lsäks, että havatoarvot x ja y lttyvät samaa havatoykskköö kaklle =, 2,,. Tällö havatoarvot x ja y muodostavat pstetä 2- ulottesessa avaruudessa: 2 ( x, y ), =, 2,, Mlla Kbble (203) 33

134 Yhde selttäjä leaare regressomall ja satuae selttäjä Mall ja se osat /2 Oletetaa, että havatoje y ja x välllä o leaare tlastolle rppuvuus, joka vodaa lmasta yhtälöllä y = β0 + β x + ε, =, 2,, Yhtälö määrttelee yhde selttäjä leaarse regressomall, jossa y = seltettävä muuttuja y satuae ja havattu arvo havatoykskössä x = selttävä muuttuja x satuae ja havattu arvo havatoykskössä ε = jääös- el vrheterm ε satuae ja e-havattu arvo havatoykskössä Mlla Kbble (203) 34

135 Yhde selttäjä leaare regressomall ja satuae selttäjä Mall ja se osat 2/2 Yhde selttäjä leaarsessa regressomallssa y = β0 + β x + ε, =, 2,, o seuraavat kertomet: β 0 = vakoselttäjä regressokerro; β 0 o e-satuae ja tutemato vako β = selttäjä x regressokerro; β o e-satuae ja tutemato vako Huomautus: Regressokertomet β 0 ja β oletetaa samoks kaklle havatoykskölle. Mlla Kbble (203) 35

136 Yhde selttäjä leaare regressomall ja satuae selttäjä Selttäjä satuasuude seuraukset /3 Yhde selttäjä leaarse mall y = β0 + β x + ε, =, 2,, selttäjä x satuasuus saattaa aheuttaa vakava ogelma mall estmolle ja malla koskevalle tlastollselle päättelylle. Mlla Kbble (203) 36

137 Yhde selttäjä leaare regressomall ja satuae selttäjä Selttäjä satuasuude seuraukset 2/3 Jos selttäjä x o satuae, PNS-meetelmä e välttämättä tuota harhattoma ta edes tarketuva estmaattoreta regressokertomlle. Nä käy esmerkks sellasssa tapauksssa, jossa vrheterm ja selttäjä korrelovat. Jos regressokertome PNS-estmaattort evät ole harhattoma ta tarketuva, malla koskevaa tavaomasta tlastollsta päättelyä e saa soveltaa. Mlla Kbble (203) 37

138 Yhde selttäjä leaare regressomall ja satuae selttäjä Selttäjä satuasuude seuraukset 3/3 Kysymys: Mllo kteälle, e-satuaselle selttäjälle estettyä teoraa saa soveltaa myös satuaselle selttäjälle? Vastaus: Kteälle, e-satuaselle selttäjälle estettyä teoraa saadaa soveltaa aak sllo, ku jääösel vrhetermt ε j toteuttavat kteälle selttäjälle estetyt stadardoletukset ehdollsest selttäjä x havattuje arvoje suhtee. Mlla Kbble (203) 38