Tilastolliset menetelmät: Lineaarinen regressioanalyysi

Transkriptio

1 Tlastollset meetelmät Leaare regressoaalyys Tlastollset meetelmät: Leaare regressoaalyys 3. Tlastolle rppuvuus ja korrelaato 4. Johdatus regressoaalyys 5. Yhde selttäjä leaare regressomall 6. Ylee leaare mall 7. Regressomall valta 8. Regressodagostkka 9. Ertyskysymyksä ylese leaarse mall soveltamsessa Ilkka Mell (006) 3

2 Tlastollset meetelmät Leaare regressoaalyys Ilkka Mell (006) 3

3 Tlastollset meetelmät Leaare regressoaalyys Ssällys 3. TILASTOLLINEN RIIPPUVUUS JA KORRELAATIO TILASTOLLINEN RIIPPUVUUS, KORRELAATIO JA REGRESSIO KAHDEN MUUTTUJAN HAVAINTOAINEISTON KUVAAMINEN 4 PISTEDIAGRAMMI 4 AIKASARJADIAGRAMMI 45 ARITMEETTISET KESKIARVOT 46 OTOSVARIANSSIT JA OTOSKESKIHAJONNAT 47 OTOSKOVARIANSSI 48 OTOSKORRELAATIO 49 OTOSTUNNUSLUKUJEN LASKEMINEN PEARSONIN KORRELAATIOKERTOIMEN ESTIMOINTI JA TESTAUS 54 OTOS KAKSIULOTTEISESTA NORMAALIJAKAUMASTA 54 KAKSIULOTTEISEN NORMAALIJAKAUMAN PARAMETRIEN ESTIMOINTI 55 FISHERIN Z MUUNNOS 56 KORRELAATIOKERTOIMEN LUOTTAMUSVÄLI 56 KORRELOIMATTOMUUDEN TESTAAMINEN 58 YLEINEN TESTI KORRELAATIOKERTOIMELLE 59 KORRELAATIOKERTOIMIEN VERTAILUTESTI JÄRJESTYSKORRELAATIOKERTOIMET 6 SPEARMANIN JÄRJESTYSKORRELAATIOKERROIN 6 SPEARMANIN JÄRJESTYSKORRELAATIOKERTOIMEN OMINAISUUDET 63 KORRELOIMATTOMUUDEN TESTAAMINEN 63 KENDALLIN JÄRJESTYSKORRELAATIOKERROIN 64 KENDALLIN JÄRJESTYSKORRELAATIOKERTOIMEN OMININAISUUDET 65 KORRELOIMATTOMUUDEN TESTAAMINEN JOHDATUS REGRESSIOANALYYSIIN REGRESSIOANALYYSIN LÄHTÖKOHDAT JA TAVOITTEET 68 REGRESSIOANALYYSIN TAVOITTEET 68 REGRESSIOMALLIEN LUOKITTELU 68 REGRESSIOANALYYSIN SOVELLUKSET TILASTOTIETEESSÄ 69 REGRESSIOANALYYSIN LÄHTÖKOHDAT DETERMINISTISET MALLIT JA REGRESSIOANALYYSI 69 DETERMINISTISET MALLIT 69 DETERMINISTISET MALLIT JA REGRESSIO ONGELMA 70 SYYT REGRESSIO ONGELMAN SYNTYYN 70 REGRESSIOMALLI JA KIINTEÄT SELITTÄJÄT REGRESSIOFUNKTIOT JA REGRESSIOANALYYSI 73 EHDOLLISET JAKAUMAT JA EHDOLLISET ODOTUSARVOT 73 REGRESSIOFUNKTIOT 74 REGRESSIOFUNKTIOT JA ENNUSTAMINEN 74 REGRESSIOFUNKTIOT JA REGRESSIO ONGELMA 75 REGRESSIOMALLI JA SATUNNAISET SELITTÄJÄT KAKSIULOTTEISEN NORMAALIJAKAUMAN REGRESSIOFUNKTIOT 78 KAKSIULOTTEISEN NORMAALIJAKAUMAN TIHEYSFUNKTIO 79 KAKSIULOTTEISEN NORMAALIJAKAUMAN PARAMETRIT 79 Ilkka Mell (006) 33

4 Tlastollset meetelmät Leaare regressoaalyys KAKSIULOTTEISEN NORMAALIJAKAUMAN PARAMETRIEN TULKINTA 79 KAKSIULOTTEISEN NORMAALIJAKAUMAN EHDOLLISET JAKAUMAT 80 KAKSIULOTTEISEN NORMAALIJAKAUMAN REGRESSIOFUNKTIOT 80 KAKSIULOTTEISEN NORMAALIJAKAUMAN EHDOLLISET VARIANSSIT REGRESSIOANALYYSIN TEHTÄVÄT REGRESSIOMALLIN LINEAARISUUS YHDEN SELITTÄJÄN LINEAARINEN REGRESSIOMALLI YHDEN SELITTÄJÄN LINEAARINEN REGRESSIOMALLI JA SITÄ KOSKEVAT OLETUKSET 87 HAVAINNOT 87 YHDEN SELITTÄJÄN LINEAARINEN REGRESSIOMALLI 87 JÄÄNNÖSTERMIÄ KOSKEVAT STOKASTISET OLETUKSET 88 SELITETTÄVÄN MUUTTUJAN OMINAISUUDET 88 MALLIN PARAMETRIT 89 MALLIN SYSTEMAATTINEN OSA JA SATUNNAINEN OSA 89 REGRESSIOSUORA 90 REGRESSIOSUORAN KULMAKERTOIMEN TULKINTA REGRESSIOKERTOIMIEN ESTIMOINTI 90 REGRESSIOKERTOIMIEN PNS ESTIMOINTI 9 ESTIMOITU REGRESSIOSUORA 93 REGRESSIOKERTOIMIEN PNS ESTIMAATTOREIDEN OMINAINAISUUDET SOVITTEET JA RESIDUAALIT 300 SOVITTEIDEN JA RESIDUAALIEN OMINAISUUKSIA 300 SOVITTEET JA RESIDUAALIT: HAVAINNOLLISTUS JÄÄNNÖSVARIANSSIN ESTIMOINTI VARIANSSIANALYYSIHAJOTELMA JA SELITYSASTE 303 SELITYSASTE 307 SELITYSASTEEN OMINAISUUDET LASKUTOIMITUSTEN JÄRJESTÄMINEN 308 ESIMERKKEJÄ ESTIMOINTITULOSTEN TULKINNASTA PÄÄTTELY YHDEN SELITTÄJÄN LINEAARISESTA REGRESSIOMALLISTA 35 REGRESSIOKERTOIMIEN PNS ESTIMAATTOREIDEN OTOSJAKAUMAT 35 JÄÄNNÖSVARIANSSIN OTOSJAKAUMA 36 REGRESSIOKERTOIMIEN LUOTTAMUSVÄLIT 37 REGRESSIOKERTOIMIA KOSKEVAT TESTIT ENNUSTAMINEN YHDEN SELITTÄJÄN LINEAARISELLA REGRESSIOMALLILLA 3 SELITETTÄVÄN MUUTTUJAN ODOTETTAVISSA OLEVAN ARVON ENNUSTAMINEN 3 SELITETTÄVÄN MUUTTUJAN ODOTETTAVISSA OLEVAN ARVON ENNUSTEEN OTOSJAKAUMA 3 SELITETTÄVÄN MUUTTUJAN ODOTETTAVISSA OLEVAN ARVON LUOTTAMUSVÄLI 3 SELITETTÄVÄN MUUTTUJAN ODOTETTAVISSA OLEVAN ARVON LUOTTAMUSVÄLIN OMINAISUUDET 33 SELITETTÄVÄN MUUTTUJAN ARVON ENNUSTAMINEN 33 SELITETTÄVÄN MUUTTUJAN ARVON ENNUSTEEN OTOSJAKAUMA 33 SELITETTÄVÄN MUUTTUJAN ARVON LUOTTAMUSVÄLI 34 SELITETTÄVÄN MUUTTUJAN ARVON LUOTTAMUSVÄLIN OMINAISUUDET 34 SELITETTÄVÄN MUUTTUJAN ODOTETTAVISSA OLEVAN ARVON LUOTTAMUSVÄLI VS SELITETTÄVÄN MUUTTUJAN ARVON LUOTTAMUSVÄLI YHDEN SELITTÄJÄN LINEAARINEN REGRESSIOMALLI JA SATUNNAINEN SELITTÄJÄ KAKSIULOTTEISEN NORMAALIJAKAUMAN REGRESSIOFUNKTIOIDEN ESTIMOINTI 34 KAKSIULOTTEINEN NORMAALIJAKAUMA JA SEN TIHEYSFUNKTIO 34 KAKSIULOTTEISEN NORMAALIJAKAUMAN EHDOLLISET JAKAUMAT 35 Ilkka Mell (006) 34

5 Tlastollset meetelmät Leaare regressoaalyys OTOS KAKSIULOTTEISESTA NORMAALIJAKAUMASTA 36 KAKSIULOTTEISEN NORMAALIJAKAUMAN REGRESSIOFUNKTIOIDEN PNS ESTIMOINTI 36 KAKSIULOTTEISEN NORMAALIJAKAUMAN REGRESSIOFUNKTIOIDEN ESTIMOINTI MOMENTTIMENETELMÄLLÄ JA SUURIMMAN USKOTTAVUUDEN MENETELMÄLLÄ YLEINEN LINEAARINEN MALLI YLEINEN LINEAARINEN MALLI JA SITÄ KOSKEVAT OLETUKSET 336 HAVAINNOT 336 YLEINEN LINEAARINEN MALLI 337 MALLIA KOSKEVAT STANDARDIOLETUKSET 337 KOMMENTTEJA STANDARDIOLETUKSIIN 338 SELITETTÄVÄN MUUTTUJAN OMINAISUUDET 339 MALLIN PARAMETRIT 339 MALLIN SYSTEMAATTINEN OSA JA SATUNAINEN OSA 340 REGRESSIOTASO 340 REGRESSIOKERTOIMIEN TULKINTA YLEISEN LINEAARISEN MALLIN MATRIISIESITYS 34 ODOTUSARVOVEKTORI JA KOVARIANSSIMATRIISI 34 STANDARDIOLETUKSET MATRIISIMUODOSSA YLEISEN LINEAARISEN MALLIN PARAMETRIEN ESTIMOINTI 343 PIENIMMÄN NELIÖSUMMAN ESTIMOINTIMENETELMÄ 343 REGRESSIOKERTOIMIEN VEKTORIN PNS ETIMAATTORI 343 PNS ESTIMAATTORIN ODOTUSARVOVEKTORI JA KOVARIANSSIMATRIISI 344 GAUSSIN JA MARKOVIN LAUSE 345 GAUSSIN JA MARKOVIN LAUSEEN TULKINTA 347 PNS ESTIMAATTORIN STOKASTISET OMINAISUUDET 348 SOVITTEET JA RESIDUAALIT 348 SOVITTEIDEN JA RESIDUAALIEN MATRIISIESITYKSET 349 SOVITTEIDEN JA RESIDUAALIEN OMINAISUUDET 350 SOVITTEIDEN JA RESIDUAALIEN STOKASTISET OMINAISUUDET 35 JÄÄNNÖSVARIANSSIN ESTIMOINTI 35 ESTIMOITU REGRESSIOTASO VARIANSSIANALYYSIHAJOTELMA JA SELITYSASTE 354 VARIANSSIANALYYSIHAJOTELMAN TULKINTA 357 SELITYSASTE 357 SELITYSASTEEN OMINAISUUDET TILASTOLLINEN PÄÄTTELY YLEISESTÄ LINEAARISESTA MALLISTA 358 REGRESSIOKERTOIMIEN ESTIMAATTOREIDEN ODOTUSARVOT, VARIANSSIT JA OTOSJAKAUMAT 359 JÄÄNNÖSVARIANSSIN OTOSJAKAUMA 360 REGRESSIOKERTOIMIEN LUOTTAMUSVÄLIT 360 REGRESSIOKERTOIMIEN LUOTTAMUSVÄLIEN TULKINTAT 36 YLEISTESTI REGRESSION OLEMASSAOLOLLE 36 TESTIT YKSITTÄISILLE REGRESSIOKERTOIMILLE ENNUSTAMINEN YLEISELLÄ LINEAARISELLA MALLILLA 36 SELITETTÄVÄN MUUTTUJAN ODOTETTAVISSA OLEVAN ARVON ENNUSTAMINEN 36 SELITETTÄVÄN MUUTTUJAN ODOTETTAVISSA OLEVAN ARVON ENNUSTEEN OTOSJAKAUMA 363 SELITETTÄVÄN MUUTTUJAN ODOTETTAVISSA OLEVAN ARVON LUOTTAMUSVÄLI 363 SELITETTÄVÄN MUUTTUJAN ARVON ENNUSTAMINEN 364 SELITETTÄVÄN MUUTTUJAN ARVON ENNUSTEEN OTOSJAKAUMA 364 SELITETTÄVÄN MUUTTUJAN ARVON LUOTTAMUSVÄLI 364 Ilkka Mell (006) 35

6 Tlastollset meetelmät Leaare regressoaalyys SELITETTÄVÄN MUUTTUJAN ODOTETTAVISSA OLEVAN ARVON LUOTTAMUSVÄLI VS SELITETTÄVÄN MUUTTUJAN ARVON LUOTTAMUSVÄLI YLEINEN LINEAARINEN MALLI JA SATUNNAISET SELITTÄJÄT 365 YLEINEN LINEAARINEN MALLI JA STANDARDIOLETUKSET 365 SELITTÄJIEN SATUNNAISUUS 365 REGRESSIOKERTOIMIEN VEKTORIN PNS ESTIMAATTORIN HARHATTOMUUS 366 YLEINEN LINEAARINEN MALLI JA MODIFIOIDUT STANDARDIOLETUKSET SATUNNAISTEN SELITTÄJIEN TAPAUKSELLE 367 KOMMENTTEJA REGRESSIOMALLIN VALINTA REGRESSIOMALLIN VALINTA: JOHDANTO YLEINEN LINEAARINEN MALLI 369 MALLIN RAKENNEOSA JA JÄÄNNÖSOSA 370 REGRESSIOKERTOIMIEN PNS ESTIMAATTORIT JA NIIDEN OMINAISUUDET 370 ESTIMOIDUN MALLIN SOVITTEET JA RESIDUAALIT SEKÄ NIIDEN OMINAISUUDET 37 JÄÄNNÖSVARIANSSIN ESTIMOINTI 37 YLEISEN LINEAARISEN MALLIN RAKENNEOSA JA SEN SPESIFIOINTI 37 MIKSI OIKEIDEN SELITTÄJIEN LÖYTÄMINEN REGRESSIOMALLIIN ON TÄRKEÄTÄ? 373 MIKSI OIKEIDEN SELITTÄJIEN LÖYTÄMINEN REGRESSIOMALLIIN ON VAIKEATA? 373 PUUTTUVIEN SELITTÄJIEN ONGELMA 373 SELITTÄJIEN VALINNAN MENETELMÄT MALLINVALINTATESTIT 375 ALAPÄIN ASKELLUS 375 ASKELTAVA REGRESSIO MALLINVALINTAKRITEERIT 376 MALLIVALINTAKRITEERIEN YLEINEN MUOTO 377 MALLINVALINTAKRITEEREIDEN SOVELTAMINEN 377 MALLINVALINTAKRITEEREITÄ 378 JÄÄNNÖSVARIANSSIKRITEERI 378 KORJATTU SELITYSASTE 378 MALLOWSIN C P 379 AKAIKEN INFORNAATIOKRITEERI 380 SCHWARZIN BAYESLAINEN INFORMAATIOKRITEERI TILASTOLLISET MENETELMÄT TILASTOLLISEN MALLIN VALINNASSA: KOMMENTTEJA EPÄLINEAARISTEN RIIPPUVUUKSIEN LINEARISOINTI 38 LINEARISOINTI YHDEN SELITTÄJÄN REGRESSIOMALLEISSA 38 LINEARISOIVIEN MUUNNOSTEN ETSIMINEN 38 LINEARISOIVIA MUUNNOKSIA 38 VAATIMUKSET MUUNNOKSILLE REGRESSIODIAGNOSTIIKKA REGRESSIOMALLIT JA REGRESSIODIAGNOSTIIKKA 385 REGRESSIOANALYYSIN PERUSKYSYMYKSET 385 REGRESSIOANALYYSIN PERUSKYSYMYKSET JA REGRESSIODIAGNOSTIIKKA 385 REGRESSIOMALLIN SPESIFIOINTI YLEINEN LINEAARINEN MALLI 386 MALLIN RAKENNEOSA JA JÄÄNNÖSOSA 387 REGRESSIOKERTOIMIEN PNS ESTIMAATTORIT JA NIIDEN OMINAISUUDET 388 Ilkka Mell (006) 36

7 Tlastollset meetelmät Leaare regressoaalyys ESTIMOIDUN MALLIN SOVITTEET JA RESIDUAALIT SEKÄ NIIDEN OMINAISUUDET 388 JÄÄNNÖSVARIANSSIN ESTIMOINTI 390 YLEISEN LINEAARISEN MALLIN RAKENNEOSAN SPESIFIOINTI 390 YLEISEN LINEAARISEN MALLIN JÄÄNNÖSOSAN SPESIFIOINTI 39 SPESIFIOINTIVIRHEIDEN VAIKUTUKSET 39 DIAGNOSTISET TARKISTUKSET REGRESSIOGRAFIIKKA 39 PISTEDIAGRAMMIT 39 RESIDUAALIDIAGRAMMIT 393 AIKASARJADIAGRAMMIT POIKKEAVAT HAVAINNOT 394 RESIDUAALIT 395 STANDARDOIDUT RESIDUAALIT 396 POISTORESIDUAALIT 396 STANDARDOIDUT POISTORESIDUAALIT 397 VIPULUVUT 398 COOKIN ETÄISYYDET 398 TILASTOGRAFIIKKA JA POIKKEAVIEN HAVAINTOJEN TUNNISTAMINEN REGRESSIOKERTOIMIEN VAKIOISUUS 399 TESTI REGRESSIOKERTOIMIEN VAKIOISUUDELLE 399 TESTIN TOINEN MUOTOILU MULTIKOLLINEAARISUUS 40 MULTIKOLLINEAARISUUS 40 VARIANSSIN INFLAATIOTEKIJÄ 40 MOMENTTIMATRIISI, OTOSKOVARIANSSIMATRIISI JA OTOSKORRELAATIOMATRIISI 404 MULTIKOLLINEAARISUUDEN TUTKIMINEN HOMOSKEDASTISUUS JA HETEROSKEDASTISUUS 405 HETEROSKEDASTISUUDEN VAIKUTUKSET 406 HETEROSKEDASTISUUDEN HAVAITSEMINEN 406 HETEROSKEDASTISUUDEN TESTAAMINEN 406 VARIANSSIN STABILOIVAT MUUNNOKSET AUTOKORRELAATIO 407 KORRELOITUNEISUUDEN VAIKUTUKSET 408 AIKASARJOJEN REGRESSIOMALLIT JA AUTOKORRELAATIO 408 DURBININ JA WATSONIN TESTI. KERTALUVUN AUTOKORRELAATIOLLE NORMAALISUUS 40 EPÄNORMAALISUUDEN VAIKUTUKSET 40 BOWMANIN JA SHENTONIN TESTI MALLIN ENNUSTUSKYKY 4 9. ERITYISKYSYMYKSIÄ YLEISEN LINEAARISEN MALLIN SOVELTAMISESSA ERITYISKYSYMYKSIÄ YLEISEN LINEAARISEN MALLIN SOVELTAMISESSA: JOHDANTO 45 YLEINEN LINEAARINEN MALLI 45 REGRESSIOKERTOIMIEN PNS ESTIMAATTORIT JA NIIDEN OMINAISUUDET 46 GAUSSIN JA MARKOVIN LAUSE 47 GAUSSIN JA MARKOVIN LAUSEEN TULKINTA 47 KUN PNS ESTIMAATTORI EI OLE PARAS 48 KUN PNS ESTIMAATTORIA EI SAA KÄYTTÄÄ YLEISTETTY PIENIMMÄN NELIÖSUMMAN MENETELMÄ 48 YLEISTETYN PNS ESTIMAATTORIN ODOTUSARVO JA KOVARIANSSIMATRIISI 40 Ilkka Mell (006) 37

8 Tlastollset meetelmät Leaare regressoaalyys MODIFIOITU GAUSSIN JA MARKOVIN LAUSE YLEISTETYLLE PNS ESTIMAATTORILLE 4 YLEISTETYN PNS ESTIMAATTORIN STOKASTISET OMINAISUUDET 43 LASKETTAVA YLEISTETTY PNS ESTIMAATTORI 43 PAINOTETTU PNS ESTIMAATTORI RAJOITETTU PIENIMMÄN NELIÖSUMMAN MENETELMÄ 44 RAJOITETUN PNS ESTIMAATTORIN ODOTUSARVO JA KOVARIANSSIMATRIISI 46 MODIFIOITU GAUSSIN JA MARKOVIN LAUSE RAJOITETULLE PNS ESTIMAATTORILLE 47 RAJOITETUN PNS ESTIMAATTORIN STOKASTISET OMINAISUUDET 48 RAJOITUSTEN TESTAUS 48 RAJOITUSTEN SPESIFIOINTI INSTRUMENTTIMUUTTUJAMENETELMÄ 430 REGRESSIOKERTOIMIEN VEKTORIN PNS ESTIMAATTORIN HARHATTOMUUS 430 INSTRUMENTTIMUUTTUJAMENETELMÄ 43 INSTRUMENTTIEN SPESIFIOINTI 433 Ilkka Mell (006) 38

9 Tlastollset meetelmät 3. Tlastolle rppuvuus ja korrelaato 3. Tlastolle rppuvuus ja korrelaato 3.. Tlastolle rppuvuus, korrelaato ja regresso 3.. Kahde muuttuja havatoaesto kuvaame 3.3. Pearso korrelaatokertome estmot ja testaus 3.4. Järjestyskorrelaatokertomet Tarkastelemme tässä luvussa kahde (ta useamma) muuttuja tlastollste aestoje aalyysa. Pyrmme vastaamaa seuraav kysymyks: Mte kahde (ta useamma) muuttuja samaakae tarkastelu vakuttaa tlastollse aalyys suorttamsee? Mte kahde (ta useamma) muuttuja tlastollsta aestoa kuvataa? Mtä tarkotetaa kahde tekjä ta muuttuja tlastollsella rppuvuudella ja mte tlastolle rppuvuus eroaa eksaktsta rppuvuudesta? Mtä o korrelaato? Mkä o korrelaato ja rppuvuude suhde? Mte korrelaatot estmodaa? Mte korrelaatota koskeva hypoteeseja testataa? Tämä kappale o johdatoa tämä tlastotedettä kästtelevä mostee osa pääkohteelle, mkä o leaarset regressomallt. Avasaat: Akasarjadagramm, Artmeette keskarvo, Eksakt rppuvuus, Estmaattor, Estmot, Fsher z muuos, Järjestyskorrelaatokerro, Kedall järjestyskorrelaatokerro, Keskhajota, Korrelaato, Korrelaatokerro, Korrelaatokertome vertalutest, Korrelaato testaame, Korrelomattomuude testaame, Kovarass, Keskhajota, Krtte arvo, Luottamustaso, Luottamusväl, Merktsevyystaso, Normaaljakauma, Otos, Otostuusluku, p arvo, Pearso otoskorrelaatokerro, Pstedagramm, Regressoaalyys, Regressomall, Rppuvuus, Spearma järjestyskorrelaatokerro, Test, Test korrelaatokertomelle, Tlastolle rppuvuus, Usea muuttuja havatoaesto kuvaame, Varass Ilkka Mell (006) 39

10 Tlastollset meetelmät 3. Tlastolle rppuvuus ja korrelaato 3.. Tlastolle rppuvuus, korrelaato ja regresso Teteellse tutkmukse tärkemmät ja melektosmmat kysymykset lttyvät tavallsest tutkmukse kohteea olevaa lmötä kuvaave tekjöde ta muuttuje väls rppuvuuks. Jos tlastollse tutkmukse kohteea olevaa lmöö lttyy useampa ku yks muuttuja, yhde muuttuja tlastollset meetelmät atavat tavallsest va rajottuee kuva lmöstä. Sovelluste kaalta ehkä merkttäv osa tlastotedettä kästtelee kahde ta useamma muuttuja välste rppuvuukse kuvaamsta ja malltamsta. Esmerkk : Rppuvuustarkasteluja. Mte työttömyysaste Suomessa (% työvomasta) rppuu BKT: (bruttokasatuottee) kasvuvauhdsta Suomessa, Suome ve volyymsta sekä BKT: kasvuvauhdsta mussa EU massa ja USA:ssa? Mte alkohol kulutus (l per capta vuodessa) rppuu alkoholjuome htatasosta, hmste käytettävssä olevsta tulosta ja alkohol saatavuudesta? Mte todeäkösyys sarastua keuhkosyöpää (p) rppuu tupako määrästä ja kestosta? Mte vehä hehtaarsato (t/ha) rppuu kesä kesklämpötlasta ja sademäärästä sekä maa muokkauksesta, laotuksesta ja tuholaste torjuasta? Mte beto lujuus (kg/cm ) rppuu se kuvumsajasta? Mte kemallse aee saato (%) rppuu valmstusprosessssa käytettävästä lämpötlasta? Tarkastelemme tässä estyksessä ykskertasuude vuoks va kahde muuttuja välsä rppuvuuksa: () () Muuttuje väle rppuvuus o eksakta, jos tose arvot vodaa eustaa tarkast tose saame arvoje perusteella. Muuttuje väle rppuvuus o tlastollsta, jos de välllä e ole eksakta rppuvuutta, mutta tose muuttuja arvoja vodaa käyttää apua tose muuttuja arvoje eustamsessa. Kahde muuttuja välstä (leaarsta) tlastollsta rppuvuutta kutsutaa tlastoteteessä tavallsest korrelaatoks. Korrelaato el (leaarse) tlastollse rppuvuude vomakkuutta mttaava tlastollsa tuuslukuja kutsutaa korrelaatokertomks. Korrelaatot muodostavat perusta muuttuje välste (leaarste) rppuvuukse ymmärtämselle. Vakka korrelaatot muodostavat perusta muuttuje välste rppuvuukse ymmärtämselle, rppuvuuksa halutaa tavallsest aalysoda myös tarkemm. Regressoaalyys o tlastolle meetelmä, jossa jok, s. seltettävä muuttuja tlastollsta rppuvuutta jostak tossta, s. selttävstä muuttujsta pyrtää malltamaa regressomallks kutsutulla tlastollsella malllla; ks. lukua Johdatus regressoaalyys. Huomautus: Tässä luvussa rajotutaa tarkastelemaa tlastollste rppuvuukse kuvaamsta ja mttaamsta. Ilkka Mell (006) 40

11 Tlastollset meetelmät 3. Tlastolle rppuvuus ja korrelaato Kute yhde muuttuja havatoaestoje tapauksessa, lähtökohda kahde ta useamma muuttuja havatoaestoje kuvaamselle muodostaa tutustume havatoarvoje jakaumaa. Havatoarvoje jakaumaa vodaa kuvalla ja estellä tvstämällä havatoarvoh ssältyvä formaato sopvaa muotoo: Havatoarvoje jakaumaa kokoasuutea vodaa kuvata sopvast valtulla graafslla estyksllä. Havatoarvoje jakauma karakterstsa omasuuksa vodaa kuvata sopvast valtulla otostuusluvulla. Koska useamp ku kaksulotteste kuvode tekeme e ole käytäössä mahdollsta, kolme ta useamma muuttuja havatoaestoja havaollstetaa tavallsest, että muuttuja tarkastellaa paretta. Kahde järjestys, välmatka ta suhdeastekollse muuttuja havattuje arvoje pareja havaollstetaa tavallsest graafsella estyksellä, jota kutsutaa pstedagrammks. Huomautus: Momuuttujameetelmssä o kehtetty myös sellasa tlastografka meetelmä, jolla vodaa havaollstaa useamp ku kaksulottesa aestoja. Usea muuttuja havatoaestoje karakterstsa omasuuksa vodaa kuvata muuttujakohtaslla otostuusluvulla. Muuttujakohtaset otostuusluvut evät kutekaa vo ataa formaatota muuttuje välsstä rppuvuukssta. Muuttuje parettasa tlastollsa rppuvuuksa vodaa kuvata sopvast valtulla korrelaato mtalla. Tutkttave muuttuje mtta astekollset omasuudet ohjaavat korrelaato mta valtaa: Välmatka ja suhdeastekollslle muuttujlle käytetää tavallsest Pearso korrelaatokerrota. Järjestysastekollslle muuttujlle käytetää tavallsest Spearma ta Kedall järjestyskorrelaatokerrota. Satuasmuuttuje välsee korrelaatoo vodaa kohdstaa erlasa tlastollsa testejä. Tässä estyksessä tarkastellaa seuraava Pearso korrelaatokertomelle sopva testejä: Yhde otokse test korrelaatokertomelle Korrelaatokertome vertalutest Test korrelomattomuudelle Lsäks tässä estyksessä tarkastellaa seuraava Spearma ja Kedall järjestyskorrelaatokertomlle sopva testejä: Testt korrelomattomuudelle 3.. Kahde muuttuja havatoaesto kuvaame Pstedagramm Tarkastellaa tlaetta, jossa tutkmukse kohtea olevsta havatoyksköstä o mtattu kahde järjestys, välmatka ta suhdeastekollse muuttuja x ja y arvot. Muuttuje x ja y arvoje samaa havatoykskköö lttyve pare muodostamaa havato aestoa vodaa kuvata graafsest Ilkka Mell (006) 4

12 Tlastollset meetelmät 3. Tlastolle rppuvuus ja korrelaato pstedagrammlla. Pstedagramm sop ertysest kahde muuttuja välse rppuvuude havaollstamsee ja se o keskee työväle korrelaato ja regressoaalyysssa. Olkoot ja x, x,, x y, y,, y välmatka ta suhdeastekollste muuttuje x ja y havattuja arvoja. Oletetaa lsäks, että havatoarvot x ja y lttyvät samaa havatoykskköö kaklle =,,,. Havatoarvoje x, x,, x ja y, y,, y pare pstedagramm saadaa esttämällä lukupart (x, y ), =,,, y psteä avaruudessa Havaollstus:. Kuvo okealla esttää lukupare ja (x, y ) (x j, y j ) määrtteleme pstede esttämstä tasokoordaatstossa Huomautus: Kahde ta useamma muuttuja havatoaestoja kaattaa tetyst kuvata myös soveltamalla jokasee muuttujaa erksee yhde muuttuja havatoaestoje kuvaamsee tarkotettuja väletä; ks. lukua Tlastollste aestoje kuvaame. Esmerkk : Hooke lak. Hooke la mukaa kerrejouse (s. deaaljouse) ptuus y rppuu leaarsest jousee rpustetusta paosta x: jossa y = α + βx α = jouse ptuus lma paoa β = s. jousvako Alla olevassa taulukossa estetää tulokset kokeesta, jossa Hooke la pätevyyttä tutktt mttaamalla jouse ptuus lma paoa sekä paolla, jotka olvat, 4, 6, 8 ja 0 kg. Merktää: jossa (x, y ), =,, 3, 4, 5, 6 x = pao y j y x (x, y ) x j (x j, y j ) x Ilkka Mell (006) 4

13 Tlastollset meetelmät 3. Tlastolle rppuvuus ja korrelaato y = jouse ptuus, ku paoa o x Alla oleva pstedagramm havaollstaa koetuloksa graafsest. Pao (kg) Ptuus (cm) Kysymys: Ovatko koetulokset sopusoussa Hooke la kassa? Vastausta tähä kysymyksee tarkastellaa luvussa Johdatus regressoaalyys ja Yhde selttäjä leaare regressomall. Esmerkk. Poke ptuude rppuvuus se ptuudesta. Peröllsyystetee mukaa lapset pervät geeettset omasuutesa vahemmltaa. Kysymys: Perytyykö se ptuus hedä pojllee? Havatoaestoa o tässä 300: sä ja hedä pokesa ptuukse muodostamaa lukupara jossa ss (x, y ), =,,, 300 x = sä ptuus y = sä poja ptuus Ks. pstedagramma okealla. Poja ptuude rppuvuus sä ptuudesta e selvästkää ole eksakta: Sama mttaste se poke ptuudet äyttävät vahteleva paljok. Jouse ptuus (cm) Poja ptuus (cm) Kerrejouse ptuude rppuvuus jousee rpustetusta paosta Pao (kg) Ise ja poke ptuudet Isä ptuus (cm) Kuvasta ähdää kutek se, että lyhyllä sllä äyttää oleva keskmäär lyhyempä poka ku ptkllä sllä ja vastaavast ptkllä sllä äyttää oleva keskmäär ptempä poka ku lyhyllä sllä. Ilkka Mell (006) 43

14 Tlastollset meetelmät 3. Tlastolle rppuvuus ja korrelaato Tällaste tlastollste rppuvuukse aalysomsta leaarste regressomalle avulla tarkastellaa luvussa Johdatus regressoaalyys ja Yhde selttäjä leaare regressomall. Esmerkk 3. Keuhkosyövä ylesyyde rppuvuus savukkede kulutuksesta. Oko keuhkosyöpä ylesempää sellasssa massa, jossa tupakodaa paljo? Okealla o taulukko, jossa o tedot savukkede kulutuksesta ja keuhkosyövä ylesyydestä 0:ssä maalma maassa. Huomaa, että keuhkosyövä ylesyys o mtattu 0 vuotta savukkede kulutukse mttaamse jälkee. Tämä johtuu tetyst stä, että keuhkosyövä kehttyme vaat ptkä altstusaja. Havatoaestoa o tässä ss 0 lukupara jossa (x, y ), =,,, 0 x = savukkede kulutus maassa vuoa 930 y = sarastuvuus keuhkosyöpää maassa vuoa 950 Okealla oleva pstedagramm havaollstaa savukkede kulutukse ja keuhkosyövä ylesyyde välstä yhteyttä. Sarastuvuus keuhkosyöpää äyttää oleva keskmäär korkeampaa sellasssa massa, jossa savukkede kulutus o ollut keskmäärästä suurempaa. Tällaste tlastollste rppuvuukse aalysomsta leaarste regressomalle avulla tarkastellaa luvussa Yhde selttäjä leaare regressomall. Keuhkosyöpätapauste lkm per mlj. heklöä 950 Maa Savukkede kulutus (kpl) per capta 930 Keuhkosyöpätapauste lkm per mlj. heklöä 950 Islat 0 58 Norja Ruots 30 5 Kaada Taska Itävalta Hollat Svets Suom Eglat Savukkede kulutus ja sarastuvuus keuhkosyöpää Svets Hollat Taska Itävalta kaada Ruots Norja Islat Eglat Suom Savukkede kulutus (kpl) per capta 930 Esmerkk 4. Beto lujuude rppuvuus kuvumsajasta. Kokeessa tutktt beto vetolujuude rppuvuutta beto kuvumsajasta. Havatoaestoa o lukupara Ilkka Mell (006) 44

15 Tlastollset meetelmät 3. Tlastolle rppuvuus ja korrelaato jossa (x, y ), =,,, x = betoharko kuvumsaka y = betoharko vetolujuus Ks. pstedagramma okealla. Vetolujuus äyttää kuva perusteella rppuva epäleaarsest kuvumsajasta. Tässä tapauksessa muuttuje väle lmee epäleaare rppuvuus vodaa kutek learsoda; ks. lukua Johdatus regressoaalyys. Learso jälkee rppuvuutta vodaa aalysoda leaarste regressomalle avulla. Vetolujuus (kg/cm) Beto vetolujuude rppuvuus kuvumsajasta Kuvumsaka (vrk) Akasarjadagramm Oletetaa, että järjestys, välmatka ta suhdeastekollse muuttuja x havatut arvot x, x,, x muodostavat akasarja. Tällä tarkotetaa stä, että havatoarvot x t, t =,,, o deksotu, että deks vttaa peräkkäs ajahetk, jollo havaot ovat akajärjestyksessä. Akasarjadagramm o pstedagramm, joka saadaa esttämällä lukupart psteä avaruudessa (t, x t ), t =,,,. Lsäks peräkkäs ajahetk lttyvät psteet (t, x t ) ja (t, x t ), t =, 3,, yhdstetää akasarjadagrammssa tavallsest tossa jaolla. Havaollstus: Kuvo okealla esttää akasarja x t, t =,,, peräkkäste havatoarvoje x t, x t, x t+ x t+ x t (t+, x t+ ) Ilkka Mell (006) 45 x x (t, x t ) t (t, x t ) t t t+ t

16 Tlastollset meetelmät 3. Tlastolle rppuvuus ja korrelaato määrtteleme pstede esttämstä tasokoordaatstossa. Esmerkk 5. Kuukausmyy arvo kehtys. Alla o akasarjadagramm, joka esttää erää tukkukaupa kk myy arvo vahtelua. Havatoaestoa o 44 lukupara jossa (t, x t ) t = aka (970/ 98/) x t = kk myy arvoa kuvaava deks (960/ = 00) Huomaa, että kk myyssä o ollut ouseva tred ja selvää kausvahtelua. 300 Myyt 970/ 98/ Tällaste akasarjoje aalysome vaat meetelmä, jotka meevät tässä mosteessa kästeltävä aluee ulkopuolelle. Akasarjoje aalyysa ja eustamsta kästellää mosteessa Akasarjaaalyys. Myyt (deks) Artmeettset keskarvot Kahde välmatka ta suhdeastekollse muuttuja havatoarvoje pare muodostamaa jakaumaa vodaa karaktersoda seuraavlla tuusluvulla: Olkoot ja Havatoarvoje keskmäärästä sjata kuvataa artmeettslla keskarvolla. Havatoarvoje hajaatuesuutta ta keskttyesyyttä kuvataa keskhajoolla ta (otos ) varassella. Havatoarvoje (leaarsta) rppuvuutta kuvataa otoskovarasslla ja otoskorrelaatokertomella. x, x,, x y, y,, y Ilkka Mell (006) 46

17 Tlastollset meetelmät 3. Tlastolle rppuvuus ja korrelaato välmatka ta suhdeastekollste muuttuje x ja y havattuja arvoja. Oletetaa lsäks, että havatoarvot x ja y lttyvät samaa havatoykskköö kaklle =,,,. Havatoarvoje x, x,, x artmeette keskarvo o x = x = Havatoarvoje y, y,, y artmeette keskarvo o y = y = Havatoarvoje artmeette keskarvo kuvaa havatoarvoje keskmäärästä sjata. Havatoarvoje paresta (x, y ), =,,, laskettuje artmeettste keskarvoje x ja y muodostama lukupar ( x, y) o havatoarvoje pare muodostame pstede paopste. Havatoarvoje artmeette keskarvo kuvaa havato arvoje keskmäärästä sjata. Otosvarasst ja otoskeskhajoat Havatoarvoje x, x,, x (otos ) varass o sx = x x = ( ) jossa x o x havatoarvoje artmeette keskarvo ja havatoarvoje y, y,, y (otos ) varass o sy = y y = ( ) jossa y o y havatoarvoje artmeette keskarvo. Havatoarvoje varass mttaa havatoarvoje hajaatuesuutta ta keskttyesyyttä havatoarvoje artmeettse keskarvo suhtee. Havatoarvoje x, x,, x keskhajota o s = s = x x x x = ( ) jossa x o x havatoarvoje artmeette keskarvo ja havatoarvoje y, y,, y keskhajota o s = s = y y y y = ( ) jossa y o y havatoarvoje artmeette keskarvo. Havatoarvoje keskhajota mttaa (kute havatoarvoje otosvarass) havatoarvoje hajaatuesuutta ta keskttyesyyttä havatoarvoje artmeettse keskarvo suhtee. Ilkka Mell (006) 47

18 Tlastollset meetelmät 3. Tlastolle rppuvuus ja korrelaato Otoskovarass Havatoarvoje paresta (x, y ), =,,, laskettu otoskovarass o jossa s = x x y y ( )( ) xy = x = x havatoarvoje artmeette keskarvo y = y havatoarvoje artmeette keskarvo Huomaa, että x ja y havatoarvoje otoskovarasst de tsesä kassa ovat de varasseja: s s xx yy = s x = s y Otoskovarass s xy mttaa x ja y havatoarvoje yhtesvahtelua de artmeettste kesk arvoje ympärllä. Mtä suuremp o otoskovarass s xy tsesarvo s xy stä vomakkaampaa o x ja y havatoarvoje yhtesvahtelu. Tarkastellaa seuraavaks mte otoskovarass s xy merk määräytymstä. Merk määrää se oko summalauseke () ( x x)( y y) egatve va postve. Todetaa es, että summalausekkee (). term tsesarvo ( x x)( y y) x x y y o sellase suorakatee pta ala, joka svuje ptuudet ovat x x ja y y. Summalausekkee (). term ( x x)( y y) merkk määräytyy seuraavalla tavalla: jos x x ja y y ( x x)( y y) 0 jos x x ja y y jos x x ja y y ( x x)( y y) 0 jos x x ja y y Otoskovarass merk määräytymstä vodaa havaollstaa geometrsest seuraavalla tavalla: () Jaetaa xy taso eljää osaa el eljäeksee pstee ( x, y) Ilkka Mell (006) 48

19 Tlastollset meetelmät 3. Tlastolle rppuvuus ja korrelaato kautta prretyllä koordaattakselede suutaslla suorlla. () Term ( x x)( y y) merk määrää se, mh eljäeksee havatopste (x, y ) sjottuu. Ks. alla olevaa kuvaa: ( x x )( y y ) 0 ( x x )( y y ) 0 ( x, y ) ( x, y ) ( x, y ) ( x, y ) ( x, y ) Jos postvset termt summalausekkeesee () ( x x)( y y) tuottave suorakatede yhteelaskettu pta ala o suuremp (peemp) ku egatvset termt tuottave suorakatede yhteelaskettu pta ala, otoskovarass s xy merkk o postve (egatve). Tästä seuraa se, että otoskovarasslla o tapumus saada postvsa (egatvsa) arvoja, jos havatopstede muodostama psteplv ta parv äyttää ousevalta (laskevalta) okealle metäessä; ks. pstedagramm lmee ja Pearso otoskorrelaatokertome yhteyttä havaollstavaa kuvasarjaa tässä kappaleessa. Otoskorrelaato Otoskovarass s xy avulla vodaa määrtellä x ja y havatoarvoje leaarse tlastollse rppuvuude vomakkuude mttar, jota kutsutaa Pearso otoskorrelaatokertomeks. Pearso otoskorrelaatokerro r xy saadaa otoskovarasssta s xy ormeerausoperaatolla, jossa x ja y havatoarvoje otoskovarass s xy jaetaa x ja y havatoarvoje keskhajoolla s x ja s y. Havatoarvoje paresta (x, y ), =,,, laskettu Pearso otoskorrelaatokerro o jossa r xy sxy = ss x y s xy = x ja y havatoarvoje otoskovarass s x ( x x )( y y ) 0 ( x x )( y y ) 0 = x havatoarvoje keskhajota Ilkka Mell (006) 49

20 Tlastollset meetelmät 3. Tlastolle rppuvuus ja korrelaato s y = y havatoarvoje keskhajota Pearso otoskorrelaatokertome kaava vodaa krjottaa myös muotoo r xy = = ( x x)( y y) ( x x) ( y y) = = jossa x = x havatoarvoje artmeette keskarvo y = y havatoarvoje artmeette keskarvo Havatoarvoje paresta (x, y ), =,,, lasketulla Pearso otoskorrelaatokertomella r xy o seuraavat omasuudet: () r xy + () r xy = ± jos ja va jos y = α +βx, =,,, jossa α ja β 0 ovat reaalsa vakota. () Korrelaatokertomella r xy ja kovarasslla s xy o aa sama merkk. Pearso otoskorrelaatokerro r xy mttaa x ja y havatoarvoje leaarse tlastollse rppuvuude vomakkuutta: () () Jos r xy = ± x ja y havatoarvoje välllä o eksakt el fuktoaale leaare rppuvuus, mkä merktsee stä, että kakk havatopsteet (x, y ), =,,, asettuvat samalle suoralle. Jos r xy = 0 x ja y havatoarvoje välllä e vo olla eksakta leaarsta rppuvuutta. Huomautus: Vakka r xy = 0 x ja y havatoarvoje välllä saattaa olla jopa eksakt epäleaare rppuvuus. Korrelaatokertome merkk ja jopa suuruusluokka (jollak tarkkuudella) vodaa melko helpost oppa arvomaa pstedagramm avulla. Alla olevat kuvot havaollstavat kahde muuttuja havattuje arvoje ( = 30) pstedagramm lmee ja korrelaato välstä yhteyttä. Ilkka Mell (006) 50

21 Tlastollset meetelmät 3. Tlastolle rppuvuus ja korrelaato r xy = 0.8 r xy = 0.6 r xy = 0.48 r xy = 0.43 r xy = 0.83 r xy = Otostuuslukuje laskeme Oletetaa, että haluamme laskea havatoarvoje paresta (x, y ), =,,, seuraavat otostuusluvut käs ta käyttämällä laskta: () Artmeettset keskarvot: x, y () Otosvarasst: s, s x y () Keskhajoat: s, s (v) Otoskovarass: sxy (v) Korrelaaato: rxy Tällö tarvttavat laskutomtukset o mukavta järjestää alla estetty kaavo muotoo. Määrätää es havatoarvoje summat, elösummat ja tulosumma: Summa x x y x y xy y x y x y xy x y x y x y M M M M M M x y x y xy x y = = = = = x y x y Ilkka Mell (006) 5

22 Tlastollset meetelmät 3. Tlastolle rppuvuus ja korrelaato Havatoarvoje artmeettset keskarvot, varasst ja kovarass saadaa havatoarvoje summsta, elösummsta ja tulosummasta alla estetyllä kaavolla: x = x y = y = = sx = x x sy = y y = = = = sxy = xy x y = = = Havatoarvoje keskhajoat ja Pearso otoskorrelaatokerro saadaa havatoarvoje varassesta ja kovarasssta alla estetyllä kaavolla: s = s s = s r x x y y xy sxy = ss Esmerkk 6: Otostuuslukuje laskeme. x y Taulukossa alla o keotekose kahde muuttuja aesto havatoarvot ( = 6). Myös aestoa kuvaava pstedagramm o aettu alla. x y y Pstedagramm Alla olevassa taulukossa o laskettu muuttuje x ja y havattuje arvoje summat, elösummat ja tulosumma x x y x y xy Summa Ilkka Mell (006) 5

23 Tlastollset meetelmät 3. Tlastolle rppuvuus ja korrelaato Muuttuje x ja y havattuje arvoje artmeettset keskarvot, otosvarasst, keskhajoat, otoskovarass ja otoskorrelaato vodaa laskea ästä vdestä summasta. Artmeettset keskarvot, otosvarasst ja otoskovarass: x = x = 9 = = y = y = 3 = = sx = x x = 75 9 = = = 6 6 sy = y y = = 5.67 = = 6 6 s = xy = Otoskeskhajoat ja otoskorrelaato: s s r x y xy x y xy x y = = = = 6 6 = s = =.639 = s = 5.67 =.73 sxy = = = 0.9 ss x y Alla o havatoaestoa kuvaava pstedagramm, joho lsätty havatoarvoje paopste ( x, y ) = (4.833,5.333) Lsäks kuvoo o lsätty paopstee kautta kulkevat koordaattakselede suutaset suorat sekä kovarass ja korrelaato merk määräytymstä havaollstavat suorakateet; ks. tässä kappaleessa estettyä seltystä kovarass merk määräytymsestä.. Kovarass (ja ste myös korrelaato) o postve, koska I ja III eljäekse suorakatede yhteelaskettu pta ala o selväst suuremp ku II ja IV eljäekse suorakatede yhteelaskettu ptaala II Pstedagramm I y 4 0 ( x, y ) III IV x Ilkka Mell (006) 53

24 Tlastollset meetelmät 3. Tlastolle rppuvuus ja korrelaato 3.3. Pearso korrelaatokertome estmot ja testaus Tarkastelemme tässä kappaleessa välmatka ta suhdeastekollste satuasmuuttuje x ja y Pearso (tulomomett ) korrelaatokertome ρ xy estmota sekä seuraava testejä korrelaatokertomelle ρ xy : Yhde otokse test korrelaatokertomelle Korrelaatokertome vertalutest Korrelomattomuude testaame Lsätetoja moulottessta satuasmuuttujsta ja jakaumsta: Ks. krja Todeäkösyyslasketa lukuja Moulotteset satuasmuuttujat ja todeäkösyysjakaumat ja Moulottesa jakauma. Otos kaksulottesesta ormaaljakaumasta Oletetaa, että satuasmuuttuje x ja y muodostama par (x, y) oudattaa kaksulottesta ormaaljakaumaa parametre µ, µ, σ, σ, ρ : x y x y xy ( xy, ) N ( µ x, µ y, σx, σ y, ρxy) Tällö satuasmuuttuje x ja y odotusarvot ovat µ = E( x) x µ = E( y) y satuasmuuttuje x ja y varasst ovat σ = Var( x) = E[( x µ ) ] x x σ = Var( y) = E[( y µ ) ] y y satuasmuuttuje kovarass o σ = Cov( x, y) = E[( x µ )( y µ )] xy x y ja satuasmuuttuje korrelaato o ρ xy σxy = Cor( xy, ) = σσ x y Korrelaatota ρ xy kutsutaa tavallsest Pearso (tulomomett ) korrelaatokertomeks ja se mttaa satuasmuuttuje x ja y leaarse rppuvuude vomakkuutta. Olkoot y, y, K, y muuttuja y havatut arvot ja x, x, K, x muuttuja x havatut arvot ja oletetaa, että havatoarvoje x ja y part (x,y ), =,,, Ilkka Mell (006) 54

25 Tlastollset meetelmät 3. Tlastolle rppuvuus ja korrelaato muodostavat satuasotokse kaksulottesta ormaaljakaumasta N ( µ x, µ y, σx, σ y, ρxy) Tällö ( x, y ),( x, y ), K,( x, y ) (, ) N ( µ x, µ y, σx, σ y, ρxy), =,, K, x y Kaksulottese ormaaljakauma parametre estmot Kaksulottese ormaaljakauma parametre suurmma uskottavuude estmaattort ta momettestmaattort ovat ˆ µ = x = x ˆ µ = y = y σˆ x y = = ( ) ˆ x = x x = sx σy = ( y y) = sy = = σˆ = ( x x)( y y) = s xy xy = σˆxy sxy ˆ ρxy = = = r σσ ˆˆ ss x y x y xy jossa Otostuusluvut s x x s y y x = ( ) y = ( ) = = s = ( x x)( y y) xy = µ = x ja ˆy µ = y ˆx ovat x ja y havatoje artmeettset keskarvot, σ ˆ = (( )/ s ) ja σ ˆ = (( )/ s ) x x ovat x ja y havatoje otosvarasst, σ ˆ = (( )/ s ) xy o x ja y havatoje otoskovarass ja ρ = r ˆxy xy xy y y o x ja y havatoje Pearso otoskorrelaatokerro. Lsäks s x ja s y ovat x ja y havatoje harhattomat otosvarasst. Ilkka Mell (006) 55

26 Tlastollset meetelmät 3. Tlastolle rppuvuus ja korrelaato Fsher z muuos Määrtellää Fsher z muuos kaavalla + u z = f( u) = log u Sovelletaa Fsher z muuosta z = f(u) otoskorrelaatokertomee r xy : z r + r xy = f( rxy) = log r xy Satuasmuuttuja z r oudattaa suurssa otoksssa approksmatvsest ormaaljakaumaa: jossa z ( µ σ ) N, r a z z + ρ xy µ z = f ( ρxy ) = log ρ xy σz = 3 Approksmaato o käytäössä rttävä hyvä, jos > 5. Soveltamalla Fsher z muuosta luottamusvält ja testt Pearso korrelaatokertomelle ρ XY vodaa kostruoda samalla tekkalla ku luottamusvält ja testt ormaaljakauma odotusarvolle; ks. lukuja Välestmot ja Testejä suhdeastekollslle muuttujlle. Korrelaatokertome luottamusväl Oletetaa, että satuasmuuttuje x ja y muodostama järjestetty par (x, y) oudattaa kaksulottesta ormaaljakaumaa N ( µ x, µ y, σx, σ y, ρxy) Kostruodaa Pearso korrelaatokertomelle ρ XY approksmatve luottamusväl Fsher z muuokse avulla. Olkoo r xy satuasotoksesta (x,y ), =,,, määrätty Pearso otoskorrelaatokerro. Valtaa luottamustasoks α Luottamustaso valta kttää todeäkösyyde, jolla kostruotava luottamusväl pettää Pearso korrelaatokertome ρ XY okea arvo. Määrätää pste +z α/ ste, että se erottaa stadardodu ormaaljakauma N(0,) okealle häälle todeäkösyysmassa α/. Koska ormaaljakauma o symmetre, pste z α/ Ilkka Mell (006) 56

27 Tlastollset meetelmät 3. Tlastolle rppuvuus ja korrelaato erottaa stadardodu ormaaljakauma vasemmalle häälle todeäkösyysmassa α/. Ste luottamuskertomet +z α/ ja z α/ o määrätää ste, että α Pr( Z + zα/) = α Pr( Z zα/) = jossa satuasmuuttuja Z oudattaa stadardotua ormaaljakaumaa N(0,): Z N(0,) Huomaa, että luottamuskertomet +z α/ ja z α/ toteuttavat ehdo Pr( z Z + z ) = α/ α/ α Sovelletaa Fsher z muuosta Pearso otoskorrelaatokertomee r xy : Edellä estety ojalla jossa Parametr z z r + r xy = f( rxy) = log r xy ( µ σ ) N, r a z z + ρ xy µ z = f ( ρxy ) = log ρ xy σz = 3 + ρ log xy µ z = ρ xy (approksmatve) luottamusväl luottamustasolla ( α) o ste muotoa zr zα/, zr + zα/ 3 3 Parametr µ z (approksmatvse) luottamusväl kostruktosta seuraa, että Pr zr zα/ µ z zr + zα/ = a α 3 3 Kostruotu luottamusväl pettää parametr µ z okea arvo (approksmatvsest) todeäkösyydellä ( α) ja se e petä parametr µ z okeata arvoa (approksmatvsest) todeäkösyydellä α. Pearso korrelaatokertome ρ XY (approksmatve) luottamusväl luottamustasolla ( α) saadaa parametr µ Z luottamusvälstä ratkasemalla ρ XY epäyhtälöketjusta Ilkka Mell (006) 57

28 Tlastollset meetelmät 3. Tlastolle rppuvuus ja korrelaato + rxy zr zα/ = log zα/ 3 rxy 3 + ρ log xy µ z = ρ xy + r zr + z = log + z 3 3 xy α/ α/ rxy Ste Pearso korrelaatokertome ρ xy (approksmatvseks) luottamusvälks luottamustasolla ( α) saadaa jossa (lb, ub) o luottamusväl alaraja ja ( α/ ) ( α/ ) ( + rxy ) ( rxy)exp + z 3 lb = ( + r ) + ( r )exp + z 3 xy xy ( α/ ) ( α/ ) ( + rxy ) ( rxy )exp z 3 ub = ( + r ) + ( r )exp z 3 xy o luottamusväl yläraja. Luottamusväl kostruktosta seuraa, että ( lb ρ ub) Pr = α XY xy a Ste kostruotu luottamusväl pettää korrelaatokertome ρ xy okea arvo (approksmatvsest) todeäkösyydellä ( α) ja se e petä korrelaatokertome ρ xy okeata arvoa (approksmatvsest) todeäkösyydellä α. Korrelomattomuude testaame Mossa tutkmusasetelmssa ollaa kostueta stä, ovatko satuasmuuttujat x ja y korrelotueta va korrelomattoma. Ylee hypotees H : Havatoarvoje x ja y part (x,y ), =,,, muodostavat satuasotokse kaksulottesta ormaaljakaumasta Nollahypotees H 0 : N ( µ x, µ y, σx, σ y, ρxy) H : ρ = 0 Vahtoehtoe hypotees H : 0 xy Ilkka Mell (006) 58

29 Tlastollset meetelmät 3. Tlastolle rppuvuus ja korrelaato H : ρxy > 0 suutaset vahtoehtoset hypoteest H : ρxy < 0 H : ρ 0 suutae vahtoehtoe hypotees xy Olkoo r xy otoksesta (x,y ), =,,, määrätty Pearso otoskorrelaatokerro. Määrtellää t testsuure Jos ollahypotees rxy t = r H : ρ = 0 0 xy pätee, testsuure t oudattaa t jakaumaa vapausaste ( ): t t ( ) Testsuuree t ormaalarvo = 0, koska ollahypotees pätessä E(t) = 0 xy Ste tsesarvoltaa suuret testsuuree t arvot vttaavat she, että ollahypotees H 0 e päde. Test hylkäysaluee ta p arvo määrääme: ks. lukua Tlastollset testt. Jos test p arvo o kyll pe, ollahypotees H 0 hylätää. Huomautuksa: Satuasmuuttuje x ja y rppumattomuudesta seuraa aa de korrelomattomuus. Satuasmuuttuje x ja y korrelomattomuudesta e ylesest seuraa de rppumattomuus. Jos satuasmuuttujat x ja y oudattavat ulottesta ormaaljakaumaa, satuasmuuttuje x ja y korrelomattomuudesta seuraa de rppumattomuus. Mossa tutkmusasetelmssa tovotaa, että korrelomattomuusoletus tulee testssä hylätyks. Ylee test korrelaatokertomelle Tarkastellaa ylestä testä korrelaatokertomelle. Ylee hypotees H : Oletetaa, että havatoarvoje x ja y part (x,y ), =,,, muodostavat satuasotokse kaksulottesta ormaaljakaumasta Nollahypotees H 0 : N ( µ x, µ y, σx, σ y, ρxy) Ilkka Mell (006) 59

30 Tlastollset meetelmät 3. Tlastolle rppuvuus ja korrelaato H : ρ = ρ 0 xy 0 Vahtoehtoe hypotees H : H: ρ xy 0 H: ρ xy 0 H : ρ > ρ < ρ ρ xy 0 suutaset vahtoehtoset hypoteest suutae vahtoehtoe hypotees Olkoo r xy otoksesta (x,y ), =,,, määrätty Pearso otoskorrelaatokerro. Sovelletaa Fsher z muuosta otoskorrelaatokertomee r xy : z r + r xy = f( rxy) = log r xy Satuasmuuttuja z r oudattaa suurssa otoksssa approksmatvsest ormaaljakaumaa: jossa z ( µ σ ) N, a z z + ρ xy µ z = f ( ρxy ) = log ρ xy σz = 3 Approksmaato o käytäössä rttävä hyvä, jos > 5. Muodostetaa testsuure jossa ss Jos ollahypotees z µ ν = σ z r z 0 z + r xy = f( rxy) = log r xy 0 + ρ 0 µ z = f( ρ0) = log ρ0 σz = 3 H : ρ = ρ 0 xy 0 pätee, testsuure ν oudattaa suurssa otoksssa approksmatvsest stadardotua ormaaljakaumaa N(0,): v a N(0,) Testsuuree ν ormaalarvo = 0, koska ollahypotees pätessä Ilkka Mell (006) 60

31 Tlastollset meetelmät 3. Tlastolle rppuvuus ja korrelaato E( ν ) = 0 Ste tsesarvoltaa suuret testsuuree ν arvot vttaavat she, että ollahypotees H 0 e päde. Test hylkäysaluee ta p arvo määrääme: ks. lukua Tlastollset testt. Jos test p arvo o kyll pe, ollahypotees H 0 hylätää. Korrelaatokertome vertalutest Tarkastellaa korrelaatokertome vertalutestä. Ylee hypotees H : Oletetaa, että käytössä o kaks tosstaa rppumatota satuasotosta kaksulottessta ormaaljakaumsta, jode korrelaatokertomet ovat ρ ja ρ. Nollahypotees H 0 : H 0 :ρ = ρ = ρ0 Vahtoehtoe hypotees H : Olkoot H: ρ > ρ H: ρ < ρ H : ρ ρ ja otoskoot otoksssa ja sekä r ja r suutaset vahtoehtoset hypoteest suutae vahtoehtoe hypotees otokssta ja määrätyt Pearso otoskorrelaatokertomet. Sovelletaa Fsher z muuosta otoskorrelaatokertom r ja r : Jos ollahypotees + r k zk = f( rk) = log, k =, rk H 0 :ρ = ρ = ρ0 pätee satuasmuuttujat z k oudattavat suurssa otoksssa approksmatvsest ormaaljakaumaa: jossa z 0 k a N( µ z, σ k), k =, 0 + ρ 0 µ z = f ( ρ0) = log ρ0 σk =, k =, 3 k Approksmaato o käytäössä rttävä hyvä, jos > 5 ja > 5. Muodostetaa testsuure Ilkka Mell (006) 6

32 Tlastollset meetelmät 3. Tlastolle rppuvuus ja korrelaato jossa ss Jos ollahypotees ν = z z r k zk = f( rk) = log, k =, rk H 0 :ρ = ρ = ρ0 pätee, testsuure ν oudattaa suurssa otoksssa approksmatvsest stadardotua ormaaljakaumaa N(0,): v a N(0,) Testsuuree ν ormaalarvo = 0, koska ollahypotees pätessä E( ν ) = 0 Ste tsesarvoltaa suuret testsuuree ν arvot vttaavat she, että ollahypotees H 0 e päde. Test hylkäysaluee ta p arvo määrääme: ks. lukua Tlastollset testt. Jos test p arvo o kyll pe, ollahypotees H 0 hylätää Järjestyskorrelaatokertomet Tarkastellaa korrelaatokertome määrttelemstä ja korrelomattomuude testaamsta järjestysastekollslle muuttujlle. Tarkastelu kohteea ovat seuraavat järjestyskorrelaatokertomet: Spearma järjestyskorrelaatokerro Kedall järjestyskorrelaatokerro Tarkasteltavat järjestyskorrelaatokertomet ja testt korrelomattomuudelle sopvat myös välmatkaja suhdeastekollslle muuttujlle. Spearma järjestyskorrelaatokerro Spearma järjestyskorrelaatokerro ρ S mttaa kahde muuttuja havatoarvoje suuruusjärjestykse yhteesopvuutta. Spearma järjestyskorrelaatokerro sop järjestys, välmatka ja suhdeastekollslle muuttujlle. Spearma järjestyskorrelaatokertomella o samatapaset omasuudet ku Pearso otoskorrelaatokertomella. Olkoot ja x, x,, x y, y,, y järjestys, välmatka ta suhdeastekollste satuasmuuttuje x ja y havattuja arvoja. Oletetaa lsäks, että havaot x ja y lttyvät samaa havatoykskköö kaklle =,,,. Ilkka Mell (006) 6

33 Tlastollset meetelmät 3. Tlastolle rppuvuus ja korrelaato Järjestetää sekä x että y muuttuja havatut arvot suuruusjärjestyksee pemmästä suurmpaa. Ltetää sekä x että y muuttuja havattuh arvoh de suuruusjärjestykse mukaset järjestysumerot: sekä määrtellää erotukset R(x ) = havao x järjestysumero parssa R(y ) = havao y järjestysumero parssa D = R(x ) R(y ), =,,, Muuttuje x ja y havatulle arvolle vodaa määrtellä järjestyskorrelaatokerro erotukse D avulla. Määrtellää Spearma järjestyskorrelaatokerro ρ S el Spearma rho kaavalla 6 = ρ S = 3 D Spearma järjestyskorrelaatokerro ρ S vodaa laskea myös soveltamalla Pearso otoskorrelaatokertome kaavaa muuttuje x ja y havattuje arvoje pareja (x, y ) vastaav järjestyslukuje el rake pareh (R(x ), R(y )) Spearma järjestyskorrelaatokertome omasuudet Spearma järjestyskorrelaatokertomella ρ S o kakk hyvältä korrelaato mtalta vaadttavat omasuudet: () ρ S + () Jos muuttuje x ja y havattuje arvoje järjestysumerot ovat jokasessa havatoparssa samat, ρ S = + () Jos muuttuje x ja y havattuje arvoje järjestysumerot lttyvät tossa täys satuasest, ρ S 0 Jos ρ S = 0, saomme, että muuttujat x ja y ovat korrelomattoma. (v) Jos sekä suuret muuttuje x ja y järjestysumerot että peet muuttuje x ja y järjestysumerot lttyvät havatoparessa (x, y ) tossa, kertomella ρ S o tapumus saada postvsa arvoja. (v) Jos suuret ja peet muuttuje x ja y järjestysumerot lttyvät havatoparessa (x, y ) tossa, kertomella ρ S o tapumus saada egatvsa arvoja. Korrelomattomuude testaame Määrtellää t testsuure Ilkka Mell (006) 63

34 Tlastollset meetelmät 3. Tlastolle rppuvuus ja korrelaato Jos ollahypotees ρs z = ρ H 0 :Cor( xy, ) = 0 S pätee, testsuure z oudattaa suurssa otoksssa approksmatvsest stadardotua ormaaljakaumaa N(0,): z a N(0,) Approksmaato o melko hyvä jo, ku > 0 ja rttävä lähes kakk tarkotuks, ku > 30. Testsuuree z ormaalarvo = 0, koska ollahypotees H 0 pätessä E(z) = 0 Ste tsesarvoltaa suuret testsuuree z arvot vttaavat she, että ollahypotees H 0 e päde. Test hylkäysaluee ta p arvo määrääme: ks. lukua Tlastollset testt. Jos test p arvo o kyll pe, ollahypotees H 0 hylätää. Kedall järjestyskorrelaatokerro Kedall järjestyskorrelaatokerro τ mttaa kahde muuttuja havatoarvoje suuruusjärjestykse yhteesopvuutta. Kedall järjestyskorrelaatokerro sop järjestys, välmatka ja suhdeastekollslle muuttujlle. Kedall järjestyskorrelaatokertomella o samatapaset omasuudet ku Pearso otoskorrelaatokertomella. Olkoot ja x, x,, x y, y,, y järjestys, välmatka ta suhdeastekollste satuasmuuttuje x ja y havattuja arvoja. Oletetaa lsäks, että havaot x ja y lttyvät samaa havatoykskköö kaklle =,,,. Järjestetää lukupart (x, y ) muuttuja x havattuje arvoje mukaa suuruusjärjestyksee pemmästä suurmpaa ste, että esmmäseks tulee par, jossa muuttuja x arvo o pe ja vmeseks par, jossa muuttuja x arvo o suur. Kedall järjestyskorrelaatokerro perustuu tuuslukuu, joka mttaa muuttuja y arvoje epäjärjestystä muuttuja x arvoh ähde. Olkoo (x k, y k ) järjestetyksee asetetusta paresta umero k. Määrtellää havatoarvoo y k lttyvät epäjärjestyspsteet seuraavalla tavalla: S kl, l = k +, k +,,, k =,,, S kl = +, jos y l > y k S kl =, jos y l < y k Muuttuja y arvoje epäjärjestysmtta S muuttuja x arvoje suhtee määrtellää kaavalla Ilkka Mell (006) 64

35 Tlastollset meetelmät 3. Tlastolle rppuvuus ja korrelaato S = k= l= k+ S kl Määrtellää Kedall järjestyskorrelaatokerro τ el Kedall tau kaavalla S τ= ( ) Kedall järjestyskorrelaatokertome omasuudet Kedall järjestyskorrelaatokertomella τ o kakk hyvältä korrelaato mtalta vaadttavat omasuudet: () τ + () Jos muuttuje x ja y havattuje arvoje järjestysumerot ovat jokasessa havatoparssa samat, τ = + () Jos muuttuje x ja y havattuje arvoje järjestysumerot lttyvät tossa täys satuasest, τ 0 Jos τ = 0, saotaa, että muuttujat x ja y ovat korrelomattoma. (v) Jos sekä suuret muuttuje x ja y järjestysumerot että peet muuttuje x ja y järjestysumerot lttyvät havatoparessa (x, y ) tossa, kertomella τ o tapumus saada postvsa arvoja. (v) Jos suuret ja peet muuttuje x ja y järjestysumerot lttyvät havatoparessa (x, y ) tossa, kertomella τ o tapumus saada egatvsa arvoja. Korrelomattomuude testaame Määrtellää testsuure Jos ollahypotees z = τ ( + 5) 9 ( + ) H 0 :Cor( xy, ) = 0 pätee, testsuure z oudattaa suurssa otoksssa approksmatvsest stadardotua ormaaljakaumaa N(0,): z a N(0,) Approksmaato o melko hyvä jo, ku > 0 ja rttävä lähes kakk tarkotuks, ku > 30. Testsuuree z ormaalarvo = 0, koska ollahypotees H 0 pätessä E(z) = 0 Ilkka Mell (006) 65

36 Tlastollset meetelmät 3. Tlastolle rppuvuus ja korrelaato Ste tsesarvoltaa suuret testsuuree z arvot vttaavat she, että ollahypotees H 0 e päde. Test hylkäysaluee ta p arvo määrääme: ks. lukua Tlastollset testt. Jos test p arvo o kyll pe, ollahypotees H 0 hylätää. Ilkka Mell (006) 66

37 Tlastollset meetelmät 4. Johdatus regressoaalyys 4. Johdatus regressoaalyys 4.. Regressoaalyys lähtökohdat ja tavotteet 4.. Determstset mallt ja regressoaalyys 4.3. Regressofuktot ja regressoaalyys 4.4. Kaksulottese ormaaljakauma regressofuktot 4.5. Regressoaalyys tehtävät 4.6. Regressomall leaarsuus Regressoaalyys o (erlase muuelmee ja johdaasee) ehkä ete sovellettu tlastotetee meetelmä. Regressoaalyys avulla vodaa aalysoda jok tekjä ta muuttuja rppuvuutta tossta tekjöstä ta muuttujsta, ku rppuvuus e ole eksakta vaa tlastollsta. Tämä tapahtuu raketamalla rppuvuutta kuvamaa regressomallks kutsuttu tlastolle mall. Regressomall pyrk selttämää jok seltettävä tekjä ta muuttuja havattuje arvoje vahtelu jodek selttäve tekjöde ta muuttuje havattuje arvoje vahtelu avulla. Tarkastelemme tässä luvussa regressoaalyys lähtökohta, tavotteta ja tehtävä. Pyrmme perustelemaa myös se, mks tässä mosteessa rajotutaa kästtelemää va leaarsa regressomalleja. Avasaat: Approksmot. Determste mall, Ehdolle jakauma, Ehdolle odotusarvo, Ehdolle varass, E satuasuus, Eustame, Eustevrhe, Epäleaare regressomall, Epäleaarsuus, Estmot, Jääösterm, Kaksulottee ormaaljakauma, Keskelövrhe, Leaare regressomall, Learsot, Leaarsuus, Mall, Mall hyvyys, Mmot, Multormaaljakauma, Oletus, Otos, Parametr, Pemmä elösumma meetelmä, Rakeeosa, Regressoaalyys, Regressodagostkka, Regressofukto, Regressomall, Regressosuora, Reuajakauma, Satuae osa, Satuasuus, Seltettävä muuttuja, Selttäjä, Selttäme, Selttävä muuttuja, Systemaatte osa, Test, Tlastolle mall, Tlastolle rppuvuus, Vrheterm, Yhtesjakauma Ilkka Mell (006) 67

38 Tlastollset meetelmät 4. Johdatus regressoaalyys 4.. Regressoaalyys lähtökohdat ja tavotteet Oletetaa, että haluamme selttää jok seltettävä tekjä ta muuttuja havattuje arvoje vahtelu jodek selttäve tekjöde ta muuttuje havattuje arvoje vahtelu avulla. Jos tlastollsest merktsevä osa seltettävä muuttuja havattuje arvoje vahtelusta vodaa selttää selttäve muuttuje havattuje arvoje vahtelu avulla, saomme, että seltettävä muuttuja rppuu tlastollsest selttäjä käytetystä muuttujsta. Regressoaalyysssa seltettävä muuttuja rppuvuudelle selttävstä muuttujsta pyrtää raketamaa regressomallks kutsuttu tlastolle mall. Koska rppuvuukse aalysot o kake teteellse tutkmukse keskee tavote, regressoaalyys o ete sovellettuja ja tärkempä tlastotetee meetelmä. Regressoaalyys tavotteet Regressoaalyys mahdollsa tavotteta: () () Seltettävä muuttuja ja selttäve muuttuje tlastollse rppuvuude luotee kuvaame: Mllae o rppuvuude (matemaatte) muoto? Kuka vomakasta rppuvuus o? Seltettävä muuttuja ja selttäve muuttuje tlastollse rppuvuude luotee selttäme. () Seltettävä muuttuja arvoje eustame selttäve muuttuje arvoje avulla. (v) Seltettävä muuttuja arvoje kotroll kotrollomalla selttäve muuttuje arvoja. Regressomalle luokttelu Regressoaalyysssa sovellettavat tlastollset mallt vodaa luoktella usealla er peraatteella. Luokttelu regressomall fuktoaalse muodo mukaa: Leaarset regressomallt Epäleaarset regressomallt Luokttelu regressomall yhtälöde lukumäärä mukaa: Yhde yhtälö regressomallt Moyhtälömallt Tässä mosteessa kästellää aoastaa leaarsa yhde yhtälö regressomalleja; ks. lukuja Yhde selttäjä leaare regressomall ja Ylee leaare mall. Tämä e kutekaa ole kov vakava rajotus, koska leaarste yhde yhtälö regressomalle sovellusalue o k laaja ku se o. Lsäks leaarste regressomalle teora hyvä hallta tekee mahdollseks epäleaars regressomalleh ja moyhtälömalleh lttyve ertysogelme ymmärtämse melko helpost. O hyödyllstä tetää, että varassaalyysssa sovellettavat tlastollset mallt vodaa ymmärtää ylese leaarse mall erkostapauksks; ks. lukuja Ykssuutae varassaalyys, Kakssuutae varassaalyys ja Kolm ja useampsuutae varassaalyys. Ilkka Mell (006) 68