TKK (c) Ilkka Melli (004) 1 Johdatus regressioaalsii Johdatus tilastotieteesee Johdatus regressioaalsii Regressioaalsi lähtökohdat a tavoitteet Determiistiset mallit a regressioaalsi Regressiofuktiot a regressioaalsi Regressioaalsi tehtävät TKK (c) Ilkka Melli (004) Johdatus regressioaalsii: Mitä opimme? 1/3 Primme tässä luvussa vastaamaa seuraavaa ksmksee: Mite oki, selitettäväksi muuttuaksi saotu muuttua tilastollista riippuvuutta oistaki toisista, selittäviksi muuttuiksi saotuista muuttuista voidaa mallitaa regressiomalliksi saotulla tilastollisella mallilla? Regressiomalli tehtävää o selittää selitettävä muuttua havaittue arvoe vaihtelu selittävie muuttuie havaittue arvoe vaihtelu avulla. Regressioaalsi tavoitteet: Muuttuie väliste riippuvuuksie kuvaamie. Muuttuie väliste riippuvuuksie selittämie. Selitettävä muuttua kättätmise eustamie. Selitettävä muuttua kättätmise kotrolli. Johdatus regressioaalsii: Mitä opimme? /3 Regressioaalsille voidaa esittää kaksi asialoogisesti varsi erilaista lähtökohtaa, oilla o kuiteki mös moia htmäkohtia: (i) Ogelmat determiististe mallie sovittamisessa havaitoihi: Havaioille postuloitu malli ei sovi täsmällisesti kaikkii havaitoihi. (ii) Tavoitteea o moiulotteise todeäköissakauma regressiofuktio parametrie estimoiti. Vaikka moiulotteiste todeäköissakaumie regressiofuktiot ovat leisesti epälieaarisia, lieaariset regressiomallit muodostavat tärkeä a palo sovelletu malliluoka. TKK (c) Ilkka Melli (004) 3 TKK (c) Ilkka Melli (004) 4 Johdatus regressioaalsii: Mitä opimme? 3/3 Lieaariste regressiomallie suuri kättökelpoisuus muuttuie väliste riippuvuuksie tilastollisessa aalsissa perustuu seuraavii seikkoihi: Jos havaiot oudattavat multiormaaliakaumaa, lieaarise regressiomalli soveltamie o perusteltua, koska kaikki moiulotteise ormaaliakauma regressiofuktiot ovat lieaarisia. Lieaarisella regressiomallilla voidaa usei riittävällä tarkkuudella approksimoida muuttuie välisiä epälieaarisia riippuvuuksia. Muuttuie välie epälieaarie riippuvuus voidaa usei liearisoida sopivilla muuoksilla. Johdatus regressioaalsii: Esitiedot Esitiedot: ks. seuraavia lukua: Tilastollie riippuvuus a korrelaatio Moiulotteiset satuaismuuttuat a todeäköissakaumat Moiulotteisia todeäköissakaumia TKK (c) Ilkka Melli (004) 5 TKK (c) Ilkka Melli (004) 6
TKK (c) Ilkka Melli (004) 7 Johdatus regressioaalsii: Lisätiedot Regressioaalsia hde selittää lieaarise regressiomalli tapauksessa käsitellää luvussa Yhde selittää lieaarie regressiomalli Pitemmälle meeviä regressioaalsi ksmksiä käsitellää luetosara Tilastollise aalsi perusteet luvuissa Yleie lieaarie malli Regressiodiagostiikka Regressiomalli valita Regressioaalsi eritisksmksiä Johdatus regressioaalsii >> Regressioaalsi lähtökohdat a tavoitteet Determiistiset mallit a regressioaalsi Regressiofuktiot a regressioaalsi Regressioaalsi tehtävät TKK (c) Ilkka Melli (004) 8 Regressioaalsi lähtökohdat a tavoitteet Regressioaalsi lähtökohdat a tavoitteet Regressioaalsi idea 1/ Avaisaat Determiistie malli Lieaarie regressiomalli Regressioaalsi Regressiofuktio Regressiomalli Selitettävä muuttua Selittämie Selittävä muuttua Tilastollie riippuvuus Oletetaa, että haluamme selittää oki selitettävä tekiä tai muuttua havaittue arvoe vaihtelu oideki selittävie tekiöide tai muuttuie havaittue arvoe vaihtelu avulla. Jos tilastollisesti merkitsevä osa selitettävä muuttua havaittue arvoe vaihtelusta voidaa selittää selittävie muuttuie havaittue arvoe vaihtelu avulla, saomme, että selitettävä muuttua riippuu tilastollisesti selittäiä kätetistä muuttuista. TKK (c) Ilkka Melli (004) 9 TKK (c) Ilkka Melli (004) 10 Regressioaalsi lähtökohdat a tavoitteet Regressioaalsi idea / Regressioaalsi lähtökohdat a tavoitteet Regressioaalsi tavoitteet Regressioaalsissa selitettävä muuttua tilastolliselle riippuvuudelle selittävistä muuttuista pritää raketamaa tilastollie malli, ota kutsutaa regressiomalliksi. Koska riippuvuuksie aalsoiti o tavallisesti tieteellise tutkimukse keskeie tavoite, regressioaalsi o eite sovellettua a tärkeimpiä tilastotietee meetelmiä. Regressioaalsi mahdollisia tavoitteita: (i) Selitettävä muuttua a selittävie muuttuie tilastollise riippuvuude luotee kuvaamie: Millaie o riippuvuude muoto? Kuika voimakasta riippuvuus o? (ii) Selitettävä muuttua a selittävie muuttuie tilastollise riippuvuude luotee selittämie. (iii) Selitettävä muuttua arvoe eustamie. (iv) Selitettävä muuttua arvoe kotrolli. TKK (c) Ilkka Melli (004) 11 TKK (c) Ilkka Melli (004) 1
TKK (c) Ilkka Melli (004) 13 Regressioaalsi lähtökohdat a tavoitteet Regressiomallie luokittelu 1/ Regressioaalsi lähtökohdat a tavoitteet Regressiomallie luokittelu / Regressioaalsissa sovellettavat tilastolliset mallit voidaa luokitella usealla eri periaatteella. Luokittelu regressiomalli fuktioaalise muodo mukaa: Lieaariset regressiomallit Epälieaariset regressiomallit Luokittelu regressiomalli htälöide lukumäärä mukaa: Yhde htälö regressiomallit Moihtälömallit Tässä ohdatuksessa tilastotieteesee käsitellää pääasiassa lieaarisia hde htälö regressiomallea; ks. lukua Yhde selittää lieaarie regressiomalli. O hödllistä tietää, että variassiaalsissa sovellettavat tilastolliset mallit voidaa mmärtää s. leise lieaarise malli erikoistapauksiksi. TKK (c) Ilkka Melli (004) 14 Regressioaalsi lähtökohdat a tavoitteet Regressioaalsi sovellukset tilastotieteessä Regressioaalsi lähtökohdat a tavoitteet Regressioaalsi lähtökohdat Regressiomallea kätetää apuvälieiä moilla tilastotietee osa-alueilla. Esimerkkeä regressiomallie kättökohteista tilastotieteessä: Variassiaalsi Koesuuittelu Moimuuttuameetelmät Kalibroiti Biometria tai -statistiikka Aikasaroe aalsi a eustamie Ekoometria Regressioaalsilla o kaksi erilaista lähtökohtaa, oilla o kuiteki moia htmäkohtia: (i) Ogelmat determiististe mallie sovittamisessa havaitoihi; ks. kappaletta Determiistiset mallit a regressioaalsi. (ii) Moiulotteiste todeäköissakaumie ehdolliste odotusarvoe eli regressiofuktioide parametrie estimoiti; ks. kappaletta Regressiofuktiot a regressioaalsi. TKK (c) Ilkka Melli (004) 15 TKK (c) Ilkka Melli (004) 16 Johdatus regressioaalsii Determiistiset mallit a regressioaalsi Regressioaalsi lähtökohdat a tavoitteet >> Determiistiset mallit a regressioaalsi Regressiofuktiot a regressioaalsi Regressioaalsi tehtävät Avaisaat Determiistie malli Estimoiti Parametri Regressioaalsi Regressiomalli Selitettävä muuttua Selittämie Selittävä muuttua Tilastollie riippuvuus TKK (c) Ilkka Melli (004) 17 TKK (c) Ilkka Melli (004) 18
TKK (c) Ilkka Melli (004) 19 Determiistiset mallit a regressioaalsi Determiistiset mallit regressio-aalsi lähtökohtaa 1/ Oletetaa, että haluamme selittää oki selitettävä tekiä tai muuttua kättätmise oideki selittävie tekiöide tai muuttuie avulla. Oletetaa, että sekä selitettävä muuttua että selittäät ovat ei-satuaisia muuttuia. Tällöi tavoitteesee voidaa prkiä kuvaamalla selitettävä muuttua arvoe riippuvuus selittävie muuttuie arvoista determiistise malli avulla. Determiistiset mallit a regressioaalsi Determiistiset mallit regressio-aalsi lähtökohtaa / Oletetaa, että selitettävä muuttua riippuvuutta selittävistä muuttuista kuvaava determiistise malli muoto riippuu tutemattomasta parametrista (vakiosta). Tällöi parametri arvo voidaa prkiä estimoimaa eli arvioimaa havaitoe avulla. Oletetaa, että parametrille ei ole mahdollista lötää sellaista arvoa, oka saisi malli sopimaa samaaikaisesti kaikkii havaitoihi. Voidaako parametrille lötää kuiteki sellaie arvo, oka saisi malli sopimaa havaitoihi ossaki mielessä ii hvi kui se o mahdollista? TKK (c) Ilkka Melli (004) 0 Determiistiset mallit a regressioaalsi Determiistiset mallit Determiistiset mallit a regressioaalsi Determiistiset mallit a regressio-ogelma 1/4 Oletetaa, että selitettävä muuttua eksaktia (kausaalista) riippuvuutta selittäästä halutaa mallitaa htälöllä = f( ; β ) ossa fuktio f muoto riippuu parametrista eli vakiosta β. Yhtälö määrittelee determiistise malli selitettävä muuttua a selittää riippuvuudelle: Jos selittää a parametri β arvot tuetaa, ii selitettävä muuttua arvo o täsi määrätt. Oletetaa, että selitettävä muuttua riippuvuutta selittäästä halutaa mallitaa determiistisellä htälöllä = f( ; β ) Oletetaa, että fuktio f muodo määräävä parametri β arvo o tutemato. Haluamme lötää parametrille β parhaa mahdollise havaitoihi perustuva estimaati eli arvio. Regressio-ogelma st determiististe mallie soveltamise htedessä tilateissa, oissa parametrille β ei voida lötää sellaista arvoa, oka saisi m. htälö toteutumaa samaaikaisesti kaikille havaioille. TKK (c) Ilkka Melli (004) 1 TKK (c) Ilkka Melli (004) Determiistiset mallit a regressioaalsi Determiistiset mallit a regressio-ogelma /4 Determiistiset mallit a regressioaalsi Determiistiset mallit a regressio-ogelma 3/4 Oletetaa, että muuttuia a koskevat havaiot a liittvät samaa havaitoksikköö kaikille = 1,,,. Oletetaa, että ei ole olemassa htä parametri β arvoa, oka saa htälö = f( ; β ) toteutumaa samaaikaisesti kaikille havaioille a. Kiroitetaa = f( ; β ) + ε, = 1,,, ossa ε o havaitoksiköstä toisee vaihteleva ääöseli virhetermi. Oletetaa, että ääös- eli virhetermit ε htälössä = f( ; β ) + ε, = 1,,, vaihtelevat satuaisesti htälöstä toisee. Huomaa, että oletuksesta seuraa, että selitettävä muuttua havaittue arvoe o oltava satuaisia. Yhtälö = f( ; β ) + ε, = 1,,, kuvaa selitettävä muuttua tilastollista riippuvuutta selittävä muuttua saamista arvoista. Saomme, että htälö määrittelee selitettävä muuttua regressiomalli selittävä muuttua suhtee. TKK (c) Ilkka Melli (004) 3 TKK (c) Ilkka Melli (004) 4
TKK (c) Ilkka Melli (004) 5 Determiistiset mallit a regressioaalsi Determiistiset mallit a regressio-ogelma 4/4 Regressioaalsissa parametri β arvo pritää valitsemaa tavalla, oka tekee kaikista ääöstermeistä ε samaaikaisesti mahdollisimma pieiä. Tämä o käräsovitusogelma: Mite parametri β arvo o valittava, otta kärä = f( ; β ) kulkisi ossaki mielessä mahdollisimma läheltä okaista havaitopistettä (, ), = 1,,,? Erää ratkaisu tähä käräsovitusogelmaa taroaa pieimmä eliösumma meetelmä. Determiistiset mallit a regressioaalsi Determiistiset mallit a regressio-ogelma: Esimerkki 1/4 Hooke lai mukaa (ideaalise) kierreouse pituus riippuu lieaarisesti ousee ripustetusta paiosta : = α + β ossa α = ouse pituus ilma paioa β = s. ousivakio Jousivakio määräämiseksi ousee ripustettii seuraavat paiot: 0,, 4, 6, 8, 10 kg a ouse pituus mitattii. Mittaustulokset o aettu taulukossa oikealla. Paio (kg) Pituus (cm) 0 43.00 43.60 4 44.05 6 44.55 8 45.00 10 45.50 TKK (c) Ilkka Melli (004) 6 Determiistiset mallit a regressioaalsi Determiistiset mallit a regressio-ogelma: Esimerkki /4 Determiistiset mallit a regressioaalsi Determiistiset mallit a regressio-ogelma: Esimerkki 3/4 Pistediagrammi oikealla havaiollistaa koetuloksia. Ksms 1: Ovatko havaitotulokset sopusoiussa Hooke lai kassa? Ksms : Oko olemassa ksikäsitteie suora, oka kulkee kaikkie havaitopisteide kautta? Jouse pituus (cm) Kierreouse pituude riippuvuus ousee ripustetusta paiosta 46.00 45.50 45.00 44.50 44.00 43.50 43.00 4.50-0 4 6 8 10 1 Paio (kg) Kuvio oikealla todistaa, että ei ole olemassa htä suoraa, oka kulkisi kaikkie havaitopisteide kautta: (i) Suora A kulkee pisteide 1 a kautta. (ii) Suora B kulkee pisteide 4 a 5 kautta. Oko mahdollista määrätä ksikäsitteisellä tavalla suora, oka kulkee ossaki mielessä mahdollisimma läheltä okaista havaitopistettä? Jouse pituus (cm) Kierreouse pituude riippuvuus ousee ripustetusta paiosta 46.00 45.50 Suora A 45.00 5 44.50 4 44.00 Suora B 43.50 43.00 1 4.50-0 4 6 8 10 1 Paio (kg) TKK (c) Ilkka Melli (004) 7 TKK (c) Ilkka Melli (004) 8 Determiistiset mallit a regressioaalsi Determiistiset mallit a regressio-ogelma: Esimerkki 4/4 Determiistiset mallit a regressioaalsi St regressio-ogelma stmisee Kättämällä pieimmä eliösumma keioa voimme määrätä suora = α + β ii, että eliösumma ( α β ) = 1 miimoituu. Kuvioo oikealla o piirrett äi määrätt suora; ks. tarkemmi lukua Yhde selittää lieaarie regressiomalli. Jouse pituus (cm) Kierreouse pituude riippuvuus ousee ripustetusta paiosta 46.00 = 0.457 + 43.055 45.50 R = 0.9983 45.00 44.50 44.00 43.50 43.00 4.50-0 4 6 8 10 1 Paio (kg) Mitkä st ohtavat regressio-ogelma stmisee determiististe mallie htedessä? Sitä regressio-ogelma stmisee: (i) Havaitovirheet selitettävä muuttua havaituissa arvoissa. (ii) Yhtälö = f( ; β ) o idealisoiti: Osaa selitettävä muuttua kättätmisee vaikuttavista tekiöistä ei haluta tai ei psttä ottamaa huomioo. TKK (c) Ilkka Melli (004) 9 TKK (c) Ilkka Melli (004) 30
TKK (c) Ilkka Melli (004) 31 Determiistiset mallit a regressioaalsi Regressiomalli a kiiteät selittäät 1/ Determiistiset mallit a regressioaalsi Regressiomalli a kiiteät selittäät / Olkoo = f( ; β ) + ε, = 1,,, selitettävä muuttua tilastollista riippuvuutta selittävä muuttua saamista arvoista kuvaava regressiomalli. Oletukset: (i) Selittävä muuttua arvot voidaa valita, olloi e ovat kiiteitä eli ei-satuaisia. (ii) Jääös- eli virhetermit ε ovat satuaisia, olloi mös selitettävä muuttua havaitut arvot pitää olettaa satuaisiksi. Regressiomallissa = f( ; β ) + ε, = 1,,, o seuraavat osat: = selitettävä muuttua satuaie a havaittu arvo havaitoksikössä = selittävä muuttua eli selittää eisatuaie a havaittu arvo havaitoksikössä β = tutemato a kiiteä eli ei-satuaie parametri (vakiokerroi) ε = satuaie a ei-havaittu ääös-eli virhetermi havaitoksikössä TKK (c) Ilkka Melli (004) 3 Determiistiset mallit a regressioaalsi Regressiomallit a kiiteät selittäät: Kommettea Ku regressiomallea sovelletaa luootieteissä tai tekiikassa, oletus selittävie muuttuie eisatuaisuudesta o usei hvi perusteltu. Tämä ohtuu siitä, että moissa luootieteide tai tekiika sovelluksissa regressiomallie selittäie arvot voidaa valita eli selittäät ovat muuttuia, oide arvoa voidaa kotrolloida. Esimerkki: Puhtaat koeasetelmat. Moissa tilastotietee sovelluksissa kohdataa kuiteki sellaisia tilateita, oissa aiaki osa selittäistä o sellaisia, oide arvot määrätvät satuaisesti; ks. kappaletta Regressiofuktiot a regressioaalsi. Johdatus regressioaalsii Regressioaalsi lähtökohdat a tavoitteet Determiistiset mallit a regressioaalsi >> Regressiofuktiot a regressioaalsi Regressioaalsi tehtävät TKK (c) Ilkka Melli (004) 33 TKK (c) Ilkka Melli (004) 34 Regressiofuktiot a regressioaalsi Avaisaat Ehdollie akauma Ehdollie odotusarvo Eustamie Eustevirhe Estimoiti Keskieliövirhe Parametri Regressioaalsi Regressiofuktio Regressiomalli Reuaakauma Selitettävä muuttua Selittämie Selittävä muuttua Yhteisakauma Regressiofuktiot a regressioaalsi Regressiofuktiot regressio-ogelma lähtökohtaa 1/ Oletetaa, että haluamme selittää oki selitettävä tekiä tai muuttua kättätmise oideki selittävie tekiöide tai muuttuie avulla. Oletetaa, että sekä selitettävä muuttua että selittäät ovat satuaismuuttuia. Tällöi tavoitteesee voidaa prkiä kuvaamalla selitettävä muuttua riippuvuutta selittävistä muuttuista selitettävä muuttua regressiofuktiolla selittäie suhtee. TKK (c) Ilkka Melli (004) 35 TKK (c) Ilkka Melli (004) 36
TKK (c) Ilkka Melli (004) 37 Regressiofuktiot a regressioaalsi Regressiofuktiot regressio-ogelma lähtökohtaa / Oletetaa, että selitettävä muuttua riippuvuutta selittävistä muuttuista kuvaava regressiofuktio muoto riippuu tutemattomasta parametrista (vakiosta). Tällöi parametri arvo voidaa prkiä estimoimaa eli arvioimaa havaitoe avulla. Mite parametrille lödetää ossaki mielessä mahdollisimma hvä estimaatti eli arvio? Regressiofuktiot a regressioaalsi Ehdollie akauma Olkoo f (, ) satuaismuuttuie a hteisakauma tihesfuktio. Olkoot f () a f () satuaismuuttuie a reuaakaumie tihesfuktiot. Satuaismuuttua ehdollise akauma tihesfuktio satuaismuuttua suhtee o f (, ) f ( ) =, os f( ) 0 f ( ) > TKK (c) Ilkka Melli (004) 38 Regressiofuktiot a regressioaalsi Ehdollie odotusarvo Regressiofuktiot a regressioaalsi Regressiofuktio 1/ Satuaismuuttua ehdollie odotusarvo satuaismuuttua suhtee o + E( ) = f ( ) d ossa f ( ) o satuaismuuttua ehdollise akauma tihesfuktio satuaismuuttua suhtee Huomaa, että ehdollie odotusarvo o ehtomuuttua fuktioa satuaismuuttua. Tarkastellaa satuaismuuttua ehdollista odotusarvoa ehtomuuttua arvoe fuktioa. Ehdollista odotusarvoa E( ) kutsutaa ehtomuuttua arvoe fuktioa satuaismuuttua regressiofuktioksi muuttua suhtee. Regressiofuktio E( ) muoto riippuu satuaismuuttua ehdollise akauma f ( ) parametreista. TKK (c) Ilkka Melli (004) 39 TKK (c) Ilkka Melli (004) 40 Regressiofuktiot a regressioaalsi Regressiofuktio / Regressiofuktiot a regressioaalsi Lisätietoa Olkoo E( ) satuaismuuttua regressiofuktio satuaismuuttua suhtee. Koska haluamme korostaa regressiofuktio arvoe riippuvuutta ehtomuuttua arvoista, kiroitamme E( ) = f( ; β ) ossa β o satuaismuuttua ehdollise akauma f ( ) muodo määräävä parametri. Lisätietoa moiulotteisista satuaismuuttuista a iide hteisakaumista, reuaakaumista, ehdollisista akaumista, ehdollisista odotusarvoista a regressiofuktioista: Ks. lukua Moiulotteiset satuaismuuttuat a todeäköissakaumat. TKK (c) Ilkka Melli (004) 41 TKK (c) Ilkka Melli (004) 4
TKK (c) Ilkka Melli (004) 43 Regressiofuktiot a regressioaalsi Regressiofuktio a eustamie 1/3 Regressiofuktiot a regressioaalsi Regressiofuktio a eustamie /3 Olkoo f (, ) satuaismuuttuie a hteisakauma tihesfuktio. Oletetaa, että satuaismuuttua arvo tuetaa. Ksms: Mite tietoa satuaismuuttua saamasta arvosta voidaa kättää hväksi satuaismuuttua arvo eustamisessa? Olkoo d( ) muuttua saamaa arvoo perustuva euste muuttua arvolle. Mite euste d( ) valitaa optimaalisella tavalla? Valitaa euste d( ) site, että eustee keskieliövirhe MSE[ d( )] = E[ d( )] miimoituu. Voidaa osoittaa, että keskieliövirhe miimoituu valialla d( ) = E( ) Site satuaismuuttua regressiofuktio E( ) satuaismuuttua suhtee tuottaa muuttua saamii arvoihi perustuvat, keskieliövirhee mielessä optimaaliset eusteet muuttualle. MSE( d( )) TKK (c) Ilkka Melli (004) 44 Regressiofuktiot a regressioaalsi Regressiofuktio a eustamie 3/3 Regressiofuktiot a regressioaalsi Regressiofuktio regressiomallia Olkoo E( ) = ε optimaalise eustee E( ) eustevirhe. Tällöi voimme kiroittaa = E( ) + ε = f( ; β ) + ε ossa E( ) = f( ; β ) o satuaismuuttua regressiofuktio satuaismuuttua suhtee. Edellise oalla muuttua arvoihi perustuva optimaalie euste satuaismuuttua arvolle määrittelee regressiomalli = E( ) + ε = f( ; β ) + ε ossa o malli selitettävä muuttua a o malli selittävä muuttua. TKK (c) Ilkka Melli (004) 45 TKK (c) Ilkka Melli (004) 46 Regressiofuktiot a regressioaalsi Regressiofuktiot a regressio-ogelma 1/3 Regressiofuktiot a regressioaalsi Regressiofuktiot a regressio-ogelma /3 Oletetaa, että selitettävä muuttua riippuvuutta selittäästä halutaa mallitaa regressiofuktiolla E( ) = f( ; β ) Oletetaa, että regressiofuktio f muodo määräävä parametri β arvo o tutemato. Parametrille β halutaa lötää paras mahdollie estimaatti eli arvio havaitoe perusteella. Regressio-ogelmalla tarkoittaa tässä regressiofuktio muodo määräävä parametri β valitaogelmaa. Oletetaa, että satuaismuuttuia a koskevat havaiot a liittvät samaa havaitoksikköö kaikille = 1,,,. Edellä esitet oalla voimme kiroittaa htälö = f( ; β ) + ε, = 1,,, ossa ε o havaitoksiköstä toisee satuaisesti vaihteleva ääös- eli virhetermi. Yhtälö kuvaa muuttua tilastollista riippuvuutta muuttua saamista arvoista. Saomme, että htälö määrittelee selitettävä muuttua regressiomalli selittävä muuttua suhtee. TKK (c) Ilkka Melli (004) 47 TKK (c) Ilkka Melli (004) 48
TKK (c) Ilkka Melli (004) 49 Regressiofuktiot a regressioaalsi Regressiofuktiot a regressio-ogelma 3/3 Regressiofuktiot a regressioaalsi Mitä regressiofuktio mallitaa? Esimerkki 1/6 Regressioaalsissa parametri β arvo pritää valitsemaa sellaisella tavalla, oka tekee kaikista ääöstermeistä ε samaaikaisesti mahdollisimma pieiä. Tämä o käräsovitusogelma: Mite parametri β arvo o valittava ii, että kärä = f( ; β ) kulkisi mahdollisimma läheltä okaista havaitopistettä (, ), = 1,,,? Erää ratkaisu tähä käräsovitusogelmaa taroaa pieimmä eliösumma meetelmä. Periöllisstietee mukaa lapset perivät geeettiset omiaisuutesa vahemmiltaa. Peritkö isä pituus heidä poillee? Havaitoaieisto koostuu 300: isä a heidä poikiesa pituuksie muodostamasta lukuparista (, ), = 1,,, 300 ossa = isä pituus = isä poa pituus Ks. pistediagrammia oikealla. Poa pituus (cm) Isie a poikie pituudet 195 190 185 180 175 170 165 160 155 160 165 170 175 180 185 190 Isä pituus (cm) TKK (c) Ilkka Melli (004) 50 Regressiofuktiot a regressioaalsi Mitä regressiofuktio mallitaa? Esimerkki /6 Regressiofuktiot a regressioaalsi Mitä regressiofuktio mallitaa? Esimerkki 3/6 Poa pituude riippuvuus isä pituudesta ei ole eksaktia. Mutta: Lhillä isillä ättää oleva keskimääri lhempiä poikia kui pitkillä isillä a pitkillä isillä ättää oleva keskimääri pitempiä poikia kui lhillä isillä. Mite tällaista tilastollista riippuvuutta voidaa havaiollistaa? Poa pituus (cm) Isie a poikie pituudet 195 190 185 180 175 170 165 160 155 160 165 170 175 180 185 190 Isä pituus (cm) Taulukko oikealla esittää isie a heidä poikiesa pituuksie ehdollisia keskiarvoa M k ( ) a M k ( ) ossa M k ( ) = iide isie pituuksie keskiarvo, oide pituus kuuluu -välii k M k ( ) = iide poikie pituuksie keskiarvo, oide isie pituus kuuluu -välii k k = 1,, 3, 4, 5, 6, 7 -väli ro -väli M k ( ) M k ( ) 1 (155,160] 159.7 17. (160,165] 163.5 17.0 3 (165,170] 168. 176.8 4 (170,175] 17.6 178.8 5 (175,180] 177.1 180.6 6 (180,185] 181.5 183.6 7 (185,190] 186.0 184.0 TKK (c) Ilkka Melli (004) 51 TKK (c) Ilkka Melli (004) 5 Regressiofuktiot a regressioaalsi Mitä regressiofuktio mallitaa? Esimerkki 4/6 Regressiofuktiot a regressioaalsi Mitä regressiofuktio mallitaa? Esimerkki 5/6 Ehdolliste keskiarvoe (M k ( ), M k ( )) määräämiä pisteitä o merkitt kuviossa oikealla eliöillä. Havaiot o siis luokiteltu isie pituude mukaa 7 luokkaa. Kuviossa luokkia o kuvattu katkoviivoe erottamilla pstvöillä. Jokaise eliö koordiaatit o saatu laskemalla keskiarvot ko. eliötä vastaavaa pstvöhö kuuluvie havaitopisteide koordiaateista. Poa pituus (cm) Isie a poikie pituudet 195 190 185 180 175 170 165 160 155 160 165 170 175 180 185 190 Isä pituus (cm) Oikealla olevaa kuvioo eliöillä merkitt ehdolliste keskiarvoe määräämät pisteet (M k ( ), M k ( )) kuvaavat poikie pituuksie keskimääräistä tai tilastollista riippuvuutta heidä isiesä pituuksista. Riippuvuus ättää oleva lähes lieaarista. Regressioaalsi tehtävää o uuri tällaise tilastollise riippuvuude mallitamie. Poa pituus (cm) Isie a poikie pituudet 195 190 185 180 175 170 165 160 155 160 165 170 175 180 185 190 Isä pituus (cm) TKK (c) Ilkka Melli (004) 53 TKK (c) Ilkka Melli (004) 54
TKK (c) Ilkka Melli (004) 55 Regressiofuktiot a regressioaalsi Mitä regressiofuktio mallitaa? Esimerkki 6/6 Johdatus regressioaalsii Kättämällä pieimmä eliösumma keioa voimme määrätä suora = α + β ii, että eliösumma ( α β ) = 1 miimoituu. Kuvioo oikealla o piirrett äi määrätt suora; ks. tarkemmi lukua Yhde selittää lieaarie regressiomalli. Poa pituus (cm) Isie a poikie pituudet 195 = 0.4707 + 97.391 R = 0.1938 190 185 180 175 170 165 160 155 160 165 170 175 180 185 190 Isä pituus (cm) Regressioaalsi lähtökohdat a tavoitteet Determiistiset mallit a regressioaalsi Regressiofuktiot a regressioaalsi >> Regressioaalsi tehtävät TKK (c) Ilkka Melli (004) 56 Multiormaaliakauma Avaisaat Ehdollie akauma Ehdollie odotusarvo Ehdollie variassi Kaksiulotteie ormaaliakauma Multiormaaliakauma Regressiofuktio Regressiosuora Reuaakauma Normaaliakauma leiststä moiulotteisee avaruutee kutsutaa multiormaaliakaumaksi tai moiulotteiseksi ormaaliakaumaksi. Multiormaaliakauma määräävät tädellisesti akaumaa liittvie satuaismuuttuie odotusarvot, variassit a korrelaatiot. Multiormaaliakauma ättelee lieaariste regressiomallie teoriassa keskeistä osaa, koska multiormaaliakauma kaikki regressiofuktiot ovat lieaarisia. Seuraavassa tarkastellaa lähemmi -ulotteista ormaaliakaumaa; lisätietoa: ks. lukua Moiulotteisia akaumia. TKK (c) Ilkka Melli (004) 57 TKK (c) Ilkka Melli (004) 58 Tihesfuktio 1/ -ulotteise ormaaliakauma tihesfuktio o 1 1 f (, ) = ep Q(, ) π 1 (1 ρ ) ρ ossa µ µ µ µ Q (, ) = ρ + a < µ < +, < µ < + > 0, > 0 1 ρ + 1 Tihesfuktio / -ulotteise ormaaliakauma parametreia ovat satuaismuuttuie a odotusarvot, variassit a korrelaatio: µ = E( ) = muuttua odotusarvo µ = E( ) = muuttua odotusarvo = Var( ) = muuttua variassi = Var( ) = muuttua variassi ρ = Cor(, ) = muuttuie a korrelaatio TKK (c) Ilkka Melli (004) 59 TKK (c) Ilkka Melli (004) 60
TKK (c) Ilkka Melli (004) 61 Jakauma parametrit Oletetaa, että satuaismuuttuie a muodostama pari (, ) oudattaa -ulotteista ormaaliakaumaa. Koska satuaismuuttuie a odotusarvot, variassit a korrelaatio E( ) = µ E( ) = µ Var( ) = Var( ) = Cor(, ) = ρ määräävät tädellisesti -ulotteise ormaaliakauma, merkitää (, ) N (µ, µ,,, ρ ) Parametrie tulkita 1/ Oletetaa, että satuaismuuttuie a muodostama pari (, ) oudattaa -ulotteista ormaaliakaumaa. Satuaismuuttuie a odotusarvot E( ) = µ E( ) = µ määräävät satuaismuuttuie a hteisakauma todeäköissmassa paiopistee. Satuaismuuttuie a variassit Var( ) = Var( ) = kuvaavat satuaismuuttuie a todeäköissmassoe haaatueisuutta iide odotusarvoe µ a µ mpärillä. TKK (c) Ilkka Melli (004) 6 Parametrie tulkita / Satuaismuuttuie a korrelaatio Cor(, ) = ρ kuvaa satuaismuuttuie a lieaarise riippuvuude voimakkuutta. Koska pari (, ) oudattaa -ulotteista ormaaliakaumaa, satuaismuuttuat a ovat korreloimattomia, os a vai os e ovat riippumattomia. Yleisesti pätee: Cor(, ) =± 1 os a vai os o olemassa vakiot α a β 0 site, että = α + β Ehdolliset akaumat 1/ -ulotteise ormaaliakauma ehdolliset akaumat ovat ormaalisia. Satuaismuuttua ehdollie akauma satuaismuuttua suhtee o ~ N ( µ, ) ossa µ = E( ) = µ ( µ ) = Var( ) = (1 ρ ) TKK (c) Ilkka Melli (004) 63 TKK (c) Ilkka Melli (004) 64 Ehdolliset akaumat / -ulotteise ormaaliakauma ehdolliset akaumat ovat ormaalisia. Satuaismuuttua ehdollie akauma satuaismuuttua suhtee o ~ N ( µ, ) ossa µ = E( ) = µ ( µ ) = Var( ) = (1 ρ ) Regressiofuktiot 1/ -ulotteise ormaaliakauma regressiofuktiot eli ehdolliset odotusarvot ovat lieaarisia. Satuaismuuttua regressiofuktio satuaismuuttua suhtee µ = E( ) = µ ( µ ) määrittelee -koordiaatistossa suora = µ ( µ ) Suora kulkee satuaismuuttuie a hteisakauma todeäköissmassa paiopistee ( µ, µ ) kautta. TKK (c) Ilkka Melli (004) 65 TKK (c) Ilkka Melli (004) 66
TKK (c) Ilkka Melli (004) 67 Regressiofuktiot / -ulotteise ormaaliakauma regressiofuktiot eli ehdolliset odotusarvot ovat lieaarisia. Satuaismuuttua regressiofuktio satuaismuuttua suhtee µ = E( ) = µ ( µ ) määrittelee -koordiaatistossa suora 1 = µ + ( µ ) ρ Suora kulkee satuaismuuttuie a hteisakauma todeäköissmassa paiopistee ( µ, µ ) kautta. Regressiosuorat -ulotteise ormaaliakauma regressiofuktioide määrittelemie regressiosuorie htälöistä = µ ( µ ) 1 = µ + ( µ ) ρ ähdää seuraavaa: (i) Jos ρ = 0, suorat ovat kohtisuorassa toisiaa vastaa. (ii) Jos ρ = ± 1, suorat htvät. TKK (c) Ilkka Melli (004) 68 Regressiosuorie omiaisuudet 1/ Muuttua regressiosuoralla muuttua suhtee = µ ( µ ) o seuraavat omiaisuudet: (i) Jos ρ > 0, suora o ouseva. (ii) Jos ρ < 0, suora o laskeva. (iii) Jos ρ = 0, suora o vaakasuorassa. (iv) Suora rkkeee (loiveee), os korrelaatio itseisarvo ρ kasvaa (pieeee) stadardipoikkeama kasvaa (pieeee) stadardipoikkeama pieeee (kasvaa) Regressiosuorie omiaisuudet / Muuttua regressiosuoralla muuttua suhtee 1 = µ + ( µ ) ρ o seuraavat omiaisuudet: (i) Jos ρ > 0, suora o ouseva. (ii) Jos ρ < 0, suora o laskeva. (iii) Jos ρ = 0, suora o pstsuorassa. (iv) Suora rkkeee (loiveee), os korrelaatio itseisarvo ρ pieeee (kasvaa) stadardipoikkeama kasvaa (pieeee) stadardipoikkeama pieeee (kasvaa) TKK (c) Ilkka Melli (004) 69 TKK (c) Ilkka Melli (004) 70 Ehdolliset variassit 1/ Satuaismuuttua ehdollie variassi satuaismuuttua suhtee o = Var( ) = (1 ρ) a se kuvaa satuaismuuttua ehdollise akauma (satuaismuuttua suhtee) todeäköissmassa haaatueisuutta regressiosuora = µ ( µ ) mpärillä. Ehdolliset variassit / Satuaismuuttua ehdollie variassi satuaismuuttua suhtee o = Var( ) = (1 ρ) a se kuvaa satuaismuuttua ehdollise akauma (satuaismuuttua suhtee) todeäköissmassa haaatueisuutta regressiosuora 1 = µ + ( µ ) ρ mpärillä. TKK (c) Ilkka Melli (004) 71 TKK (c) Ilkka Melli (004) 7
TKK (c) Ilkka Melli (004) 73 Ehdolliste variassie omiaisuudet 1/ Satuaismuuttua ehdollisella variassilla satuaismuuttua suhtee = Var( ) = (1 ρ) o seuraavat omiaisuudet: (i) (ii) Jos ρ = 0, ii =. (iii) Jos ρ =± 1, ii = 0 a satuaismuuttuie a hteisakauma todeäköissmassa keskitt muuttuie a hteiselle regressiosuoralle. Ehdolliste variassie omiaisuudet / Satuaismuuttua ehdollisella variassilla satuaismuuttua suhtee = Var( ) = (1 ρ) o seuraavat omiaisuudet: (i) (ii) Jos ρ = 0, ii =. (iii) Jos ρ = ± 1, ii = 0 a satuaismuuttuie a hteisakauma todeäköissmassa keskitt muuttuie a hteiselle regressiosuoralle. TKK (c) Ilkka Melli (004) 74 Johdatus regressioaalsii Regressioaalsi tehtävät Regressioaalsi lähtökohdat a tavoitteet Determiistiset mallit a regressioaalsi Regressiofuktiot a regressioaalsi >> Regressioaalsi tehtävät TKK (c) Ilkka Melli (004) 75 Avaisaat Eustamie Estimoiti Jääöstermi Malli rakeeosa eli sstemaattie osa Malli satuaie osa Oletuste tarkistamie Regressioaalsi Regressiomalli Regressiomalli hvs Satuaie osa Selitettävä muuttua Selittämie Selittävä muuttua Testaus TKK (c) Ilkka Melli (004) 76 Regressioaalsi tehtävät Regressiomalli a se osat 1/ Regressioaalsi tehtävät Regressiomalli a se osat / Yhde htälö regressiomalli leie muoto o = f( ; β ) + ε ossa = selitettävä muuttua f ( ; β ) = malli sstemaattie eli rakeeosa ε =malli satuaie osa Malli sstemaattie osa f ( ; β ) o selittävä muuttua fuktio, oka riippuu fuktio f muodo määräävästä parametrista β. Malli satuaie osa ε o ääöstermi, oka tavallisesti ei riipu selittäästä. Regressiomalli = f( ; β ) + ε sstemaattie osa f ( ; β ) kuvaa selitettävä muuttua riippuvuutta selittävästä muuttuasta. Regressioaalsissa pääasiallie kiiostus kohdistuu regressiomalli sstemaattisee osaa f ( ; β ) a se muotoo. Regressiomalli ääöstermiä ε pidetää usei pelkkää virhetermiä, mutta ääöstermistä ε tehdt oletukset vaikuttavat ratkaisevalla tavalla siihe tapaa, olla regressioaalsi tehdää. TKK (c) Ilkka Melli (004) 77 TKK (c) Ilkka Melli (004) 78
TKK (c) Ilkka Melli (004) 79 Regressioaalsi tehtävät Regressioaalsi Johdatus regressioaalsii Regressioaalsi tarkoittaa seuraavia mallii = f( ; β ) + ε liittvie tehtävie suorittamista: Fuktio f valita Parametri β estimoiti Parametria β koskevie hpoteesie testaamie Estimoidu malli hvde arvioiti Mallista tehte oletuste tarkistamie Selitettävä muuttua kättätmise eustamie a eusteide epävarmuude arvioiti Regressioaalsi lähtökohdat a tavoitteet Determiistiset mallit a regressioaalsi Regressiofuktiot a regressioaalsi Regressioaalsi tehtävät >> TKK (c) Ilkka Melli (004) 80 Regressiomalli Avaisaat Approksimoiti Lieaarie regressiomalli Liearisoiti Multiormaaliakauma Regressiofuktio Olkoo = f( ; β ) + ε hde htälö regressiomalli, ossa = selitettävä muuttua f ( ; β ) = malli sstemaattie eli rakeeosa ε =malli satuaie osa Malli sstemaattie osa f ( ; β ) o selittävä muuttua fuktio, oka riippuu fuktio f muodo määräävästä parametrista β. Malli satuaie osa ε o ääöstermi, oka tavallisesti ei riipu selittäästä. TKK (c) Ilkka Melli (004) 81 TKK (c) Ilkka Melli (004) 8 Lieaarie regressiomalli miksi? Regressiomalli = f( ; β ) + ε soveltamie ksikertaistuu huomattavasti, os malli rakeeosa f ( ; β ) o parametri β suhtee lieaarie fuktio. Jos malli rakeeosa f ( ; β ) o parametri β suhtee lieaarie fuktio, mallia kutsutaa lieaariseksi regressiomalliksi. Huomautus: Epälieaariste regressiomallie soveltamie ei ole kisillä tietokoeilla a ohelmistoilla kovikaa hakalaa. Lieaarie regressiomalli milloi? 1/ Vaikka oletus regressiomalli lieaarisuudesta saattaa tutua raoittavalta, oletus o kätäössä osoittautuut moissa regressioaalsi sovellustilateissa erittäi hvi toimivaksi. Eritisesti, os muuttuat a ovat satuaismuuttuia, oide hteisakauma o multiormaalie, lieaarise regressiomalli soveltamie o perusteltua, koska kaikki multiormaaliakauma regressiofuktiot eli ehdolliset odotusarvot ovat lieaarisia; ks. kappaletta Kaksiulotteise ormaaliakauma regressiofuktiot. TKK (c) Ilkka Melli (004) 83 TKK (c) Ilkka Melli (004) 84
TKK (c) Ilkka Melli (004) 85 Lieaarie regressiomalli milloi? / Epälieaarise riippuvuude liearisoiti: Esimerkki 1/ Lieaarise regressiomalli soveltamie saattaa olla perusteltua mös moissa sellaisissa tilateissa, oissa selitettävä muuttua riippuvuus selittäästä o epälieaarista: (i) Muuttuie a riippuvuutta voidaa usei approksimoida aiaki lokaalisti lieaarisella mallilla. (ii) Muuttuie a epälieaarie riippuvuus voidaa usei liearisoida sopivilla muuoksilla. Betoi vetoluuus riippuu betoi kuivumisaasta. Havaitoaieisto koostuu 1:stä lukuparista (, ), = 1,,, 1 ossa = betoiharko kuivumisaika = betoiharko vetoluuus Vetoluuus riippuu selvästi epälieaarisesti kuivumisaasta; ks. kuviota oikealla. Vetoluuus (kg/cm) Betoi vetoluuude riippuvuus kuivumisaasta 50.0 40.0 30.0 0.0 10.0 0.0 0 5 10 15 0 5 30 Kuivumisaika (vrk) TKK (c) Ilkka Melli (004) 86 Epälieaarise riippuvuude liearisoiti: Esimerkki / Vetoluuude epälieaarie riippuvuus kuivumisaasta voidaa liearisoida seuraavilla muuoksilla: = 1/ = log( ) ossa = betoiharko kuivumisaika = betoiharko vetoluuus Vrt. kuviota oikealla edellise kalvo kuvioo. log(vetoluuus) (log(kg/cm)) Betoi vetoluuude riippuvuus kuivumisaasta 4 3.5 3.5 0 0. 0.4 0.6 0.8 1 1. 1/Kuivumisaika (1/vrk) TKK (c) Ilkka Melli (004) 87