Mat-.4 Tilatollie aali peruteet, kevät 7 6. lueto: Johdatu regreioaalii Regreioaali idea Tavoitteea elittää elitettävä tekiä/muuttua havaittue arvoe vaihtelu elittävie tekiöide/muuttuie havaittue arvoe vaihtelu avulla Tilatollieti merkitevä oa elitettävä muuttua havaittue arvoe vaihteluta voidaa elittää elittävie muuttuie havaittue arvoe vaihtelu avulla => elitettävä muuttua riippuu tilatollieti elittäitä Regreioaalia tilatollielle riippuvuudelle pritää raketamaa tilatollie malli, regreiomalli Riippuvuukie aaloiti o uei tutkimuke kekeie tavoite regreioaali o eite ovellettua a tärkeimpiä tilatotietee meetelmiä Regreioaali tavoitteet Regreioaali mahdolliia tavoitteita: (i Selitettävä muuttua a elittävie muuttuie tilatollie riippuvuude luotee kuvaamie: Millaie o riippuvuude muoto? Kuika voimakata riippuvuu o? (ii Selitettävä muuttua arvoe eutamie (iii Selitettävä muuttua arvoe kotrolli Steemiaali Tekillie korkeakoulu Kai Virtae Steemiaali Tekillie korkeakoulu Kai Virtae Steemiaali Tekillie korkeakoulu Kai Virtae 3 Steemiaali Tekillie korkeakoulu Regreiomallie luokittelu Regreioaalia ovellettavat tilatolliet mallit voidaa luokitella uealla eri periaatteella Luokittelu regreiomalli fuktioaalie muodo mukaa: Lieaariet regreiomallit (tämä kuri Epälieaariet regreiomallit Luokittelu regreiomalli htälöide lukumäärä mukaa: Yhde htälö regreiomallit (tämä kuri Moihtälömallit Kai Virtae 4 Steemiaali Tekillie korkeakoulu Regreioaali lähtökohdat Regreioaalilla o kaki erilaita lähtökohtaa, oilla o kuiteki moia htmäkohtia: (i Ogelmat determiitite mallie ovittamiea havaitoihi (elittäät ei-atuaiia muuttuia - eim. puhtaat koeaetelmat (ii Moiulotteite todeäköiakaumie ehdollite odotuarvoe eli regreiofuktioide parametrie etimoiti (elittäät atuaimuuttuia Tällä kurilla kätetää opivia oletukia => Sama lakutekiikka kummalleki mallitpille!!! Kai Virtae 5 Regreiomalli a e oat Yhde htälö regreiomalli leie muoto o = f ( ; β oa = elitettävä muuttua = elitettävä muuttua f ( ; β = malli temaattie eli rakeeoa ε = malli atuaie oa Stemaattie oa f ( ; β o : fuktio, riippuu f: muodo määräävätä parametrita β Satuaie oa ε o ääötermi, oka ei tavallieti riipu :tä Pääaiallie kiiotu kohdituu regreiomalli temaattiee oaa a e muotoo Jääötermiä ε pidetää uei pelkkää virhetermiä Jääötermitä ε tehdt oletuket vaikuttavat tapaa, olla regreioaali tehdää Steemiaali Kai Virtae 6 Tekillie korkeakoulu
Regreioaali Regreioaali tarkoittaa mallii = f ( ; β liittvie tehtävie uorittamita: Fuktio f valita Parametri β etimoiti Parametria β kokevie hpoteeie tetaamie Etimoidu malli hvde arvioiti Mallita tehte oletute tarkitamie Selitettävä muuttua kättätmie eutamie a euteide epävarmuude arvioiti Lieaarie regreiomalli Lieaarieki regreiomalli: Rakeeoa f o parametri β uhtee lieaarie Lieaariuuoletu o kätäöä ooittautuut moia ovellutilateia hvi toimivaki Muuttuat oudattavat multiormaaliakaumaa => lieaarie regreiomalli ok, koka ko. akauma regreiofuktiot eli ehdolliet odotuarvot ovat lieaariia Lieaarie regreiomalli oveltamie ok mö moia tilateia, oia muuttuie riippuvuu o epälieaarita: (i (ii Muuttuie riippuvuutta voidaa uei approkimoida aiaki lokaaliti lieaariella mallilla Muuttuie epälieaarie riippuvuu voidaa uei liearioida opivilla muuokilla Mat-.4 Tilatollie aali peruteet, kevät 7 6. lueto: Yhde elittää lieaarie regreiomalli Steemiaali Tekillie korkeakoulu Kai Virtae 7 Steemiaali Tekillie korkeakoulu Kai Virtae 8 Steemiaali Tekillie korkeakoulu Kai Virtae 9 Yhde elittää lieaarie regreiomalli a e oat Halutaa elittää elitettävä muuttua havaittue arvoe vaihtelu elittävä muuttua havaittue arvoe vaihtelu avulla Oletuket: Selitettävä muuttua o uhdeateikollie atuaimuuttua Selittävä muuttua o kiiteä, ei-atuaie muuttua Oletetaa havaitoarvoe a välille lieaarie tilatollie riippuvuu + β, = K,,, Yhde elittää lieaarie regreiomalli: = elitettävä muuttua atuaie, havaittu arvo havaitokiköä = elittävä muuttua eli elittää ei-atuaie, havaittu arvo havaitokiköä ε = ääö- eli virhetermi ε atuaie, ei-havaittu arvo havaitokiköä β = vakioelittää regreiokerroi, ei-atuaie, tutemato vakio β = elittää regreiokerroi, ei-atuaie, tutemato vakio Stadardioletuket ääötermeitä Regreiomalli + β, = K,,, ääö- eli virhetermieε. tadardioletuket: (i E( ε =, =,, K, (ii Jääötermeillä o vakiovariai eli e ovat homokedatiia Var( ε =, =,, K, (iii Jääötermit ovat korreloimattomia Cor( ε, ε l =, l (iv Jäääötermit ovat armaaliakautueita ε N(,, =,, K, ~ Selitettävä muuttua omiaiuudet Jo ääötermeä kokevat tadardioletuket (i-(iii pätevät, elitettävä muuttua havaituilla arvoilla o tokatiet omiaiuudet: (i E( + β, =,, K, (ii Var( =, =,, K, (iii Cor(, l =, l Jo liäki ormaaliuuoletu (iv pätee, ii ~ (iv N( β + β,, =,, K, Steemiaali Tekillie korkeakoulu Kai Virtae Steemiaali Tekillie korkeakoulu Kai Virtae Steemiaali Tekillie korkeakoulu Kai Virtae
Malli parametrit ekä temaattie a atuaie oa Malli + β, =,, K, parametrit regreiokertoimetβ a β ääötermieε hteie variai, ääövariai Var( ε =, =,, K, Regreiokertoimet a ääövariai leeä tutemattomia => e o etimoitava havaioita Jo tadardioletu E( ε pätee, ii havaitut =, =,, K, arvot voidaa eittää kahde oatekiä ummaa = E(, =,,,, miä - E( + β o temaattie oa -ε o atuaie oa Steemiaali Tekillie korkeakoulu Kai Virtae 3 Steemiaali Tekillie korkeakoulu Regreiouora Stemaattie oa E( + β määrittelee regreiouora + β, miä β = regreiouora a -akeli leikkaupite β = regreiouora kulmakerroi Jääötermie variai kuvaa havaitopiteide vaihtelua regreiouora mpärillä Selittää arvo kavaa hdellä kiköllä => β kertoo paloko elitettävä muuttua arvo muuttuu Kai Virtae 4 Yhde elittää lieaarie regreiomalli etimoiti pieimmä eliöumma meetelmällä Eti regreiokertoimille β a β ellaiet arvot, että iide määräämä regreiouora elittäii mahdolliimma hvi elitettävä muuttua arvoe vaihtelu Ueita meetelmiä, eim. pieimmä eliöumma meetelmä miimoidaa ääötermie eliöumma ε i = ( β β = = regreiokertoimie β a β uhtee regreiokertoimie pieimmä eliöumma (PNS- etimaattorit b = b b = = r Steemiaali Kai Virtae 5 Tekillie korkeakoulu Etimoitu regreiouora PNS-etimaattorit b a b määrittelevät etimoidu regreiouora = + r ( Etimoidu regreiouora omiaiuudet: (i Suora kulkee havaitopiteide (, paiopitee kautta (ii Jo r >, uora o oueva (iii Jo r, uora o lakeva < (iv Jo r =, uora o vaakauoraa (v Suora rkkeee (loiveee, o korrelaatio iteiarvo r kavaa (pieeee kekihaota kavaa (pieeee kekihaota pieeee (kavaa Steemiaali Tekillie korkeakoulu Kai Virtae 6 Sovitteet a reiduaalit Etimoidu malli ovitteet: ˆ = b + b, =,, K, etimoidu regreiouora elitettävälle muuttualle atama arvo havaitopiteeä Etimoidu malli reiduaalit: e = ˆ = b b, =,, K, elitettävä muuttua havaitu arvo a ovittee atama arvo erotu Huomaa = ˆ + e, =,, K, Regreiomalli elittää elitettävä muuttua havaittue arvoe vaihtelu itä paremmi mitä lähempää ovitteet ovat elitettävä muuttua havaittua arvoa Regreiomalli elittää elitettävä muuttua havaittue arvoe vaihtelu itä paremmi mitä pieempiä ovat etimoidu malli reiduaalit Steemiaali Kai Virtae 7 Tekillie korkeakoulu Sovitteide a reiduaalie havaiollitu Malli: + β, =,, K, PNS-uora: = b + b Sovite: ˆ = b + b, =,, K, Reiduaali: e ˆ =, =,, K, Steemiaali Tekillie korkeakoulu e ˆ (, = b + b (, ˆ Kai Virtae 8 3
Jääövariai etimoiti Jo ääötermeä kokevat tadardioletuket pätevät, ääövariai Var(ε = harhato etimaattori o = e e = ˆ = b b, =,, K, = = etimoidu malli reiduaali = havaitoe lukumäärä Jääövariai etimaattori kuvaa havaitopiteide vaihtelua etimoidu regreiouora mpärillä Etimaattori o mö reiduaalie e variai, koka e = e = i = i e e e ( = = = = Variaiaalihaotelma idi Kuika hvi elitettävä muuttua havaittue arvoe vaihtelu elittävä muuttua havaittue arvoe vaihtelulla? Vatau:variaiaalihaotelma!!!! Haotelmaa elitettävä muuttua havaittue arvoe kokoaivaihtelua kuvaava. kokoaieliöumma aetaa kahde oatekiä ummaki: (i (ii Toie oatekiä kuvaa etimoidu malli elittämää oaa kokoaivaihteluta Toie oatekiä kuvaa mallilla elittämättä äättä oaa kokoaivaihteluta Kokoaieliöumma a ääöeliöumma Kokoaieliöumma SST = ( = kuvaa elitettävä muuttua havaittue arvoe vaihtelua elitettävä muuttua havaittue arvoe variai = SST = e = kuvaa reiduaalie e vaihtelua mallia vakioelittää => e = a reiduaalie e variai = SSE o ääövariai harhato etimaattori Jääöeliöumma SSE Steemiaali Tekillie korkeakoulu Kai Virtae 9 Steemiaali Tekillie korkeakoulu Kai Virtae Steemiaali Tekillie korkeakoulu Kai Virtae Kokoai- a ääöeliöumma hte Jääöeliöumma SSE a kokoaieliöumma SST toteuttaa SSE = e = ( r ( = ( r SST = = oa r o otokorrelaatiokerroi Koka r +, ii SSE SST Seuraavat ehdot ovat htäpitäviä: - SSE = e = kaikille =,,, r = ± - kaikki havaitopiteet ovat amalla uoralla - lieaarie regreiomalli elittää tädellieti elitettävä muuttua havaittue arvoe vaihtelu Seuraavat ehdot ovat htäpitäviä: - SSE = SST e = kaikille =,,, r = - elitettävä muuttua havaittue arvoe vaihtelua ei voida elittää lieaariella regreiomallilla Steemiaali Tekillie korkeakoulu Kai Virtae Steemiaali Tekillie korkeakoulu Mallieliöumma Määritellää mallieliöummaki SSM htälöllä SSM = SST SSE Voidaa ooittaa, että SSM = ( ˆ = Koka SSE SST, ii SSM Mallieliöumma SSM voidaa eittää mö muodoa SSM = ( ˆ ˆ = oa ˆ = ˆ = = = = Kai Virtae 3 Mallieliöumma a variaiaalihaotelma Määritellää mallieliöumma SSM SSM = SST SSE Variaiaalihaotelmaa SST = SST = SSM + SSE, ( = elitettävä muuttua havaittue arvoe vaihtelua kuvaava kokoaieliöumma SST o eitett kahde oatekiä ummaa: (i Mallieliöumma SSM kuvaa itä oaa elitettävä muuttua havaittue arvoe vaihteluta, oka malli o elittät SSM = ( ˆ = (ii Jääöeliöumma SSE kuvaa itä oaa elitettävä muuttua havaittue arvoe vaihteluta, ota malli ei ole elittät SSE = e = Steemiaali Tekillie korkeakoulu Kai Virtae 4 4
Steemiaali Tekillie korkeakoulu Selitate Variaiaalihaotelma SST=SSM+SSE avulla voidaa kuvata regreiomalli hvttä: mitä uurempi o mallieliöumma SSM ouu kokoaieliöummata SST, itä paremmi malli elittää elitettävä muuttua havaittue arvoe vaihtelu mitä pieempi o ääöeliöumma SSE ouu kokoaieliöummata SST, itä paremmi etimoitu malli elittää elitettävä muuttua havaittue arvoe vaihtelu Variaiaalihaotelma motivoi tuuluvu SSE SSM R = = kätö regreiomalli hvde mittaria SST SST Selitate R mittaa malli elittämää ouutta elitettävä muuttua havaittue arvoe kokoaivaihteluta Ilmaitaa tavallieti proetteia R % R = [ Cor(, ˆ ], oa Cor(* o elitettävä muuttua havaittue arvoe a ovitteide otokorrelaatiokerroi Yhde elittää lieaariea regreiomallia R = r Kai Virtae 5 Selitatee omiaiuudet (i R (ii Seuraavat ehdot ovat htäpitäviä: ( R = ( Kaikki reiduaalit häviävät, e = (3 Kaikki havaitopiteet (, aettuvat amalle uoralle (4 r = ± (5 Malli elittää tädellieti elitettävä muuttua havaittue arvoe vaihtelu (iii Seuraavat ehdot ovat htäpitäviä: ( R = ( b = (3 r = (4 Malli ei elitä ollekaa elitettävä muuttua havaittue arvoe vaihtelua Steemiaali Kai Virtae 6 Tekillie korkeakoulu Sekä elitettävä että elittää atuaimuuttuia Satuaimuuttuat a oudattavat -ulotteita ormaaliakaumaa N (µ, µ,,, ρ parametrit: odotuarvot, variait a korrelaatiokerroi Satuaimuuttua ehdollie akauma atuaimuuttua uhtee o ~ N ( µ, oa µ = E( = µ + ρ ( µ = Var( = ( ρ Satuaimuuttua regreiofuktio atuaimuuttua uhtee = ehdollie odotuarvo Regreiofuktio määrittelee -koordiaatitoa uora = µ + ρ ( µ Steemiaali Tekillie korkeakoulu Kai Virtae 7 -ulotteie ormaaliakauma regreiofuktiota vataava lieaarie regreiomalli Havoiot ( i, i eivät leeä toteuta regreiofuktiota = µ + ρ ( µ => liätää iihe tadarioletukia oudattavat virhetermit ε => lieaarie regreiomalli + β, = K,,, Etimoidaa regreiofuktio tutemattomat parametrit otouureilla => timallee PNS-etimaattorit => timallee amalaie variaiaalihaotelma kui determiitiellä elittäällä Determiitie a tokatie elittää ohtaa timallee amalaiee lieaariee regreiomallii!!!!!!!!!! Steemiaali Tekillie korkeakoulu Kai Virtae 8 5