Regressiodiagnostiikka. Regressiodiagnostiikka. Regressiodiagnostiikka: Mitä opimme? 2/2. Regressiodiagnostiikka: Mitä opimme? 1/2

Transkriptio

1 TKK (c) Ilkka Melli (004) Regressiodiagostiikka Jodatus tilastotieteesee Regressiodiagostiikka Yleie lieaarie malli a regressiodiagostiikka Poikkeavat avaiot Regressiokertoimie vakioisuus Multikollieaarisuus Homoskedastisuus a eteroskedastisuus Malli eustuskyky TKK (c) Ilkka Melli (004) Regressiodiagostiikka: Mitä opimme? / Regressiomallie soveltamise pääkysymys o seuraava: Kuvaako selitettävä muuttua a selittäie väliselle tilastolliselle riippuvuudelle täsmeetty regressiomalli riippuvuutta oikei? Ns. stadardioletukset takaavat se, että pieimmä eliösumma meetelmä tuottaa regressioparametreille optimaaliset estimaattorit. Jos s. stadardioletukset eivät päde, pieimmä eliösumma meetelmä ei välttämättä ole optimaalie. Regressiodiagostiikassa estimoituu regressiomallii kodistetaa diagostisia testeä, oilla pyritää selvittämää pätevätkö mallista tedyt stadardioletukset. Jos diagostiset testi osoittavat, että regressiomalli o täsmeetty vääri, voidaa mallia pyrkiä koraamaa ii, että se kuvaisi paremmi selitettävä muuttua a selittäie välistä tilastollista riippuvuutta. Regressiodiagostiikka: Mitä opimme? / Tässä luvussa tarkastellaa seuraavia regressiodiagostiika kotia: Regressiografiika käyttö regressiodiagostiikassa Poikkeavat avaiot a iide tuistamie Regressiokertoimie vakioisuude testaamie Selittäie multikollieaarisuude vaikutukset a mittaamie Malli ääöstermi omoskedastisuus a eteroskedastisuus Malli ääöstermi korreloitueisuus Malli ääöstermi ormaalisuus Malli eustuskyky TKK (c) Ilkka Melli (004) 3 TKK (c) Ilkka Melli (004) 4 Regressiodiagostiikka: Esitiedot Esitiedot: ks. seuraavia lukua: Yleie lieaarie malli Moiulotteiset satuaismuuttuat a todeäköisyysakaumat Moiulotteisia todeäköisyysakaumia Regressiodiagostiikka: Lisätiedot Yleise lieaarise malli soveltamise erityiskysymyksiä käsitellää myös luvuissa Regressiomalli valita Regressioaalyysi erityiskysymyksiä TKK (c) Ilkka Melli (004) 5 TKK (c) Ilkka Melli (004) 6

2 TKK (c) Ilkka Melli (004) 7 Regressiodiagostiikka Yleie lieaarie malli a regressiodiagostiikka >> Yleie lieaarie malli a regressiodiagostiikka Poikkeavat avaiot Regressiokertoimie vakioisuus Multikollieaarisuus Homoskedastisuus a eteroskedastisuus Malli eustuskyky Avaisaat Determiistie malli Heteroskedastisuus Homoskedastisuus Jääöstermi Korrelaatio Lieaarie regressiomalli Malli eustuskyky Malli spesifioiti Malli täsmetämie Multikollieaarisuus Pieimmä eliösumma meetelmä Poikkeava avaito Rakeeosa Regressioaalyysi Regressiodiagostiikka Regressiofuktio Regressiokerroi Regressiomalli Satuaie osa Selitettävä muuttua Selittäie valita Selittämie Selittävä muuttua Spesifioitivire Stadardioletus Systemaattie osa Tilastollie riippuvuus Vakioparametrisuusoletus TKK (c) Ilkka Melli (004) 8 Yleie lieaarie malli a regressiodiagostiikka Regressiomallit selitysmalleia Yleie lieaarie malli a regressiodiagostiikka Regressiomallie yleie muoto /3 Oletetaa, että tavoitteea o selittää selitettävä muuttua y avaittue arvoe vaitelu selittävie muuttuie eli selittäie x, x,, x k avaittue arvoe vaitelu avulla. Sitä varte selitettävä muuttua y tilastolliselle riippuvuudelle selittäistä x, x,, x k pyritää raketamaa tilastollie malli, ota kutsutaa regressiomalliksi. Olkoo y = f( x, x,, xk; β) + ε, =,,, selitettävä muuttua y regressiomalli selittäie x, x,, x k sutee. Tällöi y = selitettävä muuttua y satuaie a avaittu arvo avaitoyksikössä x i = selittävä muuttua x i avaittu arvo avaitoyksikössä, i =,,, k ε = satuaie a ei-avaittu ääös- eli viretermi avaitoyksikössä TKK (c) Ilkka Melli (004) 9 TKK (c) Ilkka Melli (004) 0 Yleie lieaarie malli a regressiodiagostiikka Regressiomallie yleie muoto /3 Yleie lieaarie malli a regressiodiagostiikka Regressiomallie yleie muoto 3/3 Regressiomallissa y = f( x, x,, xk; β) + ε, =,,, selittäie x, x,, x k avaittue arvoe fuktio f( x, x,, xk; β) muodostaa malli systemaattise osa eli rakeeosa a ääöstermi ε muodostaa malli satuaise osa. Malli systemaattie osa kuvaa selitettävä muuttua y tilastollista riippuvuutta selittäistä x, x,, x k. Regressiomallissa y = f( x, x,, xk; β) + ε, =,,, malli systemaattise osa määräävä fuktio f( x, x,, xk; β) riippuu parametrista β = (β, β,, β p ) oka tarkemmi määrää fuktio f muodo. Huomautus: Tavallisesti parametri β arvo o tutemato a o siksi estimoitava avaioista. TKK (c) Ilkka Melli (004) TKK (c) Ilkka Melli (004)

3 TKK (c) Ilkka Melli (004) 3 Yleie lieaarie malli a regressiodiagostiikka Oko malli oikea a oko malli yvä? Regressioaalyysi peruskysymykset: (i) Kuvaako malli selitettävä muuttua a selittäie välistä riippuvuutta sisällöllisesti oikei? Kysymys ei ole tilastotieteellie a siie vastaamie vaatii tutkittavaa ilmiötä kuvaava taustateoria tutemusta. (ii) Kuvaako malli selitettävä muuttua a selittäie välistä riippuvuutta tilastollisesti oikei? Kysymys o tilastotieteellie a siie voidaa pyrkiä vastaamaa tilastotietee keioi. Yleie lieaarie malli a regressiodiagostiikka Regressiomalli yvyys a regressiodiagostiikka / Regressiomallia pidetää tilastollisesti oikeaa, os mallista saadut estimoititulokset ovat sopusoiussa mallia koskevie oletuksie kassa. Siksi regressiomallia koskevie oletuksie tarkistamie muodostaa keskeise osa regressioaalyysi soveltamista. Regressiomallia koskevie oletuksie tarkistamista o tapaa kutsua regressiodiagostiikaksi. TKK (c) Ilkka Melli (004) 4 Yleie lieaarie malli a regressiodiagostiikka Regressiomalli yvyys a regressiodiagostiikka / Regressiodiagostiikassa käytetää seuraavia meetelmiä: Estimoii oistumista avaiollistetaa tilastografiikalla. Estimoii oistumista kuvataa diagostisilla tuusluvuilla. Mallia koskevia oletuksia testataa diagostisilla testeillä. Yleie lieaarie malli a regressiodiagostiikka Regressiomalli spesifioiti eli täsmetämie / Tilastollise malli muodo a mallia koskevie oletuksie määrittelemistä kutsutaa malli spesifioiiksi eli täsmetämiseksi. Määriteltyä mallia kutsutaa spesifikaatioksi tai täsmeykseksi. TKK (c) Ilkka Melli (004) 5 TKK (c) Ilkka Melli (004) 6 Yleie lieaarie malli a regressiodiagostiikka Regressiomalli spesifioiti eli täsmetämie / Regressiomalli spesifioimie tarkoittaa seuraavie valitoe tekemistä: (i) Malli selitettävä muuttua a selittäie valita. (ii) Malli systemaattise eli rakeeosa fuktioaalise muodo a parametroii valita. (iii) Malli selitettävä muuttua a selittäie fuktioaalise muodo valita. (iv) Malli ääöstermiä koskevie stokastiste oletuksie valita. Yleie lieaarie malli a regressiodiagostiikka Regressiomalli täsmetämie: Kommettea Valiat (i)-(iii) liittyvät regressiomalli rakeeosa spesifioitii. Valita (iv) liittyy regressiomalli ääöstermi spesifioitii. Huomautus: Valiat (i)-(iv) eivät ole toisistaa riippumattomia. TKK (c) Ilkka Melli (004) 7 TKK (c) Ilkka Melli (004) 8

4 TKK (c) Ilkka Melli (004) 9 Yleie lieaarie malli a regressiodiagostiikka Lieaariset regressiomallit Olkoo selitettävä muuttua y regressiomalli selittäie x, x,, x k sutee muotoa y = β0 + βx+ βx + + βkxk + ε, =,,, Tällöi malli o lieaarie sekä parametrie (regressiokertoimie) β 0, β, β,, β k että selittäie x, x,, x k sutee a sitä kutsutaa yleiseksi lieaariseksi malliksi. Yleie lieaarie malli a regressiodiagostiikka Yleie lieaarie malli: Määritelmä Olkoo y = β0 + βx+ βx + + βkxk + ε, =,,, yleie lieaarie malli, ossa y = selitettävä muuttua y satuaie a avaittu arvo avaitoyksikössä x i = selittävä muuttua eli selittää x i avaittu arvo avaitoyksikössä, i =,,, k β 0 = vakioselittää tutemato regressiokerroi β i = selittää x i tutemato regressiokerroi ε = satuaie a ei-avaittu ääös- eli viretermi avaitoyksikössä TKK (c) Ilkka Melli (004) 0 Yleie lieaarie malli a regressiodiagostiikka Yleie lieaarie malli: Matriisiesitys Yleie lieaarie malli voidaa esittää matriisei muodossa y = Xβ + ε ossa y = selitettävä muuttua y avaittue arvoe muodostama satuaie -vektori X = selittäie x, x,, x k avaittue arvoe a ykköste muodostama (k + )-matriisi β = regressiokertoimie muodostama tutemato a kiiteä eli ei-satuaie (k + )-vektori ε = ääöstermie muodostama ei-avaittu a satuaie -vektori Yleie lieaarie malli a regressiodiagostiikka Yleie lieaarie malli: Stadardioletukset kiiteille selittäille Jos yleise lieaarise malli y = Xβ + ε selittäät x, x,, x k ovat kiiteitä eli ei-satuaisia muuttuia, mallia koskevat stadardioletukset voidaa esittää matriisei seuraavassa muodossa: (i) Matriisi X alkiot ovat ei-satuaisia vakioita. (ii) Matriisi X o täysiasteie: r(x) = k + (iii) E(ε) = 0 (iv)&(v) Homoskedastisuus- a korreloimattomuusoletus: Cov(ε) = σ I (vi) oletus: ε N (0, σ I) TKK (c) Ilkka Melli (004) TKK (c) Ilkka Melli (004) Yleie lieaarie malli a regressiodiagostiikka Yleie lieaarie malli: Stadardioletukset satuaisille selittäille Jos yleise lieaarise malli y = Xβ + ε selittäät x, x,, x k ovat satuaismuuttuia, mallia koskevat stadardioletukset voidaa esittää matriisei seuraavassa muodossa: (i) Matriisi X alkiot ovat satuaismuuttuia. (ii) Matriisi X o täysiasteie: r(x) = k + (iii) E(ε X) = 0 (iv) &(v) Homoskedastisuus- a korreloimattomuusoletus: Cov(ε X) = σ I (vi) oletus: (ε X) N (0, σ I) Yleie lieaarie malli a regressiodiagostiikka Yleie lieaarie malli: Rakeeosa a ääösosa Yleisessä lieaarisessa mallissa y = Xβ + ε selitettävä muuttua arvoe vektori y o esitetty kade osatekiä summaa. Malli systemaattie eli rakeeosa E( yx) = Xβ riippuu selittäie avaituista arvoista. Jääöstermi ε muodostaa malli satuaise osa, oka ei riipu selittäie avaituista arvoista. TKK (c) Ilkka Melli (004) 3 TKK (c) Ilkka Melli (004) 4

5 TKK (c) Ilkka Melli (004) 5 Yleie lieaarie malli a regressiodiagostiikka Yleie lieaarie malli: Regressiokertoimie PNS-estimoiti / Yleise lieaarise malli y = β0 + βx+ βx + + βkxk + ε, =,,, regressiokertoimie β 0, β, β,, β k PNS- eli pieimmä eliösumma estimaattorit b 0, b, b,, b k miimoivat ääös- eli viretermie ε eliösumma ε = ( y β0 βx βx βkxk) = = kertoimie β 0, β, β,, β k sutee. Yleie lieaarie malli a regressiodiagostiikka Yleie lieaarie malli: Regressiokertoimie PNS-estimoiti / Yleise lieaarise malli y = Xβ + ε regressiokertoimie vektori β = (β 0, β, β,, β k ) PNS-estimaattori voidaa esittää matriisei muodossa b= ( XX ) Xy TKK (c) Ilkka Melli (004) 6 Yleie lieaarie malli a regressiodiagostiikka Yleie lieaarie malli: PNS-estimaattori omiaisuudet Yleise lieaarise malli y = Xβ + ε regressiokertoimie vektori β PNS-estimaattorilla b= ( XX ) Xy o stadardioletuksie (i)-(vi) pätiessä seuraavat stokastiset omiaisuudet: E( b) = β Cov( b) = σ ( XX ) b N ( β, σ ( XX ) ) k+ Yleie lieaarie malli a regressiodiagostiikka Yleie lieaarie malli: Sovitteet a residuaalit / Olkoo b = (b 0, b, b,, b k ) regressiokertoimie vektori β = (β 0, β, β,, β k ) PNS-estimaattori. Määritellää estimoidu malli sovitteet yˆ kaavalla yˆ = b0 + bx + bx + + b k x k, =,,, Määritellää estimoidu malli residuaalit e kaavalla e = y yˆ = y b bx b x b x, =,,, 0 k k TKK (c) Ilkka Melli (004) 7 TKK (c) Ilkka Melli (004) 8 Yleie lieaarie malli a regressiodiagostiikka Yleie lieaarie malli: Sovitteet a residuaalit / Sovitteide muodostama -vektori voidaa esittää matriisei muodossa yˆ = Xb = X( X X) X y = Py Residuaalie muodostama -vektori voidaa esittää matriisei muodossa e = y yˆ = ( I X( XX ) X ) y = ( I P) y = My Huomautus: Koska residuaalit kuvaavat estimoidu regressiomalli a avaitoarvoe yteesopivuutta, moet regressiodiagostiika meetelmistä perustuvat estimoidu regressiomalli residuaaleii tai iide muuoksii. TKK (c) Ilkka Melli (004) 9 Yleie lieaarie malli a regressiodiagostiikka Yleie lieaarie malli: Sovitteide a residuaalie omiaisuudet Sovitteide muodostamalla -vektorilla ŷ o seuraavat stokastiset omiaisuudet : E( yˆ ) = Xβ Cov( yˆ ) = σ P = σ X( XX ) X Residuaalie muodostamalla -vektorilla e o seuraavat stokastiset omiaisuudet : E( e) = 0 Cov( e) = σ M = σ ( I P) = σ ( I X( XX ) X ) Huomautus: Yllä oleva mukaa residuaalit e ovat yleesä sekä eteroskedastisia että korreloitueita, vaikka ääöstermit ε o oletettu omoskedastisiksi a korreloimattomiksi. TKK (c) Ilkka Melli (004) 30

6 TKK (c) Ilkka Melli (004) 3 Yleie lieaarie malli a regressiodiagostiikka Yleie lieaarie malli: Proektiomatriisit P a M Matriisit P= X( XX ) X M = I P= I X( XX ) X ovat symmetrisiä a idempotettea eli proektioita: P = P P = P M = M M = M Lisäksi PM = MP = 0 Matriisia P kutsutaa regressiodiagostiikassa usei attumatriisiksi. Yleie lieaarie malli a regressiodiagostiikka Yleie lieaarie malli: Jääösvariassi estimoiti Yleise lieaarise malli ääöstermie ε variassi eli ääösvariassi σ arato estimaattori o s = e k = ossa e = estimoidu malli residuaali, =,,, = avaitoe lukumäärä k = (aitoe) selittäie x i lukumäärä TKK (c) Ilkka Melli (004) 3 Yleie lieaarie malli a regressiodiagostiikka Yleie lieaarie malli: Malli spesifioiti Yleistä lieaarista mallia y = Xβ + ε sovellettaessa pääkiiostus kodistuu malli systemaattise osa eli rakeeosa E( yx) = Xβ oikeaa spesifioitii eli täsmetämisee, koska uuri malli rakeeosa kuvaa selitettävä muuttua y riippuvuutta selittäistä x, x,, x k. Vireet malli rakeeosa spesifioiissa otavat vireellisii otopäätöksii selitettävä muuttua a selittäie välisestä riippuvuudesta. Yleie lieaarie malli a regressiodiagostiikka Yleie lieaarie malli: Spesifioitivireet malli rakeeosassa /3 Spesifioitivireitä lieaarise malli rakeeosassa: (i) Sovelletaa lieaarista mallia, vaikka selitettävä muuttua y riippuvuus selittäistä x, x,, x k ei ole lieaarista. (ii) Mallissa o väärät selittäät: Mallista puuttuu selittäiä. Mallissa o liikaa selittäiä. (iii) Selitettävä muuttua a/tai selittäät ovat mallissa väärässä fuktioaalisessa muodossa. (iv) Oletetaa vireellisesti, että regressiokertoimet ovat vakioita. TKK (c) Ilkka Melli (004) 33 TKK (c) Ilkka Melli (004) 34 Yleie lieaarie malli a regressiodiagostiikka Yleie lieaarie malli: Spesifioitivireet malli rakeeosassa /3 Kommettea kotii (i)-(iv): (i) Epälieaariste regressiomallie käsittely sivuutetaa tässä esityksessä. (ii) Selittäie valita o regressioaalyysi keskeisiä a vaikeimpia ogelmia. Ks. lukua Regressiomalli valita. (iii) Sopiva selitettävä muuttua a/tai selittäie muuos saattaa liearisoida selitettävä muuttua a selittäie epälieaarise riippuvuude. Ks. lukua Regressiomalli valita. (iv) Parametrie vakioisuutta o madollista testata. Ks. kappaletta Parametrie vakioisuus. TKK (c) Ilkka Melli (004) 35 Yleie lieaarie malli a regressiodiagostiikka Yleie lieaarie malli: Spesifioitivireet malli rakeeosassa 3/3 Vai uolellie peretymie tutkittava ilmiö taustateoriaa madollistaa regressiomalli rakeeosa spesifioii oikei. Spesifioitivireet regressiomalli rakeeosassa tulevat tavallisesti esii estimoidu malli residuaaleissa. TKK (c) Ilkka Melli (004) 36

7 TKK (c) Ilkka Melli (004) 37 Yleie lieaarie malli a regressiodiagostiikka Yleie lieaarie malli: Malli ääöstermi spesifioiti Vaikka yleistä lieaarista mallia y = Xβ + ε sovellettaessa pääasiallie kiiostus kodistuu malli systemaattise osa eli rakeeosa E( yx) = Xβ oikeaa spesifioitii, o syytä uomata, että malli ääöstermille ε valittu spesifikaatio eli täsmeys vaikuttaa sekä estimoitimeetelmä valitaa että mallista tetävää tilastollisee päättelyy. Yleie lieaarie malli a regressiodiagostiikka Yleie lieaarie malli: Spesifioitivireet malli ääöstermissä /3 Spesifioitivireitä lieaarise malli ääöstermissä: (i) Oletetaa vireellisesti, että ääöstermi ε o omoskedastie a korreloimato. (ii) Oletetaa vireellisesti, että ääöstermi ε o ormaalie. TKK (c) Ilkka Melli (004) 38 Yleie lieaarie malli a regressiodiagostiikka Yleie lieaarie malli: Spesifioitivireet malli ääöstermissä /3 Kommettea kotii (i)-(ii): (i) Jos ääöstermiä koskeva omoskedastisuustai korreloimattomuusoletus ei päde, regressiokertoimie PNS-estimaattorit eivät ole paraita Gaussi a Markovi lausee mielessä. Ks. lukua Regressiomalli erityiskysymyksiä. (ii) Jos ääöstermiä koskeva ormaalisuusoletus ei päde, t-a F-akaumii perustuva tilastolliset testit eivät välttämättä ole päteviä. Yleie lieaarie malli a regressiodiagostiikka Yleie lieaarie malli: Spesifioitivireet malli ääöstermissä 3/3 Spesifioitivireet regressiomalli ääöstermissä äkyvät tavallisesti estimoidu malli residuaaleissa. Estimoidu malli residuaaleissa avaittu eteroskedastisuus, korreloitueisuus tai epäormaalisuus ei kuitekaa välttämättä merkitse sitä, että malli ääöstermi o spesifioitu vääri. Residuaalie eteroskedastisuus, korreloitueisuus tai epäormaalisuus saattavat idikoida myös sitä, että malli rakeeosa o spesifioitu vääri. TKK (c) Ilkka Melli (004) 39 TKK (c) Ilkka Melli (004) 40 Yleie lieaarie malli a regressiodiagostiikka Yleie lieaarie malli: Spesifioitivireide vaikutukset Regressioaalyysissa pääkiiostus kodistuu oikea spesifikaatio löytämisee regressiomalli systemaattiselle osalle eli rakeeosalle, koska uuri rakeeosa kuvaa selitettävä muuttua riippuvuutta selittäistä. Regressiomalli ääöstermi spesifikaatio vaikuttaa kuiteki voimakkaasti sekä malli estimoitii että testauksee. Sekä regressiomalli rakeeosa että ääöstermi vireellie spesifioiti äkyy tavallisesti estimoidu malli residuaaleissa. Yleie lieaarie malli a regressiodiagostiikka Yleie lieaarie malli: Diagostiset tarkistukset Regressiomalli o aia syytä alistaa seuraavie diagostiste tarkistuste koteeksi: (i) Oko avaitoe oukossa regressioaalyysi tuloksia vääristäviä poikkeavia avaitoa? (ii) Ovatko regressiokertoimet vakioita? (iii) Ovatko selittäät itseäisiä? (iv) Ovatko malli ääöstermit omoskedastisia? (v) Ovatko malli ääöstermit korreloimattomia? (vi) Ovatko malli ääöstermit ormaalisia? TKK (c) Ilkka Melli (004) 4 TKK (c) Ilkka Melli (004) 4

8 TKK (c) Ilkka Melli (004) 43 Yleie lieaarie malli a regressiodiagostiikka Yleie lieaarie malli: Malli eustuskyvy arvioiti O syytä muistaa, että voimakkai testi tieteelliselle selitysmallille o se kyky eustaa. Siksi regressiomallea sovellettaessa o aia syytä testata malli eustuskykyä tavaomaiste diagostiste tarkistuste lisäksi. Regressiodiagostiikka Yleie lieaarie malli a regressiodiagostiikka >> Poikkeavat avaiot Parametrie vakioisuus Multikollieaarisuus Homoskedastisuus a eteroskedastisuus Malli eustuskyky TKK (c) Ilkka Melli (004) 44 Regressiomalli yvyys a regressiografiikka Avaisaat Aikasaradiagrammi Heteroskedastisuus Homoskedastisuus Jääöstermi Korrelaatio Lieaarie regressiomalli Pistediagrammi Rakeeosa Residuaali Residuaalidiagrammi Satuaie osa Selitysaste Sovite Systemaattie osa Regressiomalli yvyyttä voidaa tutkia mallista saatua estimoitituloksia avaiollistavie graafiste esityste avulla. Regressiografiika stadardikuviot: (i) Kuviot, oide avulla estimoidu malli sovitteita verrataa selitettävä muuttua avaittuii arvoii. (ii) Kuviot, oide avulla avaiollistetaa estimoidu malli residuaalea. TKK (c) Ilkka Melli (004) 45 TKK (c) Ilkka Melli (004) 46 Sovitteide tutkimie: Pistediagrammie käyttö / Regressiomalli spesifikaatio yvyyttä voidaa tutkia vertaamalla estimoidu malli sovitteita selitettävä muuttua avaittuii arvoii piirtämällä iide riippuvuutta avaiollistava pistediagrammi: Piirretää sovitteet selitettävä muuttua avaittua arvoa vastaa eli esitetää lukuparit ( y ˆ, y), =,,, pisteiä avaruudessa. Sovitteide tutkimie: Pistediagrammie käyttö / Regressiomalli o sitä parempi mitä läempää pisteet ( y ˆ, y), =,,, ovat suoraa, oka kulmakerroi =. Pisteide ( y ˆ, y), =,,, muodostama pistepilve tai -parve käyristymie viittaa regressiomalli rakeeosa väärää spesifikaatioo eli täsmeyksee. Poikkeavat avaiot erottuvat tavallisesti kaukaa em. suorasta olevia pisteiä. TKK (c) Ilkka Melli (004) 47 TKK (c) Ilkka Melli (004) 48

9 TKK (c) Ilkka Melli (004) 49 Sovitteide tutkimie: Malli yvyyde mittaamie Regressiomalli yvyyde mittaria voidaa käyttää selitettävä muuttua y avaittue arvoe y a estimoidu malli sovitteide yˆ otoskorrelaatiokerroita Cor( yy, ˆ) Jos estimoitu regressiomalli o lieaarie a mallissa o vakio, [ ] Cor( yy, ˆ) = R ossa R o estimoidu malli selitysaste. Residuaalie tutkimie: Residuaalidiagrammit / Regressiomalli spesifikaatio yvyyttä voidaa tutkia piirtämällä estimoidu malli residuaaleista kuviot, oita kutsutaa residuaalidiagrammeiksi: (i) Piirretää residuaalit sovitteita vastaa eli esitetää lukuparit ( yˆ, e), =,,, pisteiä avaruudessa. (ii) Piirretää residuaalit eri selittäie arvoa vastaa eli esitetää lukuparit ( x i, e ), =,,, ; i =,,, k pisteiä avaruudessa. TKK (c) Ilkka Melli (004) 50 Residuaalie tutkimie: Residuaalidiagrammit / Oikei täsmeety regressiomalli residuaalidiagrammeissa pisteet muodostavat vaakatasossa vasemmalta oikealle eteevät tasaleveät pistepilvet tai -parvet, oissa ei äy poikkeavia avaitoa. Residuaalidiagrammie pistepilvie käyristymie viittaa regressiomalli rakeeosa väärää spesifikaatioo eli täsmeyksee: (i) Selitettävä muuttua riippuvuus selittäistä ei ole lieaarista. (ii) Mallissa ei ole oikeita selittäiä. (iii) Selitettävä muuttua a/tai selittäät eivät ole oikeassa fuktioaalisessa muodossa. TKK (c) Ilkka Melli (004) 5 Residuaalie tutkimie: Heteroskedastisuus Jos residuaalidiagrammie pistepilvet tai -parvet eivät ole tasaleveitä (esim. pilvet leveevät oikealle tai vasemmalle), regressiomalli ääöstermi saattaa olla eteroskedastie. Estimoidu malli residuaalie eteroskedastisuus saattaa kuiteki viitata myös malli rakeeosa väärää spesifikaatioo eli täsmeyksee. TKK (c) Ilkka Melli (004) 5 Aikasaroe regressiomallit Aikasaroe regressiomalleissa oletetaa, että avaiot o ärestetty aassa ii, että avaitoideksi =,,, arvot viittaavat peräkkäisii aaetkii. Huomautus: Aikasaroissa avaitoideksiä käytetää usei kiraita t: t time Aikasaroe regressiomallit: Sovitteide a residuaalie tutkimie /3 Aikasaroe regressiomalli spesifikaatio yvyyttä tutkitaa tavallisesti piirtämällä seuraavat aikasaradiagrammit: (i) Piirretää selitettävä muuttua avaitut arvot y, =,,..., a estimoidu malli sovitteet yˆ, =,,..., aikasaroia samaa kuvioo. (ii) Piirretää estimoidu malli residuaalit e, =,,..., aikasaraa. TKK (c) Ilkka Melli (004) 53 TKK (c) Ilkka Melli (004) 54

10 TKK (c) Ilkka Melli (004) 55 Aikasaroe regressiomallit: Sovitteide a residuaalie tutkimie /3 Aikasaradiagrammit ovat pistediagrammea, oissa muuttua arvot piirretää aikaa vastaa. Tavallisesti peräkkäisii avaitoii liittyvät pisteet ydistetää aikasaradiagrammissa aalla. Site edellisellä kalvolla maiitut aikasaradiagrammie piirtämie merkitsee seuraavie pistediagrammie piirtämistä: (i) Selittettävä muuttua arvot: ( y, ), =,,..., Sovitteet: (, yˆ ), =,,..., (ii) Residuaalit: ( e, ), =,,..., Aikasaroe regressiomallit: Sovitteide a residuaalie tutkimie 3/3 Regressiomalli o sitä parempi, mitä läempää estimoidu malli sovitteide muodostama aikasara yˆ, =,,, kulkee selitettävä muuttua avaittue arvoe muodostamaa aikasaraa y, =,,, tai mikä o sama asia mitä pieempiä ovat residuaalit e, =,,..., Aikasaradiagrammeista (i) a (ii) (ks. edelliset kalvot) ädää miä aaetkiä malli selittää selitettävä muuttua käyttäytymistä yvi a miä uoosti. TKK (c) Ilkka Melli (004) 56 Aikasaroe regressiomallit: Residuaalit a regressiodiagostiikka Jos residuaaliaikasara pistepilvi ei ole tasaleveä (esim. pilvi leveee oikealle tai vasemmalle), regressiomalli ääöstermi saattaa olla eteroskedastie. Residuaaliaikasara eteroskedastisuus saattaa kuiteki viitata myös malli rakeeosa väärää spesifikaatioo eli täsmeyksee. Jääöstermi korreloitueisuus tulee esille residuaaliaikasara sisäisessä rytmiikassa (autokorrelaatioraketeessa). Residuaaliaikasara korreloitueisuus saattaa kuiteki viitata myös malli rakeeosa väärää spesifikaatioo eli täsmeyksee. Regressiodiagostiikka Yleie lieaarie malli a regressiodiagostiikka >> Poikkeavat avaiot Parametrie vakioisuus Multikollieaarisuus Homoskedastisuus a eteroskedastisuus Malli eustuskyky TKK (c) Ilkka Melli (004) 57 TKK (c) Ilkka Melli (004) 58 Poikkeavat avaiot Poikkeavat avaiot Poikkeavat a ormaalit avaiot Avaisaat Cooki etäisyys Hattumatriisi Leverage Lieaarie regressiomalli Normaali avaito Poikkeava avaito Poistoresiduaali Residuaali Residuaalidiagrammi Sovite Stadardoitu poistoresiduaali Stadardoitu residuaali Vipuluku Poikkeavalla avaiolla (egl. outlier) tarkoitetaa avaitoa, oka eroaa ossaki mielessä merkitsevästi muista avaioista. Tilastollise aalyysi kaalta avaitoa voidaa pitää poikkeavaa, os se vääristää tilastollise aalyysi tulokset: (i) Jos avaio poistamie muuttaa oleaisesti tilastollise aalyysi tuloksia, avaito o poikkeava. (ii) Jos avaio poistamie ei oleaisesti muuta tilastollise aalyysi tuloksia, avaito o ormaali. TKK (c) Ilkka Melli (004) 59 TKK (c) Ilkka Melli (004) 60

11 TKK (c) Ilkka Melli (004) 6 Poikkeavat avaiot Poikkeavie avaitoe vaikutukset Poikkeavat avaiot Poikkeavie avaitoe tuistamie / Regressioaalyysissa poikkeavat avaiot saattavat aieuttaa seuraavia vaikeuksia: (i) Malli valita vaikeutuu. (ii) Malli estimoiti akaloituu. (iii) Mallia koskeva tilastollie päättely saattaa vääristyä. Regressioaalyysissa poikkeavie avaitoe tuistamisee käytetää sekä graafisia meetelmiä että erityisesti iide tuistamisee kostruoitua tuuslukua. Poikkeavat avaiot voidaa usei tuistaa suoraa residuaalidiagrammeista. TKK (c) Ilkka Melli (004) 6 Poikkeavat avaiot Poikkeavie avaitoe tuistamie / Tässä kappaleessa tarkastellaa seuraavia poikkeavie avaitoe tuistamisee tarkoitettua tuuslukua: Residuaalit Stadardoidut residuaalit Poistoresiduaalit Stadardoidut poistoresiduaalit Vipuluvut eli leverage-luvut Cooki etäisyydet Poikkeavat avaiot Yleie lieaarie malli: Määritelmä Olkoo y = β0 + βx+ βx + + βkxk + ε, =,,, yleie lieaarie malli, ossa y = selitettävä muuttua y satuaie a avaittu arvo avaitoyksikössä x i = selittävä muuttua eli selittää x i avaittu arvo avaitoyksikössä, i =,,, k β 0 = vakioselittää tutemato regressiokerroi β i = selittää x i tutemato regressiokerroi ε = satuaie a ei-avaittu ääös- eli viretermi avaitoyksikössä TKK (c) Ilkka Melli (004) 63 TKK (c) Ilkka Melli (004) 64 Poikkeavat avaiot Residuaalit: Määritelmä Olkoot b 0, b, b,, b k regressiokertoimie β 0, β, β,, β k PNS-estimaattorit. Määritellää estimoidu malli sovitteet yˆ kaavalla yˆ = b0 + bx + bx + + b k x k, =,,, Määritellää estimoidu malli residuaalit e kaavalla e = y yˆ = y b bx b x b x, =,,, 0 k k Poikkeavat avaiot Residuaalit: Poikkeavie avaitoe tuistamie Estimoidu malli residuaalea e voidaa käyttää poikkeavie avaitoe tuistamisee. Voimakkaasti muista residuaaleista poikkeavat residuaalit saattavat viitata poikkeavii avaitoii. TKK (c) Ilkka Melli (004) 65 TKK (c) Ilkka Melli (004) 66

12 TKK (c) Ilkka Melli (004) 67 Poikkeavat avaiot Stadardoidut residuaalit: Määritelmä / Koska estimoidu lieaarise regressiomalli PNSresiduaalit e ovat yleesä eteroskedastisia, regressiodiagostiikassa tarkastellaa PNS-residuaalie siasta usei stadardoitua residuaalea. Residuaali e, =,,, variassi o D( e ) = σ ( ) ossa = [ P] o attumatriisi P= X( XX ) X. diagoaalialkio. Poikkeavat avaiot Stadardoidut residuaalit: Määritelmä / Stadardoidut eli studetisoidut residuaalit Std(e ), =,,, saadaa PNS-residuaaleista e kaavalla e Std( e ) = ˆD( e ) Stadardoidu residuaali Std(e ) kaavassa ˆD ( e ) = s ( ) o residuaali e variassi estimaattori, ossa s = e k = o ääösvariassi σ arato estimaattori. TKK (c) Ilkka Melli (004) 68 Poikkeavat avaiot Stadardoidut residuaalit: Poikkeavie avaitoe tuistamie Stadardoitua residuaalea Std(e ) voidaa käyttää poikkeavie avaitoe tuistamisee. Jos estimoitu regressiomalli o riittävä kuvaamaa kaikkia avaitoa, stadardoitue residuaalie itseisarvot saavat vai pieellä todeäköisyydellä suurempia arvoa kui.5-3. Lukuarvoa.5-3 suuremmat stadardoitue residuaalie itseisarvot saattavat viitata poikkeavii avaitoii. Stadardoitue residuaalie itseisarvoa voidaa verrata Studeti t-akaumasta sopivasti valittuu kriittisee raaa. Poikkeavat avaiot Poistoresiduaalit: Määritelmä / Poikkeavia avaitoa voidaa etsiä poistoresiduaalie avulla: (i) Estimoidaa malli site, että avaito ätetää pois. (ii) Määrätää avaitoa vastaava poistoresiduaali selitettävä muuttua y avaitu arvo y a ilma avaitoa estimoidu malli muuttualle y atama arvo erotuksea (eustevireeä). Havaitoa vastaava poistoresiduaali mittaa ilma avaitoa estimoidu malli kykyä eustaa selitettävä muuttua y arvo avaiossa. TKK (c) Ilkka Melli (004) 69 TKK (c) Ilkka Melli (004) 70 Poikkeavat avaiot Poistoresiduaalit: Määritelmä / Poistoresiduaalit d, =,,, saadaa PNSresiduaaleista e kaavalla e d = ossa = [ P] o attumatriisi P= X( XX ) X. diagoaalialkio. Poikkeavat avaiot Stadardoidut poistoresiduaalit: Määritelmä / Poistoresiduaali d, =,,, variassi o σ D( d ) = ossa = [ P] o attumatriisi P= X( XX ) X. diagoaalialkio. TKK (c) Ilkka Melli (004) 7 TKK (c) Ilkka Melli (004) 7

13 TKK (c) Ilkka Melli (004) 73 Poikkeavat avaiot Stadardoidut poistoresiduaalit: Määritelmä / Stadardoidut eli studetisoidut poistoresiduaalit Std(d ), =,,, saadaa poistoresiduaaleista d kaavalla d Std( d ) = ˆD( d ) ossa s ( ) ˆD ( d ) = o poistoresiduaali d variassi estimaattori, ossa s o ääösvariassi σ arato estimaattori mallista, osta avaito o ätetty pois. ( ) Poikkeavat avaiot Stadardoidut poistoresiduaalit: Poikkeavie avaitoe tuistamie Stadardoitua poistoresiduaalea Std(d ) voidaa käyttää poikkeavie avaitoe tuistamisee. Jos estimoitu regressiomalli o riittävä kuvaamaa kaikkia avaitoa, stadardoitue poistoresiduaalie itseisarvot saavat vai pieellä todeäköisyydellä suurempia arvoa kui.5-3. Lukuarvoa.5-3 suuremmat stadardoitue poistoresiduaalie itseisarvot saattavat viitata poikkeavii avaitoii. Stadardoitue poistoresiduaalie itseisarvoa voidaa verrata Studeti t-akaumasta sopivasti valittuu kriittisee raaa. TKK (c) Ilkka Melli (004) 74 Poikkeavat avaiot Vipuluvut: Määritelmä / Poikkeavia avaitoa voidaa etsiä vipulukue eli leverage-lukue avulla. Havaitoa vastaava vipuluku (leverage), =,,, o attumatriisi P= X( XX ) X. diagoaalialkio: = P [ ] Poikkeavat avaiot Vipuluvut: Määritelmä / Vipuluvut ovat verraollisia avaitopisteide ( x, x,, xk) etäisyyksii selittävie muuttuie avaitoarvoe aritmeettiste keskiarvoe muodostamasta pisteestä ( x, x,, x k ) TKK (c) Ilkka Melli (004) 75 TKK (c) Ilkka Melli (004) 76 Poikkeavat avaiot Vipuluvut: Poikkeavie avaitoe tuistamie Jos avaitoa vastaava vipuluku (leverage) o selvästi muita suurempi, avaito o syrässä selittävie muuttuie muii avaitoarvoii äde. Syrässä olevat avaiot saattavat vääristää regressioaalyysi tulokset. Poikkeavat avaiot Cooki etäisyydet: Määritelmä /3 Poikkeavia avaitoa voidaa etsiä Cooki etäisyyksie avulla: (i) Estimoidaa malli ii, että kaikki avaiot ovat mukaa. Lasketaa estimoidulle mallille sovitteet yˆl, l =,,,. (ii) Estimoidaa malli ättämällä pois avaito. Lasketaa ilma avaitoa estimoidu malli atama arvo yˆl ( ) kaikille avaitoyksiköille l =,,,. (iii) Verrataa lukua a y toisiisa. y ˆl ˆl ( ) TKK (c) Ilkka Melli (004) 77 TKK (c) Ilkka Melli (004) 78

14 TKK (c) Ilkka Melli (004) 79 Poikkeavat avaiot Cooki etäisyydet: Määritelmä /3 Cooki etäisyydet D, =,,, saadaa kaavalla ( yˆ ˆ l y ( )) l= l D = ( k+ ) s ossa s = e k = o ääösvariassi σ arato estimaattori, oka o määrätty, ku malli estimoiissa o käytetty kaikkia avaitoa. Poikkeavat avaiot Cooki etäisyydet: Määritelmä 3/3 Cooki etäisyydet D, =,,, voidaa laskea myös kaavalla Std( e ) D = k + ossa Std(e ) o avaitoa vastaava stadardoitu residuaali a = [ P] o attumatriisi P= X( XX ) X. diagoaalialkio. TKK (c) Ilkka Melli (004) 80 Poikkeavat avaiot Cooki etäisyydet: Poikkeavie avaitoe tuistamie Cooki etäisyyksiä D voidaa käyttää poikkeavie avaitoe tuistamisee. Jos avaitoa vastaava Cooki etäisyys D > tai o selvästi muide avaitoe Cooki etäisyyttä suurempi, avaito kaattaa ottaa erikoistarkasteluu. Poikkeavat avaiot Tilastografiika käyttö poikkeavie avaitoe tuistamisessa / Poikkeavie avaitoe tuistamisee tarkoitettue tuuslukue käyttöä voidaa usei elpottaa sopivilla graafisilla esityksillä. Tällöi käytety tuusluvu avaitokotaiset arvot T, =,,, piirretää avaitoumeroa vastaa pistediagrammia (, T ), =,,, Poikkeavat avaiot erottuvat kuviosta tavallisesti elposti. TKK (c) Ilkka Melli (004) 8 TKK (c) Ilkka Melli (004) 8 Poikkeavat avaiot Tilastografiika käyttö poikkeavie avaitoe tuistamisessa / Pistediagrammissa (, T ), =,,, tuusluku T voi olla esimerkiksi mikä taasa seuraavista tuusluvuista: Residuaali Stadardoitu residuaali Poistoresiduaali Stadardoitu poistoresiduaali Vipuluku Cooki etäisyys Regressiodiagostiikka Yleie lieaarie malli a regressiodiagostiikka Poikkeavat avaiot >> Parametrie vakioisuus Multikollieaarisuus Homoskedastisuus a eteroskedastisuus Malli eustuskyky TKK (c) Ilkka Melli (004) 83 TKK (c) Ilkka Melli (004) 84

15 TKK (c) Ilkka Melli (004) 85 Parametrie vakioisuus Avaisaat Cow-testi Eustamie F-testi Lieaarie regressiomalli Regressiokerroi Selitettävä muuttua Selittävä muuttua Vakioparametrisuusoletus Parametrie vakioisuus Vakioparametrisuusoletus yleisessä lieaarisessa mallissa Ku yleie lieaarie malli spesifioidaa muodossa y = β0 + βx+ βx + + βkxk + ε, =,,, spesifikaatioo sisältyy implisiittisesti seuraava malli regressiokertoimia koskeva vakioparametrisuusoletus: Regressiokertoimet β 0, β, β,, β k ovat samat kaikille avaioille =,,,. Lisäksi mallia koskevii stadardioletuksii kuuluu omoskedastisuusoletus eli ääösvariassia koskeva vakioparametrisuusoletus: Var( ε ) = σ, =,,, TKK (c) Ilkka Melli (004) 86 Parametrie vakioisuus Vakioparametrisuusoletukse testaamie: Testausasetelma /4 Jaetaa avaiot =,,, katee osaa: Osa : =,,, ( kpl) Osa : = +, +,, (( ) kpl) Oletetaa lisäksi, että k + Muodostetaa kaksi lieaarista regressiomallia: (i) Käytetää mallissa () avaitoa =,,,. (ii) Käytetää mallissa () avaitoa =,,,. Parametrie vakioisuus Vakioparametrisuusoletukse testaamie: Testausasetelma /4 Malli () voidaa esittää matriisei muodossa y = Xβ + ε ossa X o (k+)-matriisi. Tedää mallista () seuraavat oletukset: r( X) = k+ ε N(, 0 σ I) TKK (c) Ilkka Melli (004) 87 TKK (c) Ilkka Melli (004) 88 Parametrie vakioisuus Vakioparametrisuusoletukse testaamie: Testausasetelma 3/4 Malli () voidaa esittää matriisei muodossa y = Xβ + ε ossa X o (k+)-matriisi. Tedää mallista () seuraavat oletukset: r( X) = k+ ε N(, 0 σ I) Parametrie vakioisuus Vakioparametrisuusoletukse testaamie: Testausasetelma 4/4 Huomaa, että malli () (k + )-matriisi X voidaa esittää muodossa X X = X ossa ( ) (k + )-matriisi X o liittyy avaitoii = +, +,, TKK (c) Ilkka Melli (004) 89 TKK (c) Ilkka Melli (004) 90

16 TKK (c) Ilkka Melli (004) 9 Parametrie vakioisuus Vakioparametrisuusoletukse testaamie: Testisuure Estimoidaa molemmat mallit () a () PNSmeetelmällä. Olkoo SSE = ääöseliösumma mallista () SSE = ääöseliösumma mallista () Muodostetaa F-testisuure k SSE SSE F = SSE Parametrie vakioisuus Vakioparametrisuusoletukse testaamie: Cow-testi Jos ollaypoteesi H 0 : β = β, σ = σ pätee, testisuure k SSE SSE F = SSE oudattaa F-akaumaa vapausastei ( ) a ( k ): F F (, k ) Suuret testisuuree arvot viittaavat siie, että oletus parametrie vakioisuudesta ei päde. Testi tuetaa kirallisuudessa imellä Cow-testi. TKK (c) Ilkka Melli (004) 9 Parametrie vakioisuus Vakioparametrisuusoletukse testaamie: Testisuuree toie muoto /4 Eustetaa selitettävä muuttua y arvot avaioissa = +, +,, regressiomallilla (): yˆ = b0 + bx+ bx + + bkxk, = +, +,, ossa b = ( b0, b, b,, bk) = regressiokertoimie vektori β PNS-estimaattori mallista () TKK (c) Ilkka Melli (004) 93 Parametrie vakioisuus Vakioparametrisuusoletukse testaamie: Testisuuree toie muoto /4 Olkoo u = ( u+, u+,, u) eustevireide u ˆ = y y, = +, +,, muodostama ( )-vektori. Vektorilla u o seuraavat stokastiset omiaisuudet: E( u) = 0 Cov( u) = σ ( I+ X( X X ) X ) ossa X = avaitoii = +, +,, liittyvä osa matriisista X TKK (c) Ilkka Melli (004) 94 Parametrie vakioisuus Vakioparametrisuusoletukse testaamie: Testisuuree toie muoto 3/4 Olkoo lisäksi s = tavaomaie arato estimaattori ääösvariassille σ mallista () Tällöi matriisi Ĉov( u) = s ( I+ X( X X ) X ) o eustevireide vektori u kovariassimatriisi Cov(u) estimaattori. Parametrie vakioisuus Vakioparametrisuusoletukse testaamie: Testisuuree toie muoto 4/4 Cow-testisuure ollaypoteesille H 0 : β = β, σ = σ voidaa edellä olevia merkitöä käyttäe esittää muodossa F = Ĉov( ) u u u Cow-testisuureella o site seuraava tulkita: Cow-testisuure testaa avaioista =,,, estimoidu malli () kykyä eustaa selitettävä muuttua y arvoa avaioissa = +, +,,. TKK (c) Ilkka Melli (004) 95 TKK (c) Ilkka Melli (004) 96

17 TKK (c) Ilkka Melli (004) 97 Regressiodiagostiikka Multikollieaarisuus Yleie lieaarie malli a regressiodiagostiikka Poikkeavat avaiot Parametrie vakioisuus >> Multikollieaarisuus Homoskedastisuus a eteroskedastisuus Eustuskyky Avaisaat Korrelaatiomatriisi Kovariassimatriisi Lieaarie regressiomalli Lieaarie riippuvuus Matriisi aste Matriisi kutoisuusluku Momettimatriisi Multikollieaarisuus Omiaisarvo Selitettävä muuttua Selittävä muuttua Variassi iflaatiotekiä TKK (c) Ilkka Melli (004) 98 Multikollieaarisuus Lieaarie riippuvuus a multikollieaarisuus /3 Multikollieaarisuus Lieaarie riippuvuus a multikollieaarisuus /3 Olkoo y = Xβ + ε stadardioletukset toteuttava yleie lieaarie malli, ossa X o selittäie arvoe a ykköste muodostama täysiasteie (k + )-matriisi. Regressiokertoimie vektori β PNS-estimaattori o b= ( XX ) Xy PNS-estimaattori b kovariassimatriisi o Cov( b) = σ ( XX ) Yleise lieaarie malli regressiokertoimie vektori β PNS-estimaattori a se kovariassimatriisi kaavoista ädää: Jos matriisi X ei ole täysiasteie, PNS-estimaattoria a se kovariassimatriisia o madotota muodostaa em. kaavoilla. Matriisi X täysiasteisuus eli eto r(x) = k + merkitsee sitä, että matriisi X sarakkeide o oltava lieaarisesti riippumattomia. TKK (c) Ilkka Melli (004) 99 TKK (c) Ilkka Melli (004) 00 Multikollieaarisuus Lieaarie riippuvuus a multikollieaarisuus 3/3 Multikollieaarisuus Multikollieaarisuude vaikutukset / Jos yleise lieaarise malli y = Xβ + ε selittävie muuttuie avaittue arvoe muodostama (k + )-matriisi X ei ole täysiasteie eli r(x) < k + PNS-estimoiti ei ole tavaomaisessa mielessä madollista. Jos matriisi X o täysiasteie eli r(x) = k + mutta matriisi X sarakkeet ovat läes lieaarisesti riippuvia, saotaa, että malli selittäät ovat multikollieaarisia. Multikollieaarisuus saattaa akaloittaa sekä regressiomalli estimoitia että mallista tetävää tilastollista päättelyä. Site voimakas multikollieaarisuus saattaa akaloittaa myös malli valitaa. Koska multikollieaarisuus o suteellie omiaisuus toisi kui lieaarie riippuvuus voidaa puua multikollieaarisuude asteesta. TKK (c) Ilkka Melli (004) 0 TKK (c) Ilkka Melli (004) 0

18 TKK (c) Ilkka Melli (004) 03 Multikollieaarisuus Multikollieaarisuude vaikutukset / Multikollieaarisuus Variassi iflaatiotekiä /3 Mitä väemmä selittäät ovat multikollieaarisia, sitä itseäisempiä ovat selittävät muuttuat selitettävä muuttua käyttäytymise selittäiä. Jos selittäät ovat voimakkaasti multikollieaarisia, e kertovat ossaki mielessä samaa asiaa selitettävä muuttua käyttäytymisestä. Oletetaa, että selitettävää muuttuaa y selitetää lieaarisella regressiomallilla, oka selittäiä ovat muuttuat x, x,, x k. Olkoo b i selittää x i regressiokertoime β i PNSestimaattori. Tällöi σ Var( bi ) = R i ( x i x ) = i ossa R i o selitysaste lieaarisesta regressiomallista, oka selitettävää muuttuaa o alkuperäise malli selittää x i a selittäiä ovat muut alkuperäise malli selittäistä. TKK (c) Ilkka Melli (004) 04 Multikollieaarisuus Variassi iflaatiotekiä /3 Multikollieaarisuus Variassi iflaatiotekiä 3/3 Regressiokertoime b i variassi kaavassa esiityvää tekiää VIFi =, i =,,, k Ri kutsutaa selittäää x i vastaavaksi variassi iflaatiotekiäksi. Jos selittäät x, x,, x k ovat ortogoaalisia eli korreloimattomia, Ri = 0 kaikille i=,,, k a VIF i = kaikille i =,,, k Jos selittää x i voidaa esittää muide selittäie x, x,, x i, x i+,, x k lieaarikombiaatioa, R i = a VIF i = + TKK (c) Ilkka Melli (004) 05 TKK (c) Ilkka Melli (004) 06 Multikollieaarisuus Variassi iflaatiotekiä tulkita / Multikollieaarisuus Variassi iflaatiotekiä tulkita / Kaavasta σ Var( bi) = VIFi ( x i x ) = i ädää seuraavaa: (i) Estimaattori b i variassi o sitä suurempi, mitä suurempi o vastaava variassi iflaatiotekiä VIF i. (ii) Estimaattori b i variassi o sitä pieempi, mitä pieempi o vastaava variassi iflaatiotekiä VIF i. Regressiomalli selittäie voimakasta multikollieaarisuutta pidetää tavallisesti aitallisea a selittäie madollisimma suurta ortogoaalisuutta yödylliseä omiaisuutea regressioaalyysissa. Jos VIF i > 0 olleki i =,,, k multikollieaarisuudesta saattaa olla aittaa. Putaissa koeasetelmissa, oissa selittävie muuttuie arvot voidaa valita, selittäät pyritää saamaa ortogoaalisiksi (tai läes ortogoaalisiksi). TKK (c) Ilkka Melli (004) 07 TKK (c) Ilkka Melli (004) 08

19 TKK (c) Ilkka Melli (004) 09 Multikollieaarisuus Momettimatriisi / Multikollieaarisuus Momettimatriisi / Selittäie x, x,, x k avaittue arvoe momettimatriisi A = [ a i ] i. rivi a. sarakkee alkio a i o muuttuie x i a x avaittue arvoe tulomometti: a = ( x x )( x x ) i li i l l= ossa x x x = = x i li l l= l= Selittäie x, x,, x k avaittue arvoe momettimatriisi A voidaa esittää matriisei muodossa A= ( Z z )( Z z ) = ZZ zz ossa Z = aitoe selittäie x, x,, x k avaittue arvoe muodostama k-matriisi z = aitoe selittäie x, x,, x k avaittue arvoe aritmeettiste keskiarvoe muodostama k-vektori TKK (c) Ilkka Melli (004) 0 Multikollieaarisuus Otoskovariassimatriisi / Multikollieaarisuus Otoskovariassimatriisi / Selittäie x, x,, x k avaittue arvoe otoskovariassimatriisi S = [ s i ] i. rivi a. sarakkee alkio s i o muuttuie x i a x avaittue arvoe otoskovariassi: si = ( xli xi )( xl x ) l= ossa x i = x x li = l x l= l= Erityisesti sii = si s = s ii i TKK (c) Ilkka Melli (004) Selittäie x, x,, x k avaittue arvoe otoskovariassimatriisi S voidaa esittää matriisei muodossa S = ( )( ) = Z z Z z A ossa Z = aitoe selittäie x, x,, x k avaittue arvoe muodostama k-matriisi z = aitoe selittäie x, x,, x k avaittue arvoe aritmeettiste keskiarvoe muodostama k-vektori A = aitoe selittäie x, x,, x k avaittue arvoe muodostama k k-momettimatriisi TKK (c) Ilkka Melli (004) Multikollieaarisuus Otoskorrelaatiomatriisi / Multikollieaarisuus Otoskorrelaatiomatriisi / Selittäie x, x,, x k avaittue arvoe otoskorrelaatiomatriisi R = [ r i ] i. rivi a. sarakkee alkio r i o muuttuie x i a x avaittue arvoe otoskorrelaatio: si ri = sis ossa s i = muuttuie x i a x avaittue arvoe otoskovariassi si = sii = o muuttua x i otoskeskiaota s = s = o muuttua x otoskeskiaota Selittäie x, x,, x k avaittue arvoe otoskorrelaatiomatriisi R voidaa esittää matriisei muodossa R = D SD ossa S D s = s s = aitoe selittäie x, x,, x k avaittue arvoe muodostama otoskovariassimatriisi diag( s, s,, s k ) = selittäie x, x,, x k avaittue arvoe otoskeskiaotoe s, s,, s k muodostama diagoaalimatriisi TKK (c) Ilkka Melli (004) 3 TKK (c) Ilkka Melli (004) 4

20 TKK (c) Ilkka Melli (004) 5 Multikollieaarisuus Multikollieaarisuus a selittäie korreloitueisuus Regressiodiagostiikka Selittäie x, x,, x k multikollieaarisuutta voidaa tutkia paitsi tarkastelemalla selittäiä vastaavia variassi iflaatiotekiöitä tutkimalla myös seuraavie matriisie omiaisarvoa (a omiaisvektoreita): (i) Aitoe selittäie avaittue arvoe k-matriisista Z saatava k k-matriisi Z Z (ii) Selittäie avaittue arvoe momettimatriisi A (ii) Selittäie avaittue arvoe kovariassimatriisi S (iii) Selittäie avaittue arvoe korrelaatiomatriisi R Multikollieaarisuude mittaria voidaa käyttää esimerkiksi matriisi kutoisuuslukua eli suurimma a pieimmä omiaisarvo sudetta. Yleie lieaarie malli a regressiodiagostiikka Poikkeavat avaiot Parametrie vakioisuus Multikollieaarisuus >> Homoskedastisuus a eteroskedastisuus Eustuskyky TKK (c) Ilkka Melli (004) 6 Homoskedastisuus a eteroskedastisuus Homoskedastisuus a eteroskedastisuus Homoskedastisuusoletus Avaisaat Heteroskedastisuus Homoskedastisuus Jääöstermi Jääösvariassi Lieaarie regressiomalli Rakeeosa Residuaali Selitettävä muuttua Selittävä muuttua Sovite Yleistä lieaarista mallia koskeva stadardioletukse (iv) mukaa kaikilla malli ääöstermeillä ε o sama variassi: Var( ε ) = σ, =,,, Tätä oletusta kutsutaa omoskedastisuusoletukseksi. Jos omoskedastisuusoletus ei päde, ii saomme, että ääöstermit ovat eteroskedastisia a kiroitamme Var( ε ) = σ, =,,, Tällöi siis o olemassa ideksit k a l site, että Var( ε ) = σ σ = Var( ε ) k k l l TKK (c) Ilkka Melli (004) 7 TKK (c) Ilkka Melli (004) 8 Homoskedastisuus a eteroskedastisuus Heteroskedastisuude vaikutukset Homoskedastisuus a eteroskedastisuus Heteroskedastisuude avaitsemie Jos regressiomalli ääöstermit ε ovat eteroskedastisia, malli regressiokertoimie PNS-estimaattorit eivät ole eää paraita lieaariste a arattomie estimaattoreide oukossa. Tämä merkitsee sitä, että regressiokertoimie PNSestimaattoreide variassit ovat tarpeettoma suuria: (i) Regressiokertoimie luottamusväleistä tulee tarpeettoma leveitä. (ii) Regressiokertoimia koskevista testisuureide arvoista tulee tarpeettoma pieiä. Jääöstermie eteroskedastisuus tulee usei esille estimoidu malli yvyyttä avaiollistavista residuaalidiagrammeista: (i) Piirretää stadardoidut residuaalit sovitteita vastaa: ( yˆ,std( e)), =,,, (ii) Aikasaroe regressiomalleille residuaalit piirretää yleesä aikasaraa: ( e, ), =,,..., Jos residuaalidiagrammi pisteide vyö ei ole tasaleveä (esim. vyö leveee oikealle tai vasemmalle), regressiomalli ääöstermi saattaa olla eteroskedastie. TKK (c) Ilkka Melli (004) 9 TKK (c) Ilkka Melli (004) 0

21 TKK (c) Ilkka Melli (004) Homoskedastisuus a eteroskedastisuus Homoskedastisuude testaamie Olkoo yˆ, =,,, estimoidu lieaarise malli tuottama sovite a e, =,,, vastaava residuaali. Määrätää selitysaste R apuregressiosta e = α0 + αˆ y + δ Jos omoskedastisuusoletus pätee, R χ () Suuret testisuuree R arvot otavat omoskedastisuusoletukse ylkäämisee. Homoskedastisuus a eteroskedastisuus Homoskedastisuude testaamie: Kommettea Homoskedastisuustestit saattavat reagoida myös regressiomalli rakeeosa väärää spesifikaatioo. Site omoskedastisuustesti testisuuree merkitsevä arvo ei saa automaattisesti otaa toimepiteisii, oilla pyritää koraamaa ääöstermi eteroskedastisuus. TKK (c) Ilkka Melli (004) Homoskedastisuus a eteroskedastisuus Jääösvariassi stabiloivia muuoksia Regressiodiagostiikka Sopiva selitettävä muuttua arvoe muuos saattaa stabiloida ääöstermie variassi: Heteroskedastisuude Stabiloiva tyyppi muuos σ vakio y = y σ E( y) y = y σ E( y) E( y) y = arcsi y [ ] [ ] ( ) σ E( y) y = log( y) Yleie lieaarie malli a regressiodiagostiikka Poikkeavat avaiot Parametrie vakioisuus Multikollieaarisuus Homoskedastisuus a eteroskedastisuus >> Eustuskyky TKK (c) Ilkka Melli (004) 3 TKK (c) Ilkka Melli (004) 4 Korreloimattomuusoletus Avaisaat Durbii a Watsoi testisuure Jääöstermi Korrelaatio Lieaarie regressiomalli Rakeeosa Residuaali Selitettävä muuttua Selittävä muuttua Sovite Yleistä lieaarista mallia koskeva stadardioletukse (v) mukaa malli ääöstermit ε ovat korreloimattomia: Cor( ε, ε l) = 0, l Tätä oletusta kutsutaa korreloimattomuusoletukseksi. Jos Cor( ε, εl) 0, l ii saomme, että ääöstermit ovat korreloitueita. TKK (c) Ilkka Melli (004) 5 TKK (c) Ilkka Melli (004) 6

22 TKK (c) Ilkka Melli (004) 7 Korreloitueisuude vaikutukset Korreloitueisuus a aikasarat Jos regressiomalli ääöstermit ε ovat korreloitueita, malli regressiokertoimie PNS-estimaattorit eivät ole eää paraita lieaariste a arattomie estimaattoreide oukossa. Tämä merkitsee sitä, että regressiokertoimie PNSestimaattoreide variassit ovat tarpeettoma suuria: (i) Regressiokertoimie luottamusväleistä tulee tarpeettoma leveitä. (ii) Regressiokertoimia koskevista testisuureide arvoista tulee tarpeettoma pieiä. Korreloitueisuus o aikasaroe regressiomallie tavallie ogelma. Aikasaroe regressiomalleissa kiiitetää uomio korreloitueisuude laii, ota kutsutaa autokorrelaatioksi. Oletetaa, että avaiot ovat aikaärestyksessä. Olkoo ε lieaarise malli y = β0 + βx+ βx + + βkxk + ε, =,,, ääöstermi. Koska avaiot ovat aikaärestyksessä, ääöstermit ε muodostavat aikasara. TKK (c) Ilkka Melli (004) 8 Autokovariassit kertoimet Koska lieaarise malli ääöstermeistä ε o oletettu E( ε ) = 0, =,,, ääöstermie ε muodostama aikasara τ. autokovariassi γ τ voidaa määritellä kaavalla γ τ = E( εε τ), = τ+, τ+,,, τ= 0,,,, Erityisesti γ 0 = Var( ε ) = σ, =,,, o aikasara ε, =,,, variassi. Huomautus: Autokovariassit γ τ ovat riippumattomia aaetkestä. Olkoot γ τ = ääöstermie ε τ. autokovariassi γ 0 =Var(ε ) = σ = ääöstermie ε variassi Jääöstermie ε muodostama aikasara τ. autokorrelaatiokerroi ρ τ määritellää kaavalla γ τ ρτ =, τ = 0,,,, γ 0 Huomautus: kertoimet ρ τ ovat riippumattomia aaetkestä. TKK (c) Ilkka Melli (004) 9 TKK (c) Ilkka Melli (004) 30 kertoimie omiaisuudet. kertaluvu autokorrelaatio testaamie kertoimilla ρ τ o seuraavat omiaisuudet: (i) ρ 0 = (ii) ρ τ = ρτ (iii) ρ τ Tarkastelemme seuraavassa. kertaluvu autokorrelaatio testaamista. Asetetaa ollaypoteesi H 0 : ρ = 0 ossa ρ o. kertaluvu autokorrelaatiokerroi. Vaikka ollaypoteesi H 0 kiiittää uomiota vai ääöstermie. kertaluvu autokorrelaatioo, se testaamisella o keskeie rooli regressiodiagostiikassa. TKK (c) Ilkka Melli (004) 3 TKK (c) Ilkka Melli (004) 3

23 TKK (c) Ilkka Melli (004) 33 Durbii a Watsoi testisuure Durbii a Watsoi testisuure: Omiaisuudet Määritellää Durbii a Watsoi testisuure kaavalla ( e e ) = DW = e = Voidaa osoittaa, että DW os ollaypoteesi H 0 : ρ = 0 pätee. Suuret DW-testisuuree poikkeamat se ormaaliarvosta otavat ollaypoteesi ylkäämisee. Durbii a Watsoi testisuureella o seuraavat omiaisuudet: (i) 0 DW 4 (ii) DW 0 ρ + (iii) DW ρ 0 (iv) DW 4 ρ Durbii a Watsoi testisuuree akauma ei ole mitää tavaomaista tyyppiä, mutta DW-testisuuree kriittisiä arvoa o taulukoitu a useat tilastolliset oelmistot tulostavat DW-testisuuree kriittisiä arvoa tai DW-testisuuree arvoa vastaavia p-arvoa. TKK (c) Ilkka Melli (004) 34. kertaluvu autokorrelaatio testaamie: Kommettea Durbii a Watsoi testi o autokorrelaatiotestiä raoittuut, koska testi kiiittää uomiota vai. kertaluvu autokorrelaatioo. Durbii a Watsoi testi saattaa kuiteki reagoida myös regressiomalli rakeeosa väärää spesifikaatioo. Site Durbii a Watsoi testisuuree merkitsevä arvo ei saa automaattisesti otaa toimepiteisii, oilla pyritää koraamaa ääöstermi autokorreloitueisuus. Regressiodiagostiikka Yleie lieaarie malli a regressiodiagostiikka Poikkeavat avaiot Parametrie vakioisuus Multikollieaarisuus Homoskedastisuus a eteroskedastisuus >> Malli eustuskyky TKK (c) Ilkka Melli (004) 35 TKK (c) Ilkka Melli (004) 36 oletus Avaisaat Bowmai a Setoi testi Jääöstermi Lieaarie regressiomalli Rakeeosa Rakit Plot -kuvio Residuaali Selitettävä muuttua Selittävä muuttua Sovite Wilki a Sapiro testi Yleistä lieaarista mallia koskeva stadardioletukse (vi) mukaa malli ääöstermit ε ovat ormaalisia: ε N(0, σ ), =,,..., Tätä oletusta kutsutaa ormaalisuusoletukseksi. Jos oletus (vi) ei päde, ääöstermit eivät ole ormaalisia. TKK (c) Ilkka Melli (004) 37 TKK (c) Ilkka Melli (004) 38