1. USEAN SELITTÄJÄN LINEAARINEN REGRESSIOMALLI JA OSITTAISKORRELAATIO

Transkriptio

1 Mat Tilastollisen analyysin perusteet / Ratkaisut Aiheet: Avainsanat Usean selittäjän lineaarinen regressiomalli Estimaatti, Estimaattori, Estimointi, Jäännösneliösumma, Jäännöstermi, Jäännösvarianssi, Jäännösvarianssin estimointi, Kokonaisneliösumma, Lineaarinen regressiomalli, Mallineliösumma, Merkitsevyystaso, p-arvo, Pienimmän neliösumman menetelmä, Regressiokerroin, Regressiokertoimen hajonta, Regressiokertoimen t-arvo, Regressiokertoimien estimointi, Residuaali, Satunnainen osa, Selitettävä muuttuja, Selittäjä, Selittävä muuttuja, Selitysaste, Sovite, Testi regressiokertoimelle, Testi selitysasteelle, Vakioselittäjä, Varianssianalyysihajotelma 1. USEAN SELITTÄJÄN LINEAARINEN REGRESSIOMALLI JA OSITTAISKORRELAATIO Päämääränä on estimoida bensiinin kulutukselle regressiomalli, jossa kulutusta yritetään selittää bensiinin hinnalla ja käytettävissä olevilla tuloilla. Muuttujat ovat USA:ta koskevia vuosiaikasarjoja vuosilta STATISTIX-tiedostoon DEMAND on talletettu seuraavat muuttujat: (a) (b) (c) YEAR = Vuosi GASCONS = Bensiinin kulutus GASPRICE = Bensiinin hintaindeksi INCOME = Käytettävissä olevat tulot per capita Piirrä muuttujat GASCONS, GASPRICE ja INCOME aikasarjoina sekä myös pistediagrammit (GASPRICE, GASCONS) (INCOME, GASCONS) (GASPRICE, INCOME) Yritä ensin arvioida kuvioiden perusteella muuttujien välisten korrelaatioiden merkit ja suuruudet. Määrää sitten korrelaatiot laskemalla ja vertaa tulosta tekemiisi arvioihin. Estimoi PNS-menetelmällä yhden selittäjän regressiomallit (1) GASCONS = α 0 + α 1 GASPRICE + ε (2) GASCONS = β 0 + β 1 INCOME + δ Ovatko kertoimien α 1 ja β 1 merkit järkeviä? Estimoi PNS-menetelmällä kahden selittäjän regressiomalli (3) GASCONS = β 0 + β 1 GASPRICE + β 2 INCOME + ε Ovatko kertoimien β 1 ja β 2 merkit järkeviä? TKK/SAL Ilkka Mellin (2005) 1/33

2 (d) Miksi hintamuuttujan GASPRICE regressiokerroin estimoituu kohdissa (b) ja (c) erimerkkiseksi? Tutki asiaa määräämällä muuttujien GASCONS ja GASPRICE osittaiskorrelaatiokerroin, kun muuttuja INCOME on asetettu vakioksi. Tee tämä ensin suoraan STATISTIX-ohjelmalla ja sitten laskemalla mallien (4) GASCONS = α 0 + α 1 INCOME + ε (5) GASPRICE = β 0 + β 1 INCOME + δ residuaalien otoskorrelaatiokerroin. Vertaa saadun osittaiskorrelaatiokertoimen merkkiä muuttujan GASPRICE regressiokertoimen PNS-estimaatin merkkiin mallissa (3). Huomautuksia: (i) (ii) RATKAISU: (a) Yhden selittäjän regressiomallin ainoan selittäjän regressiokertoimen estimaatilla ja selitettävän muuttujan ja selittäjän korrelaatiokertoimen estimaatilla on aina sama merkki. Usean selittäjän regressiomallissa selitettävän muuttujan ja selittäjän korrelaatiokertoimen merkistä ei voi päätellä vastaavan regressiokertoimen merkkiä. Tämä johtuu siitä, että usean selittäjän regressiomallissa regressiokertoimien estimaattorit riippuvat kaikkien mallissa mukana olevien muuttujien korrelaatioista (paitsi tapauksessa, jossa selittäjät ovat ortogonaalisia). (iii) Osittaiskorrelaatiokertoimella ja vastaavan regressiokertoimen estimaatilla on aina sama merkki. AIKASARJADIAGRAMMIT JA PISTEDIAGRAMMIT Aikasarjadiagrammit Piirretään muuttujista GASCONS, GASPRICE ja INCOME. aikasarjadiagrammit. Aikasarjadiagrammissa piirretään aikasarjan arvot aikaa vastaan. Tämä tarkoittaa pistediagrammin (AIKA, MUUTTUJA) piirtämistä, mutta niin, että peräkkäiset havainnot yhdistetään kuviossa janoilla. Aikasarjadiagrammista pyritään tunnistamaan seuraavat aikasarjojen analysointiin vaikuttavien piirteiden esiintyminen: trendit eli nousevat ja laskevat suuren luokan kehityslinjat kausivaihtelu tai muut sykliset vaihtelut poikkeavat havainnot tason siirtymät ja muut aikasarjan rakenteessa tapahtuvat muutokset Statistics > Time Series > Time Series Plot Time Series Variables = GASCONS / GASPRICE / INCOME X Axis Label Var (Opt) = Year Connect Points TKK/SAL Ilkka Mellin (2005) 2/33

3 Kommentteja: (i) (ii) Kaikissa aikasarjoissa on ainakin havaintoperiodien alkupuolella voimakkaat nousevat trendit. Kaikissa aikasarjoissa on etenkin havaintoperiodin loppupuolella myös ajanjaksoja, jolloin trendi on taittunut tai jopa kääntynyt laskuun. (iii) Aikasarjoissa GASCONS ja GASPRICE näkyy vuoden 1973 öljykriisi: Samanaikainen bensiinin hinnan nousu ja bensiinin kulutuksen lasku. (iv) Öljykriisin aiheuttama lama näkyy käytettävissä olevien tulojen laskuna. 270 Time Series Plot of GASCONS 220 GASCONS YEAR 4.3 Time Series Plot of GASPRICE 3.6 GASPRICE YEAR TKK/SAL Ilkka Mellin (2005) 3/33

4 Time Series Plot of INCOME INCOME YEAR Pistediagrammit Piirretään pistediagrammit regressiosuorineen muuttujapareista (GASPRICE, GASCONS) (INCOME, GASCONS) (GASPRICE, INCOME) Pistediagrammin avulla voidaan havainnollistaa kahden muuttujan välistä riippuvuutta. Statistics > Summary Statistics > Scatter Plot X Axis Variables = GASPRICE / INCOME / GASPRICE Y Axis Variables = GASCONS / GASCONS / INCOME Display Regression Line TKK/SAL Ilkka Mellin (2005) 4/33

5 Scatter Plot of GASCONS vs GASPRICE GASCONS GASPRICE Scatter Plot of GASCONS vs INCOME GASCONS INCOME TKK/SAL Ilkka Mellin (2005) 5/33

6 Scatter Plot of INCOME vs GASPRICE INCOME GASPRICE Kommentteja: (i) (ii) Pistediagrammien mukaan kaikilla muuttujapareilla on positiivinen korrelaatio. Muuttujapareissa (GASPRICE, GASCONS) (GASPRICE, INCOME) muuttujien riippuvuudet eivät näytä lineaarisilta. (iii) Muuttujaparissa (INCOME, GASCONS) muuttujien riippuvuus näyttää lineaariselta. (iv) Bensiinin hinnan ja kulutuksen positiivinen korrelaatio voi tuntua yllättävältä. Täytyy kuitenkin muistaa, että myös käytettävissä olevat tulot vaikuttavat bensiinin kulutukseen: Tulojen nousu saa ihmiset ostamaan isompia autoja ja lisäämään ajosuoritteitaan bensiinin hinnan noususta huolimatta. Korrelaatiot Statistics > Linear Models > Correlations (Pearson) Correlation Variables = GASCONS, GASPRICE, INCOME TKK/SAL Ilkka Mellin (2005) 6/33

7 CORRELATIONS (PEARSON) GASCONS GASPRICE GASPRICE INCOME CASES INCLUDED 27 MISSING CASES 0 Muuttujien pareittaiset korrelaatiot ovat kaikki positiivisia ja vastaavat siten kuvioista saatua informaatiota. (a) YHDEN SELITTÄJÄN LINEAARISET REGRESSIOMALLIT Olkoon mallina (1) GASCONS = α 0 + α 1 GASPRICE + ε Statistics > Linear Models > Linear Regression Dependent Variable = GASCONS Independent Variables = GASPRICE UNWEIGHTED LEAST SQUARES LINEAR REGRESSION OF GASCONS PREDICTOR VARIABLES COEFFICIENT STD ERROR STUDENT'S T P CONSTANT GASPRICE R-SQUARED RESID. MEAN SQUARE (MSE) ADJUSTED R-SQUARED STANDARD DEVIATION SOURCE DF SS MS F P REGRESSION RESIDUAL TOTAL CASES INCLUDED 27 MISSING CASES 0 Bensiinin hintaa kuvaavan muuttujan GASPRICE regressiokerroin on tilastollisesti merkitsevä ja positiivinen: Korkea (matala) bensiinin kulutus liittyy siis mallin mukaan korkeaan (matalaan) bensiinin hintaan. Johtopäätös: Tulos on intuition vastainen. TKK/SAL Ilkka Mellin (2005) 7/33

8 Olkoon mallina (2) GASCONS = β 0 + β 1 INCOME + δ Statistics > Linear Models > Linear Regression Dependent Variable = GASCONS Independent Variables = INCOME UNWEIGHTED LEAST SQUARES LINEAR REGRESSION OF GASCONS PREDICTOR VARIABLES COEFFICIENT STD ERROR STUDENT'S T P CONSTANT INCOME R-SQUARED RESID. MEAN SQUARE (MSE) ADJUSTED R-SQUARED STANDARD DEVIATION SOURCE DF SS MS F P REGRESSION RESIDUAL TOTAL CASES INCLUDED 27 MISSING CASES 0 Tuloja kuvaavan muuttujan INCOME regressiokerroin on tilastollisesti merkitsevä ja positiivinen: Korkea (matala) bensiinin kulutus liittyy siis mallin mukaan korkeisiin (mataliin) tuloihin. Johtopäätös: Tulos on intuition mukainen. (c) KAHDEN SELITTÄJÄN LINEAARINEN REGRESSIOMALLI Olkoon mallina (3) GASCONS = β 0 + β 1 GASPRICE + β 2 INCOME + ε Statistics > Linear Models > Linear Regression Dependent Variable = GASCONS Independent Variables = GASPRICE, INCOME TKK/SAL Ilkka Mellin (2005) 8/33

9 UNWEIGHTED LEAST SQUARES LINEAR REGRESSION OF GASCONS PREDICTOR VARIABLES COEFFICIENT STD ERROR STUDENT'S T P VIF CONSTANT GASPRICE INCOME R-SQUARED RESID. MEAN SQUARE (MSE) ADJUSTED R-SQUARED STANDARD DEVIATION SOURCE DF SS MS F P REGRESSION RESIDUAL TOTAL CASES INCLUDED 27 MISSING CASES 0 Bensiinin hintaa kuvaavan muuttujan GASPRICE regressiokerroin on tilastollisesti merkitsevä ja negatiivinen, tuloja kuvaavan muuttujan INCOME regressiokerroin on tilastollisesti merkitsevä ja positiivinen: Korkea (matala) bensiinin kulutus liittyy siis mallin mukaan matalaan (korkeaan) bensiinin hintaan ja korkeisiin (mataliin) tuloihin. Huomaa myös, että mallin (3) selitysaste on korkeampi kuin kummankaan yhden selittäjän regressiomallin selitysaste. Johtopäätös: Tulos on intuition mukainen. (d) OSITTAISKORRELAATIOIDEN KÄYTTÖ REGRESSIOANALYYSISSA Miksi hintamuuttujan GASPRICE regressiokerroin on mallissa (3) järkevä, kun taas mallissa (1) se on intuition vastaisesti positiivinen? Tämä johtuu siitä, että tulomuuttuja INCOME vaikuttaa sekoittavasti muuttujien GASCONS ja GASPRICE väliseen riippuvuuteen: Sekä muuttuja GASCONS että muuttuja GASPRICE korreloivat voimakkaasti muuttujan INCOME kanssa. Laskemalla muuttujien GASCONS ja GASPRICE osittaiskorrelaatio asettamalla muuttuja INCOME vakioksi voidaan muuttujien GASCONS ja GASPRICE korrelaatiota tutkia eristettynä muuttujan INCOME vaikutuksesta. Osittaiskorrelaatio on muuttujien GASCONS ja GASPRICE korrelaatio ehdollisessa jakaumassa, jossa muuttuja INCOME on ehtomuuttujana. TKK/SAL Ilkka Mellin (2005) 9/33

10 Statistics > Linear Models > Partial Correlations Dependent Variable = GASCONS Adjust for Variables = INCOME Correlation Variables = GASPRICE PARTIAL CORRELATIONS WITH GASCONS CONTROLLED FOR INCOME GASPRICE CASES INCLUDED 27 MISSING CASES 0 Muuttujien GASCONS ja GASPRICE osittaiskorrelaatio, kun muuttuja INCOME on asetettu vakioksi, voidaan laskea myös seuraavien operaatioiden avulla: Poistetaan muuttujasta GASCONS sen lineaarinen riippuvuus muuttujasta INCOME laskemalla residuaalit (muuttuja RES1) mallista (4) GASCONS = α 0 + α 1 INCOME + ε Statistics > Linear Models > Linear Regression Dependent Variable = GASCONS Independent Variables = INCOME UNWEIGHTED LEAST SQUARES LINEAR REGRESSION OF GASCONS PREDICTOR VARIABLES COEFFICIENT STD ERROR STUDENT'S T P CONSTANT INCOME R-SQUARED RESID. MEAN SQUARE (MSE) ADJUSTED R-SQUARED STANDARD DEVIATION SOURCE DF SS MS F P REGRESSION RESIDUAL TOTAL CASES INCLUDED 27 MISSING CASES 0 Linear Regression Coefficient Table Results > Save Residuals Residual = RES1 TKK/SAL Ilkka Mellin (2005) 10/33

11 Poistetaan muuttujasta GASPRICE sen lineaarinen riippuvuus muuttujasta INCOME laskemalla residuaalit (muuttuja RES2) mallista (5) GASPRICE = β 0 + β 1 INCOME + δ Statistics > Linear Models > Linear Regression Dependent Variable = GASPRICE Independent Variables = INCOME UNWEIGHTED LEAST SQUARES LINEAR REGRESSION OF GASPRICE PREDICTOR VARIABLES COEFFICIENT STD ERROR STUDENT'S T P CONSTANT INCOME 6.516E E R-SQUARED RESID. MEAN SQUARE (MSE) ADJUSTED R-SQUARED STANDARD DEVIATION SOURCE DF SS MS F P REGRESSION RESIDUAL TOTAL CASES INCLUDED 27 MISSING CASES 0 Linear Regression Coefficient Table Results > Save Residuals Residual = RES2 Lasketaan muuttujien RES1 ja RES2 korrelaatio: Statistics > Linear Models > Correlations (Pearson) Correlation Variables = RES1, RES2 CORRELATIONS (PEARSON) RES1 RES CASES INCLUDED 27 MISSING CASES 0 TKK/SAL Ilkka Mellin (2005) 11/33

12 Tulos on sama kuin aikaisemmin suoraan laskettu muuttujien GASCONS ja GASPRICE osittaiskorrelaatio, kun muuttuja INCOME on asetettu vakioksi. Selitys: Mallin (4) residuaali RES1 ei sisällä muuttujasta INCOME lineaarisesti riippuvaa vaihtelua. Mallin (5) residuaali RES2 ei sisällä muuttujasta INCOME lineaarisesti riippuvaa vaihtelua. Mikään ei kuitenkaan estä sitä, että mallin (4) residuaali riippuu lineaarisesti muuttujasta GASPRICE ja mallin (5) residuaali riippuu lineaarisesti muuttujasta GASCONS. Residuaalien RES1 ja RES2 korrelaatio mittaa tätä lineaarista riippuvuutta. Residuaalien RES1 ja RES2 korrelaatio on sama kuin muuttujien GASCONS ja GASPRICE osittaiskorrelaatio, kun muuttuja INCOME on asetettu vakioksi. Osittaiskorrelaatio on muuttujien GASCONS ja GASPRICE korrelaatio ehdollisessa jakaumassa, jossa ehtomuuttujana on muuttuja INCOME. Osittaiskorrelaatiokertoimen merkki on aina sama kuin vastaavan regressiokertoimen merkki. Lisäksi osittaiskorrelaatiokerroin poikkeaa tilastollisesti merkitsevästi nollasta täsmälleen silloin, kun vastaava regressiokerroin poikkeaa tilastollisesti nollasta. OPETUKSET (1) Muuttujien korrelaatiot ja yhden selittäjän regressiomallit saattavat antaa harhaanjohtavan kuvan usean selittäjän lineaarisen regressiomallin kertoimista. (2) Regressiomallin selittäjiksi on pyrittävä saamaan kaikki selitettävän muuttujan käyttäytymiseen vaikuttavat tekijät. Muuten vaarana on se, että kertoimet estimoituvat väärin. TKK/SAL Ilkka Mellin (2005) 12/33

13 2. USEAN SELITTÄJÄN LINEAARINEN REGRESSIOMALLI AIKASARJOILLE Päämääränä on estimoida sähkön kulutukselle regressiomalli, jossa kulutusta selitetään asiakkaiden lukumäärällä, sähkön hinnalla, lämmitystarvetta mittaavalla ns. astepäivä-luvulla ja käytettävissä olevilla tuloilla. Muuttujat ovat USA:ta koskevia neljännesvuosisarjoja (69 neljännestä). STATISTIX-tiedostoon POWERD on talletettu seuraavat muuttujat: (a) (b) (c) PERIOD = Vuosineljännes SALESMWH = Sähkön kulutus NUMCUST PRICELEC = Asiakkaiden lukumäärä = Sähkön hinta DEGREDAY = Astepäiväluku YD87 Estimoi seuraava malli: = Käytettävissä olevat tulot (1) Selitettävä muuttuja = SALESMWH Selittäjät = NUMCUST, PRICELEC, DEGREDAY, YD87 Kysymyksiä: (i) (ii) Onko malli kokonaisuutena tilastollisesti merkitsevä? Ovatko kaikki kertoimet tilastollisesti merkitseviä? Käytä testeissä 5 %:n merkitsevyystasoa. Estimoi seuraavat mallit: (2) Selitettävä muuttuja = SALESMWH Selittäjät = PRICELEC, NUMCUST (3) Selitettävä muuttuja = SALESMWH Selittäjät = PRICELEC, DEGREDAY (4) Selitettävä muuttuja = SALESMWH Selittäjät = PRICELEC, YD87 (5) Selitettävä muuttuja = SALESMWH Selittäjät = PRICELEC Tutki ja vertaile estimoitujen mallien selitysasteita sekä kertoimien tilastollista merkitsevyyttä ja merkkejä. Piirrä mallista (5) seuraavat kuviot: (SOVITE, RESIDUAALI) (AIKA, RESIDUAALI) Rankit plot -kuvio Arvioi estimoidun mallin hyvyyttä kuvioiden perusteella. TKK/SAL Ilkka Mellin (2005) 13/33

14 (d) Talleta mallista (5) sovitteet ja laske korrelaatiokertoimen Cor(SELITETTÄVÄ, SOVITE) neliö ja vertaa saatua tulosta estimoidun mallin selitysasteeseen. RATKAISU: (a) REGRESSIOMALLIN ESTIMOINTI Aikasarjadiagrammi selitettävästä muuttujasta Piirretään selitettävä muuttuja SALESMWH aikasarjana. Kuvio havainnollistaa sen muuttujan käyttäytymistä aikasarjana, jota regressiomallilla on tarkoitus selittää. Aikasarjadiagrammissa piirretään aikasarjan arvot aikaa vastaan. Tämä tarkoittaa pistediagrammin (AIKA, MUUTTUJA) piirtämistä niin, että peräkkäiset havainnot yhdistetään kuviossa janoilla. Aikasarjadiagrammista pyritään tunnistamaan seuraavat aikasarjojen analysointiin vaikuttavien piirteiden esiintyminen: trendit eli nousevat ja laskevat suuren luokan kehityslinjat kausivaihtelu tai muut sykliset vaihtelut poikkeavat havainnot tason siirtymät ja muut aikasarjan rakenteessa tapahtuvat muutokset Statistics > Time Series > Time Series Plot Time Series Variables = SALESMWH Connect Points 1.8 Time Series Plot of SALESMWH SALESMWH X 10E Case Number TKK/SAL Ilkka Mellin (2005) 14/33

15 Kommentteja: (i) Aikasarjassa näkyy selvä nouseva trendi. (ii) Aikasarja vaihtelee melko voimakkaasti trendin ympärillä. Regressiomallin estimointi Olkoon mallina (1) SALESMWH = β 0 + β 1 NUMCUST + β 2 PRICELEC + β 3 DEGREDAY + β 4 YD87 + ε Statistics > Linear Models > Linear Regression Dependent Variable = SALESMSH Independent Variables = NUMCUST, PRICELEC, DEGREDAY, YD87 UNWEIGHTED LEAST SQUARES LINEAR REGRESSION OF SALESMWH PREDICTOR VARIABLES COEFFICIENT STD ERROR STUDENT'S T P VIF CONSTANT NUMCUST PRICELEC DEGREDAY YD R-SQUARED RESID. MEAN SQUARE (MSE) 4.044E+09 ADJUSTED R-SQUARED STANDARD DEVIATION SOURCE DF SS MS F P REGRESSION E E RESIDUAL E E+09 TOTAL E+12 CASES INCLUDED 69 MISSING CASES 0 Testi selitysasteelle Nollahypoteesin H : β = β = β = β = testaaminen voidaan tehdä F-testillä. Testisuureen arvo on F = ja sitä vastaava p-arvo = (neljällä desimaalilla). TKK/SAL Ilkka Mellin (2005) 15/33

16 Siten nollahypoteesi H 0 voidaan hylätä kaikilla tavanomaisilla merkitsevyystasoilla, joten ainakin yksi regressiokertoimista β 1, β 2, β 3, β 4 poikkeaa merkitsevästi nollasta. Testit yksittäisille regressiokertoimille Nollahypoteesien H : β = 0, = 1,2,3,4 0i i i testaaminen voidaan tehdä t-testeillä. Testisuureiden arvot löytyvät alla olevasta taulukosta (ote yo. taulukosta) sarakkeesta STUDENT S T ja niitä vastaavat p-arvot sarakkeesta P. PREDICTOR VARIABLES COEFFICIENT STD ERROR STUDENT'S T P VIF CONSTANT NUMCUST PRICELEC DEGREDAY YD Jos käytämme 5 %:n merkitsevyystasoa, kaikki nollahypoteesit H 0i voidaan jättää voimaan. Yksikään regressiokertoimista β 1, β 2, β 3, β 4 ei poikkea merkitsevästi nollasta, vaikka malli on kokonaisuutena tilastollisesti merkitsevä. Kysymys: Onko hypoteesille H : β = β = β = β = tehdyn testin tulos ristiriidassa hypoteeseille H : β = 0, = 1,2,3,4 0i i i tehtyjen testien tulosten kanssa? Vastaus: Eivät, koska mallin (1) selittäjät NUMCUST, PRICELEC, DEGREDAY, YD87 korreloivat voimakkaasti keskenään ja ollessaan samanaikaisesti mallissa selittäjinä syövät toistensa vaikutuksen selitettävään muuttujaan SALESMWH. Tarkastellaan asiaa lähemmin (b)-kohdassa estimoimalla erilaisia regressiomalleja, joissa kaikissa on tärkeänä pidetty hintamuuttuja PRICELEC selittäjänä. Voit halutessasi saada asiaan lisävalaistusta tutkimalla selitettävän muuttujan osittaiskorrelaatioita selittäjien kanssa, kun muut selittäjäkandidaatit on asetettu vakioiksi. TKK/SAL Ilkka Mellin (2005) 16/33

17 (b) MALLIKOKEILUJA Alla on estimointitulokset mallista (2) SALESMWH = β 0 + β 1 PRICELEC + β 2 NUMCUST + ε PREDICTOR VARIABLES COEFFICIENT STD ERROR STUDENT'S T P VIF CONSTANT PRICELEC NUMCUST R-SQUARED SOURCE DF SS MS F P REGRESSION E E RESIDUAL E E+09 TOTAL E+12 Estimoidun mallin selitysaste on lähes sama kuin (a)-kohdan mallin selitysaste Selittäjän PRICELEC kerroin ei ole tilastollisesti merkitsevä. Selittäjän NUMCUST kerroin on tilastollisesti merkitsevä ja sen merkki on järkevä (positiivinen). Alla on esrimointitulokset mallista (3) SALESMWH = β 0 + β 1 PRICELEC + β 2 DEGREDAY + ε PREDICTOR VARIABLES COEFFICIENT STD ERROR STUDENT'S T P VIF CONSTANT PRICELEC DEGREDAY R-SQUARED SOURCE DF SS MS F P REGRESSION E E RESIDUAL E E+10 TOTAL E+12 Estimoidun mallin selitysaste on pienempi kuin (a)-kohdan mallin selitysaste Selittäjän PRICELEC kerroin on tilastollisesti merkitsevä ja sen merkki on järkevä (negatiivinen). Selittäjän DEGREDAY kerroin ei ole tilastollisesti merkitsevä. TKK/SAL Ilkka Mellin (2005) 17/33

18 Alla on estimointitulokset mallista (4) SALESMWH = β 0 + β 1 PRICELEC + β 2 YD87 + ε PREDICTOR VARIABLES COEFFICIENT STD ERROR STUDENT'S T P VIF CONSTANT PRICELEC YD R-SQUARED SOURCE DF SS MS F P REGRESSION E E RESIDUAL E E+09 TOTAL E+12 Estimoidun mallin selitysaste on lähes sama kuin (a)-kohdan mallin selitysaste Selittäjän PRICELEC kerroin ei ole tilastollisesti merkitsevä. Selittäjän YD87 kerroin on tilastollisesti merkitsevä ja sen merkki on järkevä (positiivinen). Alla on estimointitulokset mallista (5) SALESMWH = β 0 + β 1 PRICELEC + ε PREDICTOR VARIABLES COEFFICIENT STD ERROR STUDENT'S T P CONSTANT PRICELEC R-SQUARED SOURCE DF SS MS F P REGRESSION E E RESIDUAL E E+10 TOTAL E+12 Estimoidun mallin selitysaste on pienempi kuin (a)-kohdan mallin selitysaste Selittäjän PRICELEC kerroin on tilastollisesti merkitsevä ja sen merkki on järkevä (negatiivinen). TKK/SAL Ilkka Mellin (2005) 18/33

19 Yhteenveto: (i) (ii) Vaikka hintamuuttuja PRICELEC selittää muuttujan SALEMWH vaihtelusta yksinään 46 %, se ei ole selittäjänä merkitsevä, jos malliin lisätään selittäjäksi muuttuja NUMCUST tai YD87. Sekä muuttuja NUMCUST tai YD87 ovat selitysasteella mitattuna selittäjinä parempia kuin hintamuuttuja PRICELEC. (iii) Muuttuja DEGREDAY ei näytä olevan merkitsevä yhdessä muuttujan PRICELEC kanssa. (iv) Tilanne on problemaattinen, jos päämääränä on tutkia erityisesti sähkön hinnan vaikutusta sähkön kulutukseen, koska muista muuttujista ei ole tällöin tukea. (v) Hintamuuttujan toimimattomuus selittäjänä silloin, kun sen lisäksi mallissa on muita selittäjiin saattaa johtua siitä, että sähkön kulutus ei itse asiassa kovin voimakkaasti riipu sen hinnasta, vaan muut tekijät kuten energian tarve ovat määräävämpiä. (vi) Kohdassa (c) tarkastellaan mallin (5) heikkouksista huolimatta sen estimoinnin onnistumista erilaisten graafisten esitysten valossa. (c) GRAAFISET ESITYKSET MALLIN HYVYYDESTÄ Olkoon mallina (5) SALESMWH = β 0 + β 1 PRICELEC + ε Valinta ei tarkoita, että mallia pidettäisiin parhaana. Tarkoituksena on vain havainnollistaa kuvioiden käyttöä regressioanalyysin onnistumista tutkittaessa. TKK/SAL Ilkka Mellin (2005) 19/33

20 Selitettävä muuttuja ja sovite aikasarjoina Aikasarjojen regressiomallien estimointituloksia analysoitaessa on aina syytä piirtää selitettävä muuttuja ja estimoidun mallin sovite aikasarjoina samaan kuvioon. Kuvio näyttää miten hyvin malli pystyy kuvaamaan selitettävän muuttujan käyttäytymistä. Talletetaan ensin estimoidun mallin (5) sovite tiedostoon. Linear Regression Coefficient Table Results > Save Residuals Fitted Values = FIT Piirretään tämän jälkeen aikasarjakuvio. Statistics > Time Series > Time Series Plot Time Series Variables = SALESMWH, FIT Connect Points 1.8 Time Series Plot 1.6 Axis scaled by 10E6 1.4 SALESMWH FIT Case Number Kommentteja: (i) (ii) Selitettävässä muuttujassa ja sovitteessa on melko suuria systemaattisia eroja (ks. esim. periodeja 1-20 ja 60-69). Selitettävässä muuttujassa ja sovitteessa on yksittäisten havaintojen kohdalla suuria eroja (ks. esim. havainto 43). TKK/SAL Ilkka Mellin (2005) 20/33

21 Pistediagrammi (Selittäjä, Selitettävä) Yhden selittäjän regressiomallien estimointituloksia analysoitaessa, on aina syytä piirtää pistediagrammi (SELITTÄJÄ, SELITETTÄVÄ). Kuvio näyttää selitettävän muuttujan ja selittäjän riippuvuuden luonteen. Lisätään kuvioon myös luottamusvyöt selitettävän muuttujan arvoille ja odotettavissa oleville arvoille. Linear Regression Coefficient Table Results > Plots > Simple Regression Plot 1.8 Simple Regression Plot 1.6 SALESMWH X 10E PRICELEC SALESMWH = 2.36E * PRICELEC 95% conf and pred intervals Kommentteja: (i) Sähkön kulutuksen ja hinnan riippuvuus on melko lineaarista. (ii) Sähkön kulutuksen ja hinnan korrelaatio on selvästi negatiivista. (iii) Sähkön kulutuksen ja hinnan korrelaatio ei ole kovin voimakas. Laske korrelaatio! TKK/SAL Ilkka Mellin (2005) 21/33

22 Pistediagrammi (Sovite, Residuaali) Kaikkien regressiomallien tuloksia analysoitaessa on aina syytä piirtää pistediagrammi (SOVITE, RESIDUAALI). Kuvio näyttää miten hyvin malli kuvaa selitettävän muuttujan käyttäytymistä. Kuvio saattaa paljastaa mallin rakenneosan väärän muodon, residuaalien heteroskedastisuuden ja poikkeavat havainnot. Linear Regression Coefficient Table Results > Plots > Std Resids by Fited Values 4 Regression Residual Plot Standardized Residuals Fitted values X 10E6 Kommentteja: (i) Pieniin sovitteiden arvoihin liittyvät residuaalit näyttävät olevan systemaattisesti jonkin verran suurempia kuin suuriin sovitteiden arvoihin liittyvät residuaalit. Tämä saattaa viitata jäännöstermien (lievään) heteroskedastisuuteen. TKK/SAL Ilkka Mellin (2005) 22/33

23 Residuaali aikasarjana Aikasarjojen regressiomallien estimointituloksia analysoitaessa on aina syytä piirtää residuaali aikasarjana. Kuvio näyttää miten hyvin malli kuvaa selitettävän muuttujan käyttäytymistä. Kuvio saattaa paljastaa residuaalien heteroskedastisuuden ja/tai (auto-) korreloituneisuuden. Linear Regression Coefficient Table Results > Plots > Std Resids Time Series 4 Time Series Plot of Regression Residuals Standardized Residuals Case Number Kommentteja: (i) Residuaaleissa näyttää olevan lievä nouseva trendi. Tämä viittaa lievään systemaattiseen virheeseen mallissa. (ii) Kuviossa näkyy joitakin poikkeuksellisia residuaaleja (ks. esim. havainto 43). (iii) Vrt. residuaalikuviota kuvioon, jossa selitettävä muuttuja ja sovite on piirretty aikasarjoina samaan kuvaan. TKK/SAL Ilkka Mellin (2005) 23/33

24 Rankit plot -kuvio Kaikkien regressiomallien tuloksia analysoitaessa on aina syytä tutkia residuaalien normaalisuutta piirtämällä rankit plot -kuvio (tai jokin vastaava kuvio). Kuvio näyttää miten hyvin mallin virhetermistä tehty normaalisuusoletus pätee. Kuvio saattaa paljastaa myös poikkeavat havainnot. Linear Regression Coefficient Table Results > Plots > Wilk-Shapiro / Rankit Plot 4 Wilk-Shapiro / Rankit Plot Standardized Residuals Rankits Approximate Wilk-Shapiro cases Kommentteja: (i) Residuaalit näyttävät melko hyvin normaalisilta. (ii) Kuviossa näkyy yksi poikkeuksellinen residuaali. Yhteenveto: (i) Kuvioiden perusteella mallissa (5) on (lieviä) puutteita. TKK/SAL Ilkka Mellin (2005) 24/33

25 (d) ESTIMOIDUN MALLIN SELITYSASTE JA YHTEISKORRELAATIOKERROIN Estimoidun mallin selitysaste voidaan laskea kahdella tavalla: (i) (ii) Käyttämällä hyväksi varianssianalyysihajotelmaa. Laskemalla ensin selitettävän muuttujan arvojen ja sovitteiden korrelaatiokerroin eli ns. yhteiskorrelaatiokerroin. Selitysaste on yhteiskorrelaatiokertoimen neliö. Selitysaste ja varianssianalyysihajotelma Mallin (5) estimointituloksista nähdään, että estimoidun mallin selitysaste on Selitysaste on mallineliösumman eli kokonaisneliösumman mallilla selitetyn osuuden SSM (REGRESSION SS) ja kokonaisneliösumman SST (TOTAL SS) suhde: 2 SSM R = SST Tarkista tämä mallin (5) varianssianalyysihajotelmasta: R-SQUARED SOURCE DF SS MS F P REGRESSION E E RESIDUAL E E+10 TOTAL E+12 Yhteiskorrelaatiokerroin Lasketaan yhteiskorrelaatiokerroin R, joka on selitettävän muuttujan arvojen ja sovitteiden korrelaatiokerroin: R = Cor( yy, ˆ) Mallin (5) sovitteet on talletettu kohdassa (c) muuttujaksi FIT. Statistics > Linear Models > Correlations (Pearson) Correlation Variables = SALESMWH, FIT STATISTIX FOR WINDOWS POWERD CORRELATIONS (PEARSON) SALESMWH FIT CASES INCLUDED 69 MISSING CASES 0 TKK/SAL Ilkka Mellin (2005) 25/33

26 Selitysaste R 2 saadaan laskemalla yhteiskorrelaatiokertoimen R neliö: R 2 = = OPETUKSET (1) Oletetaan, että regressiomalliin on otettu selittäjiksi kaikki mahdolliset selittäjäkandidaatit. Tuloksena on usein on malli, joka on yliparametroitu eli osa selittäjistä on tilastollisesti merkityksettömiä. Tällaisessa tilanteessa saattaa olla vaikeata päättää pelkin tilastollisin kriteerein, mitkä kandidaateista pitää ottaa malliin selittäjiksi. Erilaiset valinnat selittäjiksi saattavat johtaa selitysvoimaltaan lähes yhtä hyviin malleihin, joissa on kokonaan tai osaksi eri selittäjät. Asialoogisin kriteerein tärkeänä pidettyjä selittäjiä saattaa olla vaikeata liittää mallin selittäjäksi niin, että ne olisivat tilastollisesti merkityksellisiä. (2) Regressiomallin estimointituloksia pitää arvioida testauskriteerien lisäksi graafisin menetelmin. (3) Regressiomallin selitysvoimaa mitataan selitysasteella. Selitysaste mittaa kokonaisvaihtelun estimoidulla mallilla selitettyä osuutta ja se voidaan määrätä varianssianalyysihajotelmasta tai laskemalla yhteiskorrelaatiokertoimen eli selitettävän muuttujan arvojen ja sovitteiden korrelaatiokertoimen neliö. TKK/SAL Ilkka Mellin (2005) 26/33

27 3. USEAN SELITTÄJÄN LINEAARINEN REGRESSIOMALLI Päämääränä on estimoida autojen polttoainetaloudellisuudelle regressiomalli, jossa selitettävän muuttujana on auton kulkemat mailit per gallona polttoainetta ja selittäjinä on auton moottorin sylintereiden lukumäärä, moottorin sylinteritilavuus, moottorin teho, auton paino ja auton hinta. Havaintoina on tiedot 150 autosta. STATISTIX-tiedostoon POWERD on talletettu seuraavat muuttujat: (a) (b) (c) MILPGAL = Auton kulkemat mailit per gallona polttoainetta CYLINDER = Moottorin sylintereiden lukumäärä DISPLACE = Moottorin sylinteritilavuus HORSPWR = Moottorin teho WEIGHT PRICE Estimoi seuraava malli: = Auton paino = Auton hinta (1) Selitettävä muuttuja = MILPGAL Selittäjät = CYLINDER, DISPLACE, HORSPWR, WEIGHT, PRICE Kysymyksiä: (i) (ii) Onko malli kokonaisuutena tilastollisesti merkitsevä? Ovatko kaikki kertoimet tilastollisesti merkitseviä? Käytä testeissä 5 %:n merkitsevyystasoa. Estimoi seuraava malli: (2) Selitettävä muuttuja = MILPGAL Selittäjät = DISPLACE, HORSPWR, WEIGHT, PRICE Kysymyksiä: (i) (ii) Onko malli kokonaisuutena tilastollisesti merkitsevä? Ovatko kaikki kertoimet tilastollisesti merkitseviä? Käytä testeissä 5 %:n merkitsevyystasoa. Piirrä mallista (5) seuraavat kuviot: (SOVITE, RESIDUAALI) Rankit plot -kuvio Arvioi estimoidun mallin hyvyyttä kuvioiden perusteella. TKK/SAL Ilkka Mellin (2005) 27/33

28 RATKAISU: (a) REGRESSIOMALLIN ESTIMOINTI Regressiomallin estimointi Olkoon mallina (1) MILPGAL = β 0 + β 1 CYLINDER + β 2 DISPLACE + β 3 HORSPWR + β 4 WEIGHT + β 5 PRICE + ε Statistics > Linear Models > Linear Regression Dependent Variable = MILPGAL Independent Variables = CYLINDER, DISPLACE, HORSPWR, WEIGHT, PRICE STATISTIX FOR WINDOWS MOTORS UNWEIGHTED LEAST SQUARES LINEAR REGRESSION OF MILPGAL PREDICTOR VARIABLES COEFFICIENT STD ERROR STUDENT'S T P VIF CONSTANT CYLINDER DISPLACE HORSPWR WEIGHT PRICE 1.668E E R-SQUARED RESID. MEAN SQUARE (MSE) ADJUSTED R-SQUARED STANDARD DEVIATION SOURCE DF SS MS F P REGRESSION RESIDUAL TOTAL CASES INCLUDED 150 MISSING CASES 5 TKK/SAL Ilkka Mellin (2005) 28/33

29 Testi selitysasteelle Nollahypoteesin H : β = β = β = β = β = testaaminen voidaan tehdä F-testillä. Testisuureen arvo on F = ja sitä vastaava p-arvo = (neljällä desimaalilla). Siten nollahypoteesi H 0 voidaan hylätä kaikilla tavanomaisilla merkitsevyystasoilla, joten ainakin yksi regressiokertoimista β 1, β 2, β 3, β 4, β 5 poikkeaa merkitsevästi nollasta. Testit yksittäisille regressiokertoimille Nollahypoteesien H : β = 0, = 1, 2,3, 4,5 0i i i testaaminen voidaan tehdä t-testeillä. Testisuureiden arvot löytyvät alla olevasta taulukosta (ote yo. taulukosta) sarakkeesta STUDENT S T ja niitä vastaavat p-arvot sarakkeesta P. PREDICTOR VARIABLES COEFFICIENT STD ERROR STUDENT'S T P VIF CONSTANT CYLINDER DISPLACE HORSPWR WEIGHT PRICE 1.668E E Jos käytämme 5 %:n merkitsevyystasoa, nollahypoteesit H 01 ja H 02 voidaan jättää voimaan. Sylintereiden lukumäärä (CYLINDER) ja sylinteritilavuus (DISPLACE) eivät ole selittäjinä tilastollisesti merkityksellisiä. Sen sijaan hevosvoimat (HORSPWR), paino (WEIGHT) ja hinta (PRICE) ovat tilastollisesti merkityksellisiä. Lisäksi niiden kertoimien merkit ovat järkeviä. Huomaa esimerkiksi se, että kalliit autot ovat estimointitulosten mukaan polttoainetaloudellisempia kuin halvat. TKK/SAL Ilkka Mellin (2005) 29/33

30 (b) MALLIKOKEILU Jätetään mallista (1) pois selittäjä CYLINDER, joka on t-arvonsa perusteella selittäjistä heikoin. Regressiomallin estimointi Olkoon mallina (2) MILPGAL = β 0 + β 2 DISPLACE + β 3 HORSPWR + β 4 WEIGHT + β 5 PRICE + ε Statistics > Linear Models > Linear Regression Dependent Variable = MILPGAL Independent Variables = DISPLACE, HORSPWR, WEIGHT, PRICE STATISTIX FOR WINDOWS MOTORS UNWEIGHTED LEAST SQUARES LINEAR REGRESSION OF MILPGAL PREDICTOR VARIABLES COEFFICIENT STD ERROR STUDENT'S T P VIF CONSTANT DISPLACE HORSPWR WEIGHT PRICE 1.655E E R-SQUARED RESID. MEAN SQUARE (MSE) ADJUSTED R-SQUARED STANDARD DEVIATION SOURCE DF SS MS F P REGRESSION RESIDUAL TOTAL CASES INCLUDED 150 MISSING CASES 5 TKK/SAL Ilkka Mellin (2005) 30/33

31 Testi selitysasteelle Nollahypoteesin H : β = β = β = β = testaaminen voidaan tehdä F-testillä. Testisuureen arvo on F = ja sitä vastaava p-arvo = (neljällä desimaalilla). Siten nollahypoteesi H 0 voidaan hylätä kaikilla tavanomaisilla merkitsevyystasoilla, joten ainakin yksi regressiokertoimista β 1, β 2, β 3, β 4, β 5 poikkeaa merkitsevästi nollasta. Testit yksittäisille regressiokertoimille Nollahypoteesien H : β = 0, = 2,3, 4,5 0i i i testaaminen voidaan tehdä t-testeillä. Testisuureiden arvot löytyvät alla olevasta taulukosta (ote yo. taulukosta) sarakkeesta STUDENT S T ja niitä vastaavat p-arvot sarakkeesta P. PREDICTOR VARIABLES COEFFICIENT STD ERROR STUDENT'S T P VIF CONSTANT DISPLACE HORSPWR WEIGHT PRICE 1.655E E Jos käytämme 5 %:n merkitsevyystasoa, kaikki nollahypoteesit H 0i, i = 2, 3, 4, 5 voidaan hylätä. Kaikki selittäjät ovat tilastollisesti merkityksellisiä. Lisäksi niiden kertoimien merkit lienevät ovat järkeviä. Sylinteritilavuuden kasvattaminen parantaa polttoainetaloudellisuutta, kun taas hevosvoimien lisääminen sitä huonontaa. Painavat autot ovat epätaloudellisia, kun taas kalliit autot ovat estimointitulosten mukaan polttoainetaloudellisia. TKK/SAL Ilkka Mellin (2005) 31/33

32 (C) GRAAFISET ESITYKSET MALLIN HYVYYDEN TUTKIMISESSA Olkoon mallina (2) MILPGAL = β 0 + β 2 DISPLACE + β 3 HORSPWR + β 4 WEIGHT + β 5 PRICE + ε Pistediagrammi (Sovite, Residuaali) Kaikkien regressiomallien tuloksia analysoitaessa on aina syytä piirtää pistediagrammi (SOVITE, RESIDUAALI). Kuvio näyttää miten hyvin malli kuvaa selitettävän muuttujan käyttäytymistä. Kuvio saattaa paljastaa mallin rakenneosan väärän muodon, residuaalien heteroskedastisuuden ja poikkeavat havainnot. Linear Regression Coefficient Table Results > Plots > Std Resids by Fited Values 4 Regression Residual Plot Standardized Residuals Kommentteja: (i) (ii) Fitted values Pieniin sovitteiden arvoihin liittyvät residuaalit näyttävät olevan systemaattisesti jonkin verran pienempiä kuin suuriin sovitteiden arvoihin liittyvät residuaalit. Tämä saattaa viitata jäännöstermien heteroskedastisuuteen. Residuaalit näyttävät ryhmittyvän U-muotoiselle käyrälle. Tämä saattaa viitata mallin systemaattisen osan virheellisyyteen. TKK/SAL Ilkka Mellin (2005) 32/33

33 Rankit plot -kuvio Kaikkien regressiomallien tuloksia analysoitaessa on aina syytä tutkia residuaalien normaalisuutta piirtämällä rankit plot -kuvio (tai jokin vastaava kuvio). Kuvio näyttää miten hyvin mallin virhetermistä tehty normaalisuusoletus pätee. Kuvio saattaa paljastaa myös poikkeavat havainnot. Linear Regression Coefficient Table Results > Plots > Wilk-Shapiro / Rankit Plot 4 Wilk-Shapiro / Rankit Plot Standardized Residuals Rankits Approximate Wilk-Shapiro cases Kommentteja (i) Residuaalit näyttävät melko hyvin normaalisilta. (ii) Kuvion mukaan aineistossa ei ole selviä poikkeavia havaintoja. Yhteenveto: (i) Kuvioiden perusteella mallissa (2) on (lieviä) puutteita. TKK/SAL Ilkka Mellin (2005) 33/33