1. REGRESSIOMALLIN SYSTEMAATTISEN OSAN MUOTO

Transkriptio

1 Mat Tilastollisen analyysin perusteet / Ratkaisut Aiheet: Avainsanat: Regressiodiagnostiikka Cooken etäisyys, Funktionaalinen muoto, Diagnostinen grafiikka, Diagnostiset testit, Heteroskedastisuus, Homoskedastisuuden testaaminen, Homoskedastisuus, Jäännöstermi, Jäännösvarianssi, Leverage, Lineaarinen regressiomalli, Merkitsevyystaso, Muunnokset, p- arvo, Pienimmän neliösumman menetelmä, Poikkeavat havainnot, Poistoresiduaali, Regressiodiagnostiikka, Residuaali, Residuaalidiagrammi, Selitettävä muuttuja, Selittäjä, Selittävä muuttuja, Selitysaste, Standardoitu poistoresiduaali, Standardoitu residuaali, Systemaattinen osa, Sovite, Vipuluku 1. REGRESSIOMALLIN SYSTEMAATTISEN OSAN MUOTO Päämääränä on estimoida regressiomalli, jossa vehnän satoa selitetään käytetyn lannoiteaineen määrän avulla. STATISTIX-tiedostoon SATO on talletettu seuraavat muuttujat: (a) (b) (c) LANNOITE = Lannoiteaineen määrä / pinta-alayksikkö SATO = Sato / pinta-alayksikkö Tutustu aineistoon piirtämällä pistediagrammi (LANNOITE, SATO) Onko lineaarinen regressiomalli sopiva kuvaus sadon riippuvuudelle käytetyn lannoiteaineen määrästä?. Estimoi PNS-menetelmällä yhden selittäjän regressiomalli (1) SATO = β 0 + β 1 LANNOITE + ε Tarkastele mallin (1) sopivuutta aineistoon piirtämällä residuaalidiagrammi (SOVITE, RESIDUAALI) Onko malli (1) sopiva kuvaus sadon riippuvuudelle käytetyn lannoiteaineen määrästä? Lisää tiedostoon SATO muuttujan LANNOITE neliö muuttujaksi LANSQR. Estimoi PNS-menetelmällä kahden selittäjän regressiomalli (2) SATO = β 0 + β 1 LANNOITE + β 2 LANSQR + ε Onko muuttuja LANSQR tarpeellinen mallissa? Vertaa mallin (2) selitysastetta mallin (1) selitysasteeseen. Tarkastele mallin (2) sopivuutta aineistoon piirtämällä residuaalidiagrammi (SOVITE, RESIDUAALI) Onko malli (1) sopiva kuvaus sadon riippuvuudelle käytetyn lannoiteaineen määrästä? TKK/SAL Ilkka Mellin (2005) 1/37

2 RATKAISU: (a) AINEISTOON TUTUSTUMINEN: PISTEDIAGRAMMI (SELITTÄJÄ, SELITETTÄVÄ) Piirretään pistediagrammi (LANNOITE, SATO) Pistediagrammin avulla voidaan havainnollistaa muuttujien välistä riippuvuutta. Statistics > Summary Statistics > Scatter Plot X Axis Variables = LANNOITE Y Axis Variables = SATO 33 Scatter Plot of SATO vs LANNOITE 28 SATO LANNOITE Sadon ja lannoiteaineen määrän riippuvuus ei näytä lineaariselta: Aluksi lannoiteaineen määrän lisääminen kasvattaa satoa, mutta tietyn pisteen jälkeen lannoiteaineen määrän lisääminen alkaa pienentää satoa. TKK/SAL Ilkka Mellin (2005) 2/37

3 (b) YHDEN SELITTÄJÄN LINEAARISEN REGRESSIOMALLIN FORMULOINTI JA ESTIMOINTI Mallin estimointi Olkoon mallina (1) SATO = β 0 + β 1 LANNOITE + ε Statistics > Linear Models > Linear Regression Dependent Variable = SATO Independent Variables = LANNOITE STATISTIX FOR WINDOWS SATO UNWEIGHTED LEAST SQUARES LINEAR REGRESSION OF SATO PREDICTOR VARIABLES COEFFICIENT STD ERROR STUDENT'S T P CONSTANT LANNOITE R-SQUARED RESID. MEAN SQUARE (MSE) ADJUSTED R-SQUARED STANDARD DEVIATION SOURCE DF SS MS F P REGRESSION RESIDUAL TOTAL CASES INCLUDED 33 MISSING CASES 0 Malli selittää selitettävän muuttujan SATO vaihtelusta 41 %. Muuttuja LANNOITE on selittäjänä tilastollisesti merkitsevä ja vastaava regressiokerroin on positiivinen. Sen mukaan lannoiteaineen määrän lisääminen aina kasvattaa satoa. Tämä on kuitenkin ristiriidassa sen kanssa, että (a)-kohdan pistediagrammista nähtiin, että lannoiteaineen määrän lisääminen kasvattaa satoa vain aluksi ja tietyn pisteen jälkeen lannoiteaineen määrän lisääminen alkaa pienentää satoa. TKK/SAL Ilkka Mellin (2005) 3/37

4 Residuaalidiagrammi (SOVITE, RESIDUAALI) Regressiomallien tuloksia analysoitaessa on aina syytä piirtää residuaalidiagrammi (SOVITE, RESIDUAALI) Diagrammi näyttää miten hyvin malli kuvaa selitettävän muuttujan käyttäytymistä. Kuvio saattaa paljastaa mallin rakenneosan virheellisen muotoilun, residuaalien heteroskedastisuuden ja poikkeavat havainnot. Linear Regression Coefficient Table Results > Plots > Std Resids by Fitted Values 2.0 Regression Residual Plot 1.2 Standardized Residuals Fitted values Residuaalit eivät muodosta hyvän mallin vaakasuoraa ja tasaleveätä pisteiden vyötä. Residuaalikuvio kertoo samaa kuin (a)-kohdan pistediagrammi: Tavanomainen yhden selittäjän lineaarinen regressiomalli ei kuvaa hyvin muuttujan SATO riippuvuutta muuttujasta LANNOITE. Johtopäätös: Mallin (1) rakenneosa on virheellistä muotoa. TKK/SAL Ilkka Mellin (2005) 4/37

5 (c) MODIFIOIDUN REGRESSIOMALLIN FORMUOLINTI JA ESTIMOINTI Lisäselittäjän konstruointi Kohtien (a) ja (b) tulosten perusteella mallin (1) rakenneosaa päätetään korjata lisäämällä malliin (1) selittäjäksi lannoiteaineen määrän neliö. Tällöin saadaan malli, jonka rakenneosa on muotoa f(x) = β 0 + β 1 x + β 2 x 2 Funktion f kuvaaja on paraabeli. On odotettavissa, että kerroin β 2 on negatiivinen. Tällöin paraabeli aukeaa alaspäin ja sillä on yksikäsitteinen globaali maksimi, mikä sopii yhteen kohdan (a) pistediagrammista saatavien tietojen kanssa. Huomaa, että syntyvä malli on regressiokertoimiensa β 0, β 1, β 2 suhteen lineaarinen malli, jonka (aitoina) selittäjinä ovat x ja x 2. Koska malli on lineaarinen, sen parametrit voidaan estimoida tavanomaisilla lineaarisen mallin estimointimenetelmillä. Lisätään lannoiteaineen määrän neliö muuttujaksi LANSQR tiedostoon SATO: Data > Transformations Transformation Expression LANSQR = LANNOITE * LANNOITE TKK/SAL Ilkka Mellin (2005) 5/37

6 Mallin estimointi Olkoon mallina (2) SATO = β 0 + β 1 LANNOITE + β 2 LANSQR + ε Statistics > Linear Models > Linear Regression Dependent Variable = SATO Independent Variables = LANNOITE, LANSQR STATISTIX FOR WINDOWS SATO UNWEIGHTED LEAST SQUARES LINEAR REGRESSION OF SATO PREDICTOR VARIABLES COEFFICIENT STD ERROR STUDENT'S T P VIF CONSTANT LANNOITE LANSQR R-SQUARED RESID. MEAN SQUARE (MSE) ADJUSTED R-SQUARED STANDARD DEVIATION SOURCE DF SS MS F P REGRESSION RESIDUAL TOTAL CASES INCLUDED 33 MISSING CASES 0 Mallin (2) selitysaste on kasvanut 87 %:iin. Sekä LANNOITE että LANSQR ovat selittäjinä tilastollisesti merkitseviä. Muuttujan LANSQR regressiokerroin on negatiivinen, mikä merkitsee sitä, että mallin rakenneosa on muuttujan LANNOITE funktiona alaspäin aukeava paraabeli, mikä vastaa graafisen tarkastelun ja yhden selittäjän mallista saatua kuvaa muuttujien SATO ja LANNOITE riippuvuuden luonteesta. TKK/SAL Ilkka Mellin (2005) 6/37

7 Residuaalidiagrammi (Sovite, Residuaali) Piirretään residuaalidiagrammi (SOVITE, RESIDUAALI) Linear Regression Coefficient Table Results > Plots > Std Resids by Fitted Values 3 Regression Residual Plot 2 Standardized Residuals Fitted values Residuaalidiagrammin mukaan mallin rakenneosassa ei ole enää selviä puutteita. Sen sijaan residuaalidiagrammi viittaa jäännöstermin heteroskedastisuuteen. Homoskedastisuusoletuksen testaaminen jätetään lukijalle; ota mallia tehtävästä 4. TKK/SAL Ilkka Mellin (2005) 7/37

8 2. POIKKEAVAT HAVAINNOT 7. harjoitusten tehtävässä 5 testattiin ostovoimapariteetti-hypoteesin voimassaoloa aineistossa, johon oli kerätty tiedot valuuttojen keskimääräisistä vuosimuutoksista vaihtokursseissa USA:n dollariin nähden ja keskimääräisten vuotuisten inflaatio-vauhtien erotuksista USA:han nähden 44 maasta. Tiedot on talletettu STATISTIX-tiedostoon PPP. Ostovoimapariteetti-hypoteesin testaus tapahtuu estimoimalla regressiomalli jossa (1) CEXCR75 = β 0 + β 1 CINFR75 + ε CEXCR75 = Keskimääräinen vuosimuutos vaihtokurssissa USA:n dollariin nähden vuosina CINFR75 = Keskimääräisten vuotuisten inflaatiovauhtien erotus USA:han nähden vuosina ja testaamalla tilastollisia hypoteeseja H 00 : β 0 = 0 H 01 : β 1 = 1 Residuaaleja kuvaavien diagrammien perusteella aineistossa on poikkeuksellinen havainto: IRAN Tarkastellaan nyt poikkeavan havainnon tunnistamista erityisesti tähän tarkoitukseen konstruoitujen tunnuslukujen avulla. Aineisto on annettu STATISTIX-tiedostossa PPP. (a) (b) (c) Estimoi malli (1) PNS-menetelmällä ja talleta tiedostoon seuraavat muuttujat: LEVERAGE = Vipuluku (leverage) STANDARDIZED RESIDUAL DIST P (DIST) OUT P (OUT) = Standardoitu eli studentisoitu residuaali = Cooken etäisyys = Cooken etäisyyttä vastaava p-arvo = Standardoitu poistoresiduaali = Poistoresiduaalia vastaava p-arvo Tunnista poikkeavat havainnot kohdassa (a) määrättyjen tunnuslukujen avulla. Käytä tällöin apuna myös sopivia graafisia esityksiä. Tulkitse todennäköisyydet P (DIST) ja P (OUT). Estimoi malli uudelleen ilman poikkeavia havaintoja ja tutki miten havaintojen poistaminen vaikuttaa regressiokertoimien estimaatteihin ja selitysasteeseen. TKK/SAL Ilkka Mellin (2005) 8/37

9 RATKAISU: (a) MALLIN ESTIMOINTI Piirretään pistediagrammi (CINFR75, CEXCR75) Pistediagrammin avulla voidaan havainnollistaa muuttujien välistä riippuvuutta. Statistics > Summary Statistics > Scatter Plot X Axis Variables = CINFR75 Y Axis Variables = CEXCR75 60 Scatter Plot of CEXCR75 vs CINFR75 40 CEXCR CINFR75 Muuttujien CEXCR75 ja CINFR75 riippuvuus näyttää lineaariselta, mutta havaintojen joukossa näyttää olevan (ainakin) yksi poikkeava (nuolella kuviossa merkitty) havainto: IRAN TKK/SAL Ilkka Mellin (2005) 9/37

10 Mallin estimointi Olkoon mallina (1) CEXCR75 = β 0 + β 1 CINFR75 + ε Statistics > Linear Models > Linear Regression Dependent Variable = CEXCR75 Independent Variables = CINFR75 STATISTIX FOR WINDOWS PPP, , 11:36:49 UNWEIGHTED LEAST SQUARES LINEAR REGRESSION OF CEXCR75 PREDICTOR VARIABLES COEFFICIENT STD ERROR STUDENT'S T P CONSTANT CINFR R-SQUARED RESID. MEAN SQUARE (MSE) ADJUSTED R-SQUARED STANDARD DEVIATION SOURCE DF SS MS F P REGRESSION RESIDUAL TOTAL CASES INCLUDED 44 MISSING CASES 0 Malli selittää selitettävän muuttujan CEXCR75 vaihtelusta 97 %. Muuttuja CINFR75 on selittäjänä tilastollisesti merkitsevä ja vastaava regressiokerroin on positiivinen ja lähellä arvoa 1. Vakio ei ole tilastollisesti merkitsevä. Nämä arvot ovat sopusoinnussa ostovoimapariteettihypoteesin kanssa. Testit kertoimia koskeville hypoteeseille: Ks. 7. harjoitusten tehtävä 5. TKK/SAL Ilkka Mellin (2005) 10/37

11 Pistediagrammi ja regressiosuora luottamusvöineen Piirretään pistediagrammi (SELITTÄJÄ, SELITETTÄVÄ), estimoitu PNS-suora sekä luottamusvyöt ennusteille. Linear Regression Coefficient Table Results > Plots > Simple Regression Plot 60 Simple Regression Plot 40 CEXCR CINFR75 CEXCR75 = -9.28E * CINFR75 95% conf and pred intervals Poikkeava havainto IRAN asettuu selvästi luottamusvöiden ulkopuolelle. TKK/SAL Ilkka Mellin (2005) 11/37

12 Residuaalidiagrammi (SOVITE, RESIDUAALI) Piirretään residuaalidiagrammi (SOVITE, RESIDUAALI) Linear Regression Coefficient Table Results > Plots > Std Resids by Fitted Values 5 Regression Residual Plot 3 Standardized Residuals Fitted values Residuaalidiagrammin mukaan mallin rakenneosassa ei ole puutteita. Sen sijaan poikkeava havainto IRAN erottuu selvästi. TKK/SAL Ilkka Mellin (2005) 12/37

13 Poikkeavien havaintojen tunnistamiseen tarkoitetut tunnusluvut Talletetaan tiedostoon PPP poikkeavien havaintojen tunnistamisessa käytettävien tunnuslukujen havaintokohtaiset arvot. Linear Regression Coefficient Table Results > Save Residuals Fitted Value = FIT Residual = RES Levarage = LEV Standardized Residual = STDRES Distance = DIST P (Distance) = PDIST Outlier = OUT P (Outlier) = POUT (b) POIKKEAVIEN HAVAINTOJEN TUNNISTAMINEN Tulostetaan havainnot muuttujista LEV, OUT, POUT, DIST, PDIST. STATISTIX FOR WINDOWS PPP CASE LEV OUT POUT DIST PDIST Edellä piirrettyjen kuvioiden perusteella havainto 21 (IRAN) on poikkeava. Vipuluku (levarage) ei kuitenkaan ole havainnon 21 kohdalla poikkeavan suuri. Sen sijaan poistoresiduaali OUT ja sitä vastaava p-arvo POUT sekä Cooken etäisyys DIST ja sitä vastaava ns. pseudotodennäköisyys PDIST indikoivat selvästi, että havainto on poikkeava. Ks. lisätietoja STATISTIX-ohjelman Helpistä. Jos poikkeavien havaintojen tunnistamiseen käytetään poistoresiduaaleja OUT ja Cooken etäisyyksiä DIST, aineistossa ei ole muita poikkeavia havaintoja kuin IRAN. TKK/SAL Ilkka Mellin (2005) 13/37

14 Esitetään Cooken etäisyydet vielä graafisesti havaintojen numeroinnin määräämässä järjestyksessä. Statistics > Summary Statistics > Scatter Plot X Axis Variables = COUNTRY Y Axis Variables = DIST 0.30 Scatter Plot of DIST vs COUNTRY DIST COUNTRY Poikkeavaa havaintoa IRAN vastaava Cooken etäisyys erottuu selvästi. TKK/SAL Ilkka Mellin (2005) 14/37

15 (c) MALLIN ESTIMOINTI ILMAN POIKKEAVAA HAVAINTOA Olkoon mallina (1) CEXCR75 = β 0 + β 1 CINFR75 + ε Poistetaan ensin havainto 21: Data > Omit/Select/Restore Cases Omit/Select/Restore Expression Omit Case = 21 Estimoidaan malli. Statistics > Linear Models > Linear Regression Dependent Variable = CEXCR75 Independent Variables = CINFR75 STATISTIX FOR WINDOWS PPP UNWEIGHTED LEAST SQUARES LINEAR REGRESSION OF CEXCR75 PREDICTOR VARIABLES COEFFICIENT STD ERROR STUDENT'S T P CONSTANT CINFR R-SQUARED RESID. MEAN SQUARE (MSE) ADJUSTED R-SQUARED STANDARD DEVIATION SOURCE DF SS MS F P REGRESSION RESIDUAL TOTAL CASES INCLUDED 43 MISSING CASES 0 Havainnon IRAN poistaminen mallista, on nostanut selitysasteen arvosta 97.2 % arvoon 98.8 %. Muuttuja CINFR75 on selittäjänä tilastollisesti merkitsevä ja vastaava regressiokerroin on positiivinen ja lähellä arvoa 1. Vakio ei ole tilastollisesti merkitsevä. Nämä arvot ovat sopusoinnussa ostovoimapariteettihypoteesin kanssa. Testit kertoimia koskeville hypoteeseille: Ks. 7. harjoitusten tehtävä 5. TKK/SAL Ilkka Mellin (2005) 15/37

16 Tarkasteltaessa poikkeavien havaintojen tunnistamisessa käytettävien tunnuslukujen havaintokohtaisia arvoja havaitaan, että havainto 23 on Cooken etäisyyden DIST mukaan ja havainnot 11 ja 12 ovat taas poistoresiduaalien OUT mukaan epäilyttäviä (tarkista tämä). Kun malli estimoidaan uudelleen ilman poikkeavia havaintoja, saattaa ilmaantua uusia poikkeavia havaintoja. Vaikutusvaltaiset poikkeavat havainnot estävät usein lievemmin poikkeavien havaintojen poikkeuksellisuuden näkymästä. TKK/SAL Ilkka Mellin (2005) 16/37

17 3. MUUTTUJATRANSFORMAATIOT JA MALLIN LINEARISOINTI Vaikka selitettävän muuttujan y riippuvuus selittävästä muuttujasta x olisi luonteeltaan epälineaarinen, sopivasti muunnettujen muuttujien välille saattaa olla mahdollista muodostaa hyvin toimiva lineaarinen malli. Toisin sanoen on mahdollista löytää funktiot f ja g siten, että (1) f(y j ) = β 0 + β 1 g(x j ) + ε j, j = 1, 2,, n STATISTIX-tiedostoon TRANS on talletettu muuttujat X, Y2, Y4PLUS, Y5. Muuttujat Y1, Y2, Y3 ovat selitettäviä muuttujia ja muuttuja X on kaikille yhteinen selittäjä. Kaikki muuttujat ovat keinotekoisia ja tehtävänä on selvittää, mitä transformaatiota on mitäkin selitettävää muuttujaa Y = Y2 / Y4PLUS / Y5 generoitaessa käytetty. Ehdokkaat ovat seuraavat: (i) f ( y) = y g( x) = log( x) (ii) f ( y) = y g( x) = x (iii) f ( y) = y g( x) = 1/ x Tee jokaiselle selitettävän muuttujan Y = Y2 / Y4PLUS / Y5 ja selittäjän X parille seuraavat operaatiot: (a) (b) Piirrä pistediagrammi (X, Y). Estimoi lineaarinen malli (2) Y = β 0 + β 1 X + ε ja piirrä residuaalikuvio (SOVITE, RESIDUAALI). (c) Valitse kohdissa (a) ja (b) piirrettyjen kuvioiden perusteella sopivat muunnokset f ja g, jotka linearisovat mallin. (d) (e) (f) Tee muunnokset ja piirrä pistediagrammi (g(x), f(y)). Estimoi malli (1) ja piirrä residuaalikuvio (SOVITE, RESIDUAALI). Päättele kohtien (d) ja (e) kuvioiden perusteella, että olet valinnut oikein. TKK/SAL Ilkka Mellin (2005) 17/37

18 RATKAISU: (a) PISTEDIAGRAMMIT Piirretään pistediagrammit (X, Y) jossa Y = Y2 / Y4PLUS / Y5. Pistediagrammien avulla voidaan havainnollistaa muuttujien välistä riippuvuutta. Statistics > Summary Statistics > Scatter Plot X Axis Variables = X Y Axis Variables = Y2 / Y4PLUS / Y5 Pistediagrammi (X, Y2): 15 Scatter Plot of Y2 vs X 11 Y X TKK/SAL Ilkka Mellin (2005) 18/37

19 Pistediagrammi (X, Y4PLUS): 12 Scatter Plot of Y4PLUS vs X 10 Y4PLUS X Pistediagrammi (X, Y5): Scatter Plot of Y5 vs X Y X TKK/SAL Ilkka Mellin (2005) 19/37

20 Kaikissa kolmessa diagrammissa muuttujan Y = Y2 / Y4PLUS / Y5 ja X riippuvuus näyttää epälineaariselta. Koska vaihtoehdot muuttujan X muunnoksille on annettu, on helppo päätellä, että muuttuja Y2 liittyy muunnokseen (iii). Sen sijaan muuttujiin Y4PLUS ja Y5 liittyvien muunnosten tunnistaminen ei ole yhtä helppoa. Koska kuitenkin muuttujan Y4PLUS kuviossa pisteparven olkapää on pyöreämpi, voidaan tehdä arvaus, että muuttuja Y4PLUS liittyy muunnokseen (i) ja muuttuja Y5 liittyy muunnokseen (ii). (b) LINEAARISTEN MALLIEN ESTIMOINTI JA RESIDUAALIKUVIOIDEN PIIRTÄMINEN Mallien estimointi Olkoon mallina (1) Y = β 0 + β 1 X + ε jossa Y = Y2 / Y4PLUS / Y5. Statistics > Linear Models > Linear Regression Dependent Variable = Y2 / Y4PLUS / Y5 Independent Variables = X Residuaalidiagrammit (SOVITE, RESIDUAALI) Piirretään residuaalidiagrammit (SOVITE, RESIDUAALI) Linear Regression Coefficient Table Results > Plots > Std Resids by Fitted Values TKK/SAL Ilkka Mellin (2005) 20/37

21 Otteet estimointituloksista Malli: Y2 = β 0 + β 1 X + ε UNWEIGHTED LEAST SQUARES LINEAR REGRESSION OF Y2 PREDICTOR VARIABLES COEFFICIENT STD ERROR STUDENT'S T P CONSTANT X R-SQUARED Regression Residual Plot Standardized Residuals Fitted values Mallin selitysaste on 41 %. Muuttuja X on selittäjänä merkitsevä. Residuaalidiagrammi indikoi, että mallin rakenneosa on virheellisesti muotoiltu. TKK/SAL Ilkka Mellin (2005) 21/37

22 Malli: Y4PLUS = β 0 + β 1 X + ε UNWEIGHTED LEAST SQUARES LINEAR REGRESSION OF Y4PLUS PREDICTOR VARIABLES COEFFICIENT STD ERROR STUDENT'S T P CONSTANT X R-SQUARED Regression Residual Plot 2 Standardized Residuals Fitted values Mallin selitysaste on 69 %. Muuttuja X on selittäjänä merkitsevä. Residuaalidiagrammi indikoi, että mallin rakenneosa on virheellisesti muotoiltu. TKK/SAL Ilkka Mellin (2005) 22/37

23 Malli: Y5 = β 0 + β 1 X + ε UNWEIGHTED LEAST SQUARES LINEAR REGRESSION OF Y5 PREDICTOR VARIABLES COEFFICIENT STD ERROR STUDENT'S T P CONSTANT X R-SQUARED Regression Residual Plot 1.8 Standardized Residuals Fitted values Mallin selitysaste on 71 %. Muuttuja X on selittäjänä merkitsevä. Residuaalidiagrammi indikoi, että mallin rakenneosa on virheellisesti muotoiltu. TKK/SAL Ilkka Mellin (2005) 23/37

24 (c) MUUNNOSTEN IDENTIFIOINTI Kohtien (a) ja (b) tulosten perusteella teemme seuraavat identifioinnit: Y2: f ( y) = y g( x) = 1/ x Y 4PLUS: f ( y) = y g( x) = log( x) Y5: f ( y) = y g( x) = x (d) MUUNNOKSET JA PISTEDIAGRAMMIT Muunnokset Lisätään muuttujat XINV: gx ( ) = 1/ x XLOG : gx ( ) = log( x) XSQRT : gx ( ) = x tiedostoon TRANS. Data > Transformations Transformation Expression XINV = 1 / X Data > Transformations Transformation Expression XLOG = Ln(X) Data > Transformations Transformation Expression XSQRT = Sqrt( X) TKK/SAL Ilkka Mellin (2005) 24/37

25 Pistediagrammit Piirretään pistediagrammit (X, Y) jossa X = XINV / XLOG / XSQRT ja Y = Y2 / Y4PLUS / Y5. Pistediagrammien avulla voidaan havainnollistaa muuttujien välistä riippuvuutta. Statistics > Summary Statistics > Scatter Plot X Axis Variables = XINV / XLOG / XSQRT Y Axis Variables = Y2 / Y4PLUS / Y5 Display Regression Line Pistediagrammi (XINV, Y2): 15 Scatter Plot of Y2 vs XINV 11 Y XINV TKK/SAL Ilkka Mellin (2005) 25/37

26 Pistediagrammi (XLOG, Y4PLUS): 12 Scatter Plot of Y4PLUS vs XLOG 10 Y4PLUS XLOG Pistediagrammi (XSQRT, Y5): 14 Scatter Plot of Y5 vs XSQRT 11 Y XSQRT Kaikkien yo. pistediagrammeissa muuttujien X = XINV / XLOG / XSQRT ja Y = Y2 / Y4PLUS / Y5 riippuvuus näyttää lineaariselta. TKK/SAL Ilkka Mellin (2005) 26/37

27 Tarkastellaan vielä muuttujapareja (XLOG, Y5) ja (XSQRT, Y4PLUS). Pistediagrammi (XLOG, Y5): 14 Scatter Plot of Y5 vs XLOG 11 Y XLOG Pistediagrammi (XLOG, Y5) 12 Scatter Plot of Y4PLUS vs XSQRT 10 Y4PLUS XSQRT TKK/SAL Ilkka Mellin (2005) 27/37

28 Nämä pistediagrammit osoittavat, että Y 4PLUS: f ( y) = y g( x) = log( x) Y5: f ( y) = y g( x) = x ovat oikeat valinnat. Tämä perustuu seuraaviin huomioihin: (i) Pistediagrammissa (XLOG, Y5) pistepilvi käyristyy regressiosuoran alapuolelle. Siten muunnos gx ( ) = xei linearisoi muuttujan X ja Y4PLUS välistä riippuvuutta. (ii) Pistediagrammissa (XSQRT, Y4PLUS) pistepilvi käyristyy regressiosuoran yläpuolelle. Siten muunnos gx ( ) = log( x) ei linearisoi muuttujan X ja Y5 välistä riippuvuutta. (e) LINEAARISTEN MALLIEN ESTIMOINTI JA RESIDUAALIKUVIOIDEN PIIRTÄMINEN MUUNNETUISTA MUUTTUJISTA Mallien estimointi Olkoon mallina (1) Y = β 0 + β 1 X + ε jossa Y = Y2 / Y4PLUS / Y5 ja X = XINV / XLOG / XSQRT Statistics > Linear Models > Linear Regression Dependent Variable = Y2 / Y4PLUS / Y5 Independent Variables = XINV / XLOG / XSQRT Residuaalidiagrammit (SOVITE, RESIDUAALI) Piirretään residuaalidiagrammit (SOVITE, RESIDUAALI) Linear Regression Coefficient Table Results > Plots > Std Resids by Fitted Values TKK/SAL Ilkka Mellin (2005) 28/37

29 Otteet estimointituloksista Malli: Y2 = β 0 + β 1 XINV + ε UNWEIGHTED LEAST SQUARES LINEAR REGRESSION OF Y2 PREDICTOR VARIABLES COEFFICIENT STD ERROR STUDENT'S T P CONSTANT XINV R-SQUARED Regression Residual Plot 1.8 Standardized Residuals Fitted values Mallin selitysaste on 82 %. Muuttuja XINV on selittäjänä merkitsevä. Residuaalidiagrammi indikoi, että mallin rakenneosa on oikein muotoiltu. TKK/SAL Ilkka Mellin (2005) 29/37

30 Malli: Y4PLUS = β 0 + β 1 XLOG + ε UNWEIGHTED LEAST SQUARES LINEAR REGRESSION OF Y4PLUS PREDICTOR VARIABLES COEFFICIENT STD ERROR STUDENT'S T P CONSTANT XLOG R-SQUARED Regression Residual Plot 1.8 Standardized Residuals Fitted values Mallin selitysaste on 84 %. Muuttuja XLOG on selittäjänä merkitsevä. Residuaalidiagrammi indikoi, että mallin rakenneosa on oikein muotoiltu. TKK/SAL Ilkka Mellin (2005) 30/37

31 Malli: Y5 = β 0 + β 1 XSQRT + ε UNWEIGHTED LEAST SQUARES LINEAR REGRESSION OF Y5 PREDICTOR VARIABLES COEFFICIENT STD ERROR STUDENT'S T P CONSTANT XSQRT R-SQUARED Regression Residual Plot 1.8 Standardized Residuals Fitted values Mallin selitysaste on 75 %. Muuttuja XSQRT on selittäjänä merkitsevä. Residuaalidiagrammi indikoi, että mallin rakenneosa on oikein muotoiltu. TKK/SAL Ilkka Mellin (2005) 31/37

32 (f) JOHTOPÄÄTÖKSET Kohdan (e) perusteella näyttää siltä, että seuraavat muunnokset ovat oikeita: Y2: f ( y) = y g( x) = 1/ x Y 4PLUS: f ( y) = y g( x) = log( x) Y5: f ( y) = y g( x) = x Nämä ovat todellakin ne muunnokset, joita on käytetty havaintojen generoinnissa: Y2: y = 5+ 2 x+ ε Y 4 PLUS: y = 6 + 2log( x) + ε Y5: y = 6+ 2 x + ε Muuttujat x ja ε generoitiin seuraavasti: x Uniform(0,10) ε N(0,1) TKK/SAL Ilkka Mellin (2005) 32/37

33 4. HOMOSKEDASTISUUDEN TESTAAMINEN STATISTIX-tiedostoon CITYDATA on talletettu seuraavat muuttujat: HSEVAL = Omakotitalojen hintojen keskiarvo SIZEHSE = Talojen mediaanikoko TAXRATE = Kiinteistöverosuhde TOTEXP = Kunnallispalveluihin käytetty rahamäärä COMPER = Vuokratalojen osuus Aineisto koostuu 90 USA:n kuntaa koskevista tiedoista. (a) Estimoi lineaarinen regressiomalli HSEVAL = β 0 + β 1 SIZEHSE + β 2 TAXRATE + β 3 TOTEXP + β 4 COMPER + ε Ovatko kaikki selittäjät tilastollisesti merkitseviä? Tuntuvatko regressiokertoimien estimaattien merkit järkeviltä? (b) Piirrä residuaalikuvio (SOVITE, RESIDUAALI). Ovatko residuaalit homo- vai heteroskedastisia? (c) Tee homoskedastisuustesti, joka perustuu apuregressioon 2 ej = α + α yj + δ j 0 1ˆ Jos R 2 on tästä apuregressiosta määrätty selitysaste, niin 2 nr χ 2 (1) homoskedastisuusoletuksen pätiessä. Ovatko residuaalit homo- vai heteroskedastisia? TKK/SAL Ilkka Mellin (2005) 33/37

34 RATKAISU: (a) MALLIN ESTIMOINTI Olkoon mallina (1) HSEVAL = β 0 + β 1 SIZEHSE + β 2 TAXRATE + β 3 TOTEXP + β 4 COMPER + ε Statistics > Linear Models > Linear Regression Dependent Variable = HSEVAL Independent Variables = SIZEHSE, TAXRATE, TOTEXP, COMPER STATISTIX FOR WINDOWS CITYDAT UNWEIGHTED LEAST SQUARES LINEAR REGRESSION OF HSEVAL PREDICTOR VARIABLES COEFFICIENT STD ERROR STUDENT'S T P VIF CONSTANT SIZEHSE TAXRATE TOTEXP 1.423E E COMPER R-SQUARED RESID. MEAN SQUARE (MSE) ADJUSTED R-SQUARED STANDARD DEVIATION SOURCE DF SS MS F P REGRESSION RESIDUAL TOTAL CASES INCLUDED 90 MISSING CASES 0 Mallin selitysaste on 55 %. Kaikki selittäjät ovat tilastollisesti merkitseviä ja merkeiltään järkeviä (pohdi tätä). TKK/SAL Ilkka Mellin (2005) 34/37

35 (b) RESIDUAALIDIAGRAMMI (SOVITE, RESIDUAALI) Piirretään residuaalidiagrammi (SOVITE, RESIDUAALI) Linear Regression Coefficient Table Results > Plots > Std Resids by Fitted Values 4 Regression Residual Plot Standardized Residuals Fitted values Residuaalidiagrammi indikoi, että mallin rakenneosa on oikein muotoiltu, mutta jäännöstermit saattavat olla heteroskedastisia, koska residuaalien vyö levenee oikealle. (c) HOMOGEENISUUDEN TESTAAMINEN Tässä käytettävä homogeenisuustesti perustuu apuregressioon 2 e 0 1ˆ, 1,2,, j = α + α yj + δ j j = n Jos R 2 on tästä apuregressiosta määrätty selitysaste, niin 2 nr χ 2 (1) homoskedastisuusoletuksen pätiessä. TKK/SAL Ilkka Mellin (2005) 35/37

36 Sovitteiden ja residuaalien tallettaminen Talletetaan sovitteet ja residuaalit tiedostoon CITYDATA. Linear Regression Coefficient Table Results > Save Residuals Fitted Value = FIT Residual = RES Lisätään residuaalien neliöt muuttujaksi RESSQR tiedostoon CITYDATA. Data > Transformations Transformation Expression RESSQR = RES * RES Apuregression estimointi Olkoon mallina (2) RESSQR = β 0 + β 1 FIT + ε Statistics > Linear Models > Linear Regression Dependent Variable = RESSQR Independent Variables = FIT STATISTIX FOR WINDOWS CITYDAT UNWEIGHTED LEAST SQUARES LINEAR REGRESSION OF RESSQR PREDICTOR VARIABLES COEFFICIENT STD ERROR STUDENT'S T P CONSTANT FIT R-SQUARED RESID. MEAN SQUARE (MSE) ADJUSTED R-SQUARED STANDARD DEVIATION SOURCE DF SS MS F P REGRESSION RESIDUAL TOTAL CASES INCLUDED 90 MISSING CASES 0 TKK/SAL Ilkka Mellin (2005) 36/37

37 Homogeenisuustesti Olkoon nollahypoteesina 2 H 0 :Var( ε ) σ, 1,2,, j = j = # n Nollahypoteesin H 0 pätiessä 2 nr χ 2 (1) jossa R 2 on em. apuregression selitysaste. Nyt nr 2 = = Testisuureen arvoa vastaava p-arvo saadaan seuraavalla STATISTIX-operaatiolla: Statistics > Probability Functions Chi-square (x, df) X = DF = 1 Koska testisuuteen arvoa vastaava p-arvo = , voidaan nollahypoteesi mallin (1) jäännöstermin homoskedastisuudesta hylätä merkitsevyystasolla 0.05, mutta ei merkitsevyystasolla Johtopäätös: Mallin (1) jäännöstermi on jonkin verran heteroskedastinen. TKK/SAL Ilkka Mellin (2005) 37/37