Mat-2.104 Tilastollisen analyysin perusteet / Ratkaisut Aiheet: Avainsanat: Mallin valinta Painotettu PNS-menetelmä Alaspäin askellus, Askellus, Askeltava valikointi, Diagnostinen grafiikka, Diagnostiset testit, F- testi, Heteroskedastisuus, Homoskedastisuuden testaaminen, Homoskedastisuus, Korjattu selitysaste, Lineaarinen regressiomalli, Mallin valinta, Mallinvalintakriteeri, Mallinvalintatesti, Mallowsin C p, Merkitsevyystaso, p-arvo, Painotettu pienimmän neliösumman menetelmä, Pienimmän neliösumman menetelmä, Regressiodiagnostiikka, Residuaali, Residuaalidiagrammi, Selitettävä muuttuja, Selittäjä, Selittävä muuttuja, Selitysaste, t-testi 1. MALLIN VALINTA Sementin kovettuessa kehittyy lämpöä, jonka määrä riippuu sementin koostumuksesta. STATISTIX-tiedostossa HALD on seuraavat tiedot 13 erilaisesta sementtierästä: (a) (b) (c) (d) (e) RATKAISU: HEAT = lämpömäärä cal/g CHEM1, CHEM2, CHEM3, CHEM4 = sementin ainesosia (% kuiva-aineesta) Estimoi regressiomalli, jossa ovat mukana kaikki selittäjät. Vertaile kertoimien tilastollista merkitsevyyttä ja tarkastele varianssin inflaatiotekijöitä. Käytä mallin valinnassa alaspäin askellusta. Käytä mallin valinnassa askeltavaa valikointia. Etsi paras selittäjien yhdistelmä käyttäen C p -tunnuslukua. Kommentoi havaintojasi. Tavoitteena on selvittää, mitkä selittävistä tekijöistä CHEM1, CHEM2, CHEM3, CHEM4 todella vaikuttavat selitettävän muuttujan HEAT käyttäytymiseen. (a) TÄYDEN MALLIN ESTIMOINTI Tilanteessa, jossa ei olla selvillä, mitkä selittäjistä vaikuttavat selitettävän muuttujan käyttäytymiseen, on ensimmäisenä järkevää estimoida ns. täysi malli eli malli, jossa käytetään selittäjinä kaikkia selittäjäkandidaatteja. TKK/SAL Ilkka Mellin (2005) 1/1
Korrelaatiot Ennen parhaan selitysmallin etsimistä on syytä tarkastella muuttujien välisiä korrelaatioita. Statistics > Linear Models > Correlations (Pearson) Correlation Variables = HEAT, CHEM1, CHEM2, CHEM3, CHEM4 STATISTIX FOR WINDOWS HALD Influence of 4 Chemicals on Heat of Hardening in Cement CORRELATIONS (PEARSON) HEAT CHEM1 CHEM2 CHEM3 CHEM1 0.7307 CHEM2 0.8163 0.2286 CHEM3-0.5347-0.8241-0.1392 CHEM4-0.8213-0.2454-0.9730 0.0295 CASES INCLUDED 13 MISSING CASES 0 Muuttuja HEAT korreloi voimakkaasti kaikkien selittäjäkandidaattien kanssa. Korrelaatio on positiivinen muuttujien CHEM1 ja CHEM2 kanssa ja negatiivinen muuttujien CHEM3 ja CHEM4 kanssa. Selittäjäkandidaatit CHEM1 ja CHEM3 korreloivat voimakkaan negatiivisesti keskenään, samoin kandidaatit CHEM2 ja CHEM4. Täyden mallin estimointi Olkoon mallina (1) HEAT = β 0 + β 1 CHEM1 + β 2 CHEM2 + β 3 CHEM3 + β 4 CHEM4 + ε Statistics > Linear Models > Linear Regression Dependent Variable = HEAT Independent Variables = CHEM1, CHEM2, CHEM3, CHEM4 TKK/SAL Ilkka Mellin (2005) 2/2
STATISTIX FOR WINDOWS HALD Influence of 4 Chemicals on Heat of Hardening in Cement UNWEIGHTED LEAST SQUARES LINEAR REGRESSION OF HEAT Cumulative Heat of Hardening For Cement PREDICTOR VARIABLES COEFFICIENT STD ERROR STUDENT'S T P VIF --------- ----------- --------- ----------- ------ ----- CONSTANT 62.4054 70.0710 0.89 0.3991 CHEM1 1.55110 0.74477 2.08 0.0708 38.5 CHEM2 0.51017 0.72379 0.70 0.5009 254.4 CHEM3 0.10191 0.75471 0.14 0.8959 46.9 CHEM4-0.14406 0.70905-0.20 0.8441 282.5 R-SQUARED 0.9824 RESID. MEAN SQUARE (MSE) 5.98295 ADJUSTED R-SQUARED 0.9736 STANDARD DEVIATION 2.44601 SOURCE DF SS MS F P ---------- --- ---------- ---------- ----- ------ REGRESSION 4 2667.90 666.975 111.48 0.0000 RESIDUAL 8 47.8636 5.98295 TOTAL 12 2715.76 CASES INCLUDED 13 MISSING CASES 0 Mallin (1) selitysaste on korkea (98.2 %). F-testisuureen arvo nollahypoteesille H 0 : β 1 = β 2 = β 3 = β 4 = 0 on 111.48 ja sitä vastaava p-arvo on (4:llä desimaalilla) 0.0000, joten malli on tilastollisesti erittäin merkitsevä ja ainakin yksi regressiokertoimista β 1, β 2, β 3, β 4 poikkeaa nollasta. Kuitenkaan yksikään mallin (1) selittäjistä ei ole tilastollisesti merkitsevä, jos merkitsevyyden rajana pidetään 5 %:n merkitsevyystasoa. Tämä johtuu selittäjien multikollineaarisuudesta. Selittävien muuttujien multikollineaarisuutta voidaan mitata VIF-kertoimilla. Jos selittäjä i ei riipu lineaarisesti muista selittäjistä (eli on ortogonaalinen muihin selittäjiin nähden), VIF i = 1 Mitä suurempi on kertoimen VIF i arvo, sitä voimakkaammin selittäjä i riippuu lineaarisesti muista selittäjistä. Jos VIF i > 10 jollekin selittäjälle i, multikollineaarisuudesta saattaa olla haittaa. Mallissa (1) sekä selittäjiä CHEM2 ja CHEM4 vastaavien varianssin inflaatiotekijöiden arvot ovat suurempia kuin 200, mikä viittaa voimakkaaseen multikollineaarisuuteen. Tarkastellaan selittäjien multikollineaarisuutta estimoimalla regressiomallit, joissa selitettävinä muuttujina ovat muuttujat CHEM2 ja CHEM4 ja kummassakin tapauksessa selittäjinä käytetään kaikkia muita selittäjiä. TKK/SAL Ilkka Mellin (2005) 3/3
Olkoon mallina (2) CHEM2 = α 0 + α 1 CHEM1 + α 3 CHEM3 + α 4 CHEM4 + δ UNWEIGHTED LEAST SQUARES LINEAR REGRESSION OF CHEM2 PREDICTOR VARIABLES COEFFICIENT STD ERROR STUDENT'S T P VIF --------- ----------- --------- ----------- ------ ----- CONSTANT 96.5938 2.16253 44.67 0.0000 CHEM1-0.97860 0.10602-9.23 0.0000 3.7 CHEM3-1.00350 0.09443-10.63 0.0000 3.5 CHEM4-0.97759 0.02111-46.30 0.0000 1.2 R-SQUARED 0.9961 RESID. MEAN SQUARE (MSE) 1.26897 CASES INCLUDED 13 MISSING CASES 0 Mallin selitysaste on 99.6 %, joten CHEM2 riippuu hyvin voimakkaasti muista selittäjistä. Huomaa, että muuttujan CHEM2 VIF-kerroin mallissa (1) jossa 1 VIF = R 2 2 1 2 2 R2 on selitysaste mallista (2). Olkoon mallina (3) CHEM4 = α 0 + α 1 CHEM1 + α 2 CHEM2 + α 3 CHEM3 + δ UNWEIGHTED LEAST SQUARES LINEAR REGRESSION OF CHEM4 PREDICTOR VARIABLES COEFFICIENT STD ERROR STUDENT'S T P VIF --------- ----------- --------- ----------- ------ ----- CONSTANT 98.6508 1.94627 50.69 0.0000 CHEM1-1.00504 0.10175-9.88 0.0000 3.3 CHEM2-1.01865 0.02200-46.30 0.0000 1.1 CHEM3-1.02809 0.09187-11.19 0.0000 3.1 R-SQUARED 0.9965 RESID. MEAN SQUARE (MSE) 1.32226 CASES INCLUDED 13 MISSING CASES 0 Mallin selitysaste on 99.6 %, joten CHEM2 riippuu voimakkaasti muista selittäjistä. Huomaa, että muuttujan CHEM4 VIF-kerroin mallissa (1) jossa 1 VIF = R 4 2 1 4 2 R4 on selitysaste mallista (3). TKK/SAL Ilkka Mellin (2005) 4/4
Perussyy multikollineaarisuudelle mallissa (1) on se, että sementti koostuu lähes pelkästään ainesosista CHEM1, CHEM2, CHEM3, CHEM4: Muuttujien CHEM1, CHEM2, CHEM3, CHEM4 summa vaihtelee välillä 95-99 %. Siten yhden ainesosan lisäämisen on pakko vähentää joidenkin muiden ainesosien osuutta sementin koostumuksessa. Tämä selittää sen, miksi muuttujien CHEM1, CHEM3 sekä CHEM2, CHEM4 on voimakkaat negatiiviset korrelaatiot. (b) ALASPÄIN ASKELLUS Regressiomallin selittäjien valikointiin voidaan käyttää erilaisia strategioita. Alaspäin askelluksessa hyvään malliin pyritään poistamalla mallista tilastollisesti merkityksettömät selittäjät käyttäen apuna tavanomaisia regressiokertoimille tarkoitettuja t- testejä. Alaspäin askellus suoritetaan seuraavalla tavalla: (i) (ii) Valitaan selittäjien merkitsevyyden testaamisessa käytettävien t-testien merkitsevyystaso (P to Exit). Estimoidaan lähtömalli. Alaspäin askelluksessa lähtömalli on täysi eli lähtömalliin otetaan selittäjiksi kaikki selittäjäkandidaatit. (iii) Tutkitaan ovatko kaikki selittäjät tilastollisesti merkitseviä. Jos kaikki selittäjät ovat tilastollisesti merkitseviä, malli on valmis. Jos kaikki selittäjät eivät ole tilastollisesti merkitseviä, poistetaan mallin selittäjistä heikoin eli se, jota vastaava t-testisuureen p-arvo on suurin. (iv) Estimoidaan malli uudelleen ja palataan vaiheeseen (iii). Alaspäin askellusta säädellään regressiokertoimien merkitsevyyden testaamisessa käytettävällä merkitsevyystasolla. Lähdetään liikkeelle mallista (1). Poistetaan mallista ensimmäisenä selittäjä CHEM3, koska sitä vastaava t-testisuureen p-arvo on suurin ja estimoidaan malli uudelleen. UNWEIGHTED LEAST SQUARES LINEAR REGRESSION OF HEAT PREDICTOR VARIABLES COEFFICIENT STD ERROR STUDENT'S T P VIF --------- ----------- --------- ----------- ------ ----- CONSTANT 71.6483 14.1424 5.07 0.0007 CHEM1 1.45194 0.11700 12.41 0.0000 1.1 CHEM2 0.41611 0.18561 2.24 0.0517 18.8 CHEM4-0.23654 0.17329-1.37 0.2054 18.9 R-SQUARED 0.9823 RESID. MEAN SQUARE (MSE) 5.33030 CASES INCLUDED 13 MISSING CASES 0 TKK/SAL Ilkka Mellin (2005) 5/5
Tuloksena saatu malli on selitysasteeltaan (98.2 %) lähes yhtä hyvä kuin mallin (1). Varianssin inflaatiotekijät ovat selvästi pienentyneet malliin (1) verrattuna. Selittäjää CHEM4 vastaava regressiokerroin ei kuitenkaan ole tilastollisesti merkitsevä. Poistetaan mallista seuraavaksi selittäjä CHEM4 ja estimoidaan malli uudelleen. UNWEIGHTED LEAST SQUARES LINEAR REGRESSION OF HEAT PREDICTOR VARIABLES COEFFICIENT STD ERROR STUDENT'S T P VIF --------- ----------- --------- ----------- ------ ----- CONSTANT 52.5773 2.28617 23.00 0.0000 CHEM1 1.46831 0.12130 12.10 0.0000 1.1 CHEM2 0.66225 0.04585 14.44 0.0000 1.1 R-SQUARED 0.9787 RESID. MEAN SQUARE (MSE) 5.79045 CASES INCLUDED 13 MISSING CASES 0 Tuloksena saatu malli on selitysasteeltaan (97.9 %) lähes yhtä hyvä kuin malli (1) ja kaikki malliin jääneet selittäjät ovat tilastollisesti merkitseviä. Varianssin inflaatio-tekijöiden mukaan malliin jääneet selittäjät ovat lähes ortogonaalisia. Huomautus: Alaspäin askellus on tässä tehty manuaalisesti, mutta STATISTIX-ohjelmaa käytettäessä se voidaan tehdä myös askeltavan valikoinnin avulla; kts. kohta (c) ja STATISTIX-ohjelman HELP. TKK/SAL Ilkka Mellin (2005) 6/6
Piirretään lopuksi residuaalidiagrammi (SOVITE, RESIDUAALI). 1.8 Regression Residual Plot Standardized Residuals 0.9 0.0-0.9-1.8 73 80 87 94 101 108 115 Fitted values Diagrammin perusteella mallia voidaan pitää kelvollisena. (c) ASKELTAVA VALIKOINTI Regressiomallin selittäjien valikointiin voidaan käyttää erilaisia strategioita. Askeltavassa valikoinnissa hyvään malliin pyritään lisäämällä malliin tilastollisesti merkitsevät selittäjät ja poistamalla mallista tilastollisesti merkityksettömät selittäjät käyttäen apuna tavanomaisia regressiokertoimille tarkoitettuja t-testejä Askeltava valikointi suoritetaan seuraavalla tavalla: (i) (ii) Valitaan kaksi merkitsevyystasoa: Merkitsevyystaso, jota käytetään, kun malliin ollaan lisäämässä selittäjää (P to Enter) ja merkitsevyystaso, jota käytetään, kun mallista ollaan poistamassa selittäjää (P to Exit). Estimoidaan lähtömalli. Tyhjässä lähtömallissa ei ole muita selittäjiä kuin vakio. Täydessä lähtömallissa selittäjiksi on otettu kaikki selittäjäkandidaatit. Lähtömalliin voidaan valita jokin selittäjäkandidaattien osajoukko. (iii) Tutkitaan onko mallin ulkopuolella olevien selittäjien joukossa sellaisia, jotka malliin lisättyinä olisivat tilastollisesti merkitseviä. Jos sellaisia löytyy, lisätään malliin voimakkain eli se, jota vastaava t-testisuureen p-arvo on pienin. Tutkitaan onko mallissa selittäjiä, jotka eivät ole tilastollisesti merkitseviä. Jos sellaisia löytyy, poistetaan mallista heikoin eli se, jota vastaava t-testisuureen p-arvo on suurin. TKK/SAL Ilkka Mellin (2005) 7/7
Jos kaikki mallissa olevat selittäjät ovat tilastollisesti merkitseviä ja mallin ulkopuolelle ei ole jäänyt yhtään tilastollisesti merkitsevää selittäjä-kandidaattia, malli on valmis. Muuten siirrytään vaiheeseen (iv). (iv) Estimoidaan malli uudelleen ja palataan vaiheeseen (iii). Askeltavaa valikointia säädellään kahdella regressiokertoimien merkitsevyyden testaamisessa käytettävillä merkitsevyystasoilla: Merkitsevyystasolla, jota käytetään, kun malliin ollaan lisäämässä selittäjää (P to Enter) ja merkitsevyystasolla, jota käytetään, kun mallista ollaan poistamassa selittäjää (P to Exit). Ohjelmistot mahdollistavat tavallisesti sen, että tärkeinä pidettävät muuttujat voidaan pakottaa malliin (Forced Indep. Vars). Samoin mallin aloitusryhmitys (Starting Indep. Vars) voidaan tavallisesti määrätä käyttäjän toimesta. Lähdetään liikkeelle tyhjästä mallista. Statistics > Linear Models > Stepwise Regression Dependent Variable = HEAT Non-forced Indep. Vars = CHEM1, CHEM2, CHEM3, CHEM4 P to Enter = 0.05 P to Exit = 0.05 TKK/SAL Ilkka Mellin (2005) 8/8
STATISTIX FOR WINDOWS HALD Influence of 4 Chemicals on Heat of Hardening in Cement STEPWISE REGRESSION OF HEAT Cumulative Heat of Hardening For Cement UNFORCED VARIABLES: CHEM1 CHEM2 CHEM3 CHEM4 P to ENTER 0.0500 P to EXIT 0.0500 STEP VARIABLE COEFFICIENT T P R SQ MSE ---- --------- ----------- ------- ------ ------ --------- 1 CONSTANT 95.4231 22.87 0.0000 226.314 2 CONSTANT 117.568 22.34 0.6745 80.3515 CHEM4-0.73816-4.77 0.0006 3 CONSTANT 103.097 48.54 0.9725 7.47621 CHEM1 1.43996 10.40 0.0000 CHEM4-0.61395-12.62 0.0000 RESULTING STEPWISE MODEL VARIABLE COEFFICIENT STD ERROR STUDENT'S T P VIF --------- ----------- --------- ----------- ------ ----- CONSTANT 103.097 2.12398 48.54 0.0000 CHEM1 1.43996 0.13842 10.40 0.0000 1.1 CHEM4-0.61395 0.04864-12.62 0.0000 1.1 CASES INCLUDED 13 R SQUARED 0.9725 MSE 7.47621 MISSING CASES 0 ADJ R SQ 0.9670 SD 2.73427 VARIABLES NOT IN THE MODEL CORRELATIONS VARIABLE MULTIPLE PARTIAL T P --------- -------- ------- ------- ------ CHEM2 0.9730 0.5986 2.24 0.0517 CHEM3 0.8432-0.5657-2.06 0.0697 Algoritmi valitsee ensimmäisenä malliin vakioselittäjän. Toisena malliin otetaan muuttuja CHEM4 ja kolmantena muuttuja CHEM1. Sen jälkeen algoritmin toiminta pysähtyy: malli on valmis. Askeleiden aikana mallista ei poisteta yhtään selittäjää. Huomaa, että tuloksena ei ole sama malli kuin (b)-kohdassa. (d) PARAS SELITTÄJIEN YHDISTELMÄ Regressiomallin selittäjien valikointiin voidaan käyttää erilaisia strategioita. Valittaessa parasta selittäjien yhdistelmää kaikkia mahdollisia mallivaihtoehtoja verrataan toisiinsa käyttämällä jotakin mallinvalintakriteeriä ja lopulliseksi malliksi valitaan se, joka on käytetyn kriteerifunktion mielessä optimaalinen. Tilastotieteellisessä kirjallisuudessa on esitetty lukuisia mallinvalintakriteereitä. Tunnettuja kriteereitä ovat esim. Akaiken informaatiokriteeri AIC, Schwarzin bayeslainen informaatiokriteeri SBIC (BIC), Hannanin ja Quinnin kriteeri HQ, Allenin PRESS ja CAT. TKK/SAL Ilkka Mellin (2005) 9/9
STATISTIX-ohjelmassa on käytössä kaksi mallivalintakriteeriä: Korjattu selitysaste (Adjusted R Square) ja Mallowsin C p. Korjattu selitysaste korjaa mallinvalintakriteerinä sen tavanomaisen selitysasteen puutteen, että selitysaste kasvaa (tai ei ainakaan pienene), kun malliin lisätään selittäjiä. Korjatun selitysasteen mielessä paras vaihtoehtoisista malleista on se, jonka korjattu selitysaste on korkein. Mallowsin C p korjaa mallinvalintakriteerinä sen jäännösneliösumman puutteen, että jäännösneliösumma pienenee (tai ei ainakaan kasva), kun malliin lisätään selittäjiä. Mallowsin C p :n mukaan paras vaihtoehtoisista malleista on se, jonka C p -luku on pienin. Tutkitaan kaikki mallivaihtoehdot. Statistics > Linear Models > Best Subsets Regressions Dependent Variable = HEAT Non-forced Indep. Vars = CHEM1, CHEM2, CHEM3, CHEM4 STATISTIX FOR WINDOWS HALD Influence of 4 Chemicals on Heat of Hardening in Cement BEST SUBSET REGRESSION MODELS FOR HEAT Cumulative Heat of Hardening For Cement UNFORCED INDEPENDENT VARIABLES: (A)CHEM1 (B)CHEM2 (C)CHEM3 (D)CHEM4 3 "BEST" MODELS FROM EACH SUBSET SIZE LISTED. ADJUSTED P CP R SQUARE R SQUARE RESID SS MODEL VARIABLES -- ----- -------- -------- --------- ----------------------- 1 442.9 0.0000 0.0000 2715.76 INTERCEPT ONLY 2 138.7 0.6450 0.6745 883.867 D 2 142.5 0.6359 0.6663 906.336 B 2 202.5 0.4916 0.5339 1265.69 A 3 2.7 0.9744 0.9787 57.9045 A B 3 5.5 0.9670 0.9725 74.7621 A D 3 22.4 0.9223 0.9353 175.738 C D 4 3.0 0.9764 0.9823 47.9727 A B D 4 3.0 0.9764 0.9823 48.1106 A B C 4 3.5 0.9750 0.9813 50.8361 A C D 5 5.0 0.9736 0.9824 47.8636 A B C D Korjatun selitysasteen (ADJUSTED R SQUARE) mukaan parhaita malleja on (käytetyllä tulostustarkkuudella) kaksi: Malli, jonka selittäjät ovat CHEM1, CHEM2, CHEM3 ja malli, jonka selittäjät ovat CHEM1, CHEM2, CHEM4. Näistä parempana voidaan pitää jälkimmäistä, koska se tuottaa pienemmän jäännösneliösumman (RESID SS). TKK/SAL Ilkka Mellin (2005) 10/10
Olkoon mallina (4) HEAT = β 0 + β 1 CHEM1 + β 2 CHEM2 + β 4 CHEM4 + ε Statistics > Linear Models > Linear Regression Dependent Variable = HEAT Independent Variables = CHEM1, CHEM2, CHEM4 UNWEIGHTED LEAST SQUARES LINEAR REGRESSION OF HEAT PREDICTOR VARIABLES COEFFICIENT STD ERROR STUDENT'S T P VIF --------- ----------- --------- ----------- ------ ----- CONSTANT 71.6483 14.1424 5.07 0.0007 CHEM1 1.45194 0.11700 12.41 0.0000 1.1 CHEM2 0.41611 0.18561 2.24 0.0517 18.8 CHEM4-0.23654 0.17329-1.37 0.2054 18.9 R-SQUARED 0.9823 RESID. MEAN SQUARE (MSE) 5.33030 CASES INCLUDED 13 MISSING CASES 0 Estimoidussa mallissa selittäjän CHEM4 regressiokerroin ei kuitenkaan ole merkitsevä. C p -kriteerin (CP) mukaan paras vaihtoehtoisista malleista on se, jonka selittäjät ovat CHEM1 ja CHEM2. Malli on tässä tapauksessa sama kuin (b)-kohdassa saatu malli. Huomautus: Jäännösneliösummaa (RESID SS) tai selitysastetta (R SQUARE) ei voida käyttää mallinvalintakriteereinä, koska sekä jäännösneliösumman minimointi että selitysasteen maksimointi johtavat aina täyteen (maksimaaliseen) malliin (esimerkin tapauksessa malliin, jossa on selittäjinä kaikki kandidaatit CHEM1, CHEM2, CHEM3, CHEM4. (e) KOMMENTTEJA Mallin valitsemiseen ei ole tarjolla yleispätevää, objektiivisen lopputuloksen antavaa menetelmää. Erilaiset valintamenetelmät saattavat johtaa erilaisiin lopputuloksiin. Tämä merkitsee sitä, että mallin valinnassa pitäisi aina käyttää tilastollisten kriteerien lisäksi ilmiön taustateoriasta johdettua priori- eli ennakkotietoa. Priori-tieto voi koskea sekä mallin rakenneosan muotoa että regressiokertoimien merkkiä ja suuruutta. TKK/SAL Ilkka Mellin (2005) 11/11
2. MALLIN VALINTA Data: 9. harjoitusten tehtävä 4, STATISTIX-tiedosto CITYDATA. (a)-(e) kuten tehtävässä 1. RATKAISU: Tavoitteena on selvittää, mitkä selittävistä tekijöistä SIZEHSE, TAXRATE, TOTEXP, COMPER todella vaikuttavat selitettävän muuttujan HSEVAL käyttäytymiseen. (a) TÄYDEN MALLIN ESTIMOINTI Tilanteessa, jossa ei olla selvillä, mitkä selittäjistä vaikuttavat selitettävän muuttujan käyttäytymiseen, on ensimmäisenä järkevää estimoida ns. täysi malli eli malli, jossa käytetään selittäjinä kaikkia selittäjäkandidaatteja. Olkoon mallina (1) HSEVAL = β 0 + β 1 SIZEHSE + β 2 TAXRATE + β 3 TOTEXP + β 4 COMPER + ε Statistics > Linear Models > Linear Regression Dependent Variable = HSEVAL Independent Variables = SIZEHSE, TAXRATE, TOTEXP, COMPER TKK/SAL Ilkka Mellin (2005) 12/12
STATISTIX FOR WINDOWS CITYDAT UNWEIGHTED LEAST SQUARES LINEAR REGRESSION OF HSEVAL PREDICTOR VARIABLES COEFFICIENT STD ERROR STUDENT'S T P VIF --------- ----------- --------- ----------- ------ ----- CONSTANT -23.4328 8.98561-2.61 0.0108 SIZEHSE 9.21014 1.56419 5.89 0.0000 1.1 TAXRATE -177.534 39.8668-4.45 0.0000 1.0 TOTEXP 1.423E-06 2.963E-07 4.80 0.0000 1.1 COMPER -20.3704 6.19937-3.29 0.0015 1.2 R-SQUARED 0.5505 RESID. MEAN SQUARE (MSE) 11.5623 ADJUSTED R-SQUARED 0.5294 STANDARD DEVIATION 3.40033 SOURCE DF SS MS F P ---------- --- ---------- ---------- ----- ------ REGRESSION 4 1203.84 300.960 26.03 0.0000 RESIDUAL 85 982.792 11.5623 TOTAL 89 2186.63 CASES INCLUDED 90 MISSING CASES 0 Mallin (1) selitysaste on kohtuullinen (55.0 %). F-testisuureen arvo nollahypoteesille H 0 : β 1 = β 2 = β 3 = β 4 = 0 on 26.03 ja sitä vastaava p-arvo on (4:llä desimaalilla) 0.0000, joten malli on tilastollisesti erittäin merkitsevä ja ainakin yksi regressiokertoimista β 1, β 2, β 3, β 4 poikkeaa nollasta. Kaikki mallin (1) selittäjät ovat tilastollisesti merkitseviä kaikilla tavanomaisilla merkitsevyystasoilla. Huomaa, että selittäjät ovat VIF-lukujen perusteella lähes ortogonaalisia. (b) ALASPÄIN ASKELLUS Regressiomallin selittäjien valikointiin voidaan käyttää erilaisia strategioita. Alaspäin askelluksessa hyvään malliin pyritään poistamalla mallista tilastollisesti merkityksettömät selittäjät käyttäen apuna tavanomaisia regressiokertoimille tarkoitettuja t- testejä. Koska mallin (1) kaikki selittäjät ovat tilastollisesti merkitseviä, malli on valmis. (c) ASKELTAVA VALIKOINTI Regressiomallin selittäjien valikointiin voidaan käyttää erilaisia strategioita. Askeltavassa valikoinnissa hyvään malliin pyritään lisäämällä malliin tilastollisesti merkitsevät selittäjät ja poistamalla mallista tilastollisesti merkityksettömät selittäjät käyttäen apuna tavanomaisia regressiokertoimille tarkoitettuja t-testejä Lähdetään liikkeelle tyhjästä mallista. TKK/SAL Ilkka Mellin (2005) 13/13
Statistics > Linear Models > Stepwise Regression Dependent Variable = HSEVAL Non-forced Indep. Vars = SIZEHSE, TAXRATE, TOTEXP, COMPER P to Enter = 0.05 P to Exit = 0.05 STATISTIX FOR WINDOWS CITYDAT STEPWISE REGRESSION OF HSEVAL UNFORCED VARIABLES: SIZEHSE TAXRATE TOTEXP COMPER P to ENTER 0.0500 P to EXIT 0.0500 STEP VARIABLE COEFFICIENT T P R SQ MSE ---- --------- ----------- ------- ------ ------ --------- 1 CONSTANT 21.0306 40.25 0.0000 24.5689 2 CONSTANT -40.1499-3.97 0.2941 17.5399 SIZEHSE 11.1688 6.06 0.0000 3 CONSTANT -31.6720-3.31 0.4057 14.9362 SIZEHSE 10.5185 6.15 0.0000 TAXRATE -181.595-4.04 0.0001 4 CONSTANT -33.6544-3.78 0.4935 12.8794 SIZEHSE 10.6172 6.69 0.0000 TAXRATE -192.300-4.60 0.0000 TOTEXP 1.162E-06 3.86 0.0002 5 CONSTANT -23.4328-2.61 0.5505 11.5623 SIZEHSE 9.21014 5.89 0.0000 TAXRATE -177.534-4.45 0.0000 TOTEXP 1.423E-06 4.80 0.0000 COMPER -20.3704-3.29 0.0015 RESULTING STEPWISE MODEL VARIABLE COEFFICIENT STD ERROR STUDENT'S T P VIF --------- ----------- --------- ----------- ------ ----- CONSTANT -23.4328 8.98561-2.61 0.0108 SIZEHSE 9.21014 1.56419 5.89 0.0000 1.1 TAXRATE -177.534 39.8668-4.45 0.0000 1.0 TOTEXP 1.423E-06 2.963E-07 4.80 0.0000 1.1 COMPER -20.3704 6.19937-3.29 0.0015 1.2 CASES INCLUDED 90 R SQUARED 0.5505 MSE 11.5623 MISSING CASES 0 ADJ R SQ 0.5294 SD 3.40033 Tuloksena on (tietysti) (a)-kohdan malli. TKK/SAL Ilkka Mellin (2005) 14/14
(d) PARAS SELITTÄJIEN YHDISTELMÄ Regressiomallin selittäjien valikointiin voidaan käyttää erilaisia strategioita. Valittaessa parasta selittäjien yhdistelmää kaikkia mahdollisia mallivaihtoehtoja verrataan toisiinsa käyttämällä jotakin mallinvalintakriteeriä ja lopulliseksi malliksi valitaan se, joka on käytetyn kriteerifunktion mielessä optimaalinen. Tutkitaan kaikki mallivaihtoehdot. Statistics > Linear Models > Best Subset Regressions Dependent Variable = HSEVAL Non-forced Indep. Vars = SIZEHSE, TAXRATE, TOTEXP, COMPER Sekä Mallowsin C p -kriteerin minimointi että korjatun selitysasteen maksimointi johtavat samaan tulokseen, (a)-kohdan malliin. STATISTIX FOR WINDOWS CITYDAT BEST SUBSET REGRESSION MODELS FOR HSEVAL UNFORCED INDEPENDENT VARIABLES: (A)SIZEHSE (B)TAXRATE (C)TOTEXP (D)COMPER 3 "BEST" MODELS FROM EACH SUBSET SIZE LISTED. ADJUSTED P CP R SQUARE R SQUARE RESID SS MODEL VARIABLES -- ----- -------- -------- --------- ----------------------- 1 101.1 0.0000 0.0000 2186.63 INTERCEPT ONLY 2 47.5 0.2861 0.2941 1543.51 A 2 75.3 0.1375 0.1472 1864.80 B 2 81.9 0.1022 0.1123 1941.16 D 3 28.4 0.3921 0.4057 1299.45 A B 3 35.4 0.3543 0.3688 1380.11 A C 3 42.5 0.3155 0.3309 1463.07 A D 4 13.8 0.4758 0.4935 1107.63 A B C 4 22.8 0.4263 0.4457 1212.08 A C D 4 26.1 0.4085 0.4285 1249.73 A B D 5 5.0 0.5294 0.5505 982.792 A B C D Sekä Mallowsin C p -kriteerin minimointi että korjatun selitysasteen maksimointi johtavat samaan tulokseen, (a)-kohdan malliin. (e) KOMMENTTEJA Mallin valitsemiseen ei ole tarjolla yleispätevää, objektiivisen lopputuloksen antavaa menetelmää. Erilaiset valintamenetelmät saattavat johtaa erilaisiin lopputuloksiin. Kuitenkin sellaisissa tilanteissa, joissa selittäjät ovat lähes ortogonaalisia kuten tässä eri menetelmät johtavat tavallisesti samaan malliin. TKK/SAL Ilkka Mellin (2005) 15/15
3. MALLIN VALINTA Data: 8. harjoitusten tehtävä 4, STATISTIX-tiedosto MOTORS. (a)-(e) kuten tehtävässä 1. RATKAISU: Tavoitteena on selvittää, mitkä selittävistä tekijöistä CYLINDER, DISPLACE, HORSPWR, WEIGHT, PRICE todella vaikuttavat selitettävän muuttujan MILPGAL käyttäytymiseen. (a) TÄYDEN MALLIN ESTIMOINTI Tilanteessa, jossa ei olla selvillä, mitkä selittäjistä vaikuttavat selitettävän muuttujan käyttäytymiseen, on ensimmäisenä järkevää estimoida ns. täysi malli eli malli, jossa käytetään selittäjinä kaikkia selittäjäkandidaatteja. Olkoon mallina (1) MILPGAL = β 0 + β 1 CYLINDER + β 2 DISPLACE + β 3 HORSPWR + β 4 WEIGHT + β 5 PRICE + ε Statistics > Linear Models > Linear Regression Dependent Variable = MILPGAL Independent Variables = CYLINDER, DISPLACE, HORSPWR, WEIGHT, PRICE TKK/SAL Ilkka Mellin (2005) 16/16
STATISTIX FOR WINDOWS MOTORS UNWEIGHTED LEAST SQUARES LINEAR REGRESSION OF MILPGAL PREDICTOR VARIABLES COEFFICIENT STD ERROR STUDENT'S T P VIF --------- ----------- --------- ----------- ------ ----- CONSTANT 57.1654 2.58887 22.08 0.0000 CYLINDER 0.52115 0.61373 0.85 0.3972 7.9 DISPLACE 0.02093 0.01625 1.29 0.1998 15.6 HORSPWR -0.11522 0.02258-5.10 0.0000 3.3 WEIGHT -0.01004 0.00138-7.30 0.0000 7.6 PRICE 1.668E-04 4.005E-05 4.17 0.0001 1.1 R-SQUARED 0.7584 RESID. MEAN SQUARE (MSE) 13.5665 ADJUSTED R-SQUARED 0.7500 STANDARD DEVIATION 3.68327 SOURCE DF SS MS F P ---------- --- ---------- ---------- ----- ------ REGRESSION 5 6133.20 1226.64 90.42 0.0000 RESIDUAL 144 1953.58 13.5665 TOTAL 149 8086.77 CASES INCLUDED 150 MISSING CASES 5 Mallin (1) selitysaste on kohtuullinen (75.8 %). F-testisuureen arvo nollahypoteesille H 0 : β 1 = β 2 = β 3 = β 4 = β 5 = 0 on 1226.64 ja sitä vastaava p-arvo on (4:llä desimaalilla) 0.0000, joten malli on tilastollisesti erittäin merkitsevä ja ainakin yksi regressiokertoimista β 1, β 2, β 3, β 4, β 5 poikkeaa nollasta. Mallin (1) selittäjistä on tilastollisesti merkitseviä muuttujat HORSPWR, WEIGHT, PRICE. Huomaa, että selittäjä DISPLACE riippuu VIF-lukujen perusteella melko voimakkaasti lineaarisesti muista selittäjistä. (b) ALASPÄIN ASKELLUS Regressiomallin selittäjien valikointiin voidaan käyttää erilaisia strategioita. Alaspäin askelluksessa hyvään malliin pyritään poistamalla mallista tilastollisesti merkityksettömät selittäjät käyttäen apuna tavanomaisia regressiokertoimille tarkoitettuja t- testejä. Lähdetään liikkeelle mallista (1). Poistetaan mallista ensin selittäjä CYLINDER, koska sitä vastaava t-testisuureen p-arvo on suurin ja estimoidaan malli uudelleen. TKK/SAL Ilkka Mellin (2005) 17/17
UNWEIGHTED LEAST SQUARES LINEAR REGRESSION OF MILPGAL PREDICTOR VARIABLES COEFFICIENT STD ERROR STUDENT'S T P VIF --------- ----------- --------- ----------- ------ ----- CONSTANT 58.4899 2.06422 28.34 0.0000 DISPLACE 0.03090 0.01122 2.75 0.0066 7.4 HORSPWR -0.11337 0.02245-5.05 0.0000 3.3 WEIGHT -0.01021 0.00136-7.52 0.0000 7.4 PRICE 1.655E-04 3.998E-05 4.14 0.0001 1.1 R-SQUARED 0.7572 RESID. MEAN SQUARE (MSE) 13.5404 CASES INCLUDED 150 MISSING CASES 5 Tuloksena saatu malli on selitysasteeltaan (75.7 %) lähes yhtä hyvä kuin malli (1) ja kaikki malliin jääneet selittäjät ovat tilastollisesti merkitseviä. Varianssin inflaatio-tekijöiden mukaan malliin jääneet selittäjät ovat lähes ortogonaalisia. Huomautus: Alaspäin askellus on tässä tehty manuaalisesti, mutta STATISTIX-ohjelmaa käytettäessä se voidaan tehdä myös askeltavan valikoinnin avulla; kts. kohta (c) ja STATISTIX-ohjelman HELP. (c) ASKELTAVA VALIKOINTI Regressiomallin selittäjien valikointiin voidaan käyttää erilaisia strategioita. Askeltavassa valikoinnissa hyvään malliin pyritään lisäämällä malliin tilastollisesti merkitsevät selittäjät ja poistamalla mallista tilastollisesti merkityksettömät selittäjät käyttäen apuna tavanomaisia regressiokertoimille tarkoitettuja t-testejä Lähdetään liikkeelle tyhjästä mallista. Statistics > Linear Models > Stepwise Regression Dependent Variable = MILPGAL Non-forced Indep. Vars = CYLINDER, DISPLACE, HORSPWR, WEIGHT, PRICE P to Enter = 0.05 P to Exit = 0.05 TKK/SAL Ilkka Mellin (2005) 18/18
STATISTIX FOR WINDOWS MOTORS STEPWISE REGRESSION OF MILPGAL UNFORCED VARIABLES: CYLINDER DISPLACE HORSPWR WEIGHT PRICE P to ENTER 0.0500 P to EXIT 0.0500 STEP VARIABLE COEFFICIENT T P R SQ MSE ---- --------- ----------- ------- ------ ------ --------- 1 CONSTANT 28.7480 47.79 0.0000 54.2737 2 CONSTANT 55.6366 35.95 0.6819 17.3820 WEIGHT -0.01005-17.81 0.0000 3 CONSTANT 55.7694 38.51 0.7234 15.2163 HORSPWR -0.10489-4.70 0.0000 WEIGHT -0.00661-7.34 0.0000 4 CONSTANT 54.3693 37.40 0.7445 14.1509 HORSPWR -0.09381-4.31 0.0000 WEIGHT -0.00735-8.21 0.0000 PRICE 1.372E-04 3.47 0.0007 5 CONSTANT 58.4899 28.34 0.7572 13.5404 DISPLACE 0.03090 2.75 0.0066 HORSPWR -0.11337-5.05 0.0000 WEIGHT -0.01021-7.52 0.0000 PRICE 1.655E-04 4.14 0.0001 RESULTING STEPWISE MODEL VARIABLE COEFFICIENT STD ERROR STUDENT'S T P VIF --------- ----------- --------- ----------- ------ ----- CONSTANT 58.4899 2.06422 28.34 0.0000 DISPLACE 0.03090 0.01122 2.75 0.0066 7.4 HORSPWR -0.11337 0.02245-5.05 0.0000 3.3 WEIGHT -0.01021 0.00136-7.52 0.0000 7.4 PRICE 1.655E-04 3.998E-05 4.14 0.0001 1.1 CASES INCLUDED 150 R SQUARED 0.7572 MSE 13.5404 MISSING CASES 5 ADJ R SQ 0.7505 SD 3.67973 VARIABLES NOT IN THE MODEL CORRELATIONS VARIABLE MULTIPLE PARTIAL T P --------- -------- ------- ------- ------ CYLINDER 0.9343 0.0706 0.85 0.3972 Tuloksena on (b)-kohdan malli. (d) PARAS SELITTÄJIEN YHDISTELMÄ Regressiomallin selittäjien valikointiin voidaan käyttää erilaisia strategioita. Valittaessa parasta selittäjien yhdistelmää kaikkia mahdollisia mallivaihtoehtoja verrataan toisiinsa käyttämällä jotakin mallinvalintakriteeriä ja lopulliseksi malliksi valitaan se, joka on käytetyn kriteerifunktion mielessä optimaalinen. TKK/SAL Ilkka Mellin (2005) 19/19
Tutkitaan kaikki mallivaihtoehdot. Statistics > Linear Models > Best Subset Regressions Dependent Variable = MILPGAL Non-forced Indep. Vars = CYLINDER, DISPLACE, HORSPWR, WEIGHT, PRICE Sekä Mallowsin C p -kriteerin minimointi että korjatun selitysasteen maksimointi johtavat samaan tulokseen, (b)-kohdan malliin. STATISTIX FOR WINDOWS MOTORS BEST SUBSET REGRESSION MODELS FOR MILPGAL UNFORCED INDEPENDENT VARIABLES: (A)CYLINDER (B)DISPLACE (C)HORSPWR (D)WEIGHT (E)PRICE 3 "BEST" MODELS FROM EACH SUBSET SIZE LISTED. ADJUSTED P CP R SQUARE R SQUARE RESID SS MODEL VARIABLES -- ----- -------- -------- --------- ----------------------- 1 448.1 0.0000 0.0000 8086.77 INTERCEPT ONLY 2 43.6 0.6797 0.6819 2572.54 D 2 79.2 0.6196 0.6221 3055.83 C 2 108.9 0.5694 0.5723 3458.52 B 3 20.9 0.7196 0.7234 2236.79 C D 3 27.7 0.7081 0.7120 2328.80 D E 3 45.6 0.6776 0.6819 2572.49 B D 4 10.3 0.7393 0.7445 2066.03 C D E 4 19.8 0.7230 0.7286 2195.15 A C D 4 19.8 0.7229 0.7285 2195.36 B C D 5 4.7 0.7505 0.7572 1963.36 B C D E 5 5.7 0.7489 0.7556 1976.09 A C D E 5 21.4 0.7218 0.7293 2188.97 A B C D 6 6.0 0.7500 0.7584 1953.58 A B C D E (e) KOMMENTTEJA Mallin valitsemiseen ei ole tarjolla yleispätevää, objektiivisen lopputuloksen antavaa menetelmää. Erilaiset valintamenetelmät saattavat johtaa erilaisiin lopputuloksiin. Kuitenkin sellaisissa tilanteissa, joissa muut selittäjät paitsi yksi ovat lähes ortogonaalisia kuten tässä eri menetelmät johtavat tavallisesti samaan malliin. TKK/SAL Ilkka Mellin (2005) 20/20
4. PAINOTETTU PNS-MENETELMÄ STASTISTIX-tiedostoon TRANS2 on talletettu muuttujat Y6 ja X. (a) (b) (c) (d) (e) Piirrä pistediagrammi (X, Y6). Mitä havaitset? Estimoi lineaarinen malli Y6 = β 0 + β 1 X + ε Tutki mallin residuaaleja graafisesti. Onko homoskedastisuusoletus järkevä? Testaa homoskedastisuutta. Aineisto on generoitu seuraavalla tavalla: jossa Y6 = 5 + 0.5 X + E X X Uniform(0, 1) E N(0, 1) Päättele tästä tiedosta, mikä on oikea painomuuttuja, jos malli estimoidaan painotetulla PNS-menetelmällä ja estimoi malli. Tutki residuaalidiagrammin avulla oletko onnistunut painomuuttujan valinnassa. Vertaa myös estimoitujen regressiokertoimien suuruutta ja t-arvoja (a)-kohdan tuloksiin ja aineiston generoinnissa käytettyihin arvoihin. Samat tulokset kuin (d).kohdassa saadaan tässä erikoistapauksessa myös estimoimalla malli Y6/X = α 0 + α 1 1/X + δ Vertaa tuloksia (d)-kohdan tuloksiin. Kommentoi havaintojasi. TKK/SAL Ilkka Mellin (2005) 21/21
RATKAISU: (a) AINEISTOON TUTUSTUMINEN: PISTEDIAGRAMMI (SELITTÄJÄ, SELITETTÄVÄ) Piirretään pistediagrammi (X, Y6) Pistediagrammin avulla voidaan havainnollistaa muuttujien välistä riippuvuutta. Statistics > Summary Statistics > Scatter Plot X Axis Variables = X Y Axis Variables = Y6 Display Regression Line 13 Scatter Plot of Y6 vs X 4 Y6-5 -14 0 2 4 6 8 10 Pistediagrammin perusteella on odotettavissa, että jäännöstermi on heteroskedastinen regressiomallissa, jossa Y6 on selitettävänä muuttujana ja X on selittäjänä. X TKK/SAL Ilkka Mellin (2005) 22/22
(b) MALLIN ESTIMOINTI JA RESIDUAALIEN TUTKIMINEN Mallin estimointi Olkoon mallina (1) Y6 = β 0 + β 1 X + ε Statistics > Linear Models > Linear Regression Dependent Variable = Y6 Independent Variables = X STATISTIX FOR WINDOWS TRANS2 UNWEIGHTED LEAST SQUARES LINEAR REGRESSION OF Y6 PREDICTOR VARIABLES COEFFICIENT STD ERROR STUDENT'S T P --------- ----------- --------- ----------- ------ CONSTANT -4.10539 1.53597-2.67 0.0102 X 0.34961 0.25042 1.40 0.1691 R-SQUARED 0.0390 RESID. MEAN SQUARE (MSE) 31.5762 ADJUSTED R-SQUARED 0.0190 STANDARD DEVIATION 5.61927 SOURCE DF SS MS F P ---------- --- ---------- ---------- ----- ------ REGRESSION 1 61.5472 61.5472 1.95 0.1691 RESIDUAL 48 1515.66 31.5762 TOTAL 49 1577.21 CASES INCLUDED 50 MISSING CASES 0 Mallin (1) selitysaste on hyvin matala (3.9 %). F-testisuureen arvo nollahypoteesille H 0 : β 1 = 0 on 1.95 ja sitä vastaava p-arvo on (4:llä desimaalilla) 0.1691, joten malli ei ole tilastollisesti merkitsevä. Tämä on sopusoinnussa sen kanssa, että mallin (1) ainoa selittäjä ei ole tilastollisesti merkitsevä. TKK/SAL Ilkka Mellin (2005) 23/23
Residuaalidiagrammi (SOVITE, RESIDUAALI) Piirretään residuaalidiagrammi (SOVITE, RESIDUAALI) Linear Regression Coefficient Table Results > Plots > Std Resids by Fitted Values Residuaalidiagrammi indikoi, että mallin rakenneosa on oikein muotoiltu, mutta jäännöstermit ovat selvästi heteroskedastisia, koska residuaalien vyö levenee oikealle. 2.7 Regression Residual Plot 1.8 Standardized Residuals 0.9 0.0-0.9-1.8-2.7-4.1-3.4-2.7-2.0-1.3-0.6 Fitted values (c) HOMOGEENISUUDEN TESTAAMINEN Tässä käytettävä homogeenisuustesti perustuu apuregressioon e 2 ˆ j = α0 + α1y j + δ j Jos R 2 on tästä apuregressiosta määrätty selitysaste, niin 2 nr χ 2 (1) homoskedastisuusoletuksen pätiessä. TKK/SAL Ilkka Mellin (2005) 24/24
Sovitteiden ja residuaalien tallettaminen Talletetaan sovitteet ja residuaalit tiedostoon TRANS2. Linear Regression Coefficient Table Results > Save Residuals Fitted Value = FIT Residual = RES Lisätään residuaalien neliöt muuttujaksi RESSQR tiedostoon TRANS2. Data > Transformations Transformation Expression RESSQR = RES * RES Apuregression estimointi Olkoon mallina (2) RESSQR = β 0 + β 1 FIT + ε Statistics > Linear Models > Linear Regression Dependent Variable = RESSQR Independent Variables = FIT UNWEIGHTED LEAST SQUARES LINEAR REGRESSION OF RESSQR PREDICTOR VARIABLES COEFFICIENT STD ERROR STUDENT'S T P --------- ----------- --------- ----------- ------ CONSTANT 78.4797 13.9525 5.62 0.0000 FIT 21.2159 5.52158 3.84 0.0004 R-SQUARED 0.2352 RESID. MEAN SQUARE (MSE) 1876.44 TKK/SAL Ilkka Mellin (2005) 25/25
Homogeenisuustesti Olkoon nollahypoteesina 2 H : Var( ε ) = σ Nollahypoteesin H 0 pätiessä 0 2 nr χ 2 (1) jossa R 2 on em. apuregression selitysaste. Nyt j nr 2 = 50 0.2352 = 11.76 Testisuureen arvoa 11.76 vastaava p-arvo saadaan seuraavalla STATISTIX-operaatiolla: Statistics > Probability Functions Chi-square (x, df) X = 11.76 DF = 1 Koska testisuureen arvoa 11.76 vastaava p-arvo = 0.00061, voidaan nollahypoteesi mallin (1) jäännöstermin homoskedastisuudesta hylätä kaikilla tavanomaisilla merkitsevyystasoilla. Johtopäätös: Mallin (1) jäännöstermi on heteroskedastinen. (d) PAINOTETTU PNS-ESTIMOINTI Kohdan (b) ja (c) tulosten perusteella mallin (1) jäännöstermi on heteroskedastinen ja malli pitää estimoida painotetulla PNS-menetelmällä. Painomuuttujan valinta tai konstruointi on usein hankalaa. Esimerkin tapauksessa voidaan kuitenkin käyttää apuna tietoa siitä, että aineisto on generoitu seuraavalla tavalla: Y6 = 5 + 0.5 X + E X jossa X Uniform(0, 1) ja E N(0, 1). Tämä merkitsee sitä, että oikea painomuuttuja on muotoa 1/X 2 TKK/SAL Ilkka Mellin (2005) 26/26
Painomuuttujan konstruointi Lisätään muuttuja 1/X 2 muuttujaksi XINVSQR tiedostoon TRANS2. Data > Transformations Transformation Expression XINVSQR = 1 / (X * X) Painottettu PNS-estimointi Olkoon mallina (1) Y6 = β 0 + β 1 X + ε ja painomuuttujana XINVSQR. Statistics > Linear Models > Linear Regression Dependent Variable = Y6 Independent Variables = X Weight Variable = XINVSQR STATISTIX FOR WINDOWS TRANS2 WEIGHTED LEAST SQUARES LINEAR REGRESSION OF Y6 WEIGHTING VARIABLE: XINVSQR PREDICTOR VARIABLES COEFFICIENT STD ERROR STUDENT'S T P --------- ----------- --------- ----------- ------ CONSTANT -4.94750 0.13776-35.91 0.0000 X 0.52999 0.15793 3.36 0.0016 R-SQUARED 0.1900 RESID. MEAN SQUARE (MSE) 0.90639 ADJUSTED R-SQUARED 0.1732 STANDARD DEVIATION 0.95205 SOURCE DF SS MS F P ---------- --- ---------- ---------- ----- ------ REGRESSION 1 10.2077 10.2077 11.26 0.0016 RESIDUAL 48 43.5070 0.90639 TOTAL 49 53.7147 CASES INCLUDED 50 MISSING CASES 0 TKK/SAL Ilkka Mellin (2005) 27/27
Mallin (1) selitysaste on matala (19.0 %), mutta F-testisuureen arvo nollahypoteesille H 0 : β 1 = 0 on 11.26 ja sitä vastaava p-arvo on (4:llä desimaalilla) 0.0016, joten malli on tilastollisesti merkitsevä. Tämä on sopusoinnussa sen kanssa, että mallin (1) ainoa selittäjä on tilastollisesti merkitsevä. Huomautus: Selittäjän X regressiokerroin osoittautuu tilastollisesti merkitseväksi, kun mallin jäännöstermin varianssi spesifioidaan oikein. Residuaalidiagrammi (SOVITE, RESIDUAALI) Piirretään residuaalidiagrammi (SOVITE, RESIDUAALI) Linear Regression Coefficient Table Results > Plots > Std Resids by Fitted Values 2.7 Regression Residual Plot 1.8 Standardized Residuals 0.9 0.0-0.9-1.8-2.7-4.9-4.0-3.1-2.2-1.3-0.4 0.5 Fitted values Residuaalidiagrammi indikoi, että mallin rakenneosa on oikein muotoiltu ja, että jäännöstermit eivät ole enää heteroskedastisia. TKK/SAL Ilkka Mellin (2005) 28/28
(e) TRANSFORMOIDUN MALLIN ESTIIMOINTI Aineisto on generoitu seuraavalla tavalla: Y6 = 5 + 0.5 X + E X jossa X Uniform(0, 1) ja E N(0, 1). Jakamalla yhtälö (1) puolittain muuttujalla X saadaan mallin (1) kanssa ekvivalentti malli: (3) Y6/X = α 0 + α 1 1/X + δ Uuden selitettävän muuttujan konstruointi Lisätään muuttuja Y6/X muuttujaksi Y7 tiedostoon TRANS2. Data > Transformations Transformation Expression Y7 = Y6 / X Uuden selittäjän konstruointi Lisätään muuttuja 1/X muuttujaksi XINV tiedostoon TRANS2. Data > Transformations Transformation Expression XINV = 1 / X Mallin estimointi Olkoon mallina (4) Y7 = α 0 + α 1 XINV + δ Statistics > Linear Models > Linear Regression Dependent Variable = Y7 Independent Variables = XINV TKK/SAL Ilkka Mellin (2005) 29/29
STATISTIX FOR WINDOWS TRANS2 UNWEIGHTED LEAST SQUARES LINEAR REGRESSION OF Y7 PREDICTOR VARIABLES COEFFICIENT STD ERROR STUDENT'S T P --------- ----------- --------- ----------- ------ CONSTANT 0.52999 0.15793 3.36 0.0016 XINV -4.94750 0.13776-35.91 0.0000 R-SQUARED 0.9641 RESID. MEAN SQUARE (MSE) 0.90639 ADJUSTED R-SQUARED 0.9634 STANDARD DEVIATION 0.95205 SOURCE DF SS MS F P ---------- --- ---------- ---------- ----- ------ REGRESSION 1 1169.09 1169.09 1289.82 0.0000 RESIDUAL 48 43.5070 0.90639 TOTAL 49 1212.59 CASES INCLUDED 50 MISSING CASES 0 Regressiokertoimien estimaatit yhtyvät kohdassa (d) saatuihin tuloksiin, kun otetaan huomioon, että kertoimet ovat vaihtaneet paikkaa: Vakioselittäjän kerroin mallissa (4) on aidon selittäjän kerroin mallissa (1) ja päinvastoin. TKK/SAL Ilkka Mellin (2005) 30/30