Mat Tilastollisen analyysin perusteet. Painotettu PNS-menetelmä. Avainsanat:

Transkriptio

1 Mat Tilastollisen analyysin perusteet / Ratkaisut Aiheet: Avainsanat: Mallin valinta Painotettu PNS-menetelmä Alaspäin askellus, Askellus, Askeltava valikointi, Diagnostinen grafiikka, Diagnostiset testit, F- testi, Heteroskedastisuus, Homoskedastisuuden testaaminen, Homoskedastisuus, Korjattu selitysaste, Lineaarinen regressiomalli, Mallin valinta, Mallinvalintakriteeri, Mallinvalintatesti, Mallowsin C p, Merkitsevyystaso, p-arvo, Painotettu pienimmän neliösumman menetelmä, Pienimmän neliösumman menetelmä, Regressiodiagnostiikka, Residuaali, Residuaalidiagrammi, Selitettävä muuttuja, Selittäjä, Selittävä muuttuja, Selitysaste, t-testi 1. MALLIN VALINTA Sementin kovettuessa kehittyy lämpöä, jonka määrä riippuu sementin koostumuksesta. STATISTIX-tiedostossa HALD on seuraavat tiedot 13 erilaisesta sementtierästä: (a) (b) (c) (d) (e) RATKAISU: HEAT = lämpömäärä cal/g CHEM1, CHEM2, CHEM3, CHEM4 = sementin ainesosia (% kuiva-aineesta) Estimoi regressiomalli, jossa ovat mukana kaikki selittäjät. Vertaile kertoimien tilastollista merkitsevyyttä ja tarkastele varianssin inflaatiotekijöitä. Käytä mallin valinnassa alaspäin askellusta. Käytä mallin valinnassa askeltavaa valikointia. Etsi paras selittäjien yhdistelmä käyttäen C p -tunnuslukua. Kommentoi havaintojasi. Tavoitteena on selvittää, mitkä selittävistä tekijöistä CHEM1, CHEM2, CHEM3, CHEM4 todella vaikuttavat selitettävän muuttujan HEAT käyttäytymiseen. (a) TÄYDEN MALLIN ESTIMOINTI Tilanteessa, jossa ei olla selvillä, mitkä selittäjistä vaikuttavat selitettävän muuttujan käyttäytymiseen, on ensimmäisenä järkevää estimoida ns. täysi malli eli malli, jossa käytetään selittäjinä kaikkia selittäjäkandidaatteja. TKK/SAL Ilkka Mellin (2005) 1/1

2 Korrelaatiot Ennen parhaan selitysmallin etsimistä on syytä tarkastella muuttujien välisiä korrelaatioita. Statistics > Linear Models > Correlations (Pearson) Correlation Variables = HEAT, CHEM1, CHEM2, CHEM3, CHEM4 STATISTIX FOR WINDOWS HALD Influence of 4 Chemicals on Heat of Hardening in Cement CORRELATIONS (PEARSON) HEAT CHEM1 CHEM2 CHEM3 CHEM CHEM CHEM CHEM CASES INCLUDED 13 MISSING CASES 0 Muuttuja HEAT korreloi voimakkaasti kaikkien selittäjäkandidaattien kanssa. Korrelaatio on positiivinen muuttujien CHEM1 ja CHEM2 kanssa ja negatiivinen muuttujien CHEM3 ja CHEM4 kanssa. Selittäjäkandidaatit CHEM1 ja CHEM3 korreloivat voimakkaan negatiivisesti keskenään, samoin kandidaatit CHEM2 ja CHEM4. Täyden mallin estimointi Olkoon mallina (1) HEAT = β 0 + β 1 CHEM1 + β 2 CHEM2 + β 3 CHEM3 + β 4 CHEM4 + ε Statistics > Linear Models > Linear Regression Dependent Variable = HEAT Independent Variables = CHEM1, CHEM2, CHEM3, CHEM4 TKK/SAL Ilkka Mellin (2005) 2/2

3 STATISTIX FOR WINDOWS HALD Influence of 4 Chemicals on Heat of Hardening in Cement UNWEIGHTED LEAST SQUARES LINEAR REGRESSION OF HEAT Cumulative Heat of Hardening For Cement PREDICTOR VARIABLES COEFFICIENT STD ERROR STUDENT'S T P VIF CONSTANT CHEM CHEM CHEM CHEM R-SQUARED RESID. MEAN SQUARE (MSE) ADJUSTED R-SQUARED STANDARD DEVIATION SOURCE DF SS MS F P REGRESSION RESIDUAL TOTAL CASES INCLUDED 13 MISSING CASES 0 Mallin (1) selitysaste on korkea (98.2 %). F-testisuureen arvo nollahypoteesille H 0 : β 1 = β 2 = β 3 = β 4 = 0 on ja sitä vastaava p-arvo on (4:llä desimaalilla) , joten malli on tilastollisesti erittäin merkitsevä ja ainakin yksi regressiokertoimista β 1, β 2, β 3, β 4 poikkeaa nollasta. Kuitenkaan yksikään mallin (1) selittäjistä ei ole tilastollisesti merkitsevä, jos merkitsevyyden rajana pidetään 5 %:n merkitsevyystasoa. Tämä johtuu selittäjien multikollineaarisuudesta. Selittävien muuttujien multikollineaarisuutta voidaan mitata VIF-kertoimilla. Jos selittäjä i ei riipu lineaarisesti muista selittäjistä (eli on ortogonaalinen muihin selittäjiin nähden), VIF i = 1 Mitä suurempi on kertoimen VIF i arvo, sitä voimakkaammin selittäjä i riippuu lineaarisesti muista selittäjistä. Jos VIF i > 10 jollekin selittäjälle i, multikollineaarisuudesta saattaa olla haittaa. Mallissa (1) sekä selittäjiä CHEM2 ja CHEM4 vastaavien varianssin inflaatiotekijöiden arvot ovat suurempia kuin 200, mikä viittaa voimakkaaseen multikollineaarisuuteen. Tarkastellaan selittäjien multikollineaarisuutta estimoimalla regressiomallit, joissa selitettävinä muuttujina ovat muuttujat CHEM2 ja CHEM4 ja kummassakin tapauksessa selittäjinä käytetään kaikkia muita selittäjiä. TKK/SAL Ilkka Mellin (2005) 3/3

4 Olkoon mallina (2) CHEM2 = α 0 + α 1 CHEM1 + α 3 CHEM3 + α 4 CHEM4 + δ UNWEIGHTED LEAST SQUARES LINEAR REGRESSION OF CHEM2 PREDICTOR VARIABLES COEFFICIENT STD ERROR STUDENT'S T P VIF CONSTANT CHEM CHEM CHEM R-SQUARED RESID. MEAN SQUARE (MSE) CASES INCLUDED 13 MISSING CASES 0 Mallin selitysaste on 99.6 %, joten CHEM2 riippuu hyvin voimakkaasti muista selittäjistä. Huomaa, että muuttujan CHEM2 VIF-kerroin mallissa (1) jossa 1 VIF = R R2 on selitysaste mallista (2). Olkoon mallina (3) CHEM4 = α 0 + α 1 CHEM1 + α 2 CHEM2 + α 3 CHEM3 + δ UNWEIGHTED LEAST SQUARES LINEAR REGRESSION OF CHEM4 PREDICTOR VARIABLES COEFFICIENT STD ERROR STUDENT'S T P VIF CONSTANT CHEM CHEM CHEM R-SQUARED RESID. MEAN SQUARE (MSE) CASES INCLUDED 13 MISSING CASES 0 Mallin selitysaste on 99.6 %, joten CHEM2 riippuu voimakkaasti muista selittäjistä. Huomaa, että muuttujan CHEM4 VIF-kerroin mallissa (1) jossa 1 VIF = R R4 on selitysaste mallista (3). TKK/SAL Ilkka Mellin (2005) 4/4

5 Perussyy multikollineaarisuudelle mallissa (1) on se, että sementti koostuu lähes pelkästään ainesosista CHEM1, CHEM2, CHEM3, CHEM4: Muuttujien CHEM1, CHEM2, CHEM3, CHEM4 summa vaihtelee välillä %. Siten yhden ainesosan lisäämisen on pakko vähentää joidenkin muiden ainesosien osuutta sementin koostumuksessa. Tämä selittää sen, miksi muuttujien CHEM1, CHEM3 sekä CHEM2, CHEM4 on voimakkaat negatiiviset korrelaatiot. (b) ALASPÄIN ASKELLUS Regressiomallin selittäjien valikointiin voidaan käyttää erilaisia strategioita. Alaspäin askelluksessa hyvään malliin pyritään poistamalla mallista tilastollisesti merkityksettömät selittäjät käyttäen apuna tavanomaisia regressiokertoimille tarkoitettuja t- testejä. Alaspäin askellus suoritetaan seuraavalla tavalla: (i) (ii) Valitaan selittäjien merkitsevyyden testaamisessa käytettävien t-testien merkitsevyystaso (P to Exit). Estimoidaan lähtömalli. Alaspäin askelluksessa lähtömalli on täysi eli lähtömalliin otetaan selittäjiksi kaikki selittäjäkandidaatit. (iii) Tutkitaan ovatko kaikki selittäjät tilastollisesti merkitseviä. Jos kaikki selittäjät ovat tilastollisesti merkitseviä, malli on valmis. Jos kaikki selittäjät eivät ole tilastollisesti merkitseviä, poistetaan mallin selittäjistä heikoin eli se, jota vastaava t-testisuureen p-arvo on suurin. (iv) Estimoidaan malli uudelleen ja palataan vaiheeseen (iii). Alaspäin askellusta säädellään regressiokertoimien merkitsevyyden testaamisessa käytettävällä merkitsevyystasolla. Lähdetään liikkeelle mallista (1). Poistetaan mallista ensimmäisenä selittäjä CHEM3, koska sitä vastaava t-testisuureen p-arvo on suurin ja estimoidaan malli uudelleen. UNWEIGHTED LEAST SQUARES LINEAR REGRESSION OF HEAT PREDICTOR VARIABLES COEFFICIENT STD ERROR STUDENT'S T P VIF CONSTANT CHEM CHEM CHEM R-SQUARED RESID. MEAN SQUARE (MSE) CASES INCLUDED 13 MISSING CASES 0 TKK/SAL Ilkka Mellin (2005) 5/5

6 Tuloksena saatu malli on selitysasteeltaan (98.2 %) lähes yhtä hyvä kuin mallin (1). Varianssin inflaatiotekijät ovat selvästi pienentyneet malliin (1) verrattuna. Selittäjää CHEM4 vastaava regressiokerroin ei kuitenkaan ole tilastollisesti merkitsevä. Poistetaan mallista seuraavaksi selittäjä CHEM4 ja estimoidaan malli uudelleen. UNWEIGHTED LEAST SQUARES LINEAR REGRESSION OF HEAT PREDICTOR VARIABLES COEFFICIENT STD ERROR STUDENT'S T P VIF CONSTANT CHEM CHEM R-SQUARED RESID. MEAN SQUARE (MSE) CASES INCLUDED 13 MISSING CASES 0 Tuloksena saatu malli on selitysasteeltaan (97.9 %) lähes yhtä hyvä kuin malli (1) ja kaikki malliin jääneet selittäjät ovat tilastollisesti merkitseviä. Varianssin inflaatio-tekijöiden mukaan malliin jääneet selittäjät ovat lähes ortogonaalisia. Huomautus: Alaspäin askellus on tässä tehty manuaalisesti, mutta STATISTIX-ohjelmaa käytettäessä se voidaan tehdä myös askeltavan valikoinnin avulla; kts. kohta (c) ja STATISTIX-ohjelman HELP. TKK/SAL Ilkka Mellin (2005) 6/6

7 Piirretään lopuksi residuaalidiagrammi (SOVITE, RESIDUAALI). 1.8 Regression Residual Plot Standardized Residuals Fitted values Diagrammin perusteella mallia voidaan pitää kelvollisena. (c) ASKELTAVA VALIKOINTI Regressiomallin selittäjien valikointiin voidaan käyttää erilaisia strategioita. Askeltavassa valikoinnissa hyvään malliin pyritään lisäämällä malliin tilastollisesti merkitsevät selittäjät ja poistamalla mallista tilastollisesti merkityksettömät selittäjät käyttäen apuna tavanomaisia regressiokertoimille tarkoitettuja t-testejä Askeltava valikointi suoritetaan seuraavalla tavalla: (i) (ii) Valitaan kaksi merkitsevyystasoa: Merkitsevyystaso, jota käytetään, kun malliin ollaan lisäämässä selittäjää (P to Enter) ja merkitsevyystaso, jota käytetään, kun mallista ollaan poistamassa selittäjää (P to Exit). Estimoidaan lähtömalli. Tyhjässä lähtömallissa ei ole muita selittäjiä kuin vakio. Täydessä lähtömallissa selittäjiksi on otettu kaikki selittäjäkandidaatit. Lähtömalliin voidaan valita jokin selittäjäkandidaattien osajoukko. (iii) Tutkitaan onko mallin ulkopuolella olevien selittäjien joukossa sellaisia, jotka malliin lisättyinä olisivat tilastollisesti merkitseviä. Jos sellaisia löytyy, lisätään malliin voimakkain eli se, jota vastaava t-testisuureen p-arvo on pienin. Tutkitaan onko mallissa selittäjiä, jotka eivät ole tilastollisesti merkitseviä. Jos sellaisia löytyy, poistetaan mallista heikoin eli se, jota vastaava t-testisuureen p-arvo on suurin. TKK/SAL Ilkka Mellin (2005) 7/7

8 Jos kaikki mallissa olevat selittäjät ovat tilastollisesti merkitseviä ja mallin ulkopuolelle ei ole jäänyt yhtään tilastollisesti merkitsevää selittäjä-kandidaattia, malli on valmis. Muuten siirrytään vaiheeseen (iv). (iv) Estimoidaan malli uudelleen ja palataan vaiheeseen (iii). Askeltavaa valikointia säädellään kahdella regressiokertoimien merkitsevyyden testaamisessa käytettävillä merkitsevyystasoilla: Merkitsevyystasolla, jota käytetään, kun malliin ollaan lisäämässä selittäjää (P to Enter) ja merkitsevyystasolla, jota käytetään, kun mallista ollaan poistamassa selittäjää (P to Exit). Ohjelmistot mahdollistavat tavallisesti sen, että tärkeinä pidettävät muuttujat voidaan pakottaa malliin (Forced Indep. Vars). Samoin mallin aloitusryhmitys (Starting Indep. Vars) voidaan tavallisesti määrätä käyttäjän toimesta. Lähdetään liikkeelle tyhjästä mallista. Statistics > Linear Models > Stepwise Regression Dependent Variable = HEAT Non-forced Indep. Vars = CHEM1, CHEM2, CHEM3, CHEM4 P to Enter = 0.05 P to Exit = 0.05 TKK/SAL Ilkka Mellin (2005) 8/8

9 STATISTIX FOR WINDOWS HALD Influence of 4 Chemicals on Heat of Hardening in Cement STEPWISE REGRESSION OF HEAT Cumulative Heat of Hardening For Cement UNFORCED VARIABLES: CHEM1 CHEM2 CHEM3 CHEM4 P to ENTER P to EXIT STEP VARIABLE COEFFICIENT T P R SQ MSE CONSTANT CONSTANT CHEM CONSTANT CHEM CHEM RESULTING STEPWISE MODEL VARIABLE COEFFICIENT STD ERROR STUDENT'S T P VIF CONSTANT CHEM CHEM CASES INCLUDED 13 R SQUARED MSE MISSING CASES 0 ADJ R SQ SD VARIABLES NOT IN THE MODEL CORRELATIONS VARIABLE MULTIPLE PARTIAL T P CHEM CHEM Algoritmi valitsee ensimmäisenä malliin vakioselittäjän. Toisena malliin otetaan muuttuja CHEM4 ja kolmantena muuttuja CHEM1. Sen jälkeen algoritmin toiminta pysähtyy: malli on valmis. Askeleiden aikana mallista ei poisteta yhtään selittäjää. Huomaa, että tuloksena ei ole sama malli kuin (b)-kohdassa. (d) PARAS SELITTÄJIEN YHDISTELMÄ Regressiomallin selittäjien valikointiin voidaan käyttää erilaisia strategioita. Valittaessa parasta selittäjien yhdistelmää kaikkia mahdollisia mallivaihtoehtoja verrataan toisiinsa käyttämällä jotakin mallinvalintakriteeriä ja lopulliseksi malliksi valitaan se, joka on käytetyn kriteerifunktion mielessä optimaalinen. Tilastotieteellisessä kirjallisuudessa on esitetty lukuisia mallinvalintakriteereitä. Tunnettuja kriteereitä ovat esim. Akaiken informaatiokriteeri AIC, Schwarzin bayeslainen informaatiokriteeri SBIC (BIC), Hannanin ja Quinnin kriteeri HQ, Allenin PRESS ja CAT. TKK/SAL Ilkka Mellin (2005) 9/9

10 STATISTIX-ohjelmassa on käytössä kaksi mallivalintakriteeriä: Korjattu selitysaste (Adjusted R Square) ja Mallowsin C p. Korjattu selitysaste korjaa mallinvalintakriteerinä sen tavanomaisen selitysasteen puutteen, että selitysaste kasvaa (tai ei ainakaan pienene), kun malliin lisätään selittäjiä. Korjatun selitysasteen mielessä paras vaihtoehtoisista malleista on se, jonka korjattu selitysaste on korkein. Mallowsin C p korjaa mallinvalintakriteerinä sen jäännösneliösumman puutteen, että jäännösneliösumma pienenee (tai ei ainakaan kasva), kun malliin lisätään selittäjiä. Mallowsin C p :n mukaan paras vaihtoehtoisista malleista on se, jonka C p -luku on pienin. Tutkitaan kaikki mallivaihtoehdot. Statistics > Linear Models > Best Subsets Regressions Dependent Variable = HEAT Non-forced Indep. Vars = CHEM1, CHEM2, CHEM3, CHEM4 STATISTIX FOR WINDOWS HALD Influence of 4 Chemicals on Heat of Hardening in Cement BEST SUBSET REGRESSION MODELS FOR HEAT Cumulative Heat of Hardening For Cement UNFORCED INDEPENDENT VARIABLES: (A)CHEM1 (B)CHEM2 (C)CHEM3 (D)CHEM4 3 "BEST" MODELS FROM EACH SUBSET SIZE LISTED. ADJUSTED P CP R SQUARE R SQUARE RESID SS MODEL VARIABLES INTERCEPT ONLY D B A A B A D C D A B D A B C A C D A B C D Korjatun selitysasteen (ADJUSTED R SQUARE) mukaan parhaita malleja on (käytetyllä tulostustarkkuudella) kaksi: Malli, jonka selittäjät ovat CHEM1, CHEM2, CHEM3 ja malli, jonka selittäjät ovat CHEM1, CHEM2, CHEM4. Näistä parempana voidaan pitää jälkimmäistä, koska se tuottaa pienemmän jäännösneliösumman (RESID SS). TKK/SAL Ilkka Mellin (2005) 10/10

11 Olkoon mallina (4) HEAT = β 0 + β 1 CHEM1 + β 2 CHEM2 + β 4 CHEM4 + ε Statistics > Linear Models > Linear Regression Dependent Variable = HEAT Independent Variables = CHEM1, CHEM2, CHEM4 UNWEIGHTED LEAST SQUARES LINEAR REGRESSION OF HEAT PREDICTOR VARIABLES COEFFICIENT STD ERROR STUDENT'S T P VIF CONSTANT CHEM CHEM CHEM R-SQUARED RESID. MEAN SQUARE (MSE) CASES INCLUDED 13 MISSING CASES 0 Estimoidussa mallissa selittäjän CHEM4 regressiokerroin ei kuitenkaan ole merkitsevä. C p -kriteerin (CP) mukaan paras vaihtoehtoisista malleista on se, jonka selittäjät ovat CHEM1 ja CHEM2. Malli on tässä tapauksessa sama kuin (b)-kohdassa saatu malli. Huomautus: Jäännösneliösummaa (RESID SS) tai selitysastetta (R SQUARE) ei voida käyttää mallinvalintakriteereinä, koska sekä jäännösneliösumman minimointi että selitysasteen maksimointi johtavat aina täyteen (maksimaaliseen) malliin (esimerkin tapauksessa malliin, jossa on selittäjinä kaikki kandidaatit CHEM1, CHEM2, CHEM3, CHEM4. (e) KOMMENTTEJA Mallin valitsemiseen ei ole tarjolla yleispätevää, objektiivisen lopputuloksen antavaa menetelmää. Erilaiset valintamenetelmät saattavat johtaa erilaisiin lopputuloksiin. Tämä merkitsee sitä, että mallin valinnassa pitäisi aina käyttää tilastollisten kriteerien lisäksi ilmiön taustateoriasta johdettua priori- eli ennakkotietoa. Priori-tieto voi koskea sekä mallin rakenneosan muotoa että regressiokertoimien merkkiä ja suuruutta. TKK/SAL Ilkka Mellin (2005) 11/11

12 2. MALLIN VALINTA Data: 9. harjoitusten tehtävä 4, STATISTIX-tiedosto CITYDATA. (a)-(e) kuten tehtävässä 1. RATKAISU: Tavoitteena on selvittää, mitkä selittävistä tekijöistä SIZEHSE, TAXRATE, TOTEXP, COMPER todella vaikuttavat selitettävän muuttujan HSEVAL käyttäytymiseen. (a) TÄYDEN MALLIN ESTIMOINTI Tilanteessa, jossa ei olla selvillä, mitkä selittäjistä vaikuttavat selitettävän muuttujan käyttäytymiseen, on ensimmäisenä järkevää estimoida ns. täysi malli eli malli, jossa käytetään selittäjinä kaikkia selittäjäkandidaatteja. Olkoon mallina (1) HSEVAL = β 0 + β 1 SIZEHSE + β 2 TAXRATE + β 3 TOTEXP + β 4 COMPER + ε Statistics > Linear Models > Linear Regression Dependent Variable = HSEVAL Independent Variables = SIZEHSE, TAXRATE, TOTEXP, COMPER TKK/SAL Ilkka Mellin (2005) 12/12

13 STATISTIX FOR WINDOWS CITYDAT UNWEIGHTED LEAST SQUARES LINEAR REGRESSION OF HSEVAL PREDICTOR VARIABLES COEFFICIENT STD ERROR STUDENT'S T P VIF CONSTANT SIZEHSE TAXRATE TOTEXP 1.423E E COMPER R-SQUARED RESID. MEAN SQUARE (MSE) ADJUSTED R-SQUARED STANDARD DEVIATION SOURCE DF SS MS F P REGRESSION RESIDUAL TOTAL CASES INCLUDED 90 MISSING CASES 0 Mallin (1) selitysaste on kohtuullinen (55.0 %). F-testisuureen arvo nollahypoteesille H 0 : β 1 = β 2 = β 3 = β 4 = 0 on ja sitä vastaava p-arvo on (4:llä desimaalilla) , joten malli on tilastollisesti erittäin merkitsevä ja ainakin yksi regressiokertoimista β 1, β 2, β 3, β 4 poikkeaa nollasta. Kaikki mallin (1) selittäjät ovat tilastollisesti merkitseviä kaikilla tavanomaisilla merkitsevyystasoilla. Huomaa, että selittäjät ovat VIF-lukujen perusteella lähes ortogonaalisia. (b) ALASPÄIN ASKELLUS Regressiomallin selittäjien valikointiin voidaan käyttää erilaisia strategioita. Alaspäin askelluksessa hyvään malliin pyritään poistamalla mallista tilastollisesti merkityksettömät selittäjät käyttäen apuna tavanomaisia regressiokertoimille tarkoitettuja t- testejä. Koska mallin (1) kaikki selittäjät ovat tilastollisesti merkitseviä, malli on valmis. (c) ASKELTAVA VALIKOINTI Regressiomallin selittäjien valikointiin voidaan käyttää erilaisia strategioita. Askeltavassa valikoinnissa hyvään malliin pyritään lisäämällä malliin tilastollisesti merkitsevät selittäjät ja poistamalla mallista tilastollisesti merkityksettömät selittäjät käyttäen apuna tavanomaisia regressiokertoimille tarkoitettuja t-testejä Lähdetään liikkeelle tyhjästä mallista. TKK/SAL Ilkka Mellin (2005) 13/13

14 Statistics > Linear Models > Stepwise Regression Dependent Variable = HSEVAL Non-forced Indep. Vars = SIZEHSE, TAXRATE, TOTEXP, COMPER P to Enter = 0.05 P to Exit = 0.05 STATISTIX FOR WINDOWS CITYDAT STEPWISE REGRESSION OF HSEVAL UNFORCED VARIABLES: SIZEHSE TAXRATE TOTEXP COMPER P to ENTER P to EXIT STEP VARIABLE COEFFICIENT T P R SQ MSE CONSTANT CONSTANT SIZEHSE CONSTANT SIZEHSE TAXRATE CONSTANT SIZEHSE TAXRATE TOTEXP 1.162E CONSTANT SIZEHSE TAXRATE TOTEXP 1.423E COMPER RESULTING STEPWISE MODEL VARIABLE COEFFICIENT STD ERROR STUDENT'S T P VIF CONSTANT SIZEHSE TAXRATE TOTEXP 1.423E E COMPER CASES INCLUDED 90 R SQUARED MSE MISSING CASES 0 ADJ R SQ SD Tuloksena on (tietysti) (a)-kohdan malli. TKK/SAL Ilkka Mellin (2005) 14/14

15 (d) PARAS SELITTÄJIEN YHDISTELMÄ Regressiomallin selittäjien valikointiin voidaan käyttää erilaisia strategioita. Valittaessa parasta selittäjien yhdistelmää kaikkia mahdollisia mallivaihtoehtoja verrataan toisiinsa käyttämällä jotakin mallinvalintakriteeriä ja lopulliseksi malliksi valitaan se, joka on käytetyn kriteerifunktion mielessä optimaalinen. Tutkitaan kaikki mallivaihtoehdot. Statistics > Linear Models > Best Subset Regressions Dependent Variable = HSEVAL Non-forced Indep. Vars = SIZEHSE, TAXRATE, TOTEXP, COMPER Sekä Mallowsin C p -kriteerin minimointi että korjatun selitysasteen maksimointi johtavat samaan tulokseen, (a)-kohdan malliin. STATISTIX FOR WINDOWS CITYDAT BEST SUBSET REGRESSION MODELS FOR HSEVAL UNFORCED INDEPENDENT VARIABLES: (A)SIZEHSE (B)TAXRATE (C)TOTEXP (D)COMPER 3 "BEST" MODELS FROM EACH SUBSET SIZE LISTED. ADJUSTED P CP R SQUARE R SQUARE RESID SS MODEL VARIABLES INTERCEPT ONLY A B D A B A C A D A B C A C D A B D A B C D Sekä Mallowsin C p -kriteerin minimointi että korjatun selitysasteen maksimointi johtavat samaan tulokseen, (a)-kohdan malliin. (e) KOMMENTTEJA Mallin valitsemiseen ei ole tarjolla yleispätevää, objektiivisen lopputuloksen antavaa menetelmää. Erilaiset valintamenetelmät saattavat johtaa erilaisiin lopputuloksiin. Kuitenkin sellaisissa tilanteissa, joissa selittäjät ovat lähes ortogonaalisia kuten tässä eri menetelmät johtavat tavallisesti samaan malliin. TKK/SAL Ilkka Mellin (2005) 15/15

16 3. MALLIN VALINTA Data: 8. harjoitusten tehtävä 4, STATISTIX-tiedosto MOTORS. (a)-(e) kuten tehtävässä 1. RATKAISU: Tavoitteena on selvittää, mitkä selittävistä tekijöistä CYLINDER, DISPLACE, HORSPWR, WEIGHT, PRICE todella vaikuttavat selitettävän muuttujan MILPGAL käyttäytymiseen. (a) TÄYDEN MALLIN ESTIMOINTI Tilanteessa, jossa ei olla selvillä, mitkä selittäjistä vaikuttavat selitettävän muuttujan käyttäytymiseen, on ensimmäisenä järkevää estimoida ns. täysi malli eli malli, jossa käytetään selittäjinä kaikkia selittäjäkandidaatteja. Olkoon mallina (1) MILPGAL = β 0 + β 1 CYLINDER + β 2 DISPLACE + β 3 HORSPWR + β 4 WEIGHT + β 5 PRICE + ε Statistics > Linear Models > Linear Regression Dependent Variable = MILPGAL Independent Variables = CYLINDER, DISPLACE, HORSPWR, WEIGHT, PRICE TKK/SAL Ilkka Mellin (2005) 16/16

17 STATISTIX FOR WINDOWS MOTORS UNWEIGHTED LEAST SQUARES LINEAR REGRESSION OF MILPGAL PREDICTOR VARIABLES COEFFICIENT STD ERROR STUDENT'S T P VIF CONSTANT CYLINDER DISPLACE HORSPWR WEIGHT PRICE 1.668E E R-SQUARED RESID. MEAN SQUARE (MSE) ADJUSTED R-SQUARED STANDARD DEVIATION SOURCE DF SS MS F P REGRESSION RESIDUAL TOTAL CASES INCLUDED 150 MISSING CASES 5 Mallin (1) selitysaste on kohtuullinen (75.8 %). F-testisuureen arvo nollahypoteesille H 0 : β 1 = β 2 = β 3 = β 4 = β 5 = 0 on ja sitä vastaava p-arvo on (4:llä desimaalilla) , joten malli on tilastollisesti erittäin merkitsevä ja ainakin yksi regressiokertoimista β 1, β 2, β 3, β 4, β 5 poikkeaa nollasta. Mallin (1) selittäjistä on tilastollisesti merkitseviä muuttujat HORSPWR, WEIGHT, PRICE. Huomaa, että selittäjä DISPLACE riippuu VIF-lukujen perusteella melko voimakkaasti lineaarisesti muista selittäjistä. (b) ALASPÄIN ASKELLUS Regressiomallin selittäjien valikointiin voidaan käyttää erilaisia strategioita. Alaspäin askelluksessa hyvään malliin pyritään poistamalla mallista tilastollisesti merkityksettömät selittäjät käyttäen apuna tavanomaisia regressiokertoimille tarkoitettuja t- testejä. Lähdetään liikkeelle mallista (1). Poistetaan mallista ensin selittäjä CYLINDER, koska sitä vastaava t-testisuureen p-arvo on suurin ja estimoidaan malli uudelleen. TKK/SAL Ilkka Mellin (2005) 17/17

18 UNWEIGHTED LEAST SQUARES LINEAR REGRESSION OF MILPGAL PREDICTOR VARIABLES COEFFICIENT STD ERROR STUDENT'S T P VIF CONSTANT DISPLACE HORSPWR WEIGHT PRICE 1.655E E R-SQUARED RESID. MEAN SQUARE (MSE) CASES INCLUDED 150 MISSING CASES 5 Tuloksena saatu malli on selitysasteeltaan (75.7 %) lähes yhtä hyvä kuin malli (1) ja kaikki malliin jääneet selittäjät ovat tilastollisesti merkitseviä. Varianssin inflaatio-tekijöiden mukaan malliin jääneet selittäjät ovat lähes ortogonaalisia. Huomautus: Alaspäin askellus on tässä tehty manuaalisesti, mutta STATISTIX-ohjelmaa käytettäessä se voidaan tehdä myös askeltavan valikoinnin avulla; kts. kohta (c) ja STATISTIX-ohjelman HELP. (c) ASKELTAVA VALIKOINTI Regressiomallin selittäjien valikointiin voidaan käyttää erilaisia strategioita. Askeltavassa valikoinnissa hyvään malliin pyritään lisäämällä malliin tilastollisesti merkitsevät selittäjät ja poistamalla mallista tilastollisesti merkityksettömät selittäjät käyttäen apuna tavanomaisia regressiokertoimille tarkoitettuja t-testejä Lähdetään liikkeelle tyhjästä mallista. Statistics > Linear Models > Stepwise Regression Dependent Variable = MILPGAL Non-forced Indep. Vars = CYLINDER, DISPLACE, HORSPWR, WEIGHT, PRICE P to Enter = 0.05 P to Exit = 0.05 TKK/SAL Ilkka Mellin (2005) 18/18

19 STATISTIX FOR WINDOWS MOTORS STEPWISE REGRESSION OF MILPGAL UNFORCED VARIABLES: CYLINDER DISPLACE HORSPWR WEIGHT PRICE P to ENTER P to EXIT STEP VARIABLE COEFFICIENT T P R SQ MSE CONSTANT CONSTANT WEIGHT CONSTANT HORSPWR WEIGHT CONSTANT HORSPWR WEIGHT PRICE 1.372E CONSTANT DISPLACE HORSPWR WEIGHT PRICE 1.655E RESULTING STEPWISE MODEL VARIABLE COEFFICIENT STD ERROR STUDENT'S T P VIF CONSTANT DISPLACE HORSPWR WEIGHT PRICE 1.655E E CASES INCLUDED 150 R SQUARED MSE MISSING CASES 5 ADJ R SQ SD VARIABLES NOT IN THE MODEL CORRELATIONS VARIABLE MULTIPLE PARTIAL T P CYLINDER Tuloksena on (b)-kohdan malli. (d) PARAS SELITTÄJIEN YHDISTELMÄ Regressiomallin selittäjien valikointiin voidaan käyttää erilaisia strategioita. Valittaessa parasta selittäjien yhdistelmää kaikkia mahdollisia mallivaihtoehtoja verrataan toisiinsa käyttämällä jotakin mallinvalintakriteeriä ja lopulliseksi malliksi valitaan se, joka on käytetyn kriteerifunktion mielessä optimaalinen. TKK/SAL Ilkka Mellin (2005) 19/19

20 Tutkitaan kaikki mallivaihtoehdot. Statistics > Linear Models > Best Subset Regressions Dependent Variable = MILPGAL Non-forced Indep. Vars = CYLINDER, DISPLACE, HORSPWR, WEIGHT, PRICE Sekä Mallowsin C p -kriteerin minimointi että korjatun selitysasteen maksimointi johtavat samaan tulokseen, (b)-kohdan malliin. STATISTIX FOR WINDOWS MOTORS BEST SUBSET REGRESSION MODELS FOR MILPGAL UNFORCED INDEPENDENT VARIABLES: (A)CYLINDER (B)DISPLACE (C)HORSPWR (D)WEIGHT (E)PRICE 3 "BEST" MODELS FROM EACH SUBSET SIZE LISTED. ADJUSTED P CP R SQUARE R SQUARE RESID SS MODEL VARIABLES INTERCEPT ONLY D C B C D D E B D C D E A C D B C D B C D E A C D E A B C D A B C D E (e) KOMMENTTEJA Mallin valitsemiseen ei ole tarjolla yleispätevää, objektiivisen lopputuloksen antavaa menetelmää. Erilaiset valintamenetelmät saattavat johtaa erilaisiin lopputuloksiin. Kuitenkin sellaisissa tilanteissa, joissa muut selittäjät paitsi yksi ovat lähes ortogonaalisia kuten tässä eri menetelmät johtavat tavallisesti samaan malliin. TKK/SAL Ilkka Mellin (2005) 20/20

21 4. PAINOTETTU PNS-MENETELMÄ STASTISTIX-tiedostoon TRANS2 on talletettu muuttujat Y6 ja X. (a) (b) (c) (d) (e) Piirrä pistediagrammi (X, Y6). Mitä havaitset? Estimoi lineaarinen malli Y6 = β 0 + β 1 X + ε Tutki mallin residuaaleja graafisesti. Onko homoskedastisuusoletus järkevä? Testaa homoskedastisuutta. Aineisto on generoitu seuraavalla tavalla: jossa Y6 = X + E X X Uniform(0, 1) E N(0, 1) Päättele tästä tiedosta, mikä on oikea painomuuttuja, jos malli estimoidaan painotetulla PNS-menetelmällä ja estimoi malli. Tutki residuaalidiagrammin avulla oletko onnistunut painomuuttujan valinnassa. Vertaa myös estimoitujen regressiokertoimien suuruutta ja t-arvoja (a)-kohdan tuloksiin ja aineiston generoinnissa käytettyihin arvoihin. Samat tulokset kuin (d).kohdassa saadaan tässä erikoistapauksessa myös estimoimalla malli Y6/X = α 0 + α 1 1/X + δ Vertaa tuloksia (d)-kohdan tuloksiin. Kommentoi havaintojasi. TKK/SAL Ilkka Mellin (2005) 21/21

22 RATKAISU: (a) AINEISTOON TUTUSTUMINEN: PISTEDIAGRAMMI (SELITTÄJÄ, SELITETTÄVÄ) Piirretään pistediagrammi (X, Y6) Pistediagrammin avulla voidaan havainnollistaa muuttujien välistä riippuvuutta. Statistics > Summary Statistics > Scatter Plot X Axis Variables = X Y Axis Variables = Y6 Display Regression Line 13 Scatter Plot of Y6 vs X 4 Y Pistediagrammin perusteella on odotettavissa, että jäännöstermi on heteroskedastinen regressiomallissa, jossa Y6 on selitettävänä muuttujana ja X on selittäjänä. X TKK/SAL Ilkka Mellin (2005) 22/22

23 (b) MALLIN ESTIMOINTI JA RESIDUAALIEN TUTKIMINEN Mallin estimointi Olkoon mallina (1) Y6 = β 0 + β 1 X + ε Statistics > Linear Models > Linear Regression Dependent Variable = Y6 Independent Variables = X STATISTIX FOR WINDOWS TRANS2 UNWEIGHTED LEAST SQUARES LINEAR REGRESSION OF Y6 PREDICTOR VARIABLES COEFFICIENT STD ERROR STUDENT'S T P CONSTANT X R-SQUARED RESID. MEAN SQUARE (MSE) ADJUSTED R-SQUARED STANDARD DEVIATION SOURCE DF SS MS F P REGRESSION RESIDUAL TOTAL CASES INCLUDED 50 MISSING CASES 0 Mallin (1) selitysaste on hyvin matala (3.9 %). F-testisuureen arvo nollahypoteesille H 0 : β 1 = 0 on 1.95 ja sitä vastaava p-arvo on (4:llä desimaalilla) , joten malli ei ole tilastollisesti merkitsevä. Tämä on sopusoinnussa sen kanssa, että mallin (1) ainoa selittäjä ei ole tilastollisesti merkitsevä. TKK/SAL Ilkka Mellin (2005) 23/23

24 Residuaalidiagrammi (SOVITE, RESIDUAALI) Piirretään residuaalidiagrammi (SOVITE, RESIDUAALI) Linear Regression Coefficient Table Results > Plots > Std Resids by Fitted Values Residuaalidiagrammi indikoi, että mallin rakenneosa on oikein muotoiltu, mutta jäännöstermit ovat selvästi heteroskedastisia, koska residuaalien vyö levenee oikealle. 2.7 Regression Residual Plot 1.8 Standardized Residuals Fitted values (c) HOMOGEENISUUDEN TESTAAMINEN Tässä käytettävä homogeenisuustesti perustuu apuregressioon e 2 ˆ j = α0 + α1y j + δ j Jos R 2 on tästä apuregressiosta määrätty selitysaste, niin 2 nr χ 2 (1) homoskedastisuusoletuksen pätiessä. TKK/SAL Ilkka Mellin (2005) 24/24

25 Sovitteiden ja residuaalien tallettaminen Talletetaan sovitteet ja residuaalit tiedostoon TRANS2. Linear Regression Coefficient Table Results > Save Residuals Fitted Value = FIT Residual = RES Lisätään residuaalien neliöt muuttujaksi RESSQR tiedostoon TRANS2. Data > Transformations Transformation Expression RESSQR = RES * RES Apuregression estimointi Olkoon mallina (2) RESSQR = β 0 + β 1 FIT + ε Statistics > Linear Models > Linear Regression Dependent Variable = RESSQR Independent Variables = FIT UNWEIGHTED LEAST SQUARES LINEAR REGRESSION OF RESSQR PREDICTOR VARIABLES COEFFICIENT STD ERROR STUDENT'S T P CONSTANT FIT R-SQUARED RESID. MEAN SQUARE (MSE) TKK/SAL Ilkka Mellin (2005) 25/25

26 Homogeenisuustesti Olkoon nollahypoteesina 2 H : Var( ε ) = σ Nollahypoteesin H 0 pätiessä 0 2 nr χ 2 (1) jossa R 2 on em. apuregression selitysaste. Nyt j nr 2 = = Testisuureen arvoa vastaava p-arvo saadaan seuraavalla STATISTIX-operaatiolla: Statistics > Probability Functions Chi-square (x, df) X = DF = 1 Koska testisuureen arvoa vastaava p-arvo = , voidaan nollahypoteesi mallin (1) jäännöstermin homoskedastisuudesta hylätä kaikilla tavanomaisilla merkitsevyystasoilla. Johtopäätös: Mallin (1) jäännöstermi on heteroskedastinen. (d) PAINOTETTU PNS-ESTIMOINTI Kohdan (b) ja (c) tulosten perusteella mallin (1) jäännöstermi on heteroskedastinen ja malli pitää estimoida painotetulla PNS-menetelmällä. Painomuuttujan valinta tai konstruointi on usein hankalaa. Esimerkin tapauksessa voidaan kuitenkin käyttää apuna tietoa siitä, että aineisto on generoitu seuraavalla tavalla: Y6 = X + E X jossa X Uniform(0, 1) ja E N(0, 1). Tämä merkitsee sitä, että oikea painomuuttuja on muotoa 1/X 2 TKK/SAL Ilkka Mellin (2005) 26/26

27 Painomuuttujan konstruointi Lisätään muuttuja 1/X 2 muuttujaksi XINVSQR tiedostoon TRANS2. Data > Transformations Transformation Expression XINVSQR = 1 / (X * X) Painottettu PNS-estimointi Olkoon mallina (1) Y6 = β 0 + β 1 X + ε ja painomuuttujana XINVSQR. Statistics > Linear Models > Linear Regression Dependent Variable = Y6 Independent Variables = X Weight Variable = XINVSQR STATISTIX FOR WINDOWS TRANS2 WEIGHTED LEAST SQUARES LINEAR REGRESSION OF Y6 WEIGHTING VARIABLE: XINVSQR PREDICTOR VARIABLES COEFFICIENT STD ERROR STUDENT'S T P CONSTANT X R-SQUARED RESID. MEAN SQUARE (MSE) ADJUSTED R-SQUARED STANDARD DEVIATION SOURCE DF SS MS F P REGRESSION RESIDUAL TOTAL CASES INCLUDED 50 MISSING CASES 0 TKK/SAL Ilkka Mellin (2005) 27/27

28 Mallin (1) selitysaste on matala (19.0 %), mutta F-testisuureen arvo nollahypoteesille H 0 : β 1 = 0 on ja sitä vastaava p-arvo on (4:llä desimaalilla) , joten malli on tilastollisesti merkitsevä. Tämä on sopusoinnussa sen kanssa, että mallin (1) ainoa selittäjä on tilastollisesti merkitsevä. Huomautus: Selittäjän X regressiokerroin osoittautuu tilastollisesti merkitseväksi, kun mallin jäännöstermin varianssi spesifioidaan oikein. Residuaalidiagrammi (SOVITE, RESIDUAALI) Piirretään residuaalidiagrammi (SOVITE, RESIDUAALI) Linear Regression Coefficient Table Results > Plots > Std Resids by Fitted Values 2.7 Regression Residual Plot 1.8 Standardized Residuals Fitted values Residuaalidiagrammi indikoi, että mallin rakenneosa on oikein muotoiltu ja, että jäännöstermit eivät ole enää heteroskedastisia. TKK/SAL Ilkka Mellin (2005) 28/28

29 (e) TRANSFORMOIDUN MALLIN ESTIIMOINTI Aineisto on generoitu seuraavalla tavalla: Y6 = X + E X jossa X Uniform(0, 1) ja E N(0, 1). Jakamalla yhtälö (1) puolittain muuttujalla X saadaan mallin (1) kanssa ekvivalentti malli: (3) Y6/X = α 0 + α 1 1/X + δ Uuden selitettävän muuttujan konstruointi Lisätään muuttuja Y6/X muuttujaksi Y7 tiedostoon TRANS2. Data > Transformations Transformation Expression Y7 = Y6 / X Uuden selittäjän konstruointi Lisätään muuttuja 1/X muuttujaksi XINV tiedostoon TRANS2. Data > Transformations Transformation Expression XINV = 1 / X Mallin estimointi Olkoon mallina (4) Y7 = α 0 + α 1 XINV + δ Statistics > Linear Models > Linear Regression Dependent Variable = Y7 Independent Variables = XINV TKK/SAL Ilkka Mellin (2005) 29/29

30 STATISTIX FOR WINDOWS TRANS2 UNWEIGHTED LEAST SQUARES LINEAR REGRESSION OF Y7 PREDICTOR VARIABLES COEFFICIENT STD ERROR STUDENT'S T P CONSTANT XINV R-SQUARED RESID. MEAN SQUARE (MSE) ADJUSTED R-SQUARED STANDARD DEVIATION SOURCE DF SS MS F P REGRESSION RESIDUAL TOTAL CASES INCLUDED 50 MISSING CASES 0 Regressiokertoimien estimaatit yhtyvät kohdassa (d) saatuihin tuloksiin, kun otetaan huomioon, että kertoimet ovat vaihtaneet paikkaa: Vakioselittäjän kerroin mallissa (4) on aidon selittäjän kerroin mallissa (1) ja päinvastoin. TKK/SAL Ilkka Mellin (2005) 30/30