Viikon 5 harjoituksissa käytämme samoja aikasarjoja kuin viikolla 4. Tiedosto Muuttuja Kuvaus Havaintoväli Aikasarjan pituus

Transkriptio

1 MS-C2128 Ennustaminen ja aikasarja-analyysi 5. harjoitukset / Tehtävät Kotitehtävät: 2 Aihe: ARMA-mallit Viikon 5 harjoituksissa käytämme samoja aikasarjoja kuin viikolla 4. Tehtävä 5.1. Tarkastellaan seuraavia aikasarjoja Tiedosto Muuttuja Kuvaus Havaintoväli Aikasarjan pituus INTEL Intel_Close Intelin osakekurssi (Pörssi-) päivä n = 20 SUNSPOT Spots Auringonpilkkujen määrä 1 v n = 215 SALES Sales Erään tukkukaupan myynnin volyymi 1 kk n = 144 Yritä löytää jokaiselle aikasarjalle paras mahdollinen ARMA-perheeseen kuuluva malli. Käytä aikasarjan viimeistä viidesosaa mallin verifioimiseen. Tehtävä 5.1. Ratkaisu: Ladataan aluksi paketti forecast, jos sitä ei ole aiemmin asennettu, ja luetaan muuttujat työhakemistoon #install.packages( forecast ) library(forecast) INTEL <- read.table( INTEL.txt,header=T) SUNSPOT <- read.table( SUNSPOT.txt,header=T) SALES <- read.table( SALES.txt,header=T)

2 Intel_Close Ensin on syytä tarkastella kuvaajia varianssin ja trendin varalta, ja tarvittaessa tehdä muunnoksia. Näitä on piirretty tehtävässä 4.1. Lasketaan autokorrelaatiot ja osittaisautokorrelaatiot. Intel_Close <- ts(intel$intel_close) Acf(Intel_Close) Pacf(Intel_Close) Tässä siniset viivat kertovat tilastollisen merkitsevyyden, siis erottavat merkitykselliset havainnot kohinasta.

3 Kommentteja: (1) Aikasarja Intel-Close voi kuvion perusteella hyvin olla stationaarinen ja se ei siten vaadi differensointia. Aikasarjan taso vaihtelee kyllä melko voimakkaasti, mutta sen käyttäytyminen on lokaalisti rauhallista. Aikasarjassa ei ole monotonista trendiä eikä näkyvää kausivaihtelua. (2) Korrelaatiofunktiot viittaavat AR(2)-malliin, mikä tuleekin osoittautumaan riittäväksi malliksi (ks. alla). Yritetään sovittaa AR(2) mallia. Tämä, kuten muidenkin ARMA-mallien sovitus, tapahtuu komennolla Arima: Arima ottaa parametrikseen aikasarjan, order on ARIMA-osan asteet muodossa (p,h,q), missä p, d ja q kuten luentokalvoissa. Lisäksi on mahdollista antaa määre seasonal, joka on kolmiosainen vektori, ja vastaa parametreja (P,H,Q). Arima(Intel_Close, order=c(2,0,0)) Series: Intel_Close ARIMA(2,0,0) with non-zero mean Coefficients: ar1 ar2 intercept s.e sigma^2 estimated as : log likelihood=-28.2 AIC=64.39 AICc=67.06 BIC=68.38 Tämä malli sisältää nyt vakion (Intercept), sen voi asettaa nollaksi antamalla Arimalle lisämääreen include.mean=f. Arima-funktiolle voidaan lisäksi valita estimoimiseen käytetty menetelmä. Oletuksena on ns. CSS-ML (conditional sum of squares - maximum likelihood) menetelmä. Kyseisessä algoritmissa mallin parametrit estimoidaan suurimman uskottavuuden (SU) menetelmällä siten että alkuarvaus saadaan CSS-menetelmällä. Lisätietoa SUmenetelmästä viikon 4 luentokalvoissa. Mallin tulkinta: Coefficients sisältää parametrit ja niiden hajonnat (s.e.) AIC on Akaiken informaatiokriteeri, AICc tämän johdannainen ja BIC on Bayesilainen informaatiokriteeri. malli=arima(intel_close, order=c(2,0,0)) Acf(malli$res)

4 Residuaalit eivät näytä olevan autokorreloituneita. Voidaan myös tehdä Ljung-Box testi residuaaleille. Tämä tapahtuu seuraavasti: Box.test(malli$res,lag=h,fitdf=x,type= Ljung-Box ), missä h on viive, ja x estimoitujen parametrien määrä mallissa. Nyt esim x=2. Ljung-Box testi voidaan tehdä viipeille (lag), jotka ovat suurempia kuin x+1 (katso luento 5). Huomaa, että funktio Box.test tekee oletuksena ns. Box-Piercen testin. Tilastotieteen kirjallisuudessa Ljung-Box on kuitenkin todettu Box-Pierce testiä paremmaksi. # Loopissa vektorin koko kasvaa aina yhdellä # Huomaa, että laskennallisesti tehokkaampi tapa olisi alustaa # halutun pituinen vektori, eli # ljung_box = c(rep(na,18)) ljung_box =c() for (i in 3:20) { ljung_box=c(ljung_box,box.test(malli$res,lag=i,fitdf=2, type= "Ljung-Box")$p.value) } ljung_box [1] [14] NA Tämän testin nollahypoteesi on, että autokorrelaatiota ei ole. P-arvot ovat nyt varsin suuria, joten nollahypoteesi jää voimaan. AR(2)-malli on siis riittävä. Piirretään sovite ja alkuperäinen aineisto samaan kuvaan.

5 sovite <- fitted(malli) plot(sovite,type="b",col="blue",ylim=c(60,68), ylab="kurssi",xlab="aika") lines(intel_close,col="red",type="b") legend(16,68, legend=c("alkup.", "Sovite"), col=c("red", "blue"), lty=c(1,1), cex=0.8) Kuvassa alkuperäinen aikasarja on punaisella ja sovite sinisellä. Lasketaan estimaatit aikasarjan ensimmäisestä 16 havainnosta ja katsotaan miten hyvin malli ennustaa viimeistä 4 havaintoa. malli_ver <- Arima(Intel_Close[1:16],order=c(2,0,0)) ennuste <- forecast(malli_ver,h=4,level=false)$mean #level=false, jättää luottamusvälit pois plot(intel_close,col="red",type="b",ylim=c(60,68), ylab="kurssi",xlab="aika") lines(ennuste,col="blue",type="b") legend(16,68, legend=c("alkup.", "Ennuste"), col=c("red", "blue"), lty=c(1,1), cex=0.8)

6 Nähdään, että 16 ensimmäistä havaintoa eivät ennusta erityisen hyvin viimeistä neljää havaintoa, vaikka AR(2)-malli todettiin riittäväksi. Tämä selittyy sillä, että alkuperäinen aikasarja on suhteellisen lyhyt. Varsinkin lyhyitä aikasarjoja ennustaessa tulee olla siis hyvin varovainen. Spots Tehtävän 1 perusteella Spots on valmiiksi stationaarinen Spots <- ts(sunspot$spots) Acf(Spots,lag.max=50) Pacf(Spots,lag.max=50)

7 Kommentteja: (1) Aikasarjaa Spots voi kuvion perusteella pitää stationaarisena ja se ei siten vaadi differensointia. Aikasarjan yleistaso pysyy vakiona. Aikasarjassa ei ole trendiä, mutta siinä on selvää syklistä vaihtelua, jonka jakso on n. 11 vuotta. Jaksolle ei voida löytää luontevaa selitystä (ja lisäksi jakson pituus ei ole täysin vakio), mikä sulkee pois kausidifferensoinnin käytön. (2) Korrelaatiofunktiot ja spektri voisivat viitata AR(2)-malliin, tosin pacf:ssä on näyttöä tätä vastaan (viipeet 6-8). malli=arima(spots,order=c(2,0,0)) Acf(malli$res) Nyt osa autokorrelaatioista menee merkitsevyystason ylitse. c=c() for (i in 3:50)

8 { c=c(c,box.test(malli$res,lag=i,fitdf=2, type= Ljung-Box )$p.value)} c [1] [6] [11] [16] [21] [26] [31] [36] [41] [46] Sama tulos nähdään Ljung-Box-testillä. AR(2)-malli ei ole Ljung-Box-testien perusteella riittävä selittämään aikasarjan Spots käyttäytymistä. Kokeillaan nyt automaattista Arima-mallien sijoitusta. malli=auto.arima(spots) malli Series: Spots ARIMA(3,0,1) with non-zero mean Coefficients: ar1 ar2 ar3 ma1 intercept s.e sigma^2 estimated as 266.4: log likelihood= AIC= AICc= BIC= Tämä käytännössä sijoittaa automaattisesti hyväksi havaitsemansa ARIMA-mallin annettuun aikasarjaan. Ilman lisämääreitä valinta tapahtuu minimoimalla AICc:tä. Tämä algoritmi on vähän huolimaton, joten sokeana ei kannata kaikkea uskoa. Acf(malli$res,lag.max=50)

9 Kommentteja: (1) Auringonpilkkujen määrää kuvaava aikasarja Spots osoittautuu vaikeaksi mallintaa ARMA-malleilla. Eräs ongelman aiheuttajista on se, että syklisen vaihtelun jakson pituus n. 11 vuotta ei ole täysin vakio. Ilmeisesti se on syynä siihen, että SARMA-mallit eivät toimi hyvin. (2) Auringonpilkku-aikasarjaa on tutkittu paljon. Tämänhetkisen käsityksen mukaan eräs parhaista kandidaateista selittämään sen käyttäytymistä, on ns. kynnysmalli (engl. threshold model). Kynnysmalli on eräs epälineaarisista aikasarjamalleista. Sen kuvaaminen sivuutetaan tässä. Piirretään sovitteet (AR(2)) ja aikasarja samaan kuvioon: Sovitettu aikasarja näyttää seuraavan hyvin alkuperäisen aikasarjan käyttäytymistä. Yritetään vielä ennustaa viimeistä 43 havaintoa. malli_ver <- Arima(Spots[1:172],order=c(2,0,0)) ennuste <- forecast(malli_ver,h=43,level=false)$mean plot(spots,col="red",type="l",ylim=c(0,200), ylab="lkm.",xlab="aika") lines(ennuste,col="blue",type="l") legend(1,200, legend=c("alkup.", "Ennuste"), col=c("red", "blue"), lty=c(1,1), cex=0.8)

10 Nähdään, että ennusteet pitkälle tulevaisuuteen epäonnistuvat pahasti. Toistetaan ennustaminen 5 aika-askeleella. Ennustaminen onnistuu taas suhteellisen hyvin muutaman aika-askeleen eteenpäin. Huonot ennusteet selittyvät lisäksi sillä, että totesimme kyseisen aikasarjan olevan vaikea mallintaa.

11 Sales Sales ei viikon 4 kotitehtävän perusteella ole stationaarinen, sillä on selkeä trendi. sales=ts(sales$sales,frequency=12) ts.plot(diff(sales)) Tällä aikasarjalla on puolestaan selkeä kausivaihtelu, joka näyttäisi olevan kuukausittaista. Otetaan kausidifferenssi ts.plot(diff(diff(sales),lag=12)) Näyttää stationaariselta. Kirjoitetaan salesd=diff(diff(sales),lag=12) Acf(salesd,lag.max=40)

12 Pacf(salesd,lag.max=40) Kommentteja: (1) Aikasarja D12DSales (jossa on siis tehty sekä tavallinen että kausidifferensointi) on stationaarinen: trendi ja näkyvä kausivaihtelu eliminoituvat. (2) Myös korrelaatiofunktiot viittaavat stationaarisuuteen (korrelaatiofunktiot kuolevat riittävän nopeasti). (3) Mallina aikasarjalle Sales voisi olla jokin SARIMA-perheen malli, kuten esim. SARIMA(2,1,0)) (1,1,0) (ks. kuitenkin alla). malli=arima(sales,order=c(2,1,0),seasonal=c(1,1,0)) Acf(malli$res,lag.max=40) #Huomaa, että Arima() ei toimi jos aikasarjan frequencyparametri on asetettu väärin

13 c=c() for (i in 4:50){ c=c(c,box.test(malli$res,lag=i,fitdf=3, type="ljung-box")$p.value)} c [1] [5] [9] [13] [17] [21] [25] [29] [33] [37] [41] [45] SARIMA(2,1,0)) (1,1,0)[12]-malli ei ole Ljung-Box-testien perusteella riittävä selittämään aikasarjan Sales käyttäytymistä. Funktio auto.arima() antaa tulokseksi SARIMA(3,1,1)(1,1,2)[12]-mallin, joka ei myöskään sovi aikasarjaan Ljung-Box testien perusteella: malli.auto <- auto.arima(sales) Acf(malli.auto$res,lag.max=40) c=c() for (i in 8:50){ # Nyt estimoimme =7 parametria c=c(c,box.test(malli.auto$res,lag=i,fitdf=7, type="ljung-box")$p.value)} c

14 [1] [5] [9] [13] [17] [21] [25] [29] [33] [37] [41] Mallinnuksen tulosta ei voida siten pitää kovin onnistuneena. Parempaa mallia on kuitenkin vaikeata löytää ainakaan SARIMA-perheestä. Kommentti: Aikasarja Sales osoittautuu vaikeaksi mallintaa. Hyvää mallia on vaikeata löytää. Katsotaan vielä miten hyvin SARIMA(2,1,0)) (1,1,0) estimaatit sopivat alkuperäiseen aikasarjaan Aikasarjaa verifioimisen voi toteuttaa kuten aiemmissa kohdissa. Katsotaan nyt miltä mallin ennuste näyttää 24 aika-askelta (2 vuotta) eteenpäin:

15 plot(forecast(malli,h=24)) Saatava ennuste näyttää järkevältä, mutta SARIMA(2,1,0)) (1,1,0)-malli ei ole Ljung-Boxtestien perusteella riittävä Tehtävä 5.2. Tiedostoon MLCO2 on tallennettu aikasarja MLCO2, joka sisältää Mauna Loa-tulivuorella tehtyjen hiilidioksidimittausten tulokset 216 kuukaudelta. Aikasarjaa on tarkasteltu alustavasti tehtävässä 4.1. (a) (b) Yritä rakentaa paras mahdollinen ARMA-tyyppinen malli aikasarjalle MLCO2. Ennusta aikasarjaa 2 ja 24 askelta eteenpäin. Pohdi ennusteiden hyvyyttä.