4. Tietokoneharjoitukset

Transkriptio

1 4. Tietokoneharjoitukset Demotehtävät 4.1 Tarkastellaan seuraavia aikasarjoja. Tiedosto (.txt) Muuttuja Kuvaus Havaintoväli Aikasarjan pituus INTEL Intel_Close Intelin osakekurssi Pörssipäivä n = 20 Intel_Volume Intelin osakkeiden myynti SUNSPOT Spots Auringonpilkkujen määrä 1v n = 215 SALES Sales Erään tukkukaupan 1kk n = 144 myynnin volyymi Yritä löytää jokaiselle aikasarjalle paras mahdollinen ARMA-perheeseen kuuluva malli. Käytä aikasarjan viimeistä viidesosaa mallin verifioimiseen. Ratkaisu. Ladataan aluksi paketti forecast. Paketin asentamisessa voi olla ongelmia Linux koneille. R-ohjelmistoon on saatavilla muitakin paketteja ARMA-mallejen estimoimiseksi, joista lisätietoa voi etsiä googlettamalla. install.packages("forecast") library(forecast) # install.packages() tarvitsee ajaa vain kerran # library() tulee ajaa aina kun haluat jonkin paketin funktioita käyttöön INTEL <- read.table("intel.txt",header=t) SUNSPOT <- read.table("sunspot.txt",header=t,row.names=1) SALES <- read.table("sales.txt",header=t) Intel_Close <- ts(intel$intel_close) Spots <- ts(sunspot,start=1749) Sales <- ts(sales$sales,frequency=12) Intel_Close Lasketaan autokorrelaatiot ja osittaisautokorrelaatiot. acf(intel_close,main="acf") pacf(intel_close,main="pacf") Kuvasta 1 nähdään että PACF näyttää katkeavan viiveellä 2 ja ACF vaimenee eksponentiaalisesti. Yritetään sovittaa AR(2)-malli. ARMA-mallien sovitus, tapahtuu komennolla Arima. Funktion ensimmäinen parametri on sovitettava aikasarja, order on 1 / 13

2 ACF PACF Kuva 1: Intel_Close aineiston auto- ja osittaisautokorrelaatiofunktiot. ARIMA-osan asteet muodossa (p,h,q), missä p, h ja q kuten luentokalvoissa. Lisäksi on mahdollista antaa määre seasonal, joka vastaa kausiparametreja (P,H,Q). Arima(Intel_Close, order=c(2,0,0)) Series: Intel_Close ARIMA(2,0,0) with non-zero mean Coefficients: ar1 ar2 intercept s.e sigma^2 estimated as : log likelihood=-28.2 AIC=64.39 AICc=67.06 BIC=68.38 Estimoitu malli sisältää vakion (Intercept), sen voi asettaa nollaksi parametrilla include.mean=f. Arima estimoi parametrit oletuksena CSS-ML (conditional sum of squares - maximum likelihood) menetelmällä. Menetelmässä alkuarvaus saadaan CSS menetelmällä, jonka jälkeen estimoidaan suurimman uskottavuuden (SU) estimaatit. Lisätietoa SU-menetelmästä viikon 4 luentokalvoissa. Sovitetaan AR(2)-malli ja tutkitaan residuaaleja: malli <- Arima(Intel_Close, order=c(2,0,0)) acf(malli$res,main="acf") pacf(malli$res,main="pacf") Kuvan 2 perusteella residuaalit eivät näytä autokorreloituneilta. Hyvässä sovitteessa residuaalit on lähellä satunnaista kohinaa. Tehdään Ljung-Box testi residuaaleille. Testi suoritetaan komennolla: 2 / 13

3 ACF PACF Kuva 2: Intel_Close aineistoon sovitetun AR(2)-mallin residuaalien auto- ja osittaisautokorrelaatiofunktiot. Box.test(residual,lag=h,fitdf=k,type="Ljung-Box") missä h on viive, ja k estimoitujen parametrien määrä mallissa. AR(2)-mallissa k=2. Ljung-Box testi voidaan tehdä viiveille (lag), jotka ovat suurempia kuin k+1 (katso luento 5). Huomaa, että funktio Box.test tekee oletuksena ns. Box-Pierce testin. Tilastotieteen kirjallisuudessa Ljung-Box on kuitenkin todettu Box-Pierce testiä paremmaksi. #Alustetaan tyhjä vektori ljung_box <- c(rep(na,17)) k <- 2 for(i in 1:17){ ljung_box[i] <- Box.test(malli$res,lag=(i+k), fitdf=k, type="ljung-box")$p.value } [1] [8] [15] Ljung-Box testin nollahypoteesi on, että korrelaatiota ei ole. Testin p-arvot ovat kaikilla viivellä selvästi yli merkitsevyystason 5%. Täten Ljung-Box testin perusteella AR(2) on riittävä malli. Piirretään sovite ja alkuperäinen aikasarja samaan kuvaan. sovite <- fitted(malli) plot(sovite,type="b",col="blue",ylim=c(60,68), ylab="kurssi",xlab="aika") lines(intel_close,col="red",type="b") 3 / 13

4 legend(16,68, legend=c("aikasarja", "Sovite"), col=c("red","blue"),lty=c(1,1),cex=0.8) Kurssi Aikasarja Sovite Aika Kuva 3: Intel_close aikasarja punaisella ja AR(2)-sovite sinisellä. Kuvan 3 perusteella sovite vastaa melko hyvin alkuperäistä aikasarjaa. Estimoidaan AR(2)-malli ensimmäisestä 16 havainnosta ja katsotaan miten hyvin malli ennustaa 4 viimeistä havaintoa. malli_ver <- Arima(Intel_Close[1:16],order=c(2,0,0)) ennuste <- forecast(malli_ver,h=4,level=false)$mean #level=false, jättää luottamusvälit pois plot(intel_close,col="red",type="b",ylim=c(60,68), ylab="kurssi",xlab="aika") lines(ennuste,col="blue",type="b") legend(16,68, legend=c("aikasarja", "Ennuste"), col=c("red", "blue"), lty=c(1,1), cex=0.8) Kuvasta 4 nähdään, että 16 ensimmäistä havaintoa eivät ennusta erityisen hyvin viimeistä neljää havaintoa, vaikka AR(2)-malli todettiin riittäväksi. Tämä selittyy sillä, että alkuperäinen aikasarja on suhteellisen lyhyt. Varsinkin lyhyitä aikasarjoja ennustaessa tulee olla siis hyvin varovainen. Spots acf(spots,lag.max=50) pacf(spots,lag.max=50) Kuvan 5 perusteella PACF näyttää katkeavan viiveellä 2, vaikka osittaisautokorrelaatio viiveillä 6-8, 29 ja 48 menee merkitsevyysrajan yli. Sovitetaan AR(2)-malli ja tutkitaan residuaaleja. 4 / 13

5 Kurssi Aikasarja Ennuste Aika Kuva 4: Intel_close aikasarja punaisella ja 16 ensimmäisen havaintopisteen avulla estimoidun AR(2)-mallin ennuste sinisellä. ACF PACF Kuva 5: Spots aikasarjan auto- ja osittaisautokorrelaatiofunktio. malli2 <- Arima(Spots,order=c(2,0,0)) acf(malli2$res) pacf(malli2$res) Kuvasta 6 nähdään että viiveillä 9-11 residuaalien auto- ja osittaisautokorrelaatio ovat merkitsevyystason yläpuolella. Tehdään Ljung-Box testi residuaaleille. k <- 2 spots_bl <- rep(na,47) 5 / 13

6 AR(2) mallin residuaalien ACF AR(2) mallin residuaalien PACF Kuva 6: Aikasarjan Spots AR(2)-mallin residuaalien auto- ja osittaisautokorrelaatiofunktio. for (i in 1:47) { spots_bl[i]=box.test(malli2$res,lag=(i+k),fitdf=k, type="ljung-box")$p.value } round(spots_bl,3) [1] [12] [23] [34] AR(2)-malli ei ole Ljung-Box testien perusteella riittävä selittämään aikasarjan Spots käyttäytymistä. Ljung-Box testin nollahypoteesi hylätään viiveillä Huomaa että Ljung-Box testin ensimmäinen arvo vastaa viivettä k + 1. Kokeillaan nyt automaattista SARIMA-mallien sijoitusta ja tutkitaan mallin residuaaleja. malli.auto <- auto.arima(spots) malli.auto acf(malli.auto$res,lag.max=50) pacf(malli.auto$res,lag.max=50) Series: Spots ARIMA(3,0,1) with non-zero mean Coefficients: ar1 ar2 ar3 ma1 intercept s.e / 13

7 sigma^2 estimated as 266.4: log likelihood= AIC= AICc= BIC= Algoritmi sovittaa parhaan mahdollisen SARIMA-mallin annettuun aikasarjaan käyttäen minimoitavana mallinvalintakriteerinä joko AIC, AICc tai BIC. Huomaa, että SARIMA-mallien sovittaminen aikasarjoihin ei ole yleensä helppoa ja ei ole olemassa täydellistä algoritmia joka löytää aina parhaan mahdollisen mallin. Tästä syystä funktioon auto.arima ei tule luottaa sokeasti. Funktio lisäksi valitsee usein tarpeettoman monimutkaisia SARIMA-perheen malleja, jotka ovat vain marginaalisesti parempia suhteessa johonkin yksinkertaiseen malliin. Kuvan 7 perusteella viiveillä 9,10 ja 11 residuaalien auto- ja osittaisautokorrelaatio ovat merkitseviä myös ARMA(3,1)-sovitteen residuaaleille. Lisäksi Ljung-Box testin nollahypoteesi hylätään viiveillä Ljung-Box testien tulokset alla. Täten myöskään ARMA(3,1)-malli ei testien perusteella riittävä selittämään aikasarjan spots käyttäytymistä. k <- 4 spots_bl <- rep(na,47) for (i in 1:47) { spots_bl[i]=box.test(malli.auto$res,lag=(i+k),fitdf=k, type="ljung-box")$p.value } round(spots_bl,3) [1] [12] [23] [34] Kommentteja: (1) Auringonpilkkujen määrää kuvaava aikasarja Spots osoittautuu vaikeaksi mallintaa SARIMA-malleilla. Eräs ongelman aiheuttajista on se, että kausivaihtelun jakson pituus n. 11 vuotta ei ole täysin vakio. Täten kausi ARIMA-malleja on vaikea sovittaa Spots aikasarjaan. (2) Auringonpilkku-aikasarjaa on tutkittu paljon. Tämänhetkisen käsityksen mukaan eräs parhaista kandidaateista selittämään sen käyttäytymistä, on ns. kynnysmalli (threshold model). Piirretään sovitteet ja aikasarja samaan kuvioon: 7 / 13

8 ARMA(3,1) mallin residuaalien ACF ARMA(3,1) mallin residuaalien PACF Kuva 7: Aineistosta Spots auto.arima-funktiolla valitun mallin residuaalien ACF ja PACF. sovite.sun <- fitted(malli2) sovite.auto <- fitted(malli.auto) plot(sovite.sun,type="b",col="blue", ylab="lkm.",xlab="aika") lines(spots,col="red",type="b") lines(sovite.auto,col="green",type="b") legend("topleft", legend=c("spots-aikasarja", "AR(2)-Sovite", "ARMA(3,1)-Sovite"), col=c("red","blue","green"),lty=c(1,1),cex=0.8) Kuvasta 8 nähdään että molemmat sovitteet seuraavat hyvin alkuperäisen aikasarjan käyttäytymistä. Ennustetaan viimeiset 43 havaintoa käyttäen AR(2)-mallia, samat voidaan toistaa myös ARMA(3,1)-mallille. malli_ver <- Arima(Spots[1:172],order=c(2,0,0)) # Korjataan ennuste alkamaan oikeasta ajanhetkestä ennuste <- ts(forecast(malli_ver,h=43)$mean,start=1921) plot(spots,col="red",type="l",ylim=c(0,200)) lines(ennuste,col="blue",type="l") Kuvasta 9 nähdään että ennusteet pitkälle tulevaisuuteen ovat melko epäluotettavia. Toisaalta muutaman aika-askeleen ennustaminen onnistuu suhteellisen hyvin. Pitkän aikavälin ennustamista huonontaa lisäksi se, että valitut mallit eivät ole riittäviä selittämään aikasarjan Spots käyttäytymistä. Sales Kotitehtävän perusteella Sales ei näytä stationaariselta, mutta D 12 DSales näyttää. Kotitehtävässä laskettujen auto- ja osittaisautokorrelaatiofunktioiden perusteella Sales voisi 8 / 13

9 Aika Lkm Spots aikasarja AR(2) Sovite ARMA(3,1) Sovite Kuva 8: Spots aikasarja punaisella, AR(2)-sovite sinisellä ja ARMA(3,1)-sovite vihreällä. 43 aika askeleen ennuste aika askeleen ennuste Kuva 9: Spots aikasarja punaisella ja AR(2)-mallin ennuste sinisellä. noudattaa jotain SARIMA-perheen mallia. Etsitään sopivaa mallia auto.arima avulla ja tutkitaan residuaaleja. malli_sales <- auto.arima(sales) Series: Sales ARIMA(2,1,2)(1,1,2)[12] 9 / 13

10 ACF PACF Kuva 10: Aikasarjan Sales SARIMA(2,1,2)(1,1,2) 12 -mallin residuaalien auto- ja osittaisautokorrelaatiofunktio. Coefficients: ar1 ar2 ma1 ma2 sar1 sma1 sma s.e sigma^2 estimated as 23.85: log likelihood= AIC= AICc= BIC= acf(malli_sales$res,lag.max=50) pacf(malli_sales$res,lag.max=50) # nyt sovitettavia parametreja =7 k <- 7 sales_bl <- rep(na,47) for (i in 1:47) { sales_bl[i]=box.test(malli_sales$res,lag=(i+k),fitdf=k, type="ljung-box")$p.value } round(sales_bl,3) [1] [12] [23] [34] [45] / 13

11 SARIMA(2,1,2)(1,1,2) 12 -malli ei ole Ljung-Box testien perusteella riittävä. Testin nollahypoteesi hylätään 5% merkitsevyystasolla kaikilla paitsi viiveellä 9. ACF PACF Kuva 11: Aikasarjan Sales SARIMA(2,1,0)(1,1,0) 12 -mallin residuaalien auto- ja osittaisautokorrelaatiofunktio. Osittais- ja autokorrelaatiofunktioiden perusteella, sopiva malli voisi olla esimerkiksi SARIMA(2,1,0)(1,1,0) 12. malli_sales2 <- Arima(Sales,order=c(2,1,0),season=c(1,1,0)) # Huomaa, että Arima() ei toimi jos aikasarjan frequency parametri on # asetettu väärin. Frequency voidaan joko määrittää joko funktiolla ts() # tai Arima() funktiossa asettamalla season=list(order=c(1,1,0),period=12) acf(malli_sales2$res,lag.max=50) pacf(malli_sales2$res,lag.max=50) # nyt sovitettavia parametreja 2+1=3 k <- 3 sales_bl2 <- rep(na,47) for (i in 1:47) { sales_bl2[i]=box.test(malli_sales2$res,lag=(i+k),fitdf=k, type="ljung-box")$p.value } round(sales_bl2,3) [1] [12] [23] [34] [45] / 13

12 Nyt Ljung-Box testin nollahypoteesi hyväksytään viiveillä 4-16 ja Vaikka sovite on parempi suhteessa auto.arima valitsemaan malliin, silti tulosta ei voida pitää kovin onnistuneena. Parempaa mallia on kuitenkin vaikeata löytää ainakaan SARIMAperheestä. Kommentti: Aikasarja Sales osoittautuu vaikeaksi mallintaa täydellisesti. Katsotaan vielä miten hyvin estimoitu SARIMA(2, 1, 0)(1, 1, 0) 12 malli sopii alkuperäiseen aikasarjaan. Kurssi Aika Kuva 12: Aikasarja Sales punaisella ja SARIMA(2,1,0)(1,1,0) 12 -mallin sovitteet sinisellä. Katsotaan miltä mallin ennuste näyttää 48 aika-askelta (4 vuotta) eteenpäin: sovite.sales <- fitted(malli_sales2) plot(sovite.sales,type="b",col="blue", ylab="kurssi",xlab="aika") lines(sales,col="red",type="b") ennuste_sales <- forecast(malli_sales2,h=48)$mean 12 / 13

13 plot(sales,col="red",type="b",ylim=c(100,340), xlim=c(1970,1987),ylab="lkm.",xlab="aika") lines(ennuste_sales,col="blue",type="b") Lkm Aika Kuva 13: Aikasarja Sales punaisella ja SARIMA(2,1,0)(1,1,0)-mallin ennuste sinisellä. Kuvasta 13 nähdään, että saatava ennuste neljä vuotta tulevaisuuteen näyttää järkevältä, vaikka SARIMA(2, 1, 0)(1, 1, 0) 12 -malli ei ole Ljung-Box-testien perusteella riittävä Kotitehtävät 4.2 Tiedostoon MLCO2 on tallennettu aikasarja MLCO2, joka sisältää Mauna Loa-tulivuorella tehtyjen hiilidioksidimittausten tulokset 216 kuukaudelta. Aikasarjaa on tarkasteltu alustavasti viikon 3 tietokoneharjoituksissa. a) Etsi paras mahdollinen SARIMA-perheen malli aikasarjalle MLCO2. b) Ennusta aikasarjaa 2 ja 24 askelta eteenpäin. Pohdi ennusteiden hyvyyttä. 13 / 13