MS-C2128 Ennustaminen ja Aikasarja-analyysi, Lauri Viitasaari Matematiikan ja systeemianalyysin laitos Perustieteiden korkeakoulu Aalto-yliopisto Syksy 2017
Viikko 4: 1 ARMA-mallien ominaisuudet 1 Stationaaristen ARMA mallien tunnusluvut 2 ARIMA- ja SARIMA-mallit 2 ARMA-mallien rakentaminen 1 Tunnuslukujen estimointi 2 Box-Jenkins menetelmä 3 Aikasarjojen ositus
Sisältö 1 ARMA-mallien ominaisuudet 2 ARMA-mallien rakentaminen
MA(q)-prosessin ominaisuudet x t = ɛ t + θ 1 ɛ t 1 + θ 2 ɛ t 2 +... + θ q ɛ t q, (ɛ t ) t T WN(0, σ 2 ) Odotusarvo µ x = E[x t ] = 0 Varianssi q σx 2 = var(x t ) = σ 2 θi 2, θ 0 = 1 i=1 Autokovarianssi γ k = cov ( x t, x t k ) = { σ 2 q k i=0 θ iθ i+k, k = 0, 1, 2,..., q 0, k > q.
MA(q)-prosessin ominaisuudet x t = ɛ t + θ 1 ɛ t 1 + θ 2 ɛ t 2 +... + θ q ɛ t q, (ɛ t ) t T WN(0, σ 2 ) Autokorrelaatio 1, k = 0 q k ρ k = i=0 θ i θ i+k q, k = 1, 2,..., q i=0 θ2 i 0, k > q AR( )-esitys (jos kääntyvä) π i x t i = ɛ t (π 0 = 1) i=0 Osittaisautokorrelaatio vaimenee exponentiaalisesti
MA(3) prosessi, θ 1 = 1, θ 2 = 0.5, θ 3 = 0.2 Autokorrelaatio 0.0 0.4 0.8 0 1 2 3 4 5 6 7 8 9 11 13 15 17 19 k Osittaisautokorrelaatio 0.2 0.2 0.6 1 2 3 4 5 6 7 8 9 11 13 15 17 19 k
Kääntyvän MA(1)-prosessin ominaisuudet x t = ɛ t + θ 1 ɛ t 1, (ɛ t ) t T WN(0, σ 2 ) Viivepolynomin θ(l) = 1 + θ 1 L juuri on yksikköympyrän ulkopuolella, joten θ 1 < 1 AR( )-esitys: ( θ 1 ) i x t i = ɛ t i=0 Autokovarianssi ja autokorrelaatio σ 2( 1 + θ1) 2, k = 0 1, k = 0 γ k = σ 2 θ θ 1, k = 1, ρ k = 1, k = 1 1+θ1 0, k > 1 2 0 k > 1
MA(1) prosessi, θ 1 = 0.9 Autokorrelaatio 1.0 0.0 0.8 0 1 2 3 4 5 6 7 8 9 11 13 15 17 19 k Osittaisautokorrelaatio 0.4 0.2 1 2 3 4 5 6 7 8 9 11 13 15 17 19 k
Stationaarisen AR(p)-mallin ominaisuudet x t = φ 1 x t 1 + φ 2 x t 2 +...φ p x t p + ɛ t, (ɛ t ) t T WN(0, σ 2 ). Sillä on MA( )-esitys x t = ψ i ɛ t i (ψ 0 = 1) i=0 Odotusarvo µ x = E[x t ] = 0 Varianssi σx 2 = var(x t ) = σ 2 Autokovarianssi ja autokorrelaatio i=0 γ k = σ 2 ψ i ψ i+k, ρ k = i=0 ψ 2 i i=0 ψ iψ i+k i=0 ψ2 i
Stationaarinen AR(p)-malli: Yulen ja Walkerin yhtälöt x t = φ 1 x t 1 + φ 2 x t 2 +...φ p x t p + ɛ t, (ɛ t ) t T WN(0, σ 2 ). Autokorrelaatiot toteuttavat Yulen ja Walkerin yhtälöt ρ 0 = 1 ρ k = φ 1 ρ k 1 + φ 2 ρ k 2 +... + φ p ρ k p, k > 0, koska [ ( p )] γ k = E[x t x t k ] = E x t k φ i x t i + ɛ t i=1 = p φ i E[x t k x t i ] + E[x t k ɛ t ] = i=1 p φ i γ k i. i=1
AR(3) prosessi, φ 1 = 0.5, φ 2 = 0.4, φ 3 = 0.2 Autokorrelaatio 1.0 0.2 0.4 1.0 0 1 2 3 4 5 6 7 8 9 11 13 15 17 19 k Osittaisautokorrelaatio 0.4 0.0 0.4 1 2 3 4 5 6 7 8 9 11 13 15 17 19 k
Stationaarinen AR(1)-malli: Ominaisuudet x t = φ 1 x t 1 + ɛ t, (ɛ t ) t T WN(0, σ 2 ). MA( )-esitys x t = φ i 1 ɛ t i i=0 Odotusarvo µ x = E[x t ] = 0 Varianssi σx 2 = var(x t ) = σ 2 φ 2i 1 = σ2 1 φ 2 1 i=0 Autokovarianssi ja autokorrelaatio γ k = σ 2 i=0 φ i 1 φi+k 1 = φ k 1 σ2 x ja ρ k = φ k 1.
AR(1) prosessi, φ 1 = 0.9 Autokorrelaatio 0.8 0.2 0.4 1.0 0 1 2 3 4 5 6 7 8 9 11 13 15 17 19 k Osittaisautokorrelaatio 0.8 0.4 0.0 1 2 3 4 5 6 7 8 9 11 13 15 17 19 k
Stationaarinen AR(2)-malli: Ominaisuudet x t = φ 1 x t 1 + φ 2 x t 2 + ɛ t, (ɛ t ) t T WN(0, σ 2 ). MA( )-esitys x t = ψ i ɛ t i, i=0 ψ 0 = 1, ψ 1 φ 1 = 0, ψ i φ 1 ψ i 1 φ 2 ψ i 2 = 0, i 2. Odotusarvo µ x = E[x t ] = 0 Varianssi σx 2 = var(x t ) = σ 2 Autokovarianssi ja autokorrelaatio γ k = σ 2 i=0 i=0 ψ i ψ i+k, ρ 1 = φ 1 1 φ 2, ρ 2 = φ2 1 1 φ 2 + φ 2. ψ 2 i
Stationaarinen AR(2)-malli: Ominaisuudet x t = φ 1 x t 1 + φ 2 x t 2 + ɛ t, (ɛ t ) t T WN(0, σ 2 ). Koska viivepolynomin φ(l) = 1 φ 1 L φ 2 L 2 juuret ovat yksikköympyrän ulkopuolella, niin φ 1 + φ 2 < 1 φ 1 + φ 2 < 1 φ 2 < 1 Juuret ovat kompleksisia, jos φ 2 1 + 4φ 2 < 0. Tällöin autokorrelaatiofunktio on eksponentiaalisesti vaimenevan sinikäyrän rajoittama. Jos juuret ovat reaaliset, niin eksponenttifunktio(t) rajaa autokorrelaatiofunktion.
AR(2) prosessi, φ 1 = 0.5, φ 2 = 0.2 Autokorrelaatio 0.0 0.4 0.8 0 1 2 3 4 5 6 7 8 9 11 13 15 17 19 k Osittaisautokorrelaatio 0.0 0.4 1 2 3 4 5 6 7 8 9 11 13 15 17 19 k
AR(2) prosessi, φ 1 = 0.5, φ 2 = 0.4 Autokorrelaatio 0.2 0.2 0.6 1.0 0 1 2 3 4 5 6 7 8 9 11 13 15 17 19 k Osittaisautokorrelaatio 0.4 0.0 1 2 3 4 5 6 7 8 9 11 13 15 17 19 k
Stationaarinen ARMA(p, q)-prosessi x t φ 1 x t 1 φ 2 x t 2... φ p x t p = ɛ t +θ 1 ɛ t 1 +θ 2 ɛ t 2 +...+θ q ɛ t q, missä (ɛ t ) t T WN(0, σ 2 ). Stationaarisen AR(p)-prosessin Autokorrelaatiofunktio vaimenee eksponentiaalista vauhtia (geometrinen sarja) Osittaisautokorrelaatiofunktio katkeaa viiveellä p. MA(q)-prosessin Autokorrelaatiofunktio katkeaa viiveellä q Osittaisautokorrelaatiofunktio vaimenee eksponentiaalisesti. Stationaarisen ARMA(p, q)-prosessin auto- ja osittaisautokorrelaatiofunktiot vaimenevat eksponentiaalista vauhtia.
ARMA(2,3), φ = (0.5, 0.2), θ = ( 0.8, 0.6, 0.2) Autokorrelaatio 0.2 0.2 0.6 1.0 0 1 2 3 4 5 6 7 8 9 11 13 15 17 19 k Osittaisautokorrelaatio 0.0 0.2 1 2 3 4 5 6 7 8 9 11 13 15 17 19 k
Stationaarinen ARMA(p, q)-prosessi x t φ 1 x t 1 φ 2 x t 2... φ p x t p = ɛ t +θ 1 ɛ t 1 +θ 2 ɛ t 2 +...+θ q ɛ t q, missä (ɛ t ) t T WN(0, σ 2 ). Malli AR(p) MA(q) ARMA(p, q) Osittaisauto- korrelaatiofunktio Katkeaa viiveellä p Vaimenee eksponentiaalisesti Vaimenee eksponentiaalisesti Autokorrelaatiofunktio Vaimenee eksponentiaalisesti Katkeaa viiveellä q Vaimenee eksponentiaalisesti
Stationaarinen ja käännettävä ARMA(1,1)-malli x t φ 1 x t 1 = ɛ t + θ 1 ɛ t 1, (ɛ t ) t T WN ( 0, σ 2) Viivepolynomien φ(l) = 1 φ 1 L, θ(l) = 1 + θ 1 L juuret ovat yksikköympyrän ulkopuolella, jos φ 1 < 1, θ 1 < 1. MA( )-esitys x t = ψ i ɛ t i, i=0 ψ 0 = 1, ψ i = θ 1 φ i 1 1 + φ i 1, i > 0. Odotusarvo, varianssi ja autokovarianssi: µ x = E[x t ] = 0 σ 2 x = var(x t ) = σ 2 γ k = σ 2 ψ i ψ i+k ψi 2 i=0 i=0
ARMA(1,1), φ = 0.8, θ = 0.6 Autokorrelaatio 0.0 0.4 0.8 0 1 2 3 4 5 6 7 8 9 11 13 15 17 19 k Osittaisautokorrelaatio 0.0 0.2 1 2 3 4 5 6 7 8 9 11 13 15 17 19 k
Stationaarinen SARMA(P, Q) s -prosessi x t Φ 1 x t s... Φ P x t Ps = ɛ t +Θ 1 ɛ t s +...+Θ Q ɛ t Qs, (ɛ t ) t T WN(0, σ 2 ) SARMA(P, Q) s -prosessin auto- ja osittaisautokorrelaatio-funktiot käyttäytyvät kausiviiveillä s, 2s, 3s,... kuten vastaavan ARMA(p, q)-prosessin akf ja oakf ja saavat kausiviiveiden välissä arvon 0. Stationaarisen SAR(P) s -prosessin akf vaimenee kausiviiveillä s, 2s, 3s,... eksponentiaalista vauhtia oakf katkeaa viiveellä Ps. Stationaarisen SMA(Q) s -prosessin akf katkeaa viiveellä Qs. oakf vaimenee kausiviiveillä s, 2s, 3s,... eksponentiaalisesti. Stationaarisen SARMA(P, Q) s -prosessin auto- ja osittaisautokorrelaatiofunktiot vaimenevat kausiviiveillä s, 2s, 3s,... eksponentiaalista vauhtia
Stationaarinen SARMA(P, Q) s -prosessi x t Φ 1 x t s... Φ P x t Ps = ɛ t +Θ 1 ɛ t s +...+Θ Q ɛ t Qs, (ɛ t ) t T WN(0, σ 2 ) Auto- Osittaisautokorrelaatiofunktio korrelaatiofunktio Malli Vaimenee Katkeaa SAR(P) s eksponentiaalisesti viiveellä Ps Katkeaa Vaimenee SMA(Q) s viiveellä Qs eksponentiaalisesti Vaimenee Vaimenee SARMA(P, Q) s eksponentiaalisesti eksponentiaalisesti
Stationaarisen SARMA(p, q)(p, Q) s -malli x t Φ 1 x t s... Φ P x t Ps = ɛ t +Θ 1 ɛ t s +...+Θ Q ɛ t Qs, (ɛ t ) t T WN(0, σ 2 ) Stationaarisen SARMA(p, q)(p, Q) s -prosessin auto- ja osittaisautokorrelaatiofunktioiden käyttäytyminen on (monimutkainen) yhdistelmä vastaavien ARMA(p, q)- ja SARMA(P, Q) s -prosessien korrelaatiofunktioiden käyttäytymisestä.
ARMA(p, q):n spektri: Stokastisen prosessin suodatus Sanotaan, että stokastinen prosessi x t on saatu suodattamalla stokastisesta prosessista y t käyttäen lineaarista aikainvarianttia suodinta, jos x t = w j y t j j= Suotimen määrittelee painot w j, joille j= w j <. Voidaan osoittaa, että suodatetun stokastisen prosessin x t spektritiheysfunktio on f x (λ) = W (λ) 2 f y (λ), missä f y (λ) on y t :n spektritiheysfunktio ja W (λ) = w j e iλj. j= W (λ) 2 on suotimen siirtofunktio.
ARMA(p, q):n spektri Stationaarisella ARMA(p, q)-prosessilla x t on MA( )-esitys x t = Ψ(L)ɛ t, (ɛ t ) t T WN ( 0, σ 2), Ψ(L) = ψ j L j, ψ 0 = 1, φ(l)ψ(l) = θ(l) j=0 x t saadaan siis suodattamalla puhtaasti satunnaisesta prosessista ɛ t suotimella, jonka siirtofunktio on Ψ(e iλ ) θ(e iλ ) = φ(e iλ ) = 1 + θ 1e iλ +... + θ q e qiλ 1 + φ 1 e iλ +... + φ p e piλ. Näin ollen x t :n spektritiheysfunktio on f x (λ) = W (λ) 2 f ɛ (λ) = σ2 1 + θ 1 e iλ +... + θ q e qiλ 2 2π 1 φ 1 e iλ... φ p e piλ 2 (ɛ t :n spektritiheysfunktio on vakio σ 2 /2π).
(Stationaaristen) prosessien spektrejä ARMA(1,1) : f (λ) = σ2 1 + θ 1 e iλ 2 2π 1 + φ 1 e iλ 2 = σ2 1 + θ1 2 + 2θ 1 cos(λ) 2π 1 + φ 2 1 2φ 1 cos(λ) AR(p) AR(2) : f (λ) = σ2 1 2π 1 φ 1 e iλ... φ p e piλ 2 : f (λ) = σ2 1 2π 1 φ 1 e iλ φ 2 e 2iλ 2 = σ2 1 2π 1 + φ 2 1 + φ2 2 2φ 1(1 φ 2 ) cos(λ) 2φ 2 cos(2λ) MA(q) MA(2) : f (λ) = σ2 2π 1 + θ 1e iλ +... + θ q e qiλ 2 : f (λ) = σ2 2π 1 + θ 1e iλ + θ 2 e qiλ 2 = σ2 ( 1 + θ 2 2π 1 + θ2 2 + 2θ 1 (1 θ 2 ) cos(λ) + 2θ 2 cos(2λ) )
SARIMA(p, h, q)(p, H, Q) s Olkoon x t stokastinen prosessi, siten että (i) x t on epästationaarinen (ii) D G s D g x t on epästationaarinen, kun g < h, G < H (iii) y t = D H s D h x t on stationaarinen (iv) y t on SARMA(p, q)(p, Q) s -prosessi. Silloin stokastinen prosessi x t on integroituva astetta h ja kausi-integroituva astetta H ja sanomme, että x t on SARIMA(p, h, q)(p, H, Q) s -prosessi. Kun prosessille x t tehdään (iii)-kohdan differentointi, niin se voidaan mallintaa käyttäen SARMA(p, q)(p, Q) s -prosessia. Vastaavasti: x t on ARIMA(p, h, q)-prosessi, jos y t = D h x t on ARMA(p, q)-prosessi.
Sisältö 1 ARMA-mallien ominaisuudet 2 ARMA-mallien rakentaminen
Korrelaatiofunktioiden ja spektrin estimointi ja stationaarisuus Teoreettiset auto- ja osittaisautokorrelaatiofunktiot sekä spektritiheysfunktio on määritelty vain stationaarisille stokastisille prosesseille. Nämä funktiot voidaan ja kannattaa kuitenkin laskea myös epästationaarisista aikasarjoista eli epästationaaristen stokastisten prosessien realisaatioista. Tällöin niitä ei kuitenkaan voida tulkita minkään stationaarisen stokastisen prosessin korrelaatiofunktioiden estimaattoreina. Antavat usein hyviä vihjeitä siitä, miten aikasarja kannattaa stationarisoida.
Autokorrelaatioiden estimointi Olkoon x t, t = 1, 2,..., n havaittu aikasarja. (Aritmeettinen) keskiarvo: x = 1 n x t n Varianssin estimaattori: c 0 = 1 n t=1 n (x t x) 2 k. (otos)autokovarianssin estimaattori: c k = 1 n (x t x)(x t k x), k = 0, 1,..., n 1 n t=k+1 t=1 k. (otos)autokorrelaatiokertoimen estimaattori r k = c k c 0, k = 0, 1, 2,..., n 1
Huom Autokovarianssin estimaattorissa c k = 1 n n t=k+1 (x t x)(x t k x), k = 0, 1,..., n 1 jakajana on n, vaikka summassa on n k termiä, koska tämä takaa, että funktio c : {0, 1,..., n 1} R, c(k) = c k on positiivisesti semidefiniitti, joka on välttämätön ehto sille, että c k on stationaarisen prosessin autokovarianssifunktio. Jakajana voi olla myös n k 1, mutta silloin funktio c ei välttämättä ole positiivisesti semidefiniitti. Molemmat antavat asymptoottisesti saman tuloksen.
Kuinka monta autokorrelaatiota estimoida? Aikasarjasta x t, t = 1, 2,..., n, voidaan periaatteessa estimoida n 1 ensimmäistä autokovarianssia c k ja -korrelaatiota r k. Kannattaa kuitenkin huomata, että k. autokovarianssi c k = 1 n n t=k+1 (x t x)(x t k x), k = 0,..., n 1, estimoidaan vain n k havainnosta. Pitkillä viiveillä (k n 1) c k ja r k tulevat estimoiduiksi epätarkasti, koska ne lasketaan vain muutamasta havainnosta. Siten otosautokovarianssit ja -korrelaatiot voivat olla epäluotettavia, jos havaintojen määrä n < 50 ja k > n 4.
Osittaisautokorrelaatioiden estimointi Olkoon ˆφ k k. osittaisautokorrelaatiokertoimen estimaattori. k:nen oak-kertoimen estimaatin laskeminen: 1 Muodostetaan aineiston avulla Yule-Walkerin yhtälöt (k kpl) 1 r 1 r 2 r k 1 a k1 r 1 r 1 1 r 1 r k 2 a k2 r 2 r 2 r 1 1 r k 3 a k3 = r 3,......... r k 1 r k 2 r k 3 1 a kk 2 Ratkaistaan a kk yhtälöistä 3 Estimaatti: ˆφ k = a kk Esim: ˆφ 1 = a 11, ˆφ 2 = a 22 = r 2 r1 2. 1 r 1 2 Osittaisautokorrelaatiokerrointen estimaatit ˆφ k, määräävät Otososittaisautokorrelaatiofunktion ˆφ : {0, 1,..., n 1} R, ˆφ(k) = ˆφ k kaikilla k = 0, 1,..., n 1. r k
Osittaisautokorrelaatioiden estimointi AR(p)-prosessille Osittaisautokorrelaatiokertoimet voidaan vaihtoehtoisesti estimoida myös regressiomalleista x t = β 1 x t 1 + β 2 x t 2 +...β p x t p + ɛ t. pienimmän neliösumman menetelmällä. Tällöin k. osittaisautokorrelaatiokertoimen φ k estimaattori on parametrin (regressiokertoimen) β k PNS-estimaattori b k : ˆφ k = b k, k = 1, 2,..., p. Tämä tapa sopii suoraan vain AR(p)-prosesseille, koska MA-osa aiheuttaa sen, että kohina ei ole korreloimatonta.
Otosautokovarianssien stokastiset ominaisuudet Huom k. otosautokovarianssi c k on autokovarianssin γ k harhainen estimaattori, mutta c k on kuitenkin asymptoottisesti harhaton: lim E[c k] = γ k. n
Autokorrelaatioiden testaaminen Riippumattomien, samoin jakautuneiden satunnaismuuttujien jonon muodostaman stationaarisen stokastisen prosessin k. otosautokorrelaatio r k on asymptoottisesti normaalijakautunut: ( r k a N 0, 1 ) n Huom Tämä motivoi approksimatiiviseen testausmenettelyyn: 5 %:n merkitsevyystasolla r k kuuluu välille [ 2 n, 95 % todennäköisyydellä. ] 2 n (2 1.96). Jos IID satunnaismuuttujien muodostaman stokastisen prosessin generoimasta aikasarjasta estimoidaan 100 ensimmäistä autokorrelaatiota, niin keskimäärin niistä 5 kpl löytyvät annetun välin ulkopuolelta.
ARMA-mallin parametrien estimointi Olkoon x t, t = 1,..., n aikasarja, johon halutaan sovittaa ARMA(p, q)-malli x t φ 1 x t 1... φ p x t p = ɛ t + θ 1 ɛ t 1 +... + θ q ɛ t q, missä (ɛ t ) t T IID(0, σ 2 ) ja lisäksi ɛ t N(0, σ 2 ) kaikilla t T. Silloin satunnaismuuttujien x 1,..., x n yhteisjakauma on n-ulotteinen normaalijakauma, jonka kovarianssimatriisi riippuu (voimakkaan epälineaarisesti) ARMA(p, q)-mallin parametreista. Muodostetaan x 1,..., x n uskottavuusfunktio ja maksimoidaan uskottavuusfunktio parametrien suhteen (R: arima()), jolloin saadaan ARMA(p, q)-mallin parametrien SU-estimaattorit: ˆφ 1, ˆφ 2,..., ˆφ p, ˆθ 1, ˆθ 2,..., ˆθ q, ˆσ 2 Estimaattoreita ei saa ratkaistua suljetussa muodossa. Lisätietoja esim. Hamilton (1994), Brockwell & Davis (1991).
ARMA-mallin parametrien estimointi Oletetaan, että ollaan ratkaistu ARMA(p, q)-mallin parametrien SU-estimaattorit ˆφ 1, ˆφ 2,..., ˆφ p, ˆθ 1, ˆθ 2,..., ˆθ q, ˆσ 2. SU-estimaattoreiden keskivirheet saadaan käyttämällä hyväksi Fisherin informaatioita 1. SU-estimaattorit ovat asymptoottisesti normaalisia, joten parametreille saadaan luottamusvälit normaali- tai t-jakaumaan avulla merkitsevyyttä voidaan testata t-testillä. Jäännökset voidaan määrätä kaavalla e t = ˆφ(L) ˆθ(L) x t, ˆφ(L) = 1 ˆφ 1 L... ˆφ p L p, ˆθ(L) = 1 + ˆθ1 L +... + ˆθ q L q. 1 log-uskottavuusfunktion kunkin parametrin suhteen lasketun derivaatan toinen momentti
Box-Jenkins mallinnuksen idea Pyritään rakentamaan malli, joka kuvaa ilmiötä riittävän hyvin mahdollisimman vähillä parametreilla. Mitä enemmän parametreja estimoidaan, sitä enemmän voidaan mennä pieleen. Monimutkaisemmat mallit saadaan sovitettua aineistoon paremmin, mutta eivät yleensä toimi hyvin ennustamisessa.
Box-Jenkins mallinnusstrategia Box-Jenkins menetelmä on SARIMA-mallien rakentamisstrategia, joka sisältää kolme vaihetta: 1 Mallin tunnistaminen (a) Aikasarjan stationarisoimiseksi tarvittavien differensointien kertalukujen h ja H (sekä s) valinta (SARIMA SARMA-aikasarja). Muista: h on integroituvuuden aste ja H kausi-integroituvuuden aste. (b) SARMA-mallin viivepolynomien astelukujen (p, q, P, Q) valinta arvaamalla. 2 Mallin estimointi Estimoidaan parametrit θ i, Θ i, φ i, Φ i (yht p + q + P + Q kpl), esimerkiksi suurimman uskottavuuden (SU) menetelmällä (vrt. ARMA-mallin esitimointi edellä). 3 Diagnostiset tarkastukset: Ovatko estimoidun SARMA-mallin jäännökset valkoista kohinaa? Ei Palataan vaiheeseen 1. On Malli on valmis
Box-Jenkins menetelmä: 1a) Mallin tunnistaminen Differensointien kertaluvut Stationaarisuuden saavuttamiseksi aikasarjoja joudutaan usein differensoimaan tai logaritmoimaan. Differensointien kertalukujen valinnan apuna käytetään aikasarjan, sen korrelaatiofunktioiden sekä spektrin kuvaajia. Aikasarjaa differensoidaan kunnes tuloksena saatavaa aikasarjaa voidaan pitää stationaarisena. Jos kuvaajat näyttävät siltä, että aikasarja voisi olla stationaarinen, aikasarjaa ei pidä differensoida. Aikasarjan stationarisoimiseksi välttämättömät differensoinnit yleensä pienentävät aikasarjan varianssia, kun taas ylidifferensoinnilla on taipumus kasvattaa aikasarjan varianssia.
Box-Jenkins menetelmä: 1a) Mallin tunnistaminen Stationarisoinnin työkalut Differenssi Dx t = x t x t 1 poistaa aikasarjasta deterministisen lineaarisen trendin. Vastaavasti p. differenssi D p poistaa p. asteen polynomisen trendin. Kausidifferenssi D s x t = x t x ts poistaa aikasarjasta deterministisen kausivaihtelun, jonka periodi on s. Joskus tarvitaan lisäksi aikasarjan logaritmointia y t = log(x t ) Linearisoi aikasarjassa olevan eksponentiaalisen trendin Vakioi aikasarjan tason mukana kasvavan varianssin Alkuperäinen aikasarja saadaan palautettua käänteismuunnoksella Esim. Jos y t = Dx t niin x 1 = y 1 ja x t = y 1 + y 2 +... + y t, t = 2, 3,..., n. Esim. x t = exp(y t ).
Box-Jenkins menetelmä: 1b) Mallin tunnistaminen viivepolynomien asteluvut Kun aikasarja on stationarisoitu, valitaan käytettävän SARMA-mallin viivepolynomien asteluvut Valinnan apuna käytetään aikasarjan sekä sen korrelaatiofunktioiden ja spektrin kuvaajia Astelukujen valinta viivepolynomeille on usein niin vaativa tehtävä, että tavallisesti joudutaan tyytymään siihen, että mahdollisten astelukujen lukumäärä saadaan rajatuksi. Valittuja astelukuja kokeillaan estimoimalla vastaavat mallit (ks. Kohta 2) ja lopullisen mallin valinta tehdään vertailemalla estimoitujen mallien hyvyyttä. Vertailussa otetaan huomioon sekä estimoidun mallin parametrien merkitsevyys että diagnostisten tarkistusten (ks. Kohta 3) antamat tulokset.
Box-Jenkins menetelmä: 1 Mallin tunnistaminen Kommentteja Kun SARIMA(p, h, q)(p, H, Q) s -malleja sovitetaan yhteiskunnallisiin (esim. taloudellisiin) aikasarjoihin, joudutaan aika harvoin käyttämään malleja, joissa differensointien kertaluvut tai viivepolynomien asteluvut eivät olisi pieniä kokonaislukuja. Usein (ei kuitenkaan aina) riittää tarkastella seuraavia vaihtoehtoja: Differensointien kertaluvut: AR-osien asteluvut: MA-osien asteluvut: h = 0, 1 tai 2; H = 0 tai 1 p = 0, 1 tai 2; P = 0 tai 1 q = 0, 1 tai 2; Q = 0 tai 1
Esimerkki: Satunnaiskävely X 0.0 0.5 1.0 0.0 0.2 0.4 0.6 0.8 1.0 t Kuva : Satunnaiskävely.
Esimerkki: Satunnaiskävely ACF 0.0 0.6 5 10 15 20 25 Lag Partial ACF 0.0 0.6 5 10 15 20 25 Lag Kuva : Satunnaiskävelyn autokorrelaatio ja osittaisautokorrelaatio.
Esimerkki: Satunnaiskävely X 0.0 0.5 1.0 0.0 0.2 0.4 0.6 0.8 1.0 t Kuva : Satunnaiskävely (musta) ja differensoitu satunnaiskävely (sininen).
Esimerkki: Satunnaiskävely ACF 0.10 0.05 5 10 15 20 25 Lag Partial ACF 0.10 0.05 5 10 15 20 25 Lag Kuva : Differensoidun satunnaiskävelyn autokorrelaatio ja osittaisautokorrelaatio.
Esimerkki: Satunnaiskävely X 0.0 0.5 1.0 0.0 0.2 0.4 0.6 0.8 1.0 t Kuva : Satunnaiskävely (musta) ja kahdesti differensoitu satunnaiskävely (vihreä).
Esimerkki: Satunnaiskävely ACF 0.5 0.1 5 10 15 20 25 Lag Partial ACF 0.5 0.1 5 10 15 20 25 Lag Kuva : Kahdesti differensoidun satunnaiskävelyn autokorrelaatio ja osittaisautokorrelaatio.
Esimerkki: geometrinen satunnaiskävely (GRW) Y 0 1 2 3 4 5 6 0.0 0.2 0.4 0.6 0.8 1.0 t Kuva : Geometrinen satunnaiskävely.
Esimerkki: geometrinen satunnaiskävely ACF 0.0 0.6 5 10 15 20 25 Lag Partial ACF 0.0 0.6 5 10 15 20 25 Lag Kuva : GRW:n autokorrelaatio ja osittaisautokorrelaatio.
Esimerkki: geometrinen satunnaiskävely Y 0 1 2 3 4 5 6 0.0 0.2 0.4 0.6 0.8 1.0 t Kuva : GRW:n (punainen) ja differensoitu GRW (sininen).
Esimerkki: geometrinen satunnaiskävely ACF 0.10 0.05 5 10 15 20 25 Lag Partial ACF 0.10 0.05 5 10 15 20 25 Lag Kuva : Differensoidun GBM:n autokorrelaatio ja osittaisautokorrelaatio.
Esimerkki: geometrinen satunnaiskävely Y 0 1 2 3 4 5 6 0.0 0.2 0.4 0.6 0.8 1.0 t Kuva : Geometrinen satunnaiskävely (punainen) ja kahdesti differensoitu GRW (vihreä).
Esimerkki: geometrinen satunnaiskävely ACF 0.5 0.1 5 10 15 20 25 Lag Partial ACF 0.5 0.1 5 10 15 20 25 Lag Kuva : Kahdesti differensoidun GRW:n autokorrelaatio ja osittaisautokorrelaatio.
Esimerkki: geometrinen satunnaiskävely Y 0 1 2 3 4 5 6 0.0 0.2 0.4 0.6 0.8 1.0 t Kuva : Geometrinen satunnaiskävely (punainen) ja logaritmoitu GRW (musta).
Esimerkki: geometrinen satunnaiskävely ACF 0.0 0.6 5 10 15 20 25 Lag Partial ACF 0.0 0.6 5 10 15 20 25 Lag Kuva : Logaritmoidun GRW:n autokorrelaatio ja osittaisautokorrelaatio.
Esimerkki: geometrinen satunnaiskävely Y 0 1 2 3 4 5 6 0.0 0.2 0.4 0.6 0.8 1.0 t Kuva : GRW (musta) ja differensoitu log-grw (sininen).
Esimerkki: geometrinen satunnaiskävely ACF 0.10 0.05 5 10 15 20 25 Lag Partial ACF 0.10 0.05 5 10 15 20 25 Lag Kuva : Differensoidun log-grw:n autokorrelaatio ja osittaisautokorrelaatio.
Box-Jenkins menetelmä: 2. Mallin estimointi SARMA-malli voidaan estimoida R:llä käyttäen jotakin siihen tarkoitettua funktiota (esim. arima()), joka määrittää annetun aikasarjan parametrit käyttäen jotakin sopivaa menetelmää (esim. suurimman uskottavuuden menetelmä).
Box-Jenkins menetelmä: 3. Diagnostiset tarkistukset Diagnostiset tarkistukset perustuvat estimoidun SARMA-mallin residuaalien tutkimiseen: Tutkitaan residuaalien muodostaman aikasarjan sekä sen korrelaatiofunktioiden ja spektrin kuvaajia Testataan jäännösten korreloimattomuutta Estimoitua mallia pidetään riittävänä, jos sen jäännökset ovat valkoista kohinaa. Jos malli ei ole riittävä, niin on palattava tunnistamisvaiheeseen (1)
Box-Jenkins menetelmä: 3. Diagnostiset tarkistukset Jäännösten korreloimattomuutta voidaan testata Ljung-Box Q-testisuureella K ri 2 Q K = n(n + 2) n i r i on jäännösten autokorrelaatio viiveellä i Saa selvästi sitä suurempia arvoja mitä voimakkaammin residuaalit ovat autokorreloituneita. Jos SARMA-mallin nollahypoteesi H 0 : ɛ t WN pätee, niin i=1 Q K a χ 2 (K m) m on estimoitujen parametrien lukumäärä SARMA-mallissa Suuret testisuureen Q K arvot johtavat nollahypoteesin hylkäämiseen. Q-testisuureen arvo ja sen jakauma rippuu mukaan otettujen autokorrelaatiokertoimien lukumäärästä K. Tavallisesti Q-testisuure on syytä laskea usealle eri K :lle.
Box-Jenkins menetelmä: 3. Diagnostiset tarkistukset Huom Ljung-Box menetelmällä testataan K :n ensimmäisen autokorrelaation merkitsevyyttä yhtä aikaa. K :n on oltava suurempi, kuin estimoitavien parametrien lukumäärä m. Käytännössä testin teho heikkenee, kun K kasvaa, koska testisuure noudattaa asymptoottisesti (n K :n suhteen) χ 2 (K m)-jakaumaa. Jos K on pieni, niin korkeamman asteen autokorrelaatiot jäävät testaamatta. Selkeää sääntöä K :n suuruudelle ei ole.
Aikasarjojen ositus Useissa aikasarjoissa voidaan nähdä seuraavia piirteitä: Trendejä eli aikasarjan tason systemaattisia muutoksia. Syklistä vaihtelua tai suhdannevaihtelua. Kausivaihtelua, Satunnaista vaihtelua. Tämä empiirinen havainto on johtanut ajatukseen, että aikasarjat kannattaisi osana tilastollista analyysia yrittää osittaa vastaaviin komponentteihin eli osiin.
Aikasarjan osituksen tavoitteet (i) Aikasarjan käyttäytymisen kuvailu komponenttiensa avulla. (ii) Aikasarjan analysointi komponenttiensa avulla. (iii) Kausipuhdistus eli aikasarjan tilastollisen analyysin kannalta häiritseväksi koetun kausivaihtelun eliminointi. x t 0 5 10 15 20 25 5 10 15 20 Time
Aikasarjan ositus Decomposition of additive time series seasonal trend observed random 1.5 0.0 1.5 5 15 25 0 10 20 3 1 1 3 5 10 15 20 Time
Aikasarjan ositus komponentteihin Aikasarjan osituksessa oletetaan, että aikasarja x t, t = 1, 2,..., n voidaan esittää seuraavien komponenttien summana tai tulona: m t = trendikomponentti c t = syklinen (tai suhdanne-) komponentti s t = kausikomponentti e t = jäännös (tai satunnais-) komponentti. Summamuoto: x t = m t + c t + s t + e t. Tulomuoto: x t = m t c t s t e t. Tulomuoto voidaan muuntaa summamuotoon: log x t = log m t + log c t + log s t + log e t.
Aikasarjan ositus komponentteihin Huom Suhdannevaihtelu ja kausivaihtelu eivät ole sama asia: Suhdannevaihtelu (tai syklinen vaihtelu) on vaihtelua, jonka jaksot ovat epäsäännöllisiä ja syklit voivat olla pitkiä. Esimerkiksi talouden suhdanteet (nousukausi vs. lama). Kausivaihtelu puolestaan on saman pituisissa jaksoissa säännöllisesti toistuvaa vaihtelua. Esimerkiksi joulukuusten myynti.
Aikasarjojen ositus: Kausipuhdistus Aikasarjan osituksen tavoitteena on usein aikasarjan kausipuhdistus. Kausipuhdistuksessa alkuperäisestä aikasarjasta x t muodostetaan uusi aikasarja y t, josta häiritseväksi koettu kausivaihtelukomponentti s t on eliminoitu: (i) Kausipuhdistus summamuodossa: y t = x t s t = m t + c t + e t (ii) Kausipuhdistus tulomuodossa: y t = x t s t = m t c t e t.
Aikasarjojen ositusmenetelmät Yleisesti käytettyjä ositusmenetelmiä: X12 (iteratiivinen liukuvien keskiarvojen menetelmä). X12-ARIMA (ARIMA-mallit iteratiiviseen liukuvien keskiarvojen menetelmään yhdistävä menetelmä). Aikasarjojen rakennemallit (vrt. eksp. tasoituksen yhteydessä esitetyt tila-avaruus mallit).
Aikasarjojen osituksen kritiikki Osituksen/kausipuhdistuksen perustelut Komponenttien ja/tai kausipuhdistetun aikasarjan analysointi olisi helpompaa kuin alkuperäisen Osituksen/kausipuhdistuksen kritiikki Aikasarjan jako trendi-, suhdanne-, kausi- ja jäännöskomponentteihin on aina enemmän tai vähemmän mielivaltaista. Komponentit eivät ole todellisia, mitattavissa olevia suureita. Ositusmenetelmien taustalla ei ole (rakennemalleja lukuun ottamatta) mitään tilastollista mallia. Osituksen onnistumista on hyvin vaikeata mitata tilastollisin kriteerein. Kausipuhdistus vääristää aikasarjojen autokorrelaatiorakenteen (sisäiset aikariippuvuudet). Kausipuhdistus vääristää aikasarjojen taajuusalueen ominaisuudet. Kausipuhdistus saattaa vääristää aikasarjojen väliset riippuvuudet.
Aikasarjojen osituksen käyttö Johtopäätös kritiikistä: Aikasarjojen ositusta voidaan suhteellisen järkevästi käyttää osana aikasarjojen kuvailua, mutta komponenttien käyttäminen tilastollisissa malleissa on yleensä arveluttavaa. Kausipuhdistus voidaan tilastollisessa analyysissa korvata muilla, tilastotieteen kannalta paremmin perustelluilla menetelmillä: Ajassa aggregointi Yhdistetään (summaamalla, keskiarvoistamalla) aikasarjan peräkkäisiä havaintoja uudeksi aikasarjaksi Ajassa otanta Poimitaan aikasarjasta havaintoja tasaisin aikavälein uudeksi aikasarjaksi Kausidifferensointi Kausivaihtelun huomioiminen tilastollisten mallien rakenteessa.
Ensi viikolla 1 Ennustamisesta 1 Ennustaminen ARMA malleilla 2 Eksponentiaalinen tasoitus 2 Kalmanin suodatin