Autokovarianssi: (kun τ 0) Γ t (τ) = E[(X t µ t )(X t τ µ t τ )] ( ) ( = E[ φ k ε t k φ j ε t τ j )] = = j=0 φ j+k E[ε t k ε t τ j ] k,j=0 φ j+k σ 2 δ k,τ+j k,j=0 = σ 2 φ j+k δ k,τ+j = = k,j=0 φ τ+2j I {n:0 τ+n< } (j) j=0 φ τ 1 φ 2. AR(1)-prosessilla X t = c + φx t 1 + ε t, missä φ < 1 ja E[ε 2 ] = σ 2, on seuraavat ominaisuudet: Odotusarvo E[X t ] = c. 1 φ Autokovarianssi Γ(τ) = φτ σ 2 1 φ 2. Kun ε t N(0, σ 2 ), niin myös X t on normaalisti jakautunut, sillä normaalisti jakautuneiden satunnaismuuttujien summa on aina normaalisti jakautunut. Kuva 3.8: AR(1)-prosessin autokovarianssifunktio Γ(τ), kun φ = 0.3 ja σ = 1. Autokovarianssi 0.00 0.10 0.20 0.30 0 10 20 30 40 Aika t Vastaavasti voidaan määritellä korkeamman kertaluvun autoregressiiviset prosessit. 17
Määritelmä 3.10. Sanotaan, että X t on p:nnen kertaluvun autoregressiivinen prosessi eli AR(p)-prosessi, jos X t = c + φ 1 X t 1 + φ 2 X t 2 + + φ p X t p + ε t, (3.3.3) missä c, φ k R ja ε t on valkoinen kohina. Jätämme seuraavan tuloksen todistuksen luennoilla väliin. Lause 3.2. AR(p)-prosessi (3.3.3) on heikosti stationäärinen jos ja vain jos kaikki yhtälön 1 φ 1 z φ 2 z 2 φ p z p = 0, ratkaisut ovat yksikköympyrän ulkopuolella. {z = z 1 + iz 2 C : z 2 1 + z 2 2 < 1} Harjoituksissa näytetään, että heikosti stationäärisen AR(p)-prosessin autokorrelaatiofunktio ρ(τ) toteuttaa ns. Yule-Walker-yhtälöt: ρ(τ) = φ 1 ρ(τ 1) + + φ p ρ(τ p) + σ 2 δ 0,τ, τ 0. Kuva 3.9: Näyte AR(1)-prosessista X t = 3 + 0.9X t 1 + ε t, missä valkoinen kohina ε N(0, 1) X t 2 0 2 4 6 0 20 40 60 80 100 Aika t Kuva 3.10: Näyte AR(1)-prosessista X t = 3 0.9X t 1 +ε t, missä valkoinen kohina ε N(0, 1) X t 0 2 4 6 0 20 40 60 80 100 Aika t 18
3.4 ARMA-malli Yhdistetään AR- ja MA-mallit. Määritelmä 3.11. Stokastinen prosessi X t on ARMA(p, q)-prosessi, jos X t = c + φ 1 X t 1 + + φ p X }{{ t p + ε } 1 + θ 1 ε t 1 + + θ q ε t q, }{{} AR-osuus MA-osuus missä ε t on valkoinen kohina. ARMA(p)-prosessin häiriötermi on siis MA(q)-prosessi, jonka odotusarvo on 0.Tämä häiriö on korreloitunutta kun taas tavallisen AR(p)-prosessin häiriö on korreloimaton valkoinen kohina. ARMA-mallit ovat tärkeitä aikasarjamalleja yksinkertaisuutensa ja joustavuutensa johdosta. Lause 3.3. ARMA(p, q)-prosessi on heikosti stationäärinen, kun yhtälön ratkaisut ovat yksikköympyrön ulkopuolella. ARMA(p, q)-prosessin odotusarvo on 1 φ 1 z φ 2 z 2 φ p z p = 0 µ = c 1 φ 1 φ 2 φ p. Huomautus 3.4.1. Joillakin parametrien p ja q arvoilla ARMA(p, q)-prosessi voi määritellä saman stokastisen prosessin kuin ARMA(p, q )-prosessi, missä (p, q) (p, q ). Esimerkiksi ARMA(0,0)-prosessi X t = ε t, toteuttaa myös yhtälön X t φx t 1 = ε t φε t 1 X t = φx t 1 + ε t φε t 1, joka määrittelee ARMA(1,1)-prosessin. Mikäli ARMA(1,1)-mallissa φ θ, voi usein olla parempi käyttää yksinkertaisenpaa ARMA(0,0)-mallia. Occam s Razor: All things being equal, the simplest solution tends to be the best one - William of Ockham (1287-1347) Everything should be made as simple as possible, but not simpler-- Albert Einstein. 19
3.5 Viivekuvaus (Lag Operator) Ryhdytään tarkastelemaan aikasarjojen muuntamista toisiksi aikasarjoiksi. Tällä tavoin saamme käyttöön apuvälineitä aikasarjojen käsittelyyn. Yksinkertaisin muunnos on lineaarinen kuvaus. Sanotaan, että aikasarjoilla määritelty kuvaus A (joka vie aikasarjan X t aikasarjaksi A(X t )) on lineaarinen, jos A(aX t + by t ) = aa(x t ) + ba(y t ) kaikilla aikasarjoilla X t, Y t, ajanhetkillä t ja vakioilla a, b R. Lineaarinen kuvaus kirjoitetaan usein ilman sulkuja eli A(X t ) = AX t. Merkintä A 2 tarkoittaa yhdistettyä kuvausta Vastaavasti Esimerkki 3.5. a) Kuvaus A 2 X t = AAX t = A A(X t ) = A(A(X t ))) A k X t = } A A {{ A} X t. k kappaletta X t 3 + X t exp(x t ) ei ole lineaarinen. (Tarkastele esim. tapaus X t = Y t = 1). b) Identtinen kuvaus I : X t X t on lineaarinen. (Jatkossa käytetään merkintää I identtisestä kuvauksesta). Määritelmä 3.12. Lineaarinen kuvaus L on viivekuvaus, jos kaikilla t. LX t = X t 1 Esimerkki 3.6. Alla on aikasarjojen X t ja LX t arvoja eri ajanhetkillä t... -2-1 0 1 2 3 4... X t... 4 10-2 7 3 3 6... LX t... 4 10-2 7 3 3... Mitä hyötyä viivekuvauksesta on? Esimerkki 3.7. AR(1)-prosessin esitys on jo tuttu, mutta kirjoitetaan se viivekuvauksen avulla: X t = c + φx t 1 + ε t X t φx t 1 = c + ε t X t φlx t = c + ε t (I φl)x t = c + ε t X t (3.5.4) = (I φl) 1 (c + ε t ) (kun käänteiskuvaus on olemassa) X t = (I φl) 1 c + (I φl) 1 ε t (käänteiskuvauksen lineaarisuus) 20
Lauseessa 3.1 johdimme AR(1)-prosessin esityksen. Sen mukaan X t = c 1 φ + φk ε t k, missä satunnainen sarja suppenee aina, kun ε k on heikosti stationäärinen prosessi ja φ < 1. Viivekuvauksen avulla ilmaistuna Koska X t = (I φl) c 1 φ + φ k ε t k = φ k L k = c 1 φ + φ k L k ε t φ k L k (I φl) = I (3.5.4) heikosti stationäärisille aikasarjoille, niin voimme kirjoittaa heikosti stationäärisille aikasarjoille (I φl) 1 = φ k L k. aina, kun φ < 1. Viivekuvauksen L avulla voimme antaa ARMA-prosesseille vaihtoehtoisia esitystapoja, kuten seuraavista esimerkeistä nähdään. Esimerkki 3.8. AR(2)-prosessille X t φ 1 X t 1 φ 2 X t 2 = c + ε t (I φ 1 L φ 2 L 2 )X t = c + ε t Palautetaan mieleen, että toisen kertaluvun polynomi X t = c + φ 1 X t 1 + φ 2 X t 2 + ε t p(z) := a + bz + cz 2 voidaan esittää sen kompleksisten juurien z 1, z 2 C avulla muodossa p(x) = (z z 1 )(z z 2 ). Sama pätee, kun muuttujan z paikalla on L. Erityisesti (I φ 1 L φ 2 L 2 ) = (L z 1 )(L z 2 ) = z 1 z 2 (I z 1 1 L)(I z 1 2 L), kun z 1 z 2 0 ja 1 φ 1 z i φ 2 z 2 i = 0, i = 1, 2. Tällöin voimme kääntää toisen kertaluvun polynomikuvauksen I φ 1 L φ 2 L 2 tekijä kerrallaan: (I φ 1 L φ 2 L 2 )X t = c + ε t z 1 z 2 (I z1 1 L)(I z2 2 L)X t = c + ε t (I z 1 2 L)X t (3.5.4) = z 1 1 z 2 2 (I z 2 1 L) 1 (c + ε t ) X t (3.5.4) = z 1 1 z 2 2 (I z 1 2 L) 1 (I z 2 1 L) 1 (c + ε t ) jos z i > 1, i = 1, 2. Käänteiskuvauksella (I z 1 i L) 1 on tunnettu muoto (I z 1 i L) 1 = z k L k. AR-prosessin stationäärisyysehto z i > 1, i = 1, 2 liittyy siis viivekuvauksista muodustuvan polynomikuvauksen käännettävyyteen. 21
Esimerkki 3.9. ARMA(p, q)-prosessin tapauksessa X t = c + φ 1 X t 1 + + φ p X t p + ε t + θ 1 ε t 1 + + θ q ε t q X t φ 1 X t 1 φ p X t p = c + ε t + θ 1 ε t 1 + + θ q ε t q (I φ 1 L φ p L p )X t = c + ε t + θ 1 ε t 1 + + θ q ε t q p z i (I z 1 i L)X t = c + ε t + θ 1 ε t 1 + + θ q ε t q i=1 aina, kun yhtälön p X t = z 1 i (I z 1 i L) 1 (c + ε t + θ 1 ε t 1 + + θ q ε t q ) i=1 ( p ) X t = µ + z 1 i (I z 1 i L) 1 (I + θ 1 L + + θ q L q ) ε t i=1 1 φ 1 z φ p z p = 0 kaikki ratkaisut z 1,..., z p ovat yksikköympyrän ulkopuolella. Huomautus 3.5.1. Usein käytetään polynomilausekkeita (I φ 1 L φ p L p ) =: φ(l) ja sekä merkintää ( p i=1 (I + θ 1 L + + θ q L q ) =: θ(l) ) z 1 i (I z 1 i L) 1 (θ 1 L + + θ q L q ) = θ(l) φ(l). Polynomilausekkeiden osamäärä voidaan laajentaa sarjaksi θ(z) φ(z) = ψ k z k, funktioiden analyyttisyyttä hyödyntäen, kun z < 1. Vastaavasti 3.6 Woldin hajotelma θ(l) φ(l) = ψ k L k, Statinäärisiä prosesseja voidaan mallittaa mielivaltaisen tarkasti ARMA-mallien avulla. Tämän osoittaa seuraava vahva matemaattinen tulos. 22
Lause 3.4 (Woldin hajotelma). Olkoon X t heikosti stationäärinen stokastinen prosessi, jonka odotusarvo on 0. Silloin löytyy sellainen (korreloimaton) valkoinen kohina ε t ja sellainen stokastinen prosessi κ t, että X t = a k ε t k + κ t, missä ε t s ja κ t ovat keskenään korreloimattomia kaikilla s 0, a2 k < ja κ t riippuu stokastisesti vain lineaarisesti prosessin X t edellisistä arvoista (X t 1, X t 2,... ). 3.7 Ennustaminen Usein tunnetaan aikasarjan historiallinen kehitys ja halutaan saada arviota aikasarjan kehityksestä tulevaisuudessa. Ryndytään tarkastelemeaan staionääristen aikasarjojen ennustamista. Tunnetaan aikasarjan X t arvot X t k, k > 0. Esimerkiksi... X t 5 X t 4 X t 3 X t 2 X t 1 X t X t+1 X t+2...... 1-3 4 2 1???... Mitä voidaan sanoa arvosta X t? Woldin hajotelman perusteella X t = a k ε t k }{{} Ei voi ennustaa tarkasti + κ t }{{} Riippuu vain arvoista X t 1,X t 2,... Erityisesti ε t esiintyy termissä X t, mutta ei missään tunnetussa termissä X t k, k > 0. Aikasarjan historia ei kerro mitään arvosta ε t, mutta voi kertoa jotakin arvoista a k ja ε t k, jotka vaikuttavat arvoon X t. Edellisten arvojen X t s, s > 0 perusteella ei voi varmasti sanoa, mitä tapahtuu tulevina hetkinä t, t + 1, t + 2,.... Tilastollinen ennustaminen pyrkii estimoimaan tulevia aikasarjan arvoja. Erilaisiin tilanteisiin on kehitetty erilaisia estimointimenetelmiä. Hyvää kaikkiin tapauksiin sopivaa yleispätevää menetelmää ei tunneta! Ennustamismenetelmän valintaan vaikuttavat esimerkiksi Aikasarjan tyyppi (esim. heikko stationäärisyys, kausivaihtelu). Tunnetun historian pituus. Käytännössä emme tunne kaikkia arvoja X t s, s > 0, vaan ainoastaan rajoitetun joukon X t s, 0 < s N jollakin N <. Ennustamiseen käytettävissä oleva laskentakapasiteetti. Osa algoritmeista on nopeita laskea, osa vaatii massiivista tietokonelaskentaa. Prediction is very difficult, especially if it s about the future.--nils Bohr 23
3.7.1 Tapaus: AR(p)-prosessin seuraava arvo Pyritään estimoimaan arvo X t = c + φ 1 X t 1 + + φ p X t p + ε t, (3.7.5) kun tunnetaan σ 2. c, φ i ja arvot X t1,..., X t p sekä valkoisen kohinan ε t varianssi Luonteva ennuste on käyttää yhtälöä (3.7.5), jolloin estimaattori on muotoa X t = c + φ 1 X t 1 + + φ p X t p ja estimointivirheen varianssi on σ 2. X t }{{} todellinen arvo Xt }{{} esimaattori = ε t Esimerkki 3.10. Tarkastellaan AR(5)-prosessia X t = c + φ 1 X t 1 + + φ 5 X t 5 + ε t.... X t 5 X t 4 X t 3 X t 2 X t 1 X t X t+1 X t+2...... 1-3 4 2 1???... Tällöin X t = c + φ 1 + 2φ 2 + 4φ 3 3φ 4 + φ 5. 24