Kuva 3.1: Näyte Gaussisesta valkoisest kohinasta ε t N(0, 1) Aika t

Transkriptio

1 Kuva 3.1: Näyte Gaussisesta valkoisest kohinasta ε t N(0, 1) Valkoinen kohina ε t Voimme tehdä saman laskun myös yleiselle välille [ a, a], missä 0 < a <. Todennäköisyys sille, että Gaussisen valkoisen kohinan komponentit ovat yhtäaikaa rajoitettuja on siis nolla. Toisin sanoen P (sup t ɛ t < a) 0. Valkoinen kohina on myös tässä mielessä hyvin epäsäännöllistä. Huomautus Stokastiselle prosessille ei voi kirjoittaa yhteistodennäköisyystiheysfunktiota samaaan tapaan kuin satunnaisvektoreille. Sen sijaan äärellisulotteisten reunajakaumien F Xt1,...,X tk tiheysfunktiot ovat määriteltävissä. Stokastisten prosessien olemassaolo voidaan näyttää äärellisulotteisten reunajakaumien avulla. Tämän havaitsi ensimmäisenä Kolmogorov, jonka mukaan tulos on nimetty. (Tulosta ei esitetä tällä kurssilla) Määritelmä 3.3. Olkoon X t, t I, stokastinen prosessi. Sanotaan, että µ t on stokastisen prosessin X t odotusarvo, jos µ t E[X t ] jokaisella t I. Sanotaan, että C : I I R on stokastisen prosessin kovarianssifunktio, jos C(t, s) E[(X t µ t )(X s µ s )] jokaisella t, s I. Sanotaan, että Γ t on stokasisen prosessin X t jokaisella t, t τ I. Γ t (τ) C(t, t τ) autokovarianssifunktio, jos Esimerkki 3.2. Olkoon ε t valkoinen kohina, jolle ε t N(0, σ 2 ) jokaisella t 1, 2, 3,.... Olkoon X t 2 + t 2 + 3ε t. Laske prosessin X t odotusarvo ja kovarianssifunktio, mahdollista. 8

2 Ratkaisu: µ t E[X t ] E[2 + t 2 + 3ε t ] 2 + t 2 + E[3ε t ] 2 + t 2. Odotusarvo µ t 2 + t 2 jokaisella t 1, 2, 3,.... C(t, s) E[(X t µ t )(X s µ s )] E[(X t 2 t 2 )(X s 2 s 2 )] E[3ε t 3ε s ] { 9E[ε t ]E[ε s ] 0, kun t s 9E[ε 2 t ] 9σ 2 kun t s. Kätevä merkintä valkoisen kohinan kovarianssin laskemisessa on Kroneckerin deltafunktio { 1 kun i j δ i,j 0 kun i j. Kun ε on valkoinen kohina, jonka varianssi on σ 2, niin E[ε t ε s ] δ t,s E[ε 2 t ] δ t,s σ 2. Toinen kätevä merkintä on indikaattorifunktio { 1, kun x A I A (x) 0 muulloin. Esimerkiksi I {t Z:1 t 5} (j). Määritelmä 3.4. Olkoon X t stokastinen prosessi, jonka autokovarianssi on Γ t (τ). Stokastisen prosessin X t autokorrelaatio on ρ t (τ) Γ t (τ) Γt (0) Γ t τ (0). 3.2 MA-prosessit MA tulee sanoista Moving Average eli liukuva keskiarvo. Määritelmä 3.5. Stokastinen prosessi X t on ensimmäisen kertaluvun MA-prosessi (liukuvan keskiarvon prosessi) eli MA(1)-prosessi, jos X t µ + ε t + θε t 1 jokaisella t, missä µ, θ R ovat vakioita ja ε t on valkoinen kohina. 9

3 Lasketaan MA(1)-prosessin X t, t Z, odotusarvo: E[X t ] E[µ + ɛ t + θɛ t 1 ] µ. Lasketaan MA(1)-prosessin autokovarianssifunktio: Γ t (τ) E[(X t µ)(x t τ µ)] E[(ε t + θɛ t 1 )(ɛ t τ + θε t τ 1 )] E[ε t ε t τ + θε t 1 ε t τ + θε t θε t τ 1 ) + θ 2 ε t 1 ε t τ 1 ] δ t,t τ σ 2 + θδ t 1,t τ σ 2 + θδ t,t τ 1 σ 2 + θ 2 δ t 1,t τ 1 σ 2 Erityisesti Γ t (0) E[Xt 2 ] (1 + θ 2 )σ 2 ja Γ t (1) θσ 2. Kun τ > 1, niin Γ t (τ) 0. Kuva 3.2: Näyte MA(1)-prosessista X t 3 + ε t + ε t 1, t 1,..., 80, missä valkoinen kohina ε t N(0, 1) X t Kuva 3.3: Näyte valkoisesta kohinasta ε t N(0, 1), t 0, 1, 2,..., 80 Valkoinen kohina ε t MA(1)-prosessilla on enemmän rakennetta kuin valkoisella kohinalla: peräkkäiset pisteet ovat keskenään korreloituneita. 10

4 MA(1) eli liukuvan keskiarvon prosessin X t peräkkäiset komponentit ovat korreloituneita. Korrelaation suuruus on E[(X t µ)(x t 1 µ)] Var(X 2 t ) θσ 2 (1 + θ 2 )σ 2 θ (1 + θ 2 ). Nyrkkisääntöjä: Kun θ > 0, niin suurta (tai pientä) X t :n arvoa seuraa todennäköisesti suurehko (tai pienehkö) X t+1 :n arvo. Miten käy, kun θ < 0? Tutki kuvaa 2.8. Positiiviset parametrin θ arvot tuottavat säännöllisempiä prosesseja kuin negatiiviset parametrin θ arvot. Valkoinen kohina on epäsäännöllisempi kuin MA(1)-prosessi, kun θ > 0. Kuva 3.4: Näyte MA(1)-prosessista X t 3 + ε t ε t 1, missä valkoinen kohina ε N(0, 1) X t

5 Kuva 3.5: Näyte valkoisesta kohinasta ε N(0, 1) Valkoinen kohina ε t Määritelmä 3.6. Olkoon X t stokastinen prosessi. Sanotaan, että X t on stationäärinen, jos jokaisen satunnaisvektorin (X k1, X k2,..., X km ) jakauma on sama kuin satunnaisvektorin (X k1 +p, X k2 +p,..., X km +p) jakauma kaikilla k 1,..., k M, M ja p. Määritelmä 3.7. Prosessi X t on heikosti stationäärinen, jos sen odotusarvo on vakio ja sen autokovarianssi Γ t (τ) Γ(τ) ei riipu ajasta t. Esimerkki Valkoinen kohina ε t on heikosti stationäärinen, sillä sen odotusarvo E[ε t ] 0 ja sen autokovarianssi Γ t (τ) E[ε t ε t τ ] σ 2 δ t,t τ σ 2 δ 0,τ ei riipu muuttujan t arvosta. 2. MA(1)-prosessi X t, t Z, on heikosti stationäärinen. 3. Prosessi X t 3 2t + ε t ei ole heikosti stationäärinen, sillä sen odotusarvo riippuu ajasta t. E[X t ] 3 2t 4. Prosessi X t 7 t 2 ε t ei ole heikosti stationäärinen, sillä sen odotusarvo E[X t ] 7 on vakio, mutta sen varianssi riippuu ajasta t. Γ t (0) E[(X t 7) 2 ] t 4 σ 2 Huomautus Heikosti stationäärinen prosessi ei välttämättä ole stationäärinen eikä, yllättäen, myöskään toisin päin. Stationäärisellä prosessilla ei nimittäin välttämättä ole olemassa ensimmäistä ja toista momenttia. Esimerkki 3.4. Olkoon X t sellainen prosessi, että X t ja X s ovat tilastollisesti riippumattomia jokaisella t s ja X t on Cauchy-jakautunut jokaisella t eli P (X t a) a 12 1 π(1 + x 2 ) dx.

6 Tällöin integraali E[X t ] x 1 π(1 + x 2 ) dx hajaantuu eikä prosessilla X t ole olemassa odotusarvoa. Kuitenkin satunnaisvektorin (X k1,..., X km ) yhteisjakauman tiheysfunktio on riippumattomuuden nojalla f (Xk1,...,X km )(x 1,..., x M ) f Xk1 (x 1 ) f XkM (x M ) Oikea puoli ei muutu, vaikka indeksit k j vaihdettaisiin arvoiksi k j + p. M j1 1 π(1 + x 2 j ). Ensimmäisen kertaluvun MA-prosessi yleistyy korkeamman kertaluvun prosesseiksi: Määritelmä 3.8. Sanotaan, että X t on MA(q)-prosessi eli q:nnen kertaluvun liukuvan keskiarvon prosessi, jos X t µ + ε t + θ 1 ε t 1 + θ 2 ε t θ q ε t q, missä ε t, t Z, on valkoinen kohina ja µ, θ 1,..., θ q R. Lasketaan MA(q)-prosessin odotusarvo: E[X t ] E[µ + ε t + θ 1 ε t 1 + θ 2 ε t θ q ε t q ] µ + E[ε t ] + θ 1 E[ε t 1 ] + + θ q E[ε t q ] µ. Autokovarianssin laskemista varten otetaan käyttöön merkintä: θ 0 1. Tällöin X t µ + θ k ε t k. (3.2.1) Sijoittamalla lauseke (3.2.1) autokovarianssin määritelmään saadaan Γ t (τ) E[(X t µ)(x t τ µ)] [( ) ( )] E θ k ε t k θ j ε t τ j j0 [ ] E θ k ε t k θ j ε t τ j k,j0 On tärkeää kirjoittaa eri summiin eri indeksi, jonka yli summataan! Vaihdetaan seuraa- 13

7 vaksi odotusarvon ja summausten järjestys: Γ t (τ) θ k θ j E [ε t k ε t τ j ] k,j0 σ 2 θ k θ j δ k,τ+j σ 2 k,j0 θ k θ j σ 2 δ t k,t τ j k,j0 θ τ+j θ j I 0 τ+j q j0 σ 2 θ τ+j θ j I τ j q τ σ 2 j0 min(q,q τ) jmax(0, τ) θ τ+j θ j σ 2 q τ j0 θ τ+jθ j kun 0 τ q σ 2 q j τ θ j τ+jθ j+τ j σ 2 q+τ j 0 θ j θ j τ kun q τ < 0 0 muulloin { σ 2 q τ j0 θ τ +jθ j kun τ q 0 muulloin. MA(q)-prosessi on heikosti stationäärinen. Kun τ > q, niin Γ(τ) 0. Esim. Γ(2) σ 2 q 2 j0 θ τ+jθ j σ 2 (θ 2 θ 0 + θ 3 θ θ τ+q 2 θ q 2 ). 3.3 AR-prosessit MA-prosesseilla voidaan mallittaa vierekkäisiä korreloitunoita arvoja. Liukuvan keskiarvon prosessin kertaluku määrittää kuinka etäälle ajassa korrelaatio yltää. Miten voidaan mallittaa äärettömän kauas yltävää korrelaatiota? Määritelmä 3.9. Sanotaan, että X t on ensimmäisen kertaluvun autoregressiivinen prosessi eli AR(1)-prosessi, jos X t c + φx t 1 + ε t (3.3.2) missä φ R ja ε t on valkoinen kohina, jonka varianssi on σ 2. Nimitys autoregressiivinen johtuu siitä, että prosessin arvoa X t mallinnetaan prosessin omalla arvolla eri ajanhetkellä t 1. Lause 3.1. Jos φ < 1, niin kaavalla (3.3.2) määritelty AR(1)-prosesssi X t, missä t Z, on heikosti stationäärinen. Todistus. Ratkaistaan yhtälö X t X t 1 + ε. Aloitetaan konstruktiivisella tarkastelulla. Johdetaan konstruktio rekursiivisesti: X t c + φx t 1 + ε t c + φ(c + φx t 2 + ε t 1 ) + ε t c + φc + φ 2 X t 2 + ε t + φε t 1 c + φc + φ 2 (c + φx t 3 + ε t 2 ) + ε t + φε t 1 c + φc + φ 2 c + φ 3 X t 3 + ε t + φε t 1 + φ 2 ε t 2. 14

8 Kuva 3.6: Näyte MA(5)-prosessista X t 3 + ε t + ε t ε t 2 + 1ε t 3 + ε t ε t 5, missä valkoinen kohina ε N(0, 1) X t Kuva 3.7: Näyte valkoisesta kohinasta ε N(0, 1) Valkoinen kohina ε t Jatkamalla menettelyä, voidaan muodostaa yriteratkaisu X t cφ k + φ k ε t k, mikäli tämä yrite on hyvin määritelty. Tarkistetaan, että sarjat suppenevat. Koska φ < 1, niin φ k 1 1 φ. Näytetään, että satunnainen sarja φk ε t k suppenee todennäköisyydellä 1. Selvästi φ k ε t k φ k ε t k. 15

9 Fubinin lauseen ja Cauchy-Schwartzin epäyhtälön nojalla E[ φ k ε t k ] φ k E[ ε t k ] φ k σ σ 1 φ. Koska positiivisten termien muodostaman sarjan odotusarvo on äärellinen, suppenee kyseinen sarja todennäköisyydellä 1 (sillä vastaoletuksella päädyttäisiin ristiriitaan äärellisyyden kanssa). Varmistetaan lopuksi, että yrite toteuttaa vaaditun yhtälön ( ) ( c ) X t φx t 1 + φ k c ε t k φ 1 φ k 1 φ + φ k ε t 1 k c 1 φ 1 φ + φ k ε t k c + ε t. φ k+1 ε t (k+1) Lisäksi ratkaisun yksikäsitteisyys voidaan näyttää Fourier-mentelmien avulla sopivasti valituissa jonoluokissa (tämä sivuutetaan). Tutkitaan seuraavaksi heikkoa stationäärisyyttä. Odotusarvo Autokovarianssi: (kun τ 0) c µ t E[X t ] E[ 1 φ + φ k ε t k ] c 1 φ. Γ t (τ) E[(X t µ t )(X t τ µ t τ )] ( ) ( E[ φ k ε t k φ j ε t τ j )] j0 φ j+k E[ε t k ε t τ j ] k,j0 φ j+k σ 2 δ k,τ+j k,j0 σ 2 φ j+k δ k,τ+j k,j0 φ τ+2j I {n:0 τ+n< } (j) j0 φ τ 1 φ 2. AR(1)-prosessilla X t c + φx t 1 + ε t, missä φ < 1 ja E[ε 2 ] σ 2, on seuraavat ominaisuudet: 16

10 Odotusarvo E[X t ] c. 1 φ Autokovarianssi Γ(τ) φτ σ 2 1 φ 2. Kun ε t N(0, σ 2 ), niin myös X t on normaalisti jakautunut, sillä normaalisti jakautuneiden satunnaismuuttujien summa on aina normaalisti jakautunut. Kuva 3.8: AR(1)-prosessin autokovarianssifunktio Γ(τ), kun φ 0.3 ja σ 1. Autokovarianssi Vastaavasti voidaan määritellä korkeamman kertaluvun autoregressiiviset prosessit. Määritelmä Sanotaan, että X t on p:nnen kertaluvun autoregressiivinen prosessi eli AR(p)-prosessi, jos X t c + φ 1 X t 1 + φ 2 X t φ p X t p + ε t, (3.3.3) missä c, φ k R ja ε t on valkoinen kohina. Jätämme seuraavan tuloksen todistuksen luennoilla väliin. Lause 3.2. AR(p)-prosessi (3.3.3) on heikosti stationäärinen jos kaikki yhtälön ratkaisut ovat yksikköympyrän ulkopuolella. 1 φ 1 z φ 2 z 2 φ p z p 0, {z z 1 + iz 2 C : z z 2 2 < 1} Harjoituksissa näytetään, että heikosti stationäärisen AR(p)-prosessin autokorrelaatiofunktio ρ(τ) toteuttaa ns. Yule-Walker-yhtälöt: ρ(τ) φ 1 ρ(τ 1) + + φ p ρ(τ p) + σ2 Γ(0), τ 0. 17

11 Kuva 3.9: Näyte AR(1)-prosessista X t X t 1 + ε t, missä valkoinen kohina ε N(0, 1) X t Kuva 3.10: Näyte AR(1)-prosessista X t 3 0.9X t 1 +ε t, missä valkoinen kohina ε N(0, 1) X t ARMA-malli Yhdistetään AR- ja MA-mallit. Määritelmä Stokastinen prosessi X t on ARMA(p, q)-prosessi, jos X t c + φ 1 X t φ p X }{{ t p + ε } 1 + θ 1 ε t θ q ε t q, }{{} AR-osuus MA-osuus missä ε t on valkoinen kohina. ARMA(p)-prosessin häiriötermi on siis MA(q)-prosessi, jonka odotusarvo on 0.Tämä häiriö on korreloitunutta kun taas tavallisen AR(p)-prosessin häiriö on korreloimaton valkoinen kohina. ARMA-mallit ovat tärkeitä aikasarjamalleja yksinkertaisuutensa ja joustavuutensa johdosta. 18