4.0.2 Kuinka hyvä ennuste on?

Luonteva ennuste on käyttää yhtälöä (4.0.1), jolloin estimaattori on muotoa X t = c + φ 1 X t 1 + + φ p X t p ja estimointivirheen varianssi on σ 2. X t }{{} todellinen arvo Xt }{{} esimaattori = ε t Esimerkki 4.1. Tarkastellaan AR(5)-prosessia X t = c + φ 1 X t 1 + + φ 5 X t 5 + ε t.... X t 5 X t 4 X t 3 X t 2 X t 1 X t X t+1 X t+2...... 1-3 4 2 1???... Tällöin X t = c + φ 1 + 2φ 2 + 4φ 3 3φ 4 + φ 5. Huomautus 4.0.1. Kun satunnaismuuttujaa X estimoidaan satunnaismuuttujan Y otoksen y avulla, niin estimaattori X on kuvaus Y :n otosavaruudelta X:n otosavaruudelle. Voimme merkitä X = X(Y ). Estimaatti on tämän kuvauksen arvo, kun Y :n otos tunnetaan. 4.0.2 Kuinka hyvä ennuste on? Äskeisessä esimerkissä laadittiin ennuste AR(p)-prosessille maalaisjärjellä. Ennusteeksi pyritään usein valitsemaan paras mahdollinen arvo. Seuraavaksi tarkastellaan erästä estimaattoreiden vertailussa käytettyä kriteeriä. Euklidisessa avaruudessa R n kahden vektorin x, y R n eroa mitataan etäisyydellä x y = ( n k=1 x k y k 2 ) 1 2 Miten satunnaismuuttujien X ja Y eroa voidaan mitata? Osa menetelmistä pyrkii mittaamaan satunnaismuuttujien X ja Y jakaumien eroa, osa odotettavissa olevien arvojen keskimääräistä eroa. Eräs etäisyyden määritelmä saadaan käyttämällä erotuksen neliön odotusarvoa: ( E[ X Y 2 ] ) 1 2 Estimointivirhe X X on silloin pieni, kun keskineliövirhe on lähellä nollaa. E[ X X 2 ] = Var(X }{{ X) + E[X } X] 2. (4.0.2) }{{} varianssi harha 26

Määritelmä 4.1. Estimaattoria X sanotaan harhattomaksi (eng. unbiased), jos E[ X] = E[X]. Estimaattoria X sanotaan MMSE-estimaattoriksi (eng. minimum mean square error), jos se minimoi keskineliövirheen lausekkeen (4.0.2). Osoittautuu, että paras estimaattori keskineliövirheen mielessä on ehdollinen odotusarvo. Lause 4.1. Kun estimoidaan satunnaisvektoria X satunnaisvektorin Y MMSE-estimaattori X(Y ) on ehdollinen odotusarvo E[X Y ]. avulla, niin Todistus. Tarkastellaan yksinkertaisuuden vuoksi ensin satunnaismuuttujien tapausta. Odotusarvo E[ X g(y ) 2 ] = E[ X E[X Y ] + E[X Y ] g(y ) 2 ] = E[ X E[X Y ] 2 + 2E[(X E[X Y ]) (E[X Y ] g(y ))] +E[ E[X Y ] g(y ) 2 ] = E[ X E[X Y ] 2 ] +2E[(E[X E[X Y ] Y ]) (E[X Y ] g(y ))] }{{}}{{} ei riipu g:stä =0 + E[ E[X Y ] g(y )) 2 ]. }{{} 0=minimi, kun g(y )=E[X Y ] Yllä oleva laskelma on totta myös siinä tapauksessa, että X ja Y ovat satunnaisvektoreita. Korollaari 4.1. MMSE-estimaattori on harhaton. Ehdollisen odotusarvon matemaattinen määritelmä perustuu tapahtumiin. Määritelmä 4.2. Olkoon (Ω, Σ, P ) todennäköisyysavaruus ja Σ 0 Σ σ-algebra. Olkoon X tn-avaruudella (Ω, Σ, P ) määritelty satunnaismuuttuja, jolle E[ X ] <. Sanotaan, että E[X Σ 0 ] on satunnaisvektorin X ehdollinen odotusarvo, kun σ-algebra Σ 0 on annettu, jos kuvaus Ω ω E[X Σ 0 ](ω) R n on Σ 0 -mitallinen ja E[X Σ 0 ](ω)dp = X(ω)dP jokaisella A Σ 0. Ehdollisen odotusarvon laskusääntöjä: 1. E[1 Z] = 1. 2. E[aX + by Z] = ae[x Z] + be[y Z] 3. E[E[X Z]] = E[X] A 4. E[Xg(Z) Z] = g(z)e[x Z]. Lisäksi E[X Z] = g(z) eräällä (mitallisella) funktiolla g. 5. Jos X ja Z ovat tilastollisesti riippumattomia, niin E[X Z] = E[X] 27 A

Käytännön laskenta: Merkitään satunnaisvektorin (X, Y ) tn-tiheysfunktiota f(x, y) ja sen marginaaleja f(x) sekä f(y). (Eli f on satunnaisvektorin komponenttien yhteisjakauman tntf). Satunnaismuuttujan X ehdollinen tn-tiheysfunktio, kun Y saa arvon y on f(x y) = f(x, y) f(y). ja sm:n X ehdollinen odotusarvo, kun Y :n otoksena on saatu y, saadaan integraalina xf(x, y)dx E[X Y = y ] =. }{{} f(y) Yleinen lyh. Myöhemmin lasketaan nämä integraalit esim. Gaussisessa tapauksessa. Esimerkki 4.2. Merkitään AR(p)-prosessin tapauksessa vektoria Y t = (X t 1,..., X t p ). Ehdollinen odotusarvo on E[X t Y t ] = E[c + φ 1 X t 1 + + φ p X t p + ε t Y t ] 2 = c + φ 1 E[X t 1 Y t ] + + φ p E[X t p Y t ] + E[ε t Y t ] 245 = c + φx t 1 + + φ p X t p + E[ε t ] = c + φx t 1 + + φ p X t p, sillä esim. X t 1 = g(y t ) = (1, 0,..., 0) Y t. Luvun 4.0.1 estimaattori on siten MMSEestimaattori, kun ε t koostuu riippumattomista satunnaismuuttujista. 4.1 Tapaus: MA(1)-prosessin seuraava arvo Kirjoitetaan MA(1)-prosessi viivekuvauksen L avulla muotoon X t = µ + ε t + θε t 1 = µ + (I θl)ε t. Kun θ < 1, voimme kirjoittaa ε t = (I θl) 1 (X t µ) = θ k L k (X t µ). (4.1.3) Arvojen X t, X t 1, X t 2,... avulla, saamme selville myös arvot ε t, ε t 1,..., kuten yhtälöstä (4.1.3) nähdään. Erityisesti X t+1 = µ + ε t+1 + θε t = µ + ε t+1 + θ θ k L k (X t µ). 28

MMSE-estimaattori on E[X t+1 Y t ] = µ + E[ε t+1 Y t ] + θ θ k L k (X t µ) = µ + θ(i L) 1 (X t µ) = µ + θε t, missä Y t = (X t, X t 1,... ) ja ε t koostuu riippumattomista satunnaismuuttujista. Lisäksi keskineliövirhe E[(X t+1 E[X t+1 Y t ]) 2 ] = E[(µ + ε t+1 + θε t (µ + θε t )) 2 ] = σ 2. 4.2 Tapaus: Usean askeleen ennusteet Joskus on tarpeen estimoida kaukaisemmassa tulevaisuudessa olevaa arvoa X t+s, kun tunnetaan prosessin X t = c + φx t 1 + ε t arvot hetkeen t saakka. Silloin arvot sekä arvot X t = µ + (I φl) 1 ε t = µ + φ k ε t k (4.2.4) ε t k = X t k c φx t k 1, k 0 tunnetaan. OLetetaan lisäksi, että valkoinen kohina ε t koostuu tilastollisesti riippumattomista satunnaismuuttujista. Tällöin satunnaismuuttujat X t ja ε t+s ovat riippumattomia aina kun s > 0. Kun merkitään Y t = (X t, X t 1,... ), niin E[X t+s Y t ] (4.2.4) = µ + E[ = µ + Lasketaan vielä estimaattorin tarkkuus φ k ε t+s k Y t ] φ k ε t+s k (riippumattomuus) k=s = µ + φ s φ k ε t k = µ + φ s (X t µ) E[(X t+s E[X t+s Y t ]) 2 ] = E[(X t+s µ φ s (X t µ)) 2 ] = (1 + φ 2s )Γ(0) + 2φ s Γ(s) = (1 + φ2s )σ 2 2 φ2s σ 2 1 φ 2 1 φ 2 = σ 2 1 φ2s 1 φ 2. 29

Olkoon MA(1)-prosessin X t = µ + ε t + θε t 1, θ < 1 arvot annettu hetkeen t saakka. Yhden askeleen tapauksesta tiedetään, että arvot ε t = (I θl) 1 X t tunnetaan, mutta ε t+s ja ε t+s 1 ovat riippumattomia satunnaismuuttujista X t kun s 2. Täten E[X t+s Y t ] = µ, kun s 2. 4.2.1 Tapaus: ARMA-prosessin seuraavat arvot Vastavasta tarkastelu voidaan suorittaa ARMA-prosessin X t = c + p φ k L k X t + k=1 q θ k L k ε t tapauksessa olettaen, että AR-osa on heikosti stationäärinen ja myös MA-osan polynomi toteuttaa samanlaisen ehdon. Tällöin ennusteeksi saadaan E[X t+s Y t ] = µ + φ 1 (E[X t+s 1 Y t ] µ) + φ 2 (E[X t+s 2 Y t ] µ) + φ p (E[X t+s p Y t ] µ) kun s = 1,..., q ja + θ s ε t + θ s+1 ε t 1 +... θ q εt s + q (4.2.5) E[X t+s Y t ] = µ + φ 1 (E[X t+s 1 Y t ] µ) + φ 2 (E[X t+s 2 Y t ] µ) + φ p (E[X t+s p Y t ] µ) (4.2.6) kun s = q + 1, q + 2,.... 4.3 Tapaus: Korreloimaton kohina Kun valkoinen kohina ε t ei ole riippumatonta, vaan pelkästään korreloimatonta, niin MMSE-estimaattorin sijaan käytetään ns. lineaarisia projektiota. Rajoitutaaan tarkastelemaan lineaarisia estimaattoreita: estimoidaan satunnaismuuttujaa X annetun satunnaisvektorin Y avulla, muodostetaan estimaattori X(Y) (affiinisena) lineaariyhdisteenä Y:n komponenteista eli X = (α 0 ) + α Y = (α 0 ) + n α k Y k. Huomataan, että affiinit kuvaukset saadaaan lineaariseen muotoon tarkastelemalla vektorin Y sijaan vektoria (1, Y 1, Y 2,..., Y n ). k=1 30

Määritelmä 4.3. Estimaattoria X(Y ) nimitetään lineaariseksi projektioksi, jos X on lineaarinen kuvaus ja E[(X X(Y )) Y]s = 0 }{{} virhetermi Lause 4.2. Lineearinen pienimmän keskineliövirheen estimaattoi on lineaarinen projektio. Todistus. Estimoidaan satunnaismuuttujaa X satunnaisvektorin Y = (Y 1,..., Y n ) avulla Näytetään, että kaikista lineaarisista estimaattoreista {g(y) = β Y : β R n } lineaarinen projektio α Y antaa pienimmän keskineliövirheen Suoralla laskulla nähdään, että E[ X β Y 2 ]. E[ X β Y 2 ] = E[ (X α Y) + (α β) Y 2 ] = E[ X α Y 2 ] + 2E[(X α Y)(α β) Y] + E[ (α β) Y 2 ] = E[ X α Y 2 ] + 2 (α β) E[(X α Y)Y] + E[ (α β) Y 2 ]. }{{}}{{}}{{} ei riipu β:sta =0 0=minimi, kun β=α Huomautus 4.3.1. Koska lineaaristen kuvausten joukko on suppeampi kuin kaikkien (Borel-mitallisten) kuvausten joukko, niin E[ X E[X Y ] 2 ] E[ X P (Y ) 2 ]. Projektion kertoimet α k määräytyvät yhtälöstä 0 = E[(X α Y)Y] = E[XY] E[(X α Y)Y] n E[XY k ] = E[Y j Y k ]α j, j=1 joka voidaan kirjoitta matriisiyhtälönä. Kun valkoisen kohinan ε t komponenttien riippumattomuus korvataan korreloimattomuudella, ovat edellä määritellyt estimaattorit (4.2.5) ja (4.2.6) vainlineaarisia projektioita. 4.4 Tapaus: Äärellinen historia Edellä nähtiin, että AR(p)-prosessin seuraavat arvot on yksinkertaista ennustaa äärellisen monen arvon perusteella, kunhan riittävän monta arvoa tunnetaan. Sen sijaan yllä johdetut MA- tai ARMA-prosessin ennusteet vaativat äärettömän pitkän historian tuntemisen. Oletetaan, että tunnetaan vain prosessin äärellinen historia Y t := (X t, X t 1,..., X t M ). 31