9. Tila-avaruusmallit Aikasarjan stokastinen malli ja aikasarjasta tehdyt havainnot voidaan esittää joustavassa ja monipuolisessa muodossa ns. tila-avaruusmallina. Useat aikasarjat edustavat dynaamisia malleja, jotka kehittyvät ajan funktiona. Mallista itsestään ei aina ole saatavilla suoraa havaintoa, vaan havaittu arvo voi riippua mallista jonkin kuvauksen kautta. Esimerkki 9.1. (Liikkuvan kohteen paikallistaminen etäältä) Olkoon X t R 6 lentokoneen tai vaikka satelliitin paikkakoordinaatit (X 1t, X 2t, X 3t ) ajanhetkellä t. Maasta tehtyjen tutkamittausten avulla saadaan häiriöinen 1 havainto Y t = X t + r t vektorin X t tilasta. Vektorin X t tila kehittyy dynaamisesti eli ajan funktiona. Yksinkertainen malli on, että X t = X t 1 + q t. Määritelmä 9.1. Lineaarinen tila-avaruusmalli (eng. state space model) koostuu systeemin tilamallista X t+1 = FX t + q t, (9.0.1) missä X t edustaa systeemin tilaa hetkellä t, ja havaintomallista Y t = GX t + r t + u t, (9.0.2) missä r t edustaa havaintoon mahdollisesti sisältyvää satunnaista häiriötä ja u t edustaa havainnoissa mahdollisesti olevia tunnettuja dynaamisia muuttujia. Vektoriarvoiset prosessit q t ja r t ovat valkoista kohinaa ja ne ovat riippumattomia satunnaisvektoreista X s kaikilla s. Matriisia F nimitetään transitiomatriisiksi ja matriisia G havaintomatriisiksi. Huomioita määritelmästä: Systeemin tilan X t ei tarvitse olla suoraan havaittavissa tai mitattavissa. Systeemin tila X t on on ns. piilotettu eli latentti muuttuja. Kun r t on Gaussista kohinaa, niin eri aikaan tehdyt havainnot Y t ja Y s ovat toisistaan ehdollisesti riippumattomia, kun tilat X t on annettu. Toisin sanoen eri aikaan tehtyjen havaintojen Y s ja Y t välinen tilastollinen riippuvuus johtuu systeemin tilasta X t. Systeemin tila X t+1 riippuu systeemin aiemmista tiloista vain edellisen hetken arvon X t kautta. Huomautus 9.0.1. Kun systeemin aiempi tila X t, tunnetaan, niin systeemin tila X t+1 ei riipu aiempien havaintojen Y t arvoista. Tila-avaruusmalli on joustava malli, joka kykenee kuvaamaan erityyppisiä tilanteita. 1 Häiriöt syntyvät esim. tutkalaitteessa itsessään olevasta lämpökohinasta, ilmakehän häiriöistä, muista radiosignaaleista ja avaruudesta tulevasta taustakohinasta. 97
Tila-avaruusmallin avulla voidaan toteutaa pienellä määrällä parametreja myös muita rakenteellisia malleja. Tila-avaruusmallissa voidaan helposti myös sallia havaintomatriisin ja transitionmatriisin riippuvuus ajasta. Esimerkki 9.2 (AR-prosessin tila-avaruusmalli). Olkoon X t µ = p φ p (X t p µ) + ε t k=1 AR(p)-prosessi. Asetetaan tilaksi vektori (X t µ, X t 1 µ,..., X t p µ). Dynaaminen tilamalli on φ X t+1 µ 1 φ 2... φ p X t µ 1 0... 0 X t µ ε t. = 0 1... 0 X t 1 µ....... + 0. X t p+1 X 0... 0 1 0 t p 0 Havaintomalliksi asetetaan X t µ X t 1 µ Y t = µ + [10... 0] = X t. 9.0.1 Vektoriarvoiset prosessit X t p Määritelmä 9.2. Sanotaan, että X t on vektoriarvoinen stokastinen prosessi, jos sen jokainen komponentti on stokastinen prosessi. Tällä kurssilla merkitään vektoriarvoisen stokastisen prosessi X t komponentteja matriisilaskennasta tutuin merkinnöin X kt. Esimerkki 9.3. Olkoon ε 1t N(0, 1) ja ε 2t N(0, 3). Silloin q t = (ε 1t, ε 2t ) on vektoriarvoinen stokastinen prosessi, jonka arvot ovat avaruudessa R 2. Kahden eri prosessin välistä stokastista riippuvuutta voidaan mitata ristikorrelaatiolla. Määritelmä 9.3. Stokastisten prosessien X t ja Y t välinen ristikovarianssifunktio on kaikilla τ 0. Γ XY t (τ) = E[(X t τ E[X t τ ])(Y t E[Y t ])] 98
Määritelmä 9.4. Vektoriarvoinen stokastinen prosessi r t on valkoista kohinaa, jos sen kukin komponentti on valkoista kohinaa ja eri komponenttien r kt ja r k t ristikovarianssifunktio häviää. Vektoriarvoisen stokastisen prosessin odotusarvo 2 E[X t ] on vektori m t, jonka komponentit ovat m k t = E[X k t ]. Vastaavasti vektoriarvoisen stokastisen prosessin X t autokovarianssifunktio on matriisiarvoinen kuvaus, jonka elementit ovat ristikorrelaatiofunktioita. (Γ t (τ)) kl = Γ X ktx lt t (τ) 9.1 Suodatus, silotus ja ennustaminen Perusasetelma tila-avaruusmallissa on, että halutaan estimoida systeemin tila X t ajanhetkellä t on havaittu arvot Y 1,..., Y s. Ongelma jakautuu kolmeen eri tyyppiin 1. Kun s = t, kyseessä on suodatus (eng. filtering) 2. Kun s < t, kyseessä on ennustaminen (eng. forecasting) 3. Kun s > t, kyseessä on silotus (eng. smoothing, työslangissa usein smuuttaus ). 9.2 Gaussinen suodatus Käsitellään tällä kurssilla vain Gaussisia vektoriarvoisia prosesseja. Havainnot ovat M- ulotteisia eli Y t R M ja tilat ovat N-ulotteisia eli X t R N kullakin t. Tarkastellaan MMSE-estimaattia, jota merkitään kun t s. Otetaan käyttön myös lyhennysmerkintä E[X t Y 1,..., Y s ], (9.2.3) Y 1:s = (Y 1,...,Y s ) R sm. Ehdollinen odotusarvo (9.2.3) voidaan laskea vektorin X t ehdollisen todennäköisyysjakauman todennäköisyystiheysfunktion f(x t y 1:s ) avulla, kun Y 1:s saa arvon y 1:2. Palautetaan mieleen ehdollisen todennäköisyystiheysfunktion (tntf) määritelmä: 2 aina kun odotusarvot ovat hyvin määriteltyjä. f(x t y 1:s ) = f(x t, y 1:s ). f(y 1:s ) 99
Määritelmä 9.5. Vektoriarvoisen prosessin X t prediktiotntf on ja suodatustntf on f(x t y 1:t 1 ) f(x t y 1:t ). Seuraavassa lemmassa otetaan ensimmäiset askeleet rekursiiviseen suodatukseen. Lemmassa kannattaa kiinnittää erityisesti huomiota indeksien kulkuun yhtälöiden (9.2.4) ja (9.2.5) välilä, kun uusi havainto y t+1 on saatavilla. Lemma 9.1. Olkoon vektoriarvoisen stokastisen prosessin X t tntf hetkellä 0 f(x 0 ). Silloin prediktiotntf f(x k y 1:k 1 ) = f(x k x k 1 )f(x x k y 1:k 1 )dx k 1. (9.2.4) R N Suodatustntf on missä C k on ehdollisen jakauman normitustekjjä. f(x k y 1:k ) = C y1:k f(y k x k )f(x k y 1:k 1 ), (9.2.5) Todistus. Satunnaisvektoreiden X k, X k 1 ja Y 1:k 1 yhteisjakauman tntf on f(x k, x k 1, y 1:k 1 ). Ehdollinen tntf f(x k, x k 1 y 1:k 1 ) = f(x k, x k 1, y 1:k 1 ) f(y 1:k 1 ) = f(x k, x k 1, y 1:k 1 )f(x k 1, y k 1 ) f(x k 1, y k 1 )f(y 1:k 1 ) = f(x k (x k 1, y 1:k 1 ))f(x k 1 y 1:k 1 ) Huomatus 9.0.1 = f(x k x k 1 )f(x k 1 y 1:k 1 ). Integroimalla muuttujan x k 1 suhteen saadaan prediktiotntf. Suodatustntf saadaan samoin f(x k y 1:k ) = f(x k, y 1:k ) f(y 1:k ) = f(y 1:k, x k ) f(x k, y 1:k 1 ) y 1:k 1 ) f(x k, y 1:k ) f(y 1:k 1 ) y 1:k ) = C y1:k f(y 1:k x k, y 1:k 1 )f(x k y 1:k 1 ) tilamalli = f(y 1:k x k )f(x k y 1:k 1 ). 9.3 Kalman-suodatus Kalman suodatus (eng.kalman filtering) antaa ratkaisun tila-avaruusmallin suodatusongelm alle. Tarkastellaan tilamallia X t+1 = FX t + q t 100
ja havaintomallia missä q t N(0, Q) ja r t N(0, R). Y t = GX t + r t, Lause 9.1 (Kalman-suodatus). Olkoon m 0 = E[X 0 ] ja P 0 = E[(X 0 m 0 )(X 0 m 0 ) T ] annettu. Merkitään m k = E[X k Y 1:k ] ja Prediktiotntf ja suodatustntf ovat muotoa P k = E[(X k m k )(X k m k ) T Y 1:k ] Lisäksi f(x k y 1:k 1 ) = N(m, P k ) f(x k y 1:k ) = N(m k, P k ). f(y k y 1:k 1 ) = N(Gm k, S k). Jakaumien parametrit saadaan vuorottelemaalla prediktioaskelta ja päivitysaskelta m k P k = Fm k 1 = FP k 1F T + Q v k = y k Gm k S k = GP k GT + R K k = P k GT S 1 k m k = m k + K kv k P k = P k K ks k K T k. Huomautus 9.3.1. Kalman-suodatuksessa voidaan luontevasti myös sallia transitiomatriisin ja havaintomatriisin riippuminen ajasta. Tällainen epästationäärisyys on hankalaa liittää muihin aikasarjamalleihin kuin tila-avaruusmalleihin. 101