Ilkka Mellin Aikasarja-analyysi ARMA-mallit

Koko: px
Aloita esitys sivulta:

Download "Ilkka Mellin Aikasarja-analyysi ARMA-mallit"

Transkriptio

1 Ilkka Mellin Aikasarja-analyysi ARMA-mallit TKK (c) Ilkka Mellin (007) 1

2 ARMA-mallit >> ARMA-mallit ja niiden ominaisuudet ARMA-mallien auto- ja osittaisautokorrelaatiofunktiot ARMA-mallien spektri ARMA-mallien estimointi ja testaus Ennustaminen ARMA-malleilla Integroituvuus ja ARIMA-mallit Boxin ja Jenkinsin menetelmä Eksponentiaalinen tasoitus TKK (c) Ilkka Mellin (007)

3 ARMA-mallit ja niiden ominaisuudet ARMA-prosessit ARMA-prosessit eli mallit muodostavat aikasarjaanalyysin kannalta keskeisen stationaaristen stokastisten prosessien luokan. TKK (c) Ilkka Mellin (007) 3

4 ARMA-mallit ja niiden ominaisuudet ARMA-mallit: Käytettävät lyhenteet 1/3 AR-malli = Autoregressiivinen malli; engl. Autoregressive Model MA-malli = Liukuvan keskiarvon malli; engl. Moving Average Model ARMA-malli = Autoregressiivinen liukuvan keskiarvon malli; engl. Autoregressive Moving Average Model TKK (c) Ilkka Mellin (007) 4

5 ARMA-mallit ja niiden ominaisuudet ARMA-mallit: Käytettävät lyhenteet /3 SAR-malli = Kausivaihtelu-AR-malli; engl. Seasonal AR-model SMA-malli = Kausivaihtelu-MA-malli; engl. Seasonal MA-model SARMA-malli = Kausivaihtelu-ARMA-malli; engl. Seasonal ARMA-model TKK (c) Ilkka Mellin (007) 5

6 ARMA-mallit ja niiden ominaisuudet ARMA-mallit: Käytettävät lyhenteet 3/3 ARIMA-malli = Integroitu ARMA-malli; engl. Integrated ARMA-model SARIMA-malli = Integroitu kausivaihtelu-arma-malli; engl. Integrated Seasonal ARMA-model TKK (c) Ilkka Mellin (007) 6

7 ARMA-mallit ja niiden ominaisuudet ARMA-mallit: Kommentti käytettäviin lyhenteisiin Käytämme hyvin usein termiä ARMA-malli viittaamaan koko AR-, MA-, ARMA-, SAR-, SMA-, SARMA-, ARIMA-, SARIMA-mallien perheeseen ellemme halua tarkastella tietyn tyyppisen ARMAmallin erityispiirteitä. TKK (c) Ilkka Mellin (007) 7

8 ARMA-mallit ja niiden ominaisuudet Puhtaasti satunnainen stokastinen prosessi 1/3 Diskreetti stokastinen prosessi ε t, t T on puhtaasti satunnainen, jos satunnaismuuttujat ε t ovat riippumattomia ja samoin jakautuneita. Jos ε t, t T on puhtaasti satunnainen stokastinen prosessi, niin (i) E(ε t ) = 0, t T (ii) Var(ε t ) = σ, t T (iii) Cov(ε t, ε s ) = 0, t s Siten puhtaasti satunnainen stokastinen prosessi on stationaarinen. TKK (c) Ilkka Mellin (007) 8

9 ARMA-mallit ja niiden ominaisuudet Puhtaasti satunnainen stokastinen prosessi /3 Jos ε t, t T on puhtaasti satunnainen stokastinen prosessi, jonka odotusarvo ja varianssi ovat E(ε t ) = 0, t T Var(ε t ) = σ, t T niin merkitsemme usein εt iid...(0, σ ) joka luetaan: Satunnaismuuttujat ε t ovat riippumattomia ja samoin jakautuneita (engl. Independently and Identically Distributed). TKK (c) Ilkka Mellin (007) 9

10 ARMA-mallit ja niiden ominaisuudet Puhtaasti satunnainen stokastinen prosessi 3/3 Puhtaasti satunnaista stokastista prosessia ε t, t T kutsutaan usein valkoiseksi kohinaksi (engl. White Noise), jolloin merkitsemme ε WN t TKK (c) Ilkka Mellin (007) 10

11 ARMA-mallit ja niiden ominaisuudet AR(1)-malli Olkoon xt = φ1xt 1+ εt jossa ε t on puhtaasti satunnainen stokastinen prosessi: εt iid...(0, σ ) Tällöin x t on AR(1)-prosessi eli autoregressiivinen prosessi astetta 1. Stokastisen prosessin AR(1)-mallissa satunnaismuuttujan x arvo ajanhetkellä t riippuu seuraavista tekijöistä: Satunnaismuuttujan x arvo viipeellä t 1 kerrottuna parametrilla φ 1 Satunnaismuuttujan ε ajanhetkellä t saama arvo TKK (c) Ilkka Mellin (007) 11

12 ARMA-mallit ja niiden ominaisuudet MA(1)-malli Olkoon xt = εt + θ1εt 1 jossa ε t on puhtaasti satunnainen stokastinen prosessi: εt iid...(0, σ ) Tällöin x t on MA(1)-prosessi eli liukuvan keskiarvon prosessi astetta 1. Stokastisen prosessin MA(1)-mallissa satunnaismuuttujan x arvo ajanhetkellä t riippuu seuraavista tekijöistä: Satunnaismuuttujan ε ajanhetkellä t saama arvo Satunnaismuuttujan ε arvo viipeellä t 1 kerrottuna parametrilla θ 1 TKK (c) Ilkka Mellin (007) 1

13 ARMA-mallit ja niiden ominaisuudet AR(p)-malli Olkoon xt = φ1xt 1+ φxt + + φpxt p + εt jossa ε t on puhtaasti satunnainen stokastinen prosessi: εt iid...(0, σ ) Tällöin x t on AR(p)-prosessi eli autoregressiivinen prosessi astetta p. Stokastisen prosessin AR(p)-mallissa satunnaismuuttujan x arvo ajanhetkellä t riippuu seuraavista tekijöistä: Satunnaismuuttujan x arvot viipeillä t 1, t,, t p kerrottuina parametreilla φ 1, φ,, φ p Satunnaismuuttujan ε ajanhetkellä t saama arvo TKK (c) Ilkka Mellin (007) 13

14 ARMA-mallit ja niiden ominaisuudet AR(p)-malli: Mallin nimi Stokastista prosessia xt = φ1xt 1+ φxt + + φpxt p + εt, εt iid...(0, σ ) kutsutaan autoregressiiveksi, koska se voidaan tulkita lineaariseksi regressiomalliksi, jossa x t = mallin selitettävä muuttuja x t 1, x t,, x t p = mallin selittävät muuttujat φ 1, φ,, φ p = mallin regressiokertoimet ε t = mallin jäännöstermi AR(p)-mallia kutsutaan usein puhtaaksi AR-malliksi. TKK (c) Ilkka Mellin (007) 14

15 ARMA-mallit ja niiden ominaisuudet MA(q)-malli Olkoon xt = εt + θ1εt 1+ θεt + + θqεt q jossa ε t on puhtaasti satunnainen stokastinen prosessi: εt iid...(0, σ ) Tällöin x t on MA(q)-prosessi eli liukuvan keskiarvon prosessi astetta q. Stokastisen prosessin MA(q)-mallissa satunnaismuuttujan x arvo ajanhetkellä t riippuu seuraavista tekijöistä: Satunnaismuuttujan ε ajanhetkellä t saama arvo Satunnaismuuttujan ε arvot viipeillä t 1, t,, t q kerrottuina parametreilla θ 1, θ,, θ q TKK (c) Ilkka Mellin (007) 15

16 ARMA-mallit ja niiden ominaisuudet MA(q)-malli: Mallin nimi Stokastista prosessia xt = εt + θ1εt 1+ θεt + + θqεt q, εt iid...(0, σ ) kutsutaan liukuvan keskiarvon prosessiksi, koska siinä prosessin arvo ajanhetkellä t on painotettu summa satunnaismuuttujan ε arvoista viipeillä t 1, t,, t q kun summan painorakenteen muodostavat kertoimet 1, θ 1, θ,, θ q MA(q)-mallia kutsutaan usein puhtaaksi MA-malliksi. TKK (c) Ilkka Mellin (007) 16

17 ARMA-mallit ja niiden ominaisuudet ARMA(1,1)-malli 1/ Olkoon xt φ1xt 1 = εt + θ1εt 1 jossa ε t on puhtaasti satunnainen stokastinen prosessi: εt iid...(0, σ ) Tällöin x t on ARMA(1,1)-prosessi eli autoregressiivinen liukuvan keskiarvon prosessi, jonka AR-osan aste on 1 ja MA-osan aste on 1. TKK (c) Ilkka Mellin (007) 17

18 ARMA-mallit ja niiden ominaisuudet ARMA(1,1)-malli / Stokastisen prosessin ARMA(1,1)-mallissa xt φ1xt 1 = εt + θ1εt 1, εt iid...(0, σ ) satunnaismuuttujan x arvo ajanhetkellä t riippuu seuraavista tekijöistä: Satunnaismuuttujan x arvo viipeellä t 1 kerrottuna parametrilla φ 1 Satunnaismuuttujan ε ajanhetkellä t saama arvo Satunnaismuuttujan ε arvo viipeellä t 1 kerrottuna parametrilla θ 1 TKK (c) Ilkka Mellin (007) 18

19 ARMA-mallit ja niiden ominaisuudet ARMA(p,q)-malli 1/ Olkoon xt φ1xt 1 φxt φpxt p = εt + θ1εt 1+ θεt + + θqεt q jossa ε t on puhtaasti satunnainen stokastinen prosessi: εt iid...(0, σ ) Tällöin x t on ARMA(p,q)-prosessi eli autoregressiivinen liukuvan keskiarvon prosessi, jonka AR-osan aste on p ja MA-osan aste on q. TKK (c) Ilkka Mellin (007) 19

20 ARMA-mallit ja niiden ominaisuudet ARMA(p,q)-malli / Stokastisen prosessin ARMA(p,q)-mallissa x φ x φ x φ x t 1 t 1 t p t p = εt + θ1εt 1+ θεt + + θqεt q, εt iid...(0, σ ) satunnaismuuttujan x arvo ajanhetkellä t riippuu seuraavista tekijöistä: Satunnaismuuttujan x arvot viipeillä t 1, t,, t p kerrottuina parametreilla φ 1, φ,, φ p Satunnaismuuttujan ε ajanhetkellä t saama arvo Satunnaismuuttujan ε arvot viipeillä t 1, t,, t q kerrottuina parametreilla θ 1, θ,, θ q ARMA(p,q)-mallia kutsutaan usein sekamalliksi. TKK (c) Ilkka Mellin (007) 0

21 ARMA-mallit ja niiden ominaisuudet SAR(1) s -malli Olkoon xt =Φ 1xt s + εt jossa ε t on puhtaasti satunnainen stokastinen prosessi: εt iid...(0, σ ) Tällöin x t on SAR(1) s -prosessi eli kausivaihtelu-arprosessi astetta 1, jossa kauden pituus on s. Stokastisen prosessin SAR(1)-mallissa satunnaismuuttujan x arvo ajanhetkellä t riippuu seuraavista tekijöistä: Satunnaismuuttujan x arvo kausiviipeellä t s kerrottuna parametrilla Φ 1 Satunnaismuuttujan ε ajanhetkellä t saama arvo TKK (c) Ilkka Mellin (007) 1

22 ARMA-mallit ja niiden ominaisuudet SMA(1) s -malli Olkoon xt = εt +Θ1εt s jossa ε t on puhtaasti satunnainen stokastinen prosessi: εt iid...(0, σ ) Tällöin x t on SMA(1) s -prosessi eli kausivaihtelu-maprosessi astetta 1, jossa kauden pituus on s. Stokastisen prosessin SMA(1)-mallissa satunnaismuuttujan x prosessin arvo ajanhetkellä t riippuu seuraavista tekijöistä: Satunnaismuuttujan ε ajanhetkellä t saama arvo Satunnaismuuttujan ε arvo kausiviipeellä t s kerrottuna parametrilla Θ 1 TKK (c) Ilkka Mellin (007)

23 ARMA-mallit ja niiden ominaisuudet SAR(P) s -malli Olkoon xt =Φ 1xt s +Φ xt s + +Φ Pxt Ps + εt jossa ε t on puhtaasti satunnainen stokastinen prosessi: εt iid...(0, σ ) Tällöin x t on SAR(P) s -prosessi eli kausivaihtelu-arprosessi astetta p, jossa kauden pituus on s. Stokastisen prosessin SAR(P)-mallissa satunnaismuuttujan x arvo ajanhetkellä t riippuu seuraavista tekijöistä: Satunnaismuuttujan x arvot kausiviipeillä t s, t s,, t Ps kerrottuina parametreilla Φ 1, Φ,, Φ P Satunnaismuuttujan ε ajanhetkellä t saama arvo TKK (c) Ilkka Mellin (007) 3

24 ARMA-mallit ja niiden ominaisuudet SMA(Q) s -malli Olkoon xt = εt +Θ 1εt s +Θ εt s + +ΘQεt Qs jossa ε t on puhtaasti satunnainen stokastinen prosessi: εt iid...(0, σ ) Tällöin x t on SMA(Q) s -prosessi eli kausivaihtelu-maprosessi astetta q, jossa kauden pituus on s. Stokastisen prosessin SMA(Q)-mallissa prosessin arvo ajanhetkellä t riippuu seuraavista tekijöistä: Satunnaismuuttujan ε ajanhetkellä t saama arvo Satunnaismuuttujan ε arvot kausiviipeillä t s, t s,, t Qs kerrottuina parametreilla Θ 1, Θ,, Θ Q TKK (c) Ilkka Mellin (007) 4

25 ARMA-mallit ja niiden ominaisuudet SARMA(P,Q) s -malli 1/ Olkoon xt Φ1xt s Φxt s ΦPxt Ps = εt +Θ 1εt s +Θ εt s + +ΘQεt Qs jossa ε t on puhtaasti satunnainen stokastinen prosessi: εt iid...(0, σ ) Tällöin x t on SARMA(P,Q) s -prosessi eli kausivaihtelu- ARMA-prosessi, jossa kauden pituus on s, kausi-ar-osa on astetta P ja kausi-ma-osa on astetta Q. TKK (c) Ilkka Mellin (007) 5

26 ARMA-mallit ja niiden ominaisuudet SARMA(P,Q) s -malli / Stokastisen prosessin SARMA(P,Q) s -mallissa xt Φ1xt s Φxt s ΦPxt Ps = ε +Θ ε +Θ ε + +Θ ε t 1 t s t s Q t Qs εt iid...(0, σ ) prosessin arvo ajanhetkellä t riippuu seuraavista tekijöistä: Satunnaismuuttujan x arvot kausiviipeillä t s, t s,, t Ps kerrottuina parametreilla Φ 1, Φ,, Φ P Satunnaismuuttujan ε ajanhetkellä t saama arvo Satunnaismuuttujan ε arvot kausiviipeillä t s, t s,, t Qs kerrottuina parametreilla Θ 1, Θ,, Θ Q TKK (c) Ilkka Mellin (007) 6

27 ARMA-mallit ja niiden ominaisuudet Viivepolynomit 1/3 Määritellään viiveoperaattori L kaavalla Lx t = xt 1 Operaattori L on lineaarinen: Lax ( + bz) = alx+ blz t t t t = axt 1+ bzt 1 Määritellään viiveoperaattorin L potenssi rekursiivisesti: L 0 = 1 r r 1 L = L L, r = 1,, Siten r Lxt = xt r TKK (c) Ilkka Mellin (007) 7

28 ARMA-mallit ja niiden ominaisuudet Viivepolynomit /3 Kutsutaan viiveoperaattorin L muotoa r δr( L) = 1+ δ1l+ δl + + δrl olevaa polynomia viivepolynomiksi, jossa r = polynomin asteluku Koska viiveoperaattori L on lineaarinen, niin r δ ( Lx ) = (1 + δ L+ δ L+ + δ L) x r t 1 r t r = xt + δ1lxt + δl xt + + δrl xt = xt + δ1xt 1+ δxt + + δrxt r Kun viivepolynomeilla operoidaan, tulkitaan L kompleksimuuttujaksi. TKK (c) Ilkka Mellin (007) 8

29 ARMA-mallit ja niiden ominaisuudet Viivepolynomit 3/3 Algebran peruslauseen mukaan astetta r olevalla viivepolynomilla r δr( L) = 1+ δ1l+ δl + + δrl on r juurta, jotka saattavat olla kompleksisia. Huomautus: Jos kompleksiluku z = x+ iy, x, y, i = 1 on polynomin δ r ( L) juuri, niin myös sen konjugaatti- eli liittoluku z = x iy on polynomin δ r ( L) juuri. TKK (c) Ilkka Mellin (007) 9

30 ARMA-mallit ja niiden ominaisuudet Viivepolynomit: Esimerkkejä 1/5 Määritellään differenssioperaatorit D = 1 L D 1 = 1 L 1 Tällöin Dxt = (1 L) xt = xt xt 1 Dxt = (1 L) xt = (1 L+ L ) xt = x x + x t t 1 t 1 t D1xt = (1 L ) x = x x t t 1 TKK (c) Ilkka Mellin (007) 30

31 ARMA-mallit ja niiden ominaisuudet Viivepolynomit: Esimerkkejä /5 Määritellään differenssioperaatorit D = 1 L D 1 = 1 L 1 Tällöin 1 DD1xt = (1 L)(1 L ) xt 1 13 = (1 L L + L ) xt = x x x + x t t 1 t 1 t 13 TKK (c) Ilkka Mellin (007) 31

32 ARMA-mallit ja niiden ominaisuudet Viivepolynomit: Esimerkkejä 3/5 Määritellään polynomit φ( L) = 1 φ L 1 1 Φ ( L) = 1 Φ1L Tällöin 1 φ( L) Φ ( L) xt = (1 φ1l)(1 Φ1L ) xt 1 13 = (1 φ1l Φ 1L + φ1φ1l ) x = x φ x Φ x + φφ x t 1 t 1 1 t t 13 t TKK (c) Ilkka Mellin (007) 3

33 ARMA-mallit ja niiden ominaisuudet Viivepolynomit: Esimerkkejä 4/5 Olkoon φ 1 < 1 ja φ( L) = 1 φ1l Tällöin polynomin φ(l) käänteispolynomi φ 1 (L) voidaan määritellä kaavalla 1 1 φ ( L) = 1 φ L jolloin φ 1 = ( Lx ) t i= 0 = 1 i φ L i 1 = 1+ φ L+ φ L + i= φ x i 1 t i = 1+ φ x + φ x + 1 t 1 1 t TKK (c) Ilkka Mellin (007) 33

34 ARMA-mallit ja niiden ominaisuudet Viivepolynomit: Esimerkkejä 5/5 Olkoon 1 φ ( L) = 1 L+ L Tällöin polynomin φ(l) juuret L1 = 1+ i L = 1 i i = 1 ovat yksikköympyrän ulkopuolella: L 1 = L = TKK (c) Ilkka Mellin (007) 34

35 ARMA-mallit ja niiden ominaisuudet SARMA(p,q)(P,Q) s -malli 1/ Olkoon s s Φ P( L) φ p( L) xt =ΘQ( L) θq( L) εt jossa ε t on puhtaasti satunnainen stokastinen prosessi: ja ε iid t φ ( ) 1 φ φ φ p p L = 1L L pl Φ ( L) = 1 Φ L Φ L Φ L s s s Ps P 1 P θ ( ) 1 θ θ θ q...(0, σ ) q L = + 1L+ L + + ql Θ ( L) = 1+Θ L +Θ L + +Θ L s s s Qs Q 1 Q ovat viiveoperaattorin L polynomeja. TKK (c) Ilkka Mellin (007) 35

36 ARMA-mallit ja niiden ominaisuudet SARMA(p,q)(P,Q) s -malli / Olkoon s s Φ P( L) φ p( L) xt =ΘQ( L) θq( L) εt, εt iid...(0, σ ) jossa viivepolynomit s s ΦP( L), φ p( L), ΘQ( L), θq( L) on määritelty edellisellä kalvolla. Tällöin x t on yleinen SARMA(p,q)(P,Q) s -prosessi eli kerrannainen kausivaihtelu-arma-prosessi, jossa kauden pituus on s. Huomautus: Merkinnällä on korostetaan mallin AR-osan ja MA-osan tavallisten ja kausivaihteluun liittyvien viivepolynomien kerrannaisuutta. TKK (c) Ilkka Mellin (007) 36

37 ARMA-mallit ja niiden ominaisuudet SARMA(p,q)(P,Q) s -malli: Viivepolynomit 1/ Olkoon s s Φ P( L) φ p( L) xt =ΘQ( L) θq( L) εt, εt iid...(0, σ ) stokastisen prosessin SARMA(p,q)(P,Q) s -malli, jonka kauden pituus on s. Viivepolynomit p φ ( L) = 1 φ L φ L φ L p 1 Φ P( L) = 1 Φ1L ΦL ΦPL määräävät mallin AR-osat ja sanomme: s s s Ps Mallin AR-osa on astetta p. Mallin kausi-ar-osa on astetta P. p TKK (c) Ilkka Mellin (007) 37

38 ARMA-mallit ja niiden ominaisuudet SARMA(p,q)(P,Q) s -malli: Viivepolynomit / Olkoon s s Φ P( L) φ p( L) xt =ΘQ( L) θq( L) εt, εt iid...(0, σ ) stokastisen prosessin SARMA(p,q)(P,Q) s -malli, jonka kauden pituus on s. Viivepolynomit q θ ( L) = 1+ θ L+ θ L + + θ L q 1 Θ Q( L) = 1+Θ 1L +Θ L + +ΘQL määräävät mallin MA-osat ja sanomme: s s s Qs Mallin MA-osa on astetta q. Mallin kausi-ma-osa on astetta Q. q TKK (c) Ilkka Mellin (007) 38

39 ARMA-mallit ja niiden ominaisuudet SARMA(p,q)(P,Q) s -malli: Parametrit SARMA(p,q)(P,Q) s -mallissa s s Φ P( L) φ p( L) xt =ΘQ( L) θq( L) εt, εt iid...(0, σ ) on p + P + q + Q (rakenne-) parametria: AR-osan parametrit: φ1, φ,, φp Kausi-AR-osan parametrit: Φ1, Φ,, ΦP MA-osan parametrit: θ1, θ,, θq Kausi-MA-osan parametrit: Θ1, Θ,, ΘQ TKK (c) Ilkka Mellin (007) 39

40 ARMA-mallit ja niiden ominaisuudet SARMA(p,q)(P,Q) s -malli: Erikoistapaukset SARMA(p,q)(P,Q) s -malli s s Φ P( L) φ p( L) xt =ΘQ( L) θq( L) εt, εt iid...(0, σ ) sisältää erikoistapauksenaan kaikki edellä määritellyt mallit stationaarisille stokastisille prosesseille: AR(p) MA(q) ARMA(p,q) SAR(P) s SMA(Q) s SARMA(P,Q) s TKK (c) Ilkka Mellin (007) 40

41 ARMA-mallit ja niiden ominaisuudet SARMA(p,q)(P,Q) s -malli: Vaatimukset SARMA(p,q)(P,Q) s -prosessille esitetään tavallisesti vaatimukset prosessin stationaarisuudesta ja käännettävyydestä: (i) SARMA(p,q)(P,Q) s -prosessien ominaisuuksia ei voida tutkia käyttämällä auto-ja osittaisautokorrelaatiofunktioita sekä spektriä, ellei prosessi ole stationaarinen. (ii) SARMA(p,q)(P,Q) s -prosessien autokorrelaatiofunktio ei määrää yksikäsitteisesti prosessin MA- ja kausi-ma-osia, ellei prosessi ole käännettävä. TKK (c) Ilkka Mellin (007) 41

42 ARMA-mallit ja niiden ominaisuudet SARMA(p,q)(P,Q) s -malli: Stationaarisuus SARMA(p,q)(P,Q) s -prosessi on stationaarinen, jos mallin AR-osan määräävien viivepolynomien p φ ( L) = 1 φ L φ L φ L p 1 s s s Ps Φ P( L) = 1 Φ1L ΦL ΦPL juuret ovat yksikköympyrän ulkopuolella. SARMA-prosessin stationaarisuus takaa sen, että prosessille voidaan määritellä auto-ja osittaisautokorrelaatiofunktiot sekä spektri. p TKK (c) Ilkka Mellin (007) 4

43 ARMA-mallit ja niiden ominaisuudet SARMA(p,q)(P,Q) s -malli: MA( )-esitys Jos SARMA(p,q)(P,Q) s -prosessi x t on stationaarinen, sillä on MA( )-esitys xt =Ψ( L) εt jossa ε t on puhtaasti satunnainen stokastinen prosessi: εt iid...(0, σ ) ja sarja 1 1 Ψ ( L) = φ ( L) Φ ( L) θ ( L) Θ( L) i = ψil ψ0 = i= 0 ( 1) suppenee itseisesti ja kvadraattisesti. TKK (c) Ilkka Mellin (007) 43

44 ARMA-mallit ja niiden ominaisuudet SARMA(p,q)(P,Q) s -malli: Käännettävyys SARMA(p,q)(P,Q) s -prosessi on käännettävä, jos mallin MA-osan määräävien viivepolynomien q θ ( L) = 1+ θ L+ θ L + + θ L q 1 s s s Qs Θ Q( L) = 1+Θ 1L +Θ L + +ΘQL juuret ovat yksikköympyrän ulkopuolella. Stationaarisen SARMA-prosessin käännettävyys takaa sen, että prosessin MA-jakausi-MA-osien asteluvut voidaan identifioida yksikäsitteisesti prosessin autokorrelaatiofunktion avulla. q TKK (c) Ilkka Mellin (007) 44

45 ARMA-mallit ja niiden ominaisuudet SARMA(p,q)(P,Q) s -malli: AR( )-esitys Jos SARMA(p,q)(P,Q) s -prosessi on käännettävä, stokastisella prosessilla x t on AR( )-esitys Π ( Lx ) t = ε t jossa ε t on puhtaasti satunnainen stokastinen prosessi: εt iid...(0, σ ) ja sarja 1 1 Π ( L) = θ ( L) Θ ( L) φ( L) Φ( L) i = πil π0 = i= 0 ( 1) suppenee itseisesti ja kvadraattisesti. TKK (c) Ilkka Mellin (007) 45

46 ARMA-mallit ja niiden ominaisuudet ARMA(p,q)-malli: Stationaarisuus ja käännettävyys Malli Stationaarisuusehto Käännettävyysehto AR(p) MA(q) ARMA(p,q) AR-polynomin juuret 1-ympyrän ulkopuolella Aina stationaarinen AR-polynomin juuret 1-ympyrän ulkopuolella Aina käännettävä MA-polynomin juuret 1-ympyrän ulkopuolella MA-polynomin juuret 1-ympyrän ulkopuolella TKK (c) Ilkka Mellin (007) 46

47 ARMA-mallit ja niiden ominaisuudet AR(p)-malli: Stationaarisuus ja käännettävyys AR(p)-prosessi x = φ x + φ x + + φ x + φ x + ε t 1 t 1 t p 1 t p+ 1 p t p t εt iid...(0, σ ) on stationaarinen, jos AR-polynomin p 1 p φ( L) = 1 φ1l φl φp 1L φpl = 0 juuret ovat yksikköympyrän ulkopuolella tai vastaavan karakteristinen polynomin (z = 1/L) p p 1 p z φ1z φz φp 1z φp = 0 juuret ovat yksikköympyrän sisäpuolella. AR(p)-prosessi on aina käännettävä. TKK (c) Ilkka Mellin (007) 47

48 ARMA-mallit ja niiden ominaisuudet MA(q)-malli: Stationaarisuus ja käännettävyys MA(q)-prosessi x = ε + θ ε + θ ε + + θ ε + θ ε t t 1 t 1 t q 1 t q+ 1 q t q εt iid...(0, σ ) on aina stationaarinen. MA(q)-prosessi on käännettävä, jos MA-polynomin q 1 q θ ( L) = 1+ θ1l+ θl + + θq 1L + θql = 0 juuret ovat yksikköympyrän ulkopuolella tai vastaavan karakteristinen polynomin (z = 1/L) q q 1 q z + θ1z + θz + + θq 1z+ θq = 0 juuret ovat yksikköympyrän sisäpuolella. TKK (c) Ilkka Mellin (007) 48

49 ARMA-mallit ja niiden ominaisuudet Miksi ARMA-malli? Mielivaltaista (ei-determinististä) stationaarista stokastista prosessia voidaan approksimoida mielivaltaisen tarkasti vähäparametrisella ARMA-mallilla. Huomautus: ARMA-prosessit ovat autoprojektiivisia: Prosessin arvo hetkellä t määräytyy prosessin historiasta. TKK (c) Ilkka Mellin (007) 49

50 ARMA-mallit ARMA-mallit ja niiden ominaisuudet >> ARMA-mallien auto- ja osittaisautokorrelaatiofunktiot ARMA-mallien spektri ARMA-mallien estimointi ja testaus Ennustaminen ARMA-malleilla Integroituvuus ja ARIMA-mallit Boxin ja Jenkinsin menetelmä Eksponentiaalinen tasoitus TKK (c) Ilkka Mellin (007) 50

51 ARMA-mallien auto- ja osittaisautokorrelaatiofunktiot ARMA(p,q)-malli: Auto- ja osittaisautokorrelaatiofunktiot 1/ Stationaarisen AR(p)-prosessin autokorrelaatiofunktio vaimenee eksponentiaalista vauhtia eli geometrisessa sarjassa ja osittaisautokorrelaatiofunktio katkeaa viipeellä p. MA(q)-prosessin autokorrelaatiofunktio katkeaa viipeellä q ja osittaisautokorrelaatiofunktio vaimenee eksponentiaalista vauhtia eli geometrisessa sarjassa. Stationaarisen ARMA(p, q)-prosessin auto- ja osittaisautokorrelaatiofunktiot vaimenevat eksponentiaalista vauhtia eli geometrisessa sarjassa. TKK (c) Ilkka Mellin (007) 51

52 ARMA-mallien auto- ja osittaisautokorrelaatiofunktiot ARMA(p,q)-malli: Auto- ja osittaisautokorrelaatiofunktiot / Malli Autokorrelaatiofunktio Osittaisautokorrelaatiofunktio AR(p) MA(q) ARMA(p,q) Vaimenee eksponentiaalisesti Katkeaa viipeellä q Vaimenee eksponentiaalisesti Katkeaa viipeellä p Vaimenee eksponentiaalisesti Vaimenee eksponentiaalisesti TKK (c) Ilkka Mellin (007) 5

53 ARMA-mallien auto- ja osittaisautokorrelaatiofunktiot AR(p)-malli Olkoon xt = φ1xt 1+ φxt + + φpxt p + εt, εt iid...(0, σ ) AR(p)-prosessi. Oletetaan, että viivepolynomin p φ( L) = 1 φ1l φl φpl juuret ovat yksikköympyrän ulkopuolella. Tällöin prosessi on stationaarinen ja sillä on MA( )-esitys t = i t i 0 = i= 0 x ψε ( ψ 1) AR(p)-prosessi on valmiiksi käännetyssä muodossa. TKK (c) Ilkka Mellin (007) 53

54 ARMA-mallien auto- ja osittaisautokorrelaatiofunktiot AR(p)-malli: Momentit Stationaarisen AR(p)-prosessin xt = φ1xt 1+ φxt + + φpxt p + εt, εt iid...(0, σ ) momentit: (i) Odotusarvo: (ii) µ = E( x ) = 0 x Varianssi: (iii) Autokovarianssit: t x = Var( xt) = i i= 0 σ σ ψ k = Cov( xt, xt k) = i i+ k i= 0 γ σ ψψ TKK (c) Ilkka Mellin (007) 54

55 ARMA-mallien auto- ja osittaisautokorrelaatiofunktiot AR(p)-malli: Autokorrelaatiot 1/3 Stationaarisen AR(p)-prosessin xt = φ1xt 1+ φxt + + φpxt p + εt, εt iid...(0, σ ) autokorrelaatiot toteuttavat Yulen ja Walkerin yhtälöt ρ0 = 1 ρ = φ ρ + φ ρ + + φ ρ, > 0 k 1 k 1 k p k p k TKK (c) Ilkka Mellin (007) 55

56 ARMA-mallien auto- ja osittaisautokorrelaatiofunktiot AR(p)-malli: Autokorrelaatiot /3 Yulen ja Walkerin yhtälöt ρk = φ1ρk 1+ φρk + + φpρk p, k > 0 muodostavat differenssiyhtälöryhmän, jonka yleinen ratkaisu on muotoa k k k ρk = A1η1 + Aη + + Apηp, k > 0 jossa η 1, η,, η p ovat AR(p)-mallin karakteristisen polynomin p p 1 p z φ1z φz φp 1z φp = 0 juuret ja A 1, A,, A p ovat vakioita. TKK (c) Ilkka Mellin (007) 56

57 ARMA-mallien auto- ja osittaisautokorrelaatiofunktiot AR(p)-malli: Autokorrelaatiot 3/3 Yulen ja Walkerin yhtälöiden ρk = φ1ρk 1+ φρk + + φpρk p, k > 0 ratkaisuissa k k k ρk = A1η1 + Aη + + Apηp, k > 0 vakiot A 1, A,, A p saadaan määrätyksi käyttämällä hyväksi ehtoja (i) ρ 0 = 1 (ii) ρ k = ρ k, k = 1,,, p Erityisesti ehdosta (i) seuraa p i= 1 A i = 1 TKK (c) Ilkka Mellin (007) 57

58 ARMA-mallien auto- ja osittaisautokorrelaatiofunktiot AR(p)-malli: Autokorrelaatiot ja varianssi Stationaarisen AR(p)-prosessin xt = φ1xt 1+ φxt + + φpxt p + εt, εt iid...(0, σ ) varianssi voidaan esittää muodossa σ σ x = Var( xt) = 1 ρφ ρφ ρ φ 1 1 p p TKK (c) Ilkka Mellin (007) 58

59 ARMA-mallien auto- ja osittaisautokorrelaatiofunktiot AR(1)-malli Olkoon xt = φ1xt 1 + εt, εt iid...(0, σ ) AR(1)-prosessi. Oletetaan, että viivepolynomin φ( L) = 1 φ L juuri on yksikköympyrän ulkopuolella, mikä on totta, jos φ 1 < 1 Tällöin prosessi on stationaarinen ja sillä on MA( )-esitys x t i = φ1ε i= 0 1 t i TKK (c) Ilkka Mellin (007) 59

60 ARMA-mallien auto- ja osittaisautokorrelaatiofunktiot AR(1)-malli: Momentit Stationaarisen AR(1)-prosessin xt = φ1xt 1 + εt, εt iid...(0, σ ) momentit: (i) Odotusarvo: µ = E( x ) = 0 x t (ii) Varianssi: i σ σx = Var( xt) = σ φ1 = i= 0 1 φ1 (iii) Autokovarianssit: σ φ γ σ φφ φ σ k i k+ i 1 k k = Cov( xt, xt k) = 1 1 = = 1 x i= 0 1 φ1 TKK (c) Ilkka Mellin (007) 60

61 ARMA-mallien auto- ja osittaisautokorrelaatiofunktiot AR(1)-malli: Autokorrelaatiot Stationaarisen AR(1)-prosessin xt = φ1xt 1 + εt, εt iid...(0, σ ) autokorrelaatiot toteuttavat Yulen ja Walkerin yhtälöt: ρ0 = 1 ρk = φ1ρk 1, k > 1 Joko Yulen ja Walkerin yhtälöistä tai myös suoraan AR(1)-prosessin varianssin ja autokovarianssien kaavoista saadaan k ρ, 0 k = φ1 k TKK (c) Ilkka Mellin (007) 61

62 ARMA-mallien auto- ja osittaisautokorrelaatiofunktiot AR()-malli 1/ Olkoon xt = φ1xt 1+ φxt + εt, εt iid...(0, σ ) AR()-prosessi. Oletetaan, että viivepolynomin φ( L) = 1 φ L φ L 1 juuret on yksikköympyrän ulkopuolella, mikä on totta, jos φ1+ φ < 1 φ1+ φ < 1 φ > 1 Huomaa, että juuret ovat kompleksisia, jos φ + 4φ < 0 1 TKK (c) Ilkka Mellin (007) 6

63 ARMA-mallien auto- ja osittaisautokorrelaatiofunktiot AR()-malli / Tällöin AR()-prosessi on stationaarinen ja sillä on MA( )-esitys x = ψ ε t i t i i= 0 AR()-prosessin MA( )-esityksen kertoimet ψ0, ψ1, ψ,, ψ i, toteuttavat yhtälöt ψ 0 = 1 ψ φ = ψ φψ φψ = 0, i 1 i 1 i i TKK (c) Ilkka Mellin (007) 63

64 ARMA-mallien auto- ja osittaisautokorrelaatiofunktiot AR()-malli: Momentit Stationaarisen AR()-prosessin xt = φ1xt 1+ φxt + εt, εt iid...(0, σ ) momentit: (i) Odotusarvo: (ii) µ = E( x ) = 0 x Varianssi: (iii) Autokovarianssit: t x = Var( xt) = i i= 0 σ σ ψ k = Cov( xt, xt k) = i i+ k i= 0 γ σ ψψ TKK (c) Ilkka Mellin (007) 64

65 ARMA-mallien auto- ja osittaisautokorrelaatiofunktiot AR()-malli: Autokorrelaatiot 1/ Stationaarisen AR()-prosessin xt = φ1xt 1+ φxt + εt, εt iid...(0, σ ) autokorrelaatiot toteuttavat Yulen ja Walkerin yhtälöt: ρ0 = 1 ρ = φ ρ + φ ρ, > 0 Erityisesti k 1 k 1 k k φ ρ = φ φ1 = 1 1+ = + 1 φ ρ ρφ φ φ TKK (c) Ilkka Mellin (007) 65

66 ARMA-mallien auto- ja osittaisautokorrelaatiofunktiot AR()-malli: Autokorrelaatiot / Stationaarisen AR()-prosessin autokorrelaatiofunktion käyttäytyminen riippuu viivepolynomin φ( L) = 1 φ1l φl juurista: (i) Jos viivepolynomin φ(l) juuret ovat reaalisia, autokorrelaatiofunktio vaimenee eksponentiaalista vauhtia niin, että funktion verhokäyränä on yksi tai kaksi eksponenttifunktiota. (ii) Jos viivepolynomin φ(l) juuret ovat kompleksisia, autokorrelaatiofunktio vaimenee eksponentiaalista vauhtia niin, että funktion verhokäyränä on eksponentiaalisesti vaimeneva sinikäyrä. TKK (c) Ilkka Mellin (007) 66

67 ARMA-mallien auto- ja osittaisautokorrelaatiofunktiot AR()-malli: Autokorrelaatiot ja varianssi Stationaarisen AR()-prosessin xt = φ1xt 1+ φxt + εt, εt iid...(0, σ ) varianssi voidaan esittää muodoissa σ = Var( x ) x σ = 1 ρφ ρφ t φ σ 1 [(1 ) ] = + φ φ φ1 TKK (c) Ilkka Mellin (007) 67

68 ARMA-mallien auto- ja osittaisautokorrelaatiofunktiot MA(q)-malli Olkoon xt = εt + θ1εt 1+ θεt + + θqεt q, εt iid...(0, σ ) MA(q)-prosessi. MA(q)-prosessi on aina stationaarinen. Oletetaan, että viivepolynomin q θ ( L) = 1 θ1l θl θql juuret ovat yksikköympyrän ulkopuolella. Tällöin prosessi on käännettävä ja sillä on AR( )-esitys i= 0 π x = ε ( π = 1) i t i t 0 TKK (c) Ilkka Mellin (007) 68

69 ARMA-mallien auto- ja osittaisautokorrelaatiofunktiot MA(q)-malli: Momentit 1/ MA(q)-prosessin xt = εt + θ1εt 1+ θεt + + θqεt q, εt iid...(0, σ ) momentit: (i) Odotusarvo: (ii) µ = E( x ) = 0 x Varianssi: jossa θ 0 = 1. t q x = Var( xt) = i i= 0 σ σ θ TKK (c) Ilkka Mellin (007) 69

70 ARMA-mallien auto- ja osittaisautokorrelaatiofunktiot MA(q)-malli: Momentit / MA(q)-prosessin xt = εt + θ1εt 1+ θεt + + θqεt q, εt iid...(0, σ ) momentit: (iii) Autokovarianssit: γ q k σ θθ i i+ k k = k = Cov( xt, xt k) = i= 0 > jossa θ 0 = 1. 0 k 0,1,,, q q TKK (c) Ilkka Mellin (007) 70

71 ARMA-mallien auto- ja osittaisautokorrelaatiofunktiot MA(q)-malli: Autokorrelaatiot MA(q)-prosessin xt = εt + θ1εt 1+ θεt + + θqεt q, εt iid...(0, σ ) autokorrelaatiot: 1 k = 0 q k θθ i i+ k i= 0 ρk = k = 1,,, q q θi i= 0 0 k > q jossa θ 0 = 1. TKK (c) Ilkka Mellin (007) 71

72 ARMA-mallien auto- ja osittaisautokorrelaatiofunktiot MA(1)-malli Olkoon x t εt θ1εt 1, εt iid...(0, σ ) MA(1)-prosessi. Oletetaan, että viivepolynomin juuri on yksikköympyrän ulkopuolella, mikä on totta, jos θ 1 < 1 Tällöin prosessi on käännettävä ja sillä on AR( )-esitys i= 0 = + θ ( L) = 1 θ L θ x i 1 t i 1 = ε t TKK (c) Ilkka Mellin (007) 7

73 ARMA-mallien auto- ja osittaisautokorrelaatiofunktiot MA(1)-malli: Momentit 1/ MA(1)-prosessin xt = εt + θ1εt 1, εt iid...(0, σ ) momentit: (i) Odotusarvo: (ii) µ = E( x ) = 0 x Varianssi: t σ = Var( x ) = σ (1 + θ ) x t 1 TKK (c) Ilkka Mellin (007) 73

74 ARMA-mallien auto- ja osittaisautokorrelaatiofunktiot MA(1)-malli: Momentit / MA(1)-prosessin xt = εt + θ1εt 1, εt iid...(0, σ ) momentit: (iii) Autokovarianssit: σ (1 + θ1 ) k = 0 γ k = Cov( xt, xt k) = σ θ1 k = 1 0 k > 1 TKK (c) Ilkka Mellin (007) 74

75 ARMA-mallien auto- ja osittaisautokorrelaatiofunktiot MA(1)-malli: Autokorrelaatiot MA(1)-prosessin xt = εt + θ1εt 1, εt iid...(0, σ ) autokorrelaatiot: 1 k = 0 θ1 ρk = k = θ1 0 k > 1 TKK (c) Ilkka Mellin (007) 75

76 ARMA-mallien auto- ja osittaisautokorrelaatiofunktiot ARMA(p,q)-malli Olkoon x φ x φ x φ x t 1 t 1 t p t p = εt + θ1εt 1+ θεt + + θqεt q, εt iid...(0, σ ) ARMA(p,q)-prosessi. Oletetaan, että viivepolynomien p φ( L) = 1 φ L φ L φ L 1 q θ ( L) = 1 θ1l θl θql juuret ovat yksikköympyrän ulkopuolella. Tällöin ARMA(p,q)-prosessi on sekä stationaarinen että käännettävä ja sillä on sekä MA( )- että AR( )-esitykset. p TKK (c) Ilkka Mellin (007) 76

77 ARMA-mallien auto- ja osittaisautokorrelaatiofunktiot ARMA(p,q)-malli: Autokorrelaatiot Stationaarisen ARMA(p,q)-prosessin q ensimmäistä autokorrelaatiota ρ 1, ρ,, ρ q riippuvat sekä prosessin AR-osan että MA-osan parametreista. Viipeen q jälkeen autokorrelaatiot toteuttavat Yulen ja Walkerin yhtälöt ρk = φ1ρk 1+ φρk + + φpρk p, k > q Siten ARMA(p,q)-prosessin autokorrelaatiofunktion muoto riippuu viipeen q jälkeen vain prosessin AR-osan parametreista. TKK (c) Ilkka Mellin (007) 77

78 ARMA-mallien auto- ja osittaisautokorrelaatiofunktiot ARMA(1,1)-malli 1/3 Olkoon xt φ1xt 1 = εt + θ1εt 1, εt iid...(0, σ ) ARMA(1,1)-prosessi. Oletetaan, että viivepolynomien φ( L) = 1 φ1l θ ( L) = 1 θ1l juuret ovat yksikköympyrän ulkopuolella, mikä on totta, jos φ 1 < 1 θ 1 < 1 TKK (c) Ilkka Mellin (007) 78

79 ARMA-mallien auto- ja osittaisautokorrelaatiofunktiot ARMA(1,1)-malli /3 Tällöin prosessi on sekä stationaarinen että käännettävä ja sillä on MA( )-esitys x ψε ψ t = i t i 0 = i= 0 ( 1) ARMA(1,1)-prosessin MA( )-esityksen kertoimet ψ0, ψ1, ψ,, ψ i, toteuttavat yhtälöt ψ 0 = 1 ψ1 = φ1+ θ1 ψi = φψi, i > 1 1 TKK (c) Ilkka Mellin (007) 79

80 ARMA-mallien auto- ja osittaisautokorrelaatiofunktiot ARMA(1,1)-malli 3/3 ARMA(1,1)-prosessin MA( )-esityksen x ψε ψ t = i t i 0 = i= 0 kertoimien ψ0, ψ1, ψ,, ψ i, ratkaisuiksi saadaan ψ = 1 0 ψ = θ φ + φ, i > 0 i i 1 i ( 1) TKK (c) Ilkka Mellin (007) 80

81 ARMA-mallien auto- ja osittaisautokorrelaatiofunktiot ARMA(1,1)-malli: Momentit 1/ Stationaarisen ARMA(1,1)-prosessin xt φ1xt 1 = εt + θ1εt 1, εt iid...(0, σ ) momentit: (i) Odotusarvo: (ii) µ = E( x ) = 0 x Varianssi: (iii) Autokovarianssit: t x = Var( xt) = i i= 0 σ σ ψ k = Cov( xt, xt k) = i i+ k i= 0 γ σ ψψ TKK (c) Ilkka Mellin (007) 81

82 ARMA-mallien auto- ja osittaisautokorrelaatiofunktiot ARMA(1,1)-malli: Momentit / Stationaarisen ARMA(1,1)-prosessin xt φ1xt 1 = εt + θ1εt 1, εt iid...(0, σ ) varianssi ja autokovarianssit voidaan esittää prosessin parametrien funktioina seuraavalla tavalla: (ii) Varianssi: 1+ θ1 + φ1θ 1 σx = Var( xt) = σ 1 φ1 (iii) Autokovarianssit: (1 + φ1θ 1)( φ1+ θ1) γ1 = 1+ θ1 + φ1θ 1 γk = φγk, k > TKK (c) Ilkka Mellin (007) 8

83 ARMA-mallien auto- ja osittaisautokorrelaatiofunktiot AR(1,1)-malli: Autokorrelaatiot Stationaarisen ARMA(1,1)-prosessin xt φ1xt 1 = εt + θ1εt 1, εt iid...(0, σ ) autokorrelaatiot toteuttavat Yulen ja Walkerin yhtälöt: ρ0 = 1 (1 + φ1θ 1)( φ1+ θ1) ρ1 = 1+ θ1 + φ1θ 1 ρk = φ1ρk 1, k > TKK (c) Ilkka Mellin (007) 83

84 ARMA-mallien auto- ja osittaisautokorrelaatiofunktiot SARMA(P,Q) s -malli: Auto- ja osittaisautokorrelaatiofunktiot 1/3 SARMA(P,Q) s -prosessin eli kausivaihtelu-armaprosessin auto- ja osittaisautokorrelaatiofunktiot käyttäytyvät kausiviipeillä s, s, 3s, kuten vastaavan ARMA(p,q)-prosessin auto- ja osittaisautokorrelaatiofunktiot ja saavat kausiviipeiden välissä arvon 0. TKK (c) Ilkka Mellin (007) 84

85 ARMA-mallien auto- ja osittaisautokorrelaatiofunktiot SARMA(P,Q) s -malli: Auto- ja osittaisautokorrelaatiofunktiot /3 Stationaarisen SAR(P) s -prosessin autokorrelaatiofunktio vaimenee kausiviipeillä s, s, 3s, eksponentiaalista vauhtia eli geometrisessa sarjassa ja osittaisautokorrelaatiofunktio katkeaa viipeellä Ps. SMA(Q) s -prosessin autokorrelaatiofunktio katkeaa viipeellä Qs ja osittaisautokorrelaatiofunktio vaimenee kausiviipeillä s, s, 3s, eksponentiaalista vauhtia eli geometrisessa sarjassa. Stationaarisen SARMA(P, Q) s -prosessin auto- ja osittaisautokorrelaatiofunktiot vaimenevat kausiviipeillä s, s, 3s, eksponentiaalista vauhtia eli geometrisessa sarjassa. TKK (c) Ilkka Mellin (007) 85

86 ARMA-mallien auto- ja osittaisautokorrelaatiofunktiot SARMA(P,Q) s -malli: Auto- ja osittaisautokorrelaatiofunktiot 3/3 Malli Autokorrelaatiofunktio Osittaisautokorrelaatiofunktio SAR(P) s SMA(Q) s SARMA(P,Q) s Vaimenee eksponentiaalisesti Katkeaa viipeellä Qs Vaimenee eksponentiaalisesti Katkeaa viipeellä Ps Vaimenee eksponentiaalisesti Vaimenee eksponentiaalisesti TKK (c) Ilkka Mellin (007) 86

87 ARMA-mallien auto- ja osittaisautokorrelaatiofunktiot SARMA(p,q)(P,Q) s -malli: Auto- ja osittaisautokorrelaatiofunktiot Stationaarisen SARMA(p,q)(P,Q) s -prosessin autoja osittaisautokorrelaatiofunktioiden käyttäytyminen on (monimutkainen) yhdistelmä vastaavien ARMA(p,q)- ja SARMA(P,Q) s -prosessien korrelaatiofunktioiden käyttäytymisestä. Huomautus: SARMA(p,q)(P,Q) s -prosessin korrelaatiofunktioiden käyttäytymiseen vaikuttaa myös prosessin AR- ja MA-osien tavallisten ja kausivaihteluun liittyvien viivepolynomien kerrannaisuus. TKK (c) Ilkka Mellin (007) 87

88 ARMA-mallit ARMA-mallit ja niiden ominaisuudet ARMA-mallien auto- ja osittaisautokorrelaatiofunktiot >> ARMA-mallien spektri ARMA-mallien estimointi ja testaus Ennustaminen ARMA-malleilla Integroituvuus ja ARIMA-mallit Boxin ja Jenkinsin menetelmä Eksponentiaalinen tasoitus TKK (c) Ilkka Mellin (007) 88

89 ARMA-mallien spektri Puhtaasti satunnainen stokastinen prosessi Olkoon ε t, t T puhtaasti satunnainen stokastinen prosessi, jolloin (i) E(ε t ) = 0, t T (ii) Var(ε t ) = σ, t T (iii) Cov(ε t, ε s ) = 0, t s Puhtaasti satunnainen prosessi on aina stationaarinen. TKK (c) Ilkka Mellin (007) 89

90 ARMA-mallien spektri Puhtaasti satunnainen stokastinen prosessi: Spektri Puhtaasti satunnaisen stokastisen prosessin spektritiheysfunktio on eli vakio. σ f ( λ) = π TKK (c) Ilkka Mellin (007) 90

91 ARMA-mallien spektri Stokastisen prosessin suodatus 1/ Olkoon y t stationaarinen stokastinen prosessi. Määritellään stokastinen prosessi x t painotettuna summana x + = w y t j t j j= jossa painot w j ovat reaalisia vakioita, jotka toteuttavat ehdon j= w j <+ TKK (c) Ilkka Mellin (007) 91

92 ARMA-mallien spektri Stokastisen prosessin suodatus / Sanomme, että stokastinen prosessi x = w y t j t j j= on saatu suodattamalla stokastisesta prosessista y t käyttäen lineaarista aikainvarianttia suodinta, jonka määrittelee painorakenne {w j } TKK (c) Ilkka Mellin (007) 9

93 ARMA-mallien spektri Stokastisen prosessin suodatus: Suodatetun prosessin spektri 1/ Olkoon f y (λ) stationaarisen stokastisen prosessin y t spektritiheysfunktio. Tällöin suodatetun stokastisen prosessin x = w y t j t j j= spektritiheysfunktio on fx( λ) = W( λ) fy( λ) jossa + iλ j W( λ) = wje, i= 1 j= TKK (c) Ilkka Mellin (007) 93

94 ARMA-mallien spektri Stokastisen prosessin suodatus: Suodatetun prosessin spektri / Funktiota W ( λ) kutsutaan suotimen {w j } siirtofunktioksi. Huomautus: Jos z jolloin z = x+ iy, x, y, i= 1 niin z = zz = x + y jossa z = x iy TKK (c) Ilkka Mellin (007) 94

95 ARMA-mallien spektri ARMA(p,q)-malli 1/3 Olkoon φ( Lx ) t = θ( L) εt, εt iid...(0, σ ) stationaarinen ja käännettävä ARMA(p,q)-prosessi, jonka AR-polynomi on p φ( L) = 1 φ1l φl φpl ja MA-polynomi on q θ ( L) = 1+ θ1l+ θl + + θql Koska prosessi on stationaarinen, sillä on MA( )-esitys t = j t j 0 = j= 0 x ψε ( ψ 1) TKK (c) Ilkka Mellin (007) 95

96 ARMA-mallien spektri ARMA(p,q)-malli /3 Koska ARMA(p,q)-prosessi φ( Lx ) t = θ( L) εt, εt iid...(0, σ ) oletettiin stationaariseksi, sillä on MA( )-esitys xt =Ψ( L) εt jossa j Ψ L = ψ jl ψ0 = j= 0 ( ) ( 1) on -asteinen viivepolynomi, joka toteuttaa ehdon φ( L) Ψ ( L) = θ ( L) TKK (c) Ilkka Mellin (007) 96

97 ARMA-mallien spektri ARMA(p,q)-malli 3/3 Siten stationaarinen ARMA(p,q)-prosessi φ θ ε ε σ ( Lx ) t = ( L) t, t iid...(0, ) saadaan suodattamalla puhtaasti satunnaisesta prosessista ε t iid Prosessiin liittyvän suotimen siirtofunktio on jossa i = 1...(0, σ ) iλ Ψ ( e ) = iλ θ ( e ) iλ φ( e ) TKK (c) Ilkka Mellin (007) 97

98 ARMA-mallien spektri ARMA(p,q)-malli: Spektri Stationaarisen ARMA(p,q)-prosessin spektritiheysfunktio on muotoa iλ σ θ ( e ) f ( λ) = iλ π φ( e ) jossa i = 1 iλ iλ qiλ 1e e qe iλ iλ piλ 1e e pe σ 1+ θ + θ + + θ = π 1 φ φ φ TKK (c) Ilkka Mellin (007) 98

99 ARMA-mallien spektri ARMA(1,1)-malli: Spektri Stationaarisen ARMA(1,1)-prosessin spektritiheysfunktio on muotoa iλ σ 1+ θ1e f ( λ) = iλ π 1 φ e jossa i = 1 1 σ 1+ θ + θ cos( λ) = π 1 φ φ cos( λ) TKK (c) Ilkka Mellin (007) 99

100 ARMA-mallien spektri AR(p)-malli Olkoon φ( Lx ) t = εt, εt iid...(0, σ ) stationaarinen AR(p)-prosessi, jonka AR-polynomi on p φ( L) = 1 φ1l φl φpl Koska prosessi on stationaarinen, sillä on MA( )-esitys t = j t j 0 = j= 0 x ψε ( ψ 1) TKK (c) Ilkka Mellin (007) 100

101 ARMA-mallien spektri AR(p)-malli: Spektri Stationaarisen AR(p)-prosessin spektritiheysfunktio on muotoa σ 1 f ( λ) = iλ π φ( e ) jossa i = 1 σ 1 = π 1 φ φ φ iλ iλ piλ 1e e pe TKK (c) Ilkka Mellin (007) 101

102 ARMA-mallien spektri AR(1)-malli: Spektri Stationaarisen AR(1)-prosessin spektritiheysfunktio on muotoa σ 1 f ( λ) = i π 1 φ e λ jossa i = 1 1 σ 1 = π 1+ φ φ cos( λ) 1 1 TKK (c) Ilkka Mellin (007) 10

103 ARMA-mallien spektri AR()-malli: Spektri Stationaarisen AR()-prosessin spektritiheysfunktio on muotoa σ 1 f ( λ) = iλ iλ π 1 φe φ e jossa i = 1 1 σ 1 = π 1+ φ + φ φ (1 φ )cos( λ) φ cos( λ) 1 1 TKK (c) Ilkka Mellin (007) 103

104 ARMA-mallien spektri MA(q)-malli Olkoon x = θ( L) ε, ε iid...(0, σ ) t t t käännettävä MA(q)-prosessi, jonka MA-polynomi on q θ ( L) = 1+ θ1l+ θl + + θql Koska prosessi on käännettävä, sillä on AR( )-esitys j= 0 π x = ε ( π = 1) j t j t 0 TKK (c) Ilkka Mellin (007) 104

105 ARMA-mallien spektri MA(q)-malli: Spektri MA(q)-prosessin spektritiheysfunktio on muotoa σ iλ f( λ) = θ( e ) π σ iλ iλ qiλ = 1+ θ1e + θe + + θqe π jossa i = 1 TKK (c) Ilkka Mellin (007) 105

106 ARMA-mallien spektri MA(1)-malli: Spektri MA(1)-prosessin spektritiheysfunktio on muotoa σ i f( λ) = 1+ θ1e λ π σ = 1+ θ1 + θ1cos( λ) π jossa i = 1 TKK (c) Ilkka Mellin (007) 106

107 ARMA-mallien spektri MA()-malli: Spektri MA()-prosessin spektritiheysfunktio on muotoa σ iλ iλ f( λ) = 1+ θ1e + θe π σ = 1 + θ1 + θ + θ1(1 + θ)cos( λ) + θcos( λ) π jossa i = 1 TKK (c) Ilkka Mellin (007) 107

108 ARMA-mallien spektri SARMA(P,Q) s -malli: Spektri Kausivaihtelu periodilla s näkyy SARMA(P,Q) s -prosessin spektrissä huippuina (tai laaksoina) taajuudella λ s = π/s sekä ns. harmonisilla frekvensseillä kλ s, k = 1,,, [s/] jossa [s/] = suurin kokonaisluku, joka s/ TKK (c) Ilkka Mellin (007) 108

109 ARMA-mallit ARMA-mallit ja niiden ominaisuudet ARMA-mallien auto- ja osittaisautokorrelaatiofunktiot ARMA-mallien spektri >> ARMA-mallien estimointi ja testaus Ennustaminen ARMA-malleilla Integroituvuus ja ARIMA-mallit Boxin ja Jenkinsin menetelmä Eksponentiaalinen tasoitus TKK (c) Ilkka Mellin (007) 109

110 ARMA-mallien estimointi ja testaus ARMA-mallin parametrien estimointi: Oletukset Olkoon x t, t = 1,,, n aikasarja, johon halutaan sovittaa ARMA(p,q)-malli x φ x φ x φ x t 1 t 1 t p t p = εt + θε 1 t 1+ θεt + + θqεt q, εt iid...(0, σ ) Oletetaan, että riippumattomat satunnaismuuttujat ε t, t = 1,,, n noudattavat normaalijakaumaa: εt N(0, σ ), t = 1,,, n TKK (c) Ilkka Mellin (007) 110

111 ARMA-mallien estimointi ja testaus ARMA-mallin parametrien estimointi: Suurimman uskottavuuden menetelmä 1/ Tällöin satunnaismuuttujien x t, t = 1,,, n yhteisjakaumana on multinormaalijakauma, jonka kovarianssimatriisi riippuu ARMA(p,q)-mallin parametreista. On syytä huomata, että kovarianssimatriisin riippuvuus yleisen ARMA(p,q)-mallin parametreista on voimakkaasti epälineaarista. ARMA(p,q)-mallin parametrit voidaan estimoida suurimman uskottavuuden menetelmällä soveltamalla menetelmää satunnaismuuttujien x t, t = 1,,, n uskottavuusfunktioon. TKK (c) Ilkka Mellin (007) 111

112 ARMA-mallien estimointi ja testaus ARMA-mallin parametrien estimointi: Suurimman uskottavuuden menetelmä / ARMA(p,q)-mallin parametrien uskottavuusfunktio on parametrien suhteen voimakkaasti epälineaarinen funktio. ARMA(p,q)-mallin parametrien uskottavuusfunktion arvot voidaan määrätä laskennallisesti hyvin tehokkaasti käyttämällä apuna uskottavuusfunktion ns. ennustevirhedekompositiota tai (mikä on sama asia) lineaaristen dynaamisten systeemien estimoinnissa käytettävää Kalmanin suodinta. Huomautus: Tietyin lisäehdoin suurimman uskottavuuden estimointi supistuu epälineaariseksi pienimmän neliösumman menetelmäksi. TKK (c) Ilkka Mellin (007) 11

113 ARMA-mallien estimointi ja testaus ARMA-mallin parametrien estimointi: Residuaalit Olkoon ARMA(p,q)-mallin parametrien SU-estimaattorit ˆ φ1, ˆ φ,, ˆ φ ˆ ˆ ˆ p ; θ1, θ,, θq Määritellään viivepolynomit ˆ ˆ ˆ ˆ p φ( L) = 1 φ1l φl φpl ja ˆ ˆ ˆ ˆ q θ ( L) = 1+ θ1l+ θl + + θql Tällöin estimoidun ARMA(p,q)-mallin residuaalit voidaan määrätä joko ennustevirhedekompositiosta tai kaavalla ˆ( φ L ) et = xt ˆ( θ L ) TKK (c) Ilkka Mellin (007) 113

114 ARMA-mallien estimointi ja testaus ARMA-mallin parametrien estimointi: Parametrien luottamusvälit ja testit Olkoon ARMA(p,q)-mallin parametrien SU-estimaattorit ˆ φ1, ˆ φ,, ˆ φ ˆ ˆ ˆ p ; θ1, θ,, θq ARMA(p,q)-mallin parametrien SU-estimaattoreiden hajonnat saadaan tavanomaiseen tapaan käyttämällä hyväksi informaatiomatriisia. SU-estimaattoreiden asymptoottisesta normaalisuudesta seuraa se, että parametreille voidaan muodostaa normaalijakaumaan (tai t-jakaumaan) perustuvia luottamusvälejä ja niiden merkitsevyyttä voidaan testata tavanomaisella t- testillä. TKK (c) Ilkka Mellin (007) 114

115 ARMA-mallit ARMA-mallit ja niiden ominaisuudet ARMA-mallien auto- ja osittaisautokorrelaatiofunktiot ARMA-mallien spektri ARMA-mallien estimointi ja testaus >> Ennustaminen ARMA-malleilla Integroituvuus ja ARIMA-mallit Boxin ja Jenkinsin menetelmä Eksponentiaalinen tasoitus TKK (c) Ilkka Mellin (007) 115

116 Ennustaminen ARMA-mallilla Ennusteen konstruointi 1/3 Tarkastellaan aikasarjan x t, t = 1,,, n tulevien arvojen x n+l, l = 1,, ennustamista stationaarisella ja käännettävällä ARMA(p,q)-mallilla x φ x φ x φ x t 1 t 1 t p t p = εt + θ1εt 1+ θεt + + θqεt q, εt iid...(0, σ ) Indeksiä l kutsutaan usein ennustushorisontiksi. TKK (c) Ilkka Mellin (007) 116

117 Ennustaminen ARMA-mallilla Ennusteen konstruointi /3 Olkoot mallin AR-parametrien φ1, φ,, φp estimaattorit ˆ φ1, ˆ φ,, ˆ φp ja mallin MA-parametrien θ1, θ,, θq estimaattorit ˆ θ1, ˆ θ,, ˆ θq Olkoon xn+ l, l = 1,, aikasarjan x t, t = 1,,, n tuleva arvo. Olkoon ˆn ln x + aikasarjan x t tulevan arvon n l, l = 1,, havaintoihin x t, t = 1,,, n perustuva ennuste. TKK (c) Ilkka Mellin (007) 117 x +

118 Ennustaminen ARMA-mallilla Ennusteen konstruointi 3/3 Luonnollinen ennuste ˆn ln aikasarjan x t, t = 1,,, n tulevalle arvolle x n + l, l = 1,, saadaan rekursiokaavasta xˆ ˆ ˆ n+ l/ n= φ1xˆn+ l 1/ n+ + φpxˆn+ l p/ n + e ˆ ˆ n+ l/ n θ1en+ l-1/ n θqen+ l q/ n, l = 1,, jossa xˆ = x, jos j 0 eˆ e n+ j/ n n+ j n+ j/ n n+ j x + en+ j,jos j 0 = 0, jos j > 0 = Estimoidun mallin residuaali, jos j 0 TKK (c) Ilkka Mellin (007) 118

119 Ennustaminen ARMA-mallilla Ennustefunktio Aikasarjan x t, t = 1,,, n tulevan arvon x n + l, l = 1,, ennustetta xˆ ˆ ˆ n+ l/ n= φ1xˆn+ l 1/ n+ + φpxˆn+ l p/ n + e ˆ ˆ n+ l/ n θ1en+ l-1/ n θqen+ l q/ n, l = 1,, kutsutaan indeksin (ennustushorisontin) l funktiona ennustefunktioksi. TKK (c) Ilkka Mellin (007) 119

120 Ennustaminen ARMA-mallilla Ennusteen keskineliövirhe Määritellään aikasarjan x t, t = 1,,, n tulevan arvon x n + l, l = 1,, ennusteen x, l = 1,, ˆn+ ln keskineliövirhe (MSE = Mean Squred Error) kaavalla MSE( xˆ ) = E[( x xˆ ) ] n+ ln n+ l n+ ln TKK (c) Ilkka Mellin (007) 10

121 Ennustaminen ARMA-mallilla Ennusteen optimaalisuus Oletetaan, että aikasarja x t, t = 1,,, n on stationaarisen ja käännettävän ARMA(p,q)-prosessin x φ x φ x φ x t 1 t 1 t p t p = εt + θ1εt 1+ θεt + + θqεt q, εt iid...(0, σ ) realisaatio. Jos parametrit φ1, φ,, φp ; θ1, θ,, θq tunnetaan, ennuste xˆ n+ l/ n= φ1xˆn + l 1/ n+ + φpxˆn+ l p/ n + e θ e θ e, l = 1,, n+ l/ n 1 n+ l-1/ n q n+ l q/ n on optimaalinen siinä mielessä, että se minimoi ennusteen keskineliövirheen. TKK (c) Ilkka Mellin (007) 11

122 Ennustaminen ARMA-mallilla Ennusteen optimaalisuus: Parametrien estimoinnin vaikutus Koska ARMA(p,q)-prosessin parametreja ei yleensä tunneta, ne on estimoitava havainnoista. Tällöin ennusteen keskineliövirheen kaavaan tulee korjaustekijä, joka riippuu estimointivirheestä ja edellisellä kalvolla esitetty optimaalisuustulos ei tarkkaan ottaen enää pidä paikkaansa, mutta on kuitenkin suuntaa-antava. TKK (c) Ilkka Mellin (007) 1

123 Ennustaminen ARMA-mallilla Ennusteen ominaisuudet Aikasarjan x t, t = 1,,, n tulevan arvon x n + l, l = 1,, ennusteella x on l:n funktiona seuraavat ominaisuudet: ˆn+ ln (i) xˆ n+ l/ n 0 eksponentiaalista vauhtia, kun l + (ii) x ˆn+ ln noudattaa muodoltaan aikasarjalle x t, t = 1,,, n spesifioidun ARMA-mallin autokorrelaatiofunktion muotoa. ARMA-mallin ennustusfunktion ominaisuudesta (i) seuraa: Koska ennusteen hyödyllisyys häviää ennustushorisontin kasvaessa, ARMA-mallit ovat olennaisesti lyhyen ajan ennustusmenetelmiä. TKK (c) Ilkka Mellin (007) 13

124 ARMA-mallit ARMA-mallit ja niiden ominaisuudet ARMA-mallien auto- ja osittaisautokorrelaatiofunktiot ARMA-mallien spektri ARMA-mallien estimointi ja testaus Ennustaminen ARMA-malleilla >> Integroituvuus ja ARIMA-mallit Boxin ja Jenkinsin menetelmä Eksponentiaalinen tasoitus TKK (c) Ilkka Mellin (007) 14

125 Integroituvuus ja ARIMA-mallit Integroituvuus Stokastinen prosessi x t, t T on integroituva eli differenssistationaarinen astetta g, jos h Dxt, D= 1 L on epästationaarinen kaikille h = 1,,, g 1 mutta g D x t on stationaarinen. TKK (c) Ilkka Mellin (007) 15

126 Integroituvuus ja ARIMA-mallit Kausi-integroituvuus Stokastinen prosessi x t, t T on kausi-integroituva eli differenssistationaarinen astetta G kauden pituuden s suhteen, jos H D x, D = 1 L s t s on epästationaarinen kaikille H = 1,,, G 1 mutta G Ds xt on stationaarinen. s TKK (c) Ilkka Mellin (007) 16

127 Integroituvuus ja ARIMA-mallit Random Walk -prosessi eli satunnaiskulku Olkoon xt = xt 1 + εt jossa ε t on puhtaasti satunnainen stokastinen prosessi: εt iid...(0, σ ) Tällöin x t on random walk -prosessi eli satunnaiskulku. Koska tällöin differenssi Dxt = xt xt 1 = εt on stationaarinen, satunnaiskulku on integroituva astetta 1. Satunnaiskulkua voidaan pitää yksinkertaisimpana integroituvana prosessina. TKK (c) Ilkka Mellin (007) 17

128 Integroituvuus ja ARIMA-mallit SARIMA(p,h,q)(P,H,Q) s -malli 1/ Olkoon x t diskreetti stokastinen prosessi, jolla on seuraavat ominaisuudet: (i) x t on epästationaarinen G g (ii) Ds D xt on epästationaarinen, kun g < h, G < H H h (iii) yt = Ds D xt on stationaarinen (iv) y t on SARMA(p,q)(P,Q) s -prosessi. Tällöin stokastinen prosessi x t on integroituva astetta h ja kausi-integroituva astetta H ja sanomme, että x t on SARIMA(p,h,q)(P,H,Q) s -prosessi. TKK (c) Ilkka Mellin (007) 18

129 Integroituvuus ja ARIMA-mallit SARIMA(p,h,q)(P,H,Q) s -malli / Jos stokastinen prosessi x t on SARIMA(p,h,q)(P,H,Q) s - prosessi, niin x t on epästationaarinen, mutta differenssi H h yt = Ds D xt on stationaarinen ja noudattaa SARMA(p,q)(P,Q) s -mallia. TKK (c) Ilkka Mellin (007) 19

130 Integroituvuus ja ARIMA-mallit SARIMA(p,h,q)(P,H,Q) s -malli: Kommentteja 1/ Empiiriset aikasarjat sisältävät usein epästationaarisen trendin eli aikasarjan tason systemaattisia muutoksia ja/tai epästationaarista kausivaihtelua. Epästationaariset aikasarjat voidaan kuitenkin monissa tilanteissa stationarisoida differensoimalla ja tuloksena olevaan aikasarjaan voidaan lisäksi sovittaa jokin SARMA(p,q)(P,Q) s -malli. Tällöin sanomme, että alkuperäiseen epästationaariseen aikasarjaan on sovitettu SARIMA(p,h,q)(P,H,Q) s -malli. TKK (c) Ilkka Mellin (007) 130

131 Integroituvuus ja ARIMA-mallit SARIMA(p,h,q)(P,H,Q) s -malli: Kommentteja / Kun SARIMA(p,h,q)(P,H,Q) s -malleja sovitetaan yhteiskunnallisiin (esim. taloudellisiin) aikasarjoihin, joudutaan aika harvoin käyttämään malleja, joissa differensointien kertaluvut tai viivepolynomien asteluvut eivät olisi pieniä kokonaislukuja. Usein riittää tarkastella seuraavia vaihtoehtoja: Differensointien kertaluvut: h = 0, 1 tai ; H = 0 tai 1 AR-osien asteluvut: p = 0, 1 tai ; P = 0 tai 1 MA-osien asteluvut: q = 0, 1 tai ; Q = 0 tai 1 TKK (c) Ilkka Mellin (007) 131

132 Integroituvuus ja ARIMA-mallit SARIMA(p,h,q)(P,H,Q) s -malli: Mallin rakentaminen Box ja Jenkins ovat esittäneet 1970 varsin menestyksellisen SARIMA(p,h,q)(P,H,Q) s -mallien rakentamisstrategian, joka esitellään seuraavassa kappaleessa. TKK (c) Ilkka Mellin (007) 13

133 ARMA-mallit ARMA-mallit ja niiden ominaisuudet ARMA-mallien auto- ja osittaisautokorrelaatiofunktiot ARMA-mallien spektri ARMA-mallien estimointi ja testaus Ennustaminen ARMA-malleilla Integroituvuus ja ARIMA-mallit >> Boxin ja Jenkinsin menetelmä Eksponentiaalinen tasoitus TKK (c) Ilkka Mellin (007) 133

134 Boxin ja Jenkinsin menetelmä Boxin ja Jenkinsin mallinrakennusstrategia Boxin ja Jenkinsin menetelmä on SARIMA-mallien rakentamisstrategia, joka sisältää seuraavat työvaiheet: (1) Mallin identifiointi () Mallin estimointi (3) Diagnostiset tarkistukset: Onko estimoitu mallin riittävä? Ei Palataan vaiheeseen (1) On Malli on valmis TKK (c) Ilkka Mellin (007) 134

135 Boxin ja Jenkinsin menetelmä Vaihe (1): Mallin identifiointi SARIMA-mallin identifioinnilla tarkoitetaan seuraavien valintojen tekemistä: (i) Aikasarjan stationarisoimiseksi mahdollisesti tarvittavien differensointien kertalukujen valinta. (ii) SARMA-mallin viivepolynomien astelukujen valinta. TKK (c) Ilkka Mellin (007) 135

136 Boxin ja Jenkinsin menetelmä Vaihe (1): Mallin identifiointi: Differensointien kertaluvut 1/ Empiirisiä aikasarjoja joudutaan stationaarisuuden saavuttamiseksi hyvin usein differensoimaan (mahdollisesti yhdistettynä logaritmointiin). Differensointien kertalukujen valinta perustuu seuraavien graafisten työkalujen käyttöön: Aikasarjan kuvaaja Autokorrelaatiofunktion kuvaaja Osittaisautokorrelaatiofunktion kuvaaja Spektrin kuvaaja TKK (c) Ilkka Mellin (007) 136

ARMA mallien ominaisuudet ja rakentaminen

ARMA mallien ominaisuudet ja rakentaminen MS-C2128 Ennustaminen ja Aikasarja-analyysi, Lauri Viitasaari Matematiikan ja systeemianalyysin laitos Perustieteiden korkeakoulu Aalto-yliopisto Syksy 2016 Viikko 4: 1 ARMA-mallien ominaisuudet 1 Stationaaristen

Lisätiedot

Stationaariset stokastiset prosessit ja ARMA-mallit

Stationaariset stokastiset prosessit ja ARMA-mallit Stationaariset stokastiset prosessit ja ARMA-mallit MS-C2128 Ennustaminen ja Aikasarja-analyysi, Heikki Seppälä Matematiikan ja systeemianalyysin laitos Perustieteiden korkeakoulu Aalto-yliopisto Syksy

Lisätiedot

STOKASTISET PROSESSIT

STOKASTISET PROSESSIT TEORIA STOKASTISET PROSESSIT Satunnaisuutta sisältävän tapahtumasarjan kulkua koskevaa havaintosarjaa sanotaan aikasarjaksi. Sana korostaa empiirisen, kokeellisesti havaitun tiedon luonnetta. Aikasarjan

Lisätiedot

ARMA mallien ominaisuudet ja rakentaminen

ARMA mallien ominaisuudet ja rakentaminen MS-C2128 Ennustaminen ja Aikasarja-analyysi, Lauri Viitasaari Matematiikan ja systeemianalyysin laitos Perustieteiden korkeakoulu Aalto-yliopisto Syksy 2017 Viikko 4: 1 ARMA-mallien ominaisuudet 1 Stationaaristen

Lisätiedot

Ennustaminen ARMA malleilla ja Kalmanin suodin

Ennustaminen ARMA malleilla ja Kalmanin suodin Ennustaminen ARMA malleilla ja Kalmanin suodin MS-C2128 Ennustaminen ja Aikasarja-analyysi, Lauri Viitasaari Matematiikan ja systeemianalyysin laitos Perustieteiden korkeakoulu Aalto-yliopisto Syksy 2017

Lisätiedot

Dynaamiset regressiomallit

Dynaamiset regressiomallit MS-C2128 Ennustaminen ja Aikasarja-analyysi, Lauri Viitasaari Matematiikan ja systeemianalyysin laitos Perustieteiden korkeakoulu Aalto-yliopisto Syksy 2016 Tilastolliset aikasarjat voidaan jakaa kahteen

Lisätiedot

Ilkka Mellin Aikasarja-analyysi Aikasarjat

Ilkka Mellin Aikasarja-analyysi Aikasarjat Ilkka Mellin Aikasarja-analyysi Aikasarjat TKK (c) Ilkka Mellin (2007) 1 Aikasarjat >> Aikasarjat: Johdanto Aikasarjojen esikäsittely Aikasarjojen dekomponointi TKK (c) Ilkka Mellin (2007) 2 Aikasarjat:

Lisätiedot

6.5.2 Tapering-menetelmä

6.5.2 Tapering-menetelmä 6.5.2 Tapering-menetelmä Määritelmä 6.7. Tapering on spektrin estimointimenetelmä, jossa estimaattori on muotoa f m (ω) = 1 m ( ) k w 2π m Γ(k)e ikω, k= m missä Γ on otosautokovarianssifunktio ja ikkunafunktio

Lisätiedot

Kertaus. MS-C2128 Ennustaminen ja Aikasarja-analyysi, Heikki Seppälä

Kertaus. MS-C2128 Ennustaminen ja Aikasarja-analyysi, Heikki Seppälä MS-C2128 Ennustaminen ja Aikasarja-analyysi, Heikki Seppälä Matematiikan ja systeemianalyysin laitos Perustieteiden korkeakoulu Aalto-yliopisto Syksy 2015 Viikko 1: Yleinen lineaarinen malli 1 Määritelmä

Lisätiedot

Moniulotteiset aikasarjat

Moniulotteiset aikasarjat Moniulotteiset aikasarjat Pentti Saikkonen Syksy 2011 Päivitetty versio 17.1.2016 Sisältö 1. Johdanto 1 1.1. Taustaa 1 1.2. Stokastinen prosessi 2 2. Stationaariset prosessit 4 2.1. Määritelmiä 4 2.2.

Lisätiedot

Kuva 3.1: Näyte Gaussisesta valkoisest kohinasta ε t N(0, 1) Aika t

Kuva 3.1: Näyte Gaussisesta valkoisest kohinasta ε t N(0, 1) Aika t Kuva 3.1: Näyte Gaussisesta valkoisest kohinasta ε t N(0, 1) Valkoinen kohina ε t 2 1 0 1 2 Voimme tehdä saman laskun myös yleiselle välille [ a, a], missä 0 < a

Lisätiedot

Työ 2: 1) Sähkönkulutuksen ennustaminen SARIMAX-mallin avulla 2) Sähkön hankinnan optimointi

Työ 2: 1) Sähkönkulutuksen ennustaminen SARIMAX-mallin avulla 2) Sähkön hankinnan optimointi Ma-2.3132 Syseemianalyysilaboraorio I Työ 2: 1) Sähkönkuluuksen ennusaminen SARIMAX-mallin avulla 2) Sähkön hankinnan opimoini 1 yö 2 Aikasarjamalli erään yriyksen sähkönkuluukselle SARIMAX-malli: kausivaihelu,

Lisätiedot

8. Muita stokastisia malleja 8.1 Epölineaariset mallit ARCH ja GARCH

8. Muita stokastisia malleja 8.1 Epölineaariset mallit ARCH ja GARCH 8. Muita stokastisia malleja 8.1 Epölineaariset mallit ARCH ja GARCH Osa aikasarjoista kehittyy hyvin erityyppisesti erilaisissa tilanteissa. Esimerkiksi pörssikurssien epävakaus keskittyy usein lyhyisiin

Lisätiedot

Kertaus. MS-C2128 Ennustaminen ja Aikasarja-analyysi, Lauri Viitasaari

Kertaus. MS-C2128 Ennustaminen ja Aikasarja-analyysi, Lauri Viitasaari MS-C2128 Ennustaminen ja Aikasarja-analyysi, Lauri Viitasaari Matematiikan ja systeemianalyysin laitos Perustieteiden korkeakoulu Aalto-yliopisto Syksy 2017 Viikko 1: Yleinen lineaarinen malli 1 Määritelmä

Lisätiedot

Ilkka Mellin Aikasarja-analyysi Stationaariset stokastiset prosessit

Ilkka Mellin Aikasarja-analyysi Stationaariset stokastiset prosessit Ilkka Mellin Aikasarja-analyysi Stationaariset stokastiset prosessit TKK (c) Ilkka Mellin (2007) 1 Stationaariset stokastiset prosessit >> Stationaariset stokastiset prosessit Integroituvuus Korrelaatiofunktioiden

Lisätiedot

Regressioanalyysi. Kuusinen/Heliövaara 1

Regressioanalyysi. Kuusinen/Heliövaara 1 Regressioanalyysi Kuusinen/Heliövaara 1 Regressioanalyysin idea ja tavoitteet Regressioanalyysin idea: Oletetaan, että haluamme selittää jonkin selitettävän muuttujan havaittujen arvojen vaihtelun joidenkin

Lisätiedot

MS-C2128 Ennustaminen ja aikasarja-analyysi ARMA esimerkkejä

MS-C2128 Ennustaminen ja aikasarja-analyysi ARMA esimerkkejä MS-C2128 Ennustaminen ja aikasarja-analyysi ARMA esimerkkejä Tehtävä 4.1. Ncss-ohjelmiston avulla on generoitu AR(1)-, AR(2)-, MA(1)- ja MA(2)-malleja vastaavia aikasarjoja erilaisilla parametrien arvoilla.

Lisätiedot

3. Teoriaharjoitukset

3. Teoriaharjoitukset 3. Teoriaharjoitukset Demotehtävät 3.1 a Olkoot u ja v satunnaumuuttujia, joilla on seuraavat ominaisuudet: E(u = E(v = 0 Var(u = Var(v = σ 2 Cov(u, v = E(uv = 0 Näytä että deterministinen prosessi. x

Lisätiedot

Vastaavasti voidaan määritellä korkeamman kertaluvun autoregressiiviset prosessit.

Vastaavasti voidaan määritellä korkeamman kertaluvun autoregressiiviset prosessit. Autokovarianssi: (kun τ 0) Γ t (τ) = E[(X t µ t )(X t τ µ t τ )] ( ) ( = E[ φ k ε t k φ j ε t τ j )] = = j=0 φ j+k E[ε t k ε t τ j ] k,j=0 φ j+k σ 2 δ k,τ+j k,j=0 = σ 2 φ j+k δ k,τ+j = = k,j=0 φ τ+2j I

Lisätiedot

Moniulotteisia todennäköisyysjakaumia. Moniulotteisia todennäköisyysjakaumia. Moniulotteisia todennäköisyysjakaumia: Mitä opimme?

Moniulotteisia todennäköisyysjakaumia. Moniulotteisia todennäköisyysjakaumia. Moniulotteisia todennäköisyysjakaumia: Mitä opimme? TKK (c) Ilkka Mellin (4) Moniulotteisia todennäköisyysjakaumia Johdatus todennäköisyyslaskentaan Moniulotteisia todennäköisyysjakaumia TKK (c) Ilkka Mellin (4) Moniulotteisia todennäköisyysjakaumia: Mitä

Lisätiedot

ARIMA- ja GARCH-mallit sekä mallin sovittaminen osakeaineistoon

ARIMA- ja GARCH-mallit sekä mallin sovittaminen osakeaineistoon TAMPEREEN YLIOPISTO Pro gradu -tutkielma Laura Lizana Bister ARIMA- ja GARCH-mallit sekä mallin sovittaminen osakeaineistoon Informaatiotieteiden laitos Matematiikka Syyskuu 2011 Tampereen yliopisto Informaatiotieteiden

Lisätiedot

Ilkka Mellin Aikasarja-analyysi. Dynaamiset regressiomallit. TKK (c) Ilkka Mellin (2006) 1

Ilkka Mellin Aikasarja-analyysi. Dynaamiset regressiomallit. TKK (c) Ilkka Mellin (2006) 1 Ilkka Mellin Aikasarja-analyysi Dynaamiset regressiomallit TKK (c) Ilkka Mellin (2006) 1 Dynaamiset regressiomallit >> Staattiset vs dynaamiset regressiomallit Siirtofunktio-kohina-malli Siirtofunktio-kohina-mallin

Lisätiedot

Ilkka Mellin Tilastolliset menetelmät Osa 2: Otokset, otosjakaumat ja estimointi Estimointi

Ilkka Mellin Tilastolliset menetelmät Osa 2: Otokset, otosjakaumat ja estimointi Estimointi Ilkka Mellin Tilastolliset menetelmät Osa 2: Otokset, otosjakaumat ja estimointi Estimointi TKK (c) Ilkka Mellin (2006) 1 Estimointi >> Todennäköisyysjakaumien parametrit ja niiden estimointi Hyvän estimaattorin

Lisätiedot

Osa 2: Otokset, otosjakaumat ja estimointi

Osa 2: Otokset, otosjakaumat ja estimointi Ilkka Mellin Tilastolliset menetelmät Osa 2: Otokset, otosjakaumat ja estimointi Estimointi TKK (c) Ilkka Mellin (2007) 1 Estimointi >> Todennäköisyysjakaumien parametrit ja niiden estimointi Hyvän estimaattorin

Lisätiedot

4. Tietokoneharjoitukset

4. Tietokoneharjoitukset 4. Tietokoneharjoitukset Demotehtävät 4.1 Tarkastellaan seuraavia aikasarjoja. Tiedosto (.txt) Muuttuja Kuvaus Havaintoväli Aikasarjan pituus INTEL Intel_Close Intelin osakekurssi Pörssipäivä n = 20 Intel_Volume

Lisätiedot

Moniulotteisia todennäköisyysjakaumia

Moniulotteisia todennäköisyysjakaumia Ilkka Mellin Todennäköisyyslaskenta Osa 3: Todennäköisyysjakaumia Moniulotteisia todennäköisyysjakaumia TKK (c) Ilkka Mellin (007) 1 Moniulotteisia todennäköisyysjakaumia >> Multinomijakauma Kaksiulotteinen

Lisätiedot

Johdatus tilastotieteeseen Estimointi. TKK (c) Ilkka Mellin (2005) 1

Johdatus tilastotieteeseen Estimointi. TKK (c) Ilkka Mellin (2005) 1 Johdatus tilastotieteeseen Estimointi TKK (c) Ilkka Mellin (2005) 1 Estimointi Todennäköisyysjakaumien parametrit ja niiden estimointi Hyvän estimaattorin ominaisuudet TKK (c) Ilkka Mellin (2005) 2 Estimointi:

Lisätiedot

4. Tietokoneharjoitukset

4. Tietokoneharjoitukset 4. Tietokoneharjoitukset Demotehtävät 4.1 Tarkastellaan seuraavia aikasarjoja. Tiedosto (.txt) Muuttuja Kuvaus Havaintoväli Aikasarjan pituus INTEL Intel_Close Intelin osakekurssi Pörssipäivä n = 20 Intel_Volume

Lisätiedot

Johdatus todennäköisyyslaskentaan Moniulotteisia todennäköisyysjakaumia. TKK (c) Ilkka Mellin (2005) 1

Johdatus todennäköisyyslaskentaan Moniulotteisia todennäköisyysjakaumia. TKK (c) Ilkka Mellin (2005) 1 Johdatus todennäköisyyslaskentaan Moniulotteisia todennäköisyysjakaumia TKK (c) Ilkka Mellin (005) 1 Moniulotteisia todennäköisyysjakaumia Multinomijakauma Kaksiulotteinen normaalijakauma TKK (c) Ilkka

Lisätiedot

805324A (805679S) Aikasarja-analyysi Harjoitus 6 (2016)

805324A (805679S) Aikasarja-analyysi Harjoitus 6 (2016) 805324A (805679S) Aikasarja-analyysi Harjoitus 6 (2016) Tavoitteet (teoria): Hahmottaa aikasarjan klassiset komponentit ideaalisessa tilanteessa. Ymmärtää viivekuvauksen vaikutus trendiin. ARCH-prosessin

Lisätiedot

Ilkka Mellin Todennäköisyyslaskenta. Osa 2: Satunnaismuuttujat ja todennäköisyysjakaumat. Momenttiemäfunktio ja karakteristinen funktio

Ilkka Mellin Todennäköisyyslaskenta. Osa 2: Satunnaismuuttujat ja todennäköisyysjakaumat. Momenttiemäfunktio ja karakteristinen funktio Ilkka Mellin Todennäköisyyslaskenta Osa : Satunnaismuuttujat ja todennäköisyysjakaumat Momenttiemäfunktio ja karakteristinen funktio TKK (c) Ilkka Mellin (7) 1 Momenttiemäfunktio ja karakteristinen funktio

Lisätiedot

ARMA mallien rakentaminen, Kalmanin suodatin

ARMA mallien rakentaminen, Kalmanin suodatin ARMA mallien rakentaminen, Kalmanin suodatin MS-C2128 Ennustaminen ja Aikasarja-analyysi, Lauri Viitasaari Matematiikan ja systeemianalyysin laitos Perustieteiden korkeakoulu Aalto-yliopisto Syksy 2016

Lisätiedot

Testejä suhdeasteikollisille muuttujille

Testejä suhdeasteikollisille muuttujille Ilkka Mellin Tilastolliset menetelmät Osa 3: Tilastolliset testit Testejä suhdeasteikollisille muuttujille TKK (c) Ilkka Mellin (007) 1 Testejä suhdeasteikollisille muuttujille >> Testit normaalijakauman

Lisätiedot

Estimointi. Estimointi. Estimointi: Mitä opimme? 2/4. Estimointi: Mitä opimme? 1/4. Estimointi: Mitä opimme? 3/4. Estimointi: Mitä opimme?

Estimointi. Estimointi. Estimointi: Mitä opimme? 2/4. Estimointi: Mitä opimme? 1/4. Estimointi: Mitä opimme? 3/4. Estimointi: Mitä opimme? TKK (c) Ilkka Mellin (2004) 1 Johdatus tilastotieteeseen TKK (c) Ilkka Mellin (2004) 2 Mitä opimme? 1/4 Tilastollisen tutkimuksen tavoitteena on tehdä johtopäätöksiä prosesseista, jotka generoivat reaalimaailman

Lisätiedot

Regressioanalyysi. Vilkkumaa / Kuusinen 1

Regressioanalyysi. Vilkkumaa / Kuusinen 1 Regressioanalyysi Vilkkumaa / Kuusinen 1 Regressioanalyysin idea ja tavoitteet Regressioanalyysin idea: Halutaan selittää selitettävän muuttujan havaittujen arvojen vaihtelua selittävien muuttujien havaittujen

Lisätiedot

Ilkka Keskiväli Kiinan energiankäytön aikasarja-analysointi

Ilkka Keskiväli Kiinan energiankäytön aikasarja-analysointi PRO GRADU -TUTKIELMA Ilkka Keskiväli Kiinan energiankäytön aikasarja-analysointi TAMPEREEN YLIOPISTO Informaatiotieteiden yksikkö Tilastotiede Joulukuu 2012 2 Tampereen yliopisto Informaatiotieteiden yksikkö

Lisätiedot

Ilkka Mellin Todennäköisyyslaskenta Osa 3: Todennäköisyysjakaumia Moniulotteisia todennäköisyysjakaumia

Ilkka Mellin Todennäköisyyslaskenta Osa 3: Todennäköisyysjakaumia Moniulotteisia todennäköisyysjakaumia Ilkka Mellin Todennäköisyyslaskenta Osa 3: Todennäköisyysjakaumia Moniulotteisia todennäköisyysjakaumia TKK (c) Ilkka Mellin (006) 1 Moniulotteisia todennäköisyysjakaumia >> Multinomijakauma Kaksiulotteinen

Lisätiedot

9. Tila-avaruusmallit

9. Tila-avaruusmallit 9. Tila-avaruusmallit Aikasarjan stokastinen malli ja aikasarjasta tehdyt havainnot voidaan esittää joustavassa ja monipuolisessa muodossa ns. tila-avaruusmallina. Useat aikasarjat edustavat dynaamisia

Lisätiedot

Johdatus todennäköisyyslaskentaan Momenttiemäfunktio ja karakteristinen funktio. TKK (c) Ilkka Mellin (2005) 1

Johdatus todennäköisyyslaskentaan Momenttiemäfunktio ja karakteristinen funktio. TKK (c) Ilkka Mellin (2005) 1 Johdatus todennäköisyyslaskentaan Momenttiemäfunktio ja karakteristinen funktio TKK (c) Ilkka Mellin (5) 1 Momenttiemäfunktio ja karakteristinen funktio Momenttiemäfunktio Diskreettien jakaumien momenttiemäfunktioita

Lisätiedot

Auringonpilkkujen jaksollisuus

Auringonpilkkujen jaksollisuus Mat-2.108 Sovelletun matematiikan erikoistyöt 16.1.2004 Auringonpilkkujen jaksollisuus Teknillinen korkeakoulu Systeemianalyysin laboratorio Keijo Jaakola 51624B 1 1. Johdanto...3 2. Aikasarjamalleja...3

Lisätiedot

Aikasarjamallit. Pekka Hjelt

Aikasarjamallit. Pekka Hjelt Pekka Hjelt Aikasarjamallit Aikasarja koostuu järjestyksessä olevista havainnoista, ja yleensä se on tasavälinen ja diskreetti eli havaintopisteet ovat erillisiä. Lisäksi aikasarjassa on yleensä autokorrelaatiota

Lisätiedot

4.0.2 Kuinka hyvä ennuste on?

4.0.2 Kuinka hyvä ennuste on? Luonteva ennuste on käyttää yhtälöä (4.0.1), jolloin estimaattori on muotoa X t = c + φ 1 X t 1 + + φ p X t p ja estimointivirheen varianssi on σ 2. X t }{{} todellinen arvo Xt }{{} esimaattori = ε t Esimerkki

Lisätiedot

Ilkka Mellin Tilastolliset menetelmät. Osa 3: Tilastolliset testit. Tilastollinen testaus. TKK (c) Ilkka Mellin (2007) 1

Ilkka Mellin Tilastolliset menetelmät. Osa 3: Tilastolliset testit. Tilastollinen testaus. TKK (c) Ilkka Mellin (2007) 1 Ilkka Mellin Tilastolliset menetelmät Osa 3: Tilastolliset testit Tilastollinen testaus TKK (c) Ilkka Mellin (2007) 1 Tilastolliset testit >> Tilastollinen testaus Tilastolliset hypoteesit Tilastolliset

Lisätiedot

805324A (805679S) Aikasarja-analyysi Harjoitus 4 (2016)

805324A (805679S) Aikasarja-analyysi Harjoitus 4 (2016) 805324A (805679S) Aikasarja-analyysi Harjoitus 4 (2016) Tavoitteet (teoria): Hallita autokovarianssifunktion ominaisuuksien tarkastelu. Osata laskea autokovarianssifunktion spektriiheysfunktio. Tavoitteet

Lisätiedot

Viikon 5 harjoituksissa käytämme samoja aikasarjoja kuin viikolla 4. Tiedosto Muuttuja Kuvaus Havaintoväli Aikasarjan pituus

Viikon 5 harjoituksissa käytämme samoja aikasarjoja kuin viikolla 4. Tiedosto Muuttuja Kuvaus Havaintoväli Aikasarjan pituus MS-C2128 Ennustaminen ja aikasarja-analyysi 5. harjoitukset / Tehtävät Kotitehtävät: 2 Aihe: ARMA-mallit Viikon 5 harjoituksissa käytämme samoja aikasarjoja kuin viikolla 4. Tehtävä 5.1. Tarkastellaan

Lisätiedot

Testit järjestysasteikollisille muuttujille

Testit järjestysasteikollisille muuttujille Ilkka Mellin Tilastolliset menetelmät Osa 3: Tilastolliset testit Testit järjestysasteikollisille muuttujille TKK (c) Ilkka Mellin (2007) 1 Testit järjestysasteikollisille muuttujille >> Järjestysasteikollisten

Lisätiedot

Dynaamiset regressiomallit

Dynaamiset regressiomallit MS-C2128 Ennustaminen ja Aikasarja-analyysi, Heikki Seppälä Matematiikan ja systeemianalyysin laitos Perustieteiden korkeakoulu Aalto-yliopisto Syksy 2015 Viikko 6: 1 Kalmanin suodatin Aiemmin käsitellyt

Lisätiedot

Harjoitus 9: Excel - Tilastollinen analyysi

Harjoitus 9: Excel - Tilastollinen analyysi Harjoitus 9: Excel - Tilastollinen analyysi Mat-2.2107 Sovelletun matematiikan tietokonetyöt Syksy 2006 Mat-2.2107 Sovelletun matematiikan tietokonetyöt 1 Harjoituksen aiheita Tutustuminen regressioanalyysiin

Lisätiedot

ARMA mallien rakentaminen, johdatus dynaamisiin regressiomalle

ARMA mallien rakentaminen, johdatus dynaamisiin regressiomalle ARMA mallien rakentaminen, johdatus dynaamisiin regressiomalleihin MS-C2128 Ennustaminen ja Aikasarja-analyysi, Heikki Seppälä Matematiikan ja systeemianalyysin laitos Perustieteiden korkeakoulu Aalto-yliopisto

Lisätiedot

805306A Johdatus monimuuttujamenetelmiin, 5 op

805306A Johdatus monimuuttujamenetelmiin, 5 op monimuuttujamenetelmiin, 5 op syksy 2018 Matemaattisten tieteiden laitos Lineaarinen erotteluanalyysi (LDA, Linear discriminant analysis) Erotteluanalyysin avulla pyritään muodostamaan selittävistä muuttujista

Lisätiedot

Signaalimallit: sisältö

Signaalimallit: sisältö Signaalimallit: sisältö Motivaationa häiriöiden kuvaaminen ja rekonstruointi Signaalien kuvaaminen aikatasossa, determinisitinen vs. stokastinen Signaalien kuvaaminen taajuustasossa Fourier-muunnos Deterministisen

Lisätiedot

Yhden selittäjän lineaarinen regressiomalli (jatkoa) Ensi viikolla ei pidetä luentoa eikä harjoituksia. Heliövaara 1

Yhden selittäjän lineaarinen regressiomalli (jatkoa) Ensi viikolla ei pidetä luentoa eikä harjoituksia. Heliövaara 1 Yhden selittäjän lineaarinen regressiomalli (jatkoa) Ensi viikolla ei pidetä luentoa eikä harjoituksia Heliövaara 1 Regressiokertoimien PNS-estimaattorit Määritellään havaintojen x j ja y j, j = 1, 2,...,n

Lisätiedot

Johdatus regressioanalyysiin. Heliövaara 1

Johdatus regressioanalyysiin. Heliövaara 1 Johdatus regressioanalyysiin Heliövaara 1 Regressioanalyysin idea Oletetaan, että haluamme selittää jonkin selitettävän muuttujan havaittujen arvojen vaihtelun selittävien muuttujien havaittujen arvojen

Lisätiedot

6.1 Autokovarianssifunktion karakterisaatio aikatasossa

6.1 Autokovarianssifunktion karakterisaatio aikatasossa 6. Spektraalianalyysi Tällä kurssilla on käyty läpi eräitä stationääristen aikasarjojen ominaispiirteitä, kuten aikasarjaa mallintavan stokastisen prosessin X t odotusarvo E[X t ] ja autokovarianssifunktio

Lisätiedot

Johdatus todennäköisyyslaskentaan Normaalijakaumasta johdettuja jakaumia. TKK (c) Ilkka Mellin (2005) 1

Johdatus todennäköisyyslaskentaan Normaalijakaumasta johdettuja jakaumia. TKK (c) Ilkka Mellin (2005) 1 Johdatus todennäköisyyslaskentaan Normaalijakaumasta johdettuja jakaumia TKK (c) Ilkka Mellin (2005) 1 Normaalijakaumasta johdettuja jakaumia Johdanto χ 2 -jakauma F-jakauma t-jakauma TKK (c) Ilkka Mellin

Lisätiedot

6.2.3 Spektrikertymäfunktio

6.2.3 Spektrikertymäfunktio ja prosessin (I + θl + + θl q )ε t spektritiheysfunktio on Lemman 6. ja Esimerkin 6.4 nojalla σ π 1 + θ 1e iω + + θ q e iqω. Koska viivepolynomien avulla määritellyt prosessit yhtyvät, niin myös niiden

Lisätiedot

Tiedosto Muuttuja Kuvaus Havaintoväli Aikasarjan pituus. Intelin osakekurssi. (Pörssi-) päivä n = 20 Intel_Volume. Auringonpilkkujen määrä

Tiedosto Muuttuja Kuvaus Havaintoväli Aikasarjan pituus. Intelin osakekurssi. (Pörssi-) päivä n = 20 Intel_Volume. Auringonpilkkujen määrä MS-C2128 Ennustaminen ja aikasarja-analyysi 4. harjoitukset / Tehtävät Kotitehtävät: 3, 5 Aihe: ARMA-mallit Tehtävä 4.1. Tutustu seuraaviin aikasarjoihin: Tiedosto Muuttuja Kuvaus Havaintoväli Aikasarjan

Lisätiedot

Dynaamisten systeemien identifiointi 1/2

Dynaamisten systeemien identifiointi 1/2 Dynaamisten systeemien identifiointi 1/2 Mallin rakentaminen mittausten avulla Epäparametriset menetelmät: tuloksena malli, joka ei perustu parametreille impulssi-, askel- tai taajusvaste siirtofunktion

Lisätiedot

Maximum likelihood-estimointi Alkeet

Maximum likelihood-estimointi Alkeet Maximum likelihood-estimointi Alkeet Keijo Ruotsalainen Oulun yliopisto, Teknillinen tiedekunta Matematiikan jaos Maximum likelihood-estimointi p.1/20 Maximum Likelihood-estimointi satunnaismuuttujan X

Lisätiedot

ABHELSINKI UNIVERSITY OF TECHNOLOGY

ABHELSINKI UNIVERSITY OF TECHNOLOGY Johdatus regressioanalyysiin Regressioanalyysin idea Oletetaan, että haluamme selittää jonkin selitettävän muuttujan havaittujen arvojen vaihtelun selittävien muuttujien havaittujen arvojen vaihtelun avulla.

Lisätiedot

P(X = x T (X ) = t, θ) = p(x = x T (X ) = t) ei riipu tuntemattomasta θ:sta. Silloin uskottavuusfunktio faktorisoituu

P(X = x T (X ) = t, θ) = p(x = x T (X ) = t) ei riipu tuntemattomasta θ:sta. Silloin uskottavuusfunktio faktorisoituu 1. Tyhjentävä tunnusluku (sucient statistics ) Olkoon (P(X = x θ) : θ Θ) todennäköisyysmalli havainnolle X. Datan funktio T (X ) on Tyhjentävä tunnusluku jos ehdollinen todennäköisyys (ehdollinen tiheysfunktio)

Lisätiedot

11 Raja-arvolauseita ja approksimaatioita

11 Raja-arvolauseita ja approksimaatioita 11 Raja-arvolauseita ja approksimaatioita Tässä luvussa esitellään sellaisia kuuluisia todennäköisyysteorian raja-arvolauseita, joita sovelletaan usein tilastollisessa päättelyssä. Näiden raja-arvolauseiden

Lisätiedot

FUNKTIONAALIANALYYSIN PERUSKURSSI 1. 0. Johdanto

FUNKTIONAALIANALYYSIN PERUSKURSSI 1. 0. Johdanto FUNKTIONAALIANALYYSIN PERUSKURSSI 1. Johdanto Funktionaalianalyysissa tutkitaan muun muassa ääretönulotteisten vektoriavaruuksien, ja erityisesti täydellisten normiavaruuksien eli Banach avaruuksien ominaisuuksia.

Lisätiedot

Tilastollisen analyysin perusteet Luento 7: Lineaarinen regressio

Tilastollisen analyysin perusteet Luento 7: Lineaarinen regressio Tilastollisen analyysin perusteet Luento 7: Lineaarinen regressio Sisältö Regressioanalyysissä tavoitteena on tutkia yhden tai useamman selittävän muuttujan vaikutusta selitettävään muuttujaan. Sen avulla

Lisätiedot

4 Korkeamman kertaluvun lineaariset differentiaaliyhtälöt

4 Korkeamman kertaluvun lineaariset differentiaaliyhtälöt 4 Korkeamman kertaluvun lineaariset differentiaaliyhtälöt 4.1 Homogeeniset lineaariset differentiaaliyhtälöt Homogeeninen yhtälö on muotoa F(x, y,, y (n) ) = 0. (1) Yhtälö on lineaarinen, jos se voidaan

Lisätiedot

Viikko 2: Ensimmäiset ennustajat Matti Kääriäinen matti.kaariainen@cs.helsinki.fi

Viikko 2: Ensimmäiset ennustajat Matti Kääriäinen matti.kaariainen@cs.helsinki.fi Viikko 2: Ensimmäiset ennustajat Matti Kääriäinen matti.kaariainen@cs.helsinki.fi Exactum C222, 5.-7.11.2008. 1 Tällä viikolla Sisältösuunnitelma: Ennustamisstrategioista Koneoppimismenetelmiä: k-nn (luokittelu

Lisätiedot

Missä mennään. systeemi. identifiointi. mallikandidaatti. validointi. malli. (fysikaalinen) mallintaminen. mallin mallin käyttötarkoitus, reunaehdot

Missä mennään. systeemi. identifiointi. mallikandidaatti. validointi. malli. (fysikaalinen) mallintaminen. mallin mallin käyttötarkoitus, reunaehdot Missä mennään systeemi mallin mallin käyttötarkoitus, reunaehdot käyttö- (fysikaalinen) mallintaminen luonnonlait yms. yms. identifiointi kokeita kokeita + päättely päättely vertailu mallikandidaatti validointi

Lisätiedot

Erityiskysymyksiä yleisen lineaarisen mallin soveltamisessa

Erityiskysymyksiä yleisen lineaarisen mallin soveltamisessa Ilkka Mellin Tilastolliset menetelmät Osa 4: Lineaarinen regressioanalyysi Erityiskysymyksiä yleisen lineaarisen mallin soveltamisessa TKK (c) Ilkka Mellin (2007) 1 Erityiskysymyksiä yleisen lineaarisen

Lisätiedot

Hypoteesin testaus Alkeet

Hypoteesin testaus Alkeet Hypoteesin testaus Alkeet Keijo Ruotsalainen Oulun yliopisto, Teknillinen tiedekunta Matematiikan jaos Johdanto Kokeellinen tutkimus: Varmennetaan teoreettista olettamusta fysikaalisen systeemin käyttäytymisestä

Lisätiedot

Ensimmäisen ja toisen kertaluvun differentiaaliyhtälöistä

Ensimmäisen ja toisen kertaluvun differentiaaliyhtälöistä 1 MAT-1345 LAAJA MATEMATIIKKA 5 Tampereen teknillinen yliopisto Risto Silvennoinen Kevät 9 Ensimmäisen ja toisen kertaluvun differentiaaliyhtälöistä Yksi tavallisimmista luonnontieteissä ja tekniikassa

Lisätiedot

3.6 Su-estimaattorien asymptotiikka

3.6 Su-estimaattorien asymptotiikka 3.6 Su-estimaattorien asymptotiikka su-estimaattorit ovat usein olleet puutteellisia : ne ovat usein harhaisia ja eikä ne välttämättä ole täystehokkaita asymptoottisilta ominaisuuksiltaan ne ovat yleensä

Lisätiedot

3. Tietokoneharjoitukset

3. Tietokoneharjoitukset 3. Tietokoneharjoitukset Aikasarjan logaritmointi Aikasarjoja analysoidaan usein logaritmisessa muodossa. Asialooginen perustelu logaritmoinnille: Muuttujan arvojen suhteelliset muutokset ovat usein tärkeämpiä

Lisätiedot

031021P Tilastomatematiikka (5 op) kertausta 2. vk:een

031021P Tilastomatematiikka (5 op) kertausta 2. vk:een 031021P Tilastomatematiikka (5 op) kertausta 2. vk:een Jukka Kemppainen Mathematics Division 2. välikokeeseen Toinen välikoe on la 5.4.2014 klo. 9.00-12.00 saleissa L1,L3 Koealue: luentojen luvut 7-11

Lisätiedot

Tilastotieteen aihehakemisto

Tilastotieteen aihehakemisto Tilastotieteen aihehakemisto hakusana ARIMA ARMA autokorrelaatio autokovarianssi autoregressiivinen malli Bayes-verkot, alkeet TILS350 Bayes-tilastotiede 2 Bayes-verkot, kausaalitulkinta bootstrap, alkeet

Lisätiedot

Johdatus tilastotieteeseen Yhden selittäjän lineaarinen regressiomalli. TKK (c) Ilkka Mellin (2005) 1

Johdatus tilastotieteeseen Yhden selittäjän lineaarinen regressiomalli. TKK (c) Ilkka Mellin (2005) 1 Johdatus tilastotieteesee Yhde selittää lieaarie regressiomalli TKK (c) Ilkka Melli (2005) Yhde selittää lieaarie regressiomalli Yhde selittää lieaarie regressiomalli a sitä koskevat oletukset Yhde selittää

Lisätiedot

805324A (805679S) Aikasarja-analyysi Harjoitus 3 (2016)

805324A (805679S) Aikasarja-analyysi Harjoitus 3 (2016) 805324A (805679S) Aikasarja-analyysi Harjoitus 3 (2016) Tavoitteet (teoria): Hallita multinormaalijakauman määritelmä. Ymmärtää likelihood-funktion ja todennäköisyystiheysfunktion ero. Oppia kirjoittamaan

Lisätiedot

Johdatus tilastotieteeseen Yleinen lineaarinen malli. TKK (c) Ilkka Mellin (2004) 1

Johdatus tilastotieteeseen Yleinen lineaarinen malli. TKK (c) Ilkka Mellin (2004) 1 Johdatus tilastotieteeseen Yleinen lineaarinen malli TKK (c) Ilkka Mellin (2004) 1 Yleinen lineaarinen malli Usean selittäjän lineaarinen regressiomalli Yleisen lineaarisen mallin matriisisesitys Yleisen

Lisätiedot

Otoskoko 107 kpl. a) 27 b) 2654

Otoskoko 107 kpl. a) 27 b) 2654 1. Tietyllä koneella valmistettavien tiivisterenkaiden halkaisijan keskihajonnan tiedetään olevan 0.04 tuumaa. Kyseisellä koneella valmistettujen 100 renkaan halkaisijoiden keskiarvo oli 0.60 tuumaa. Määrää

Lisätiedot

Normaalijakaumasta johdettuja jakaumia

Normaalijakaumasta johdettuja jakaumia Ilkka Mellin Todennäköisyyslaskenta Osa 3: Todennäköisyysjakaumia Normaalijakaumasta johdettuja jakaumia TKK (c) Ilkka Mellin (2007) 1 Normaalijakaumasta johdettuja jakaumia >> Johdanto χ 2 -jakauma F-jakauma

Lisätiedot

PERUSASIOITA ALGEBRASTA

PERUSASIOITA ALGEBRASTA PERUSASIOITA ALGEBRASTA Matti Lehtinen Tässä luetellut lauseet ja käsitteet kattavat suunnilleen sen mitä algebrallisissa kilpatehtävissä edellytetään. Ns. algebrallisia struktuureja jotka ovat nykyaikaisen

Lisätiedot

4. Ensimmäisen ja toisen kertaluvun differentiaaliyhtälöistä

4. Ensimmäisen ja toisen kertaluvun differentiaaliyhtälöistä 1 Laaja matematiikka 5 Kevät 010 4. Ensimmäisen ja toisen kertaluvun differentiaaliyhtälöistä Yksi tavallisimmista luonnontieteissä ja tekniikassa esiintyvistä matemaattisista malleista on differentiaaliyhtälö.

Lisätiedot

Tilastotieteessä aikasarja tarkoittaa yleensä sarjaa, jossa peräkkäisten havaintojen aikaväli on aina sama.

Tilastotieteessä aikasarja tarkoittaa yleensä sarjaa, jossa peräkkäisten havaintojen aikaväli on aina sama. Aikasarjat Tilastotieteessä aikasarja tarkoittaa yleensä sarjaa, jossa peräkkäisten havaintojen aikaväli on aina sama. Aikasarja on laajassa mielessä stationäärinen (wide sense stationary, WSS), jos odotusarvo

Lisätiedot

Työvoiman tarpeen ennustaminen SARIMA-aikasarjamallilla

Työvoiman tarpeen ennustaminen SARIMA-aikasarjamallilla Aalto-yliopisto Perustieteiden korkeakoulu Teknillisen fysiikan ja matematiikan tutkinto-ohjelma Työvoiman tarpeen ennustaminen SARIMA-aikasarjamallilla Kandidaatintyö 27.5.2015 Touko Väänänen Työn saa

Lisätiedot

Tilastollisen analyysin perusteet Luento 9: Moniulotteinen lineaarinen. regressio

Tilastollisen analyysin perusteet Luento 9: Moniulotteinen lineaarinen. regressio Tilastollisen analyysin perusteet Luento 9: lineaarinen lineaarinen Sisältö lineaarinen lineaarinen lineaarinen Lineaarinen Oletetaan, että meillä on n kappaletta (x 1, y 1 ), (x 2, y 2 )..., (x n, y n

Lisätiedot

Identifiointiprosessi

Identifiointiprosessi Alustavia kokeita Identifiointiprosessi Koesuunnittelu, identifiointikoe Mittaustulosten / datan esikäsittely Ei-parametriset menetelmät: - Transientti-, korrelaatio-, taajuus-, Fourier- ja spektraalianalyysi

Lisätiedot

MS-A0502 Todennäköisyyslaskennan ja tilastotieteen peruskurssi

MS-A0502 Todennäköisyyslaskennan ja tilastotieteen peruskurssi MS-A0502 Todennäköisyyslaskennan ja tilastotieteen peruskurssi 4A Parametrien estimointi Lasse Leskelä Matematiikan ja systeemianalyysin laitos Perustieteiden korkeakoulu Aalto-yliopisto Syksy 2016, periodi

Lisätiedot

Ilkka Mellin Tilastolliset menetelmät. Osa 4: Lineaarinen regressioanalyysi. Yleinen lineaarinen malli. TKK (c) Ilkka Mellin (2007) 1

Ilkka Mellin Tilastolliset menetelmät. Osa 4: Lineaarinen regressioanalyysi. Yleinen lineaarinen malli. TKK (c) Ilkka Mellin (2007) 1 Ilkka Mellin Tilastolliset menetelmät Osa 4: Lineaarinen regressioanalyysi Yleinen lineaarinen malli TKK (c) Ilkka Mellin (2007) 1 Yleinen lineaarinen malli >> Usean selittäjän lineaarinen regressiomalli

Lisätiedot

Nämä ovat siis minimivaatimukset, enemmänkin saa ja suositellaan

Nämä ovat siis minimivaatimukset, enemmänkin saa ja suositellaan Mitä pitäisi vähintään osata Tässäkäydään läpi asiat jotka olisi hyvä osata Nämä ovat siis minimivaatimukset, enemmänkin saa ja suositellaan osattavan 333 Kurssin sisältö Todennäköisyyden, satunnaismuuttujien

Lisätiedot

a 1 y 1 (x) + a 2 y 2 (x) = 0 vain jos a 1 = a 2 = 0

a 1 y 1 (x) + a 2 y 2 (x) = 0 vain jos a 1 = a 2 = 0 6. Lineaariset toisen kertaluvun yhtälöt Toisen kertaluvun differentiaaliyhtälöt ovat tuntuvasti hankalampia ratkaista kuin ensimmäinen. Käsittelemmekin tässä vain tärkeintä erikoistapausta, toisen kertaluvun

Lisätiedot

Satunnaismuuttujien muunnokset ja niiden jakaumat

Satunnaismuuttujien muunnokset ja niiden jakaumat Ilkka Mellin Todennäköisyyslaskenta Osa 2: Satunnaismuuttujat ja todennäköisyysjakaumat Satunnaismuuttujien muunnokset ja niiden jakaumat TKK (c) Ilkka Mellin (2007) 1 Satunnaismuuttujien muunnokset ja

Lisätiedot

Johdatus todennäköisyyslaskentaan Satunnaismuuttujien muunnokset ja niiden jakaumat. TKK (c) Ilkka Mellin (2004) 1

Johdatus todennäköisyyslaskentaan Satunnaismuuttujien muunnokset ja niiden jakaumat. TKK (c) Ilkka Mellin (2004) 1 Johdatus todennäköisyyslaskentaan Satunnaismuuttujien muunnokset ja niiden jakaumat TKK (c) Ilkka Mellin (2004) 1 Satunnaismuuttujien muunnokset ja niiden jakaumat Satunnaismuuttujien muunnosten jakaumat

Lisätiedot

Tilastollisen analyysin perusteet Luento 1: Lokaatio ja hajonta

Tilastollisen analyysin perusteet Luento 1: Lokaatio ja hajonta Tilastollisen analyysin perusteet Luento 1: ja hajonta Sisältö Havaittujen arvojen jakauma Havaittujen arvojen jakaumaa voidaan kuvailla ja esitellä tiivistämällä havaintoarvot sopivaan muotoon. Jakauman

Lisätiedot

9. laskuharjoituskierros, vko 12-13, ratkaisut

9. laskuharjoituskierros, vko 12-13, ratkaisut 9. laskuharjoituskierros, vko 12-13, ratkaisut D1. Olkoot X i, i = 1, 2,..., n riippumattomia, samaa eksponenttijakaumaa noudattavia satunnaismuuttujia, joiden odotusarvo E(X i = β, toisin sanoen X i :t

Lisätiedot

Kompleksianalyysi, viikko 5

Kompleksianalyysi, viikko 5 Kompleksianalyysi, viikko 5 Jukka Kemppainen Mathematics Division Kompleksiset jonot Aloitetaan jonon suppenemisesta. Määr. 1 Kompleksiluvuista z 1,z 2,...,z n,... koostuva jono suppenee kohti raja-arvoa

Lisätiedot

Probabilistiset mallit (osa 2) Matemaattisen mallinnuksen kurssi Kevät 2002, luento 10, osa 2 Jorma Merikoski Tampereen yliopisto

Probabilistiset mallit (osa 2) Matemaattisen mallinnuksen kurssi Kevät 2002, luento 10, osa 2 Jorma Merikoski Tampereen yliopisto Probabilistiset mallit (osa 2) Matemaattisen mallinnuksen kurssi Kevät 2002, luento 10, osa 2 Jorma Merikoski Tampereen yliopisto Esimerkki Tarkastelemme ilmiötä I, joka on a) tiettyyn kauppaan tulee asiakkaita

Lisätiedot

Estimointi. Vilkkumaa / Kuusinen 1

Estimointi. Vilkkumaa / Kuusinen 1 Estimointi Vilkkumaa / Kuusinen 1 Motivointi Tilastollisessa tutkimuksessa oletetaan jonkin jakauman generoineen tutkimuksen kohteena olevaa ilmiötä koskevat havainnot Tämän mallina käytettävän todennäköisyysjakauman

Lisätiedot

Yleistetyistä lineaarisista malleista

Yleistetyistä lineaarisista malleista Yleistetyistä lineaarisista malleista Tilastotiede käytännön tutkimuksessa -kurssi, kesä 2001 Reijo Sund Klassinen lineaarinen malli y = Xb + e eli E(Y) = m, jossa m = Xb Satunnaiskomponentti: Y:n komponentit

Lisätiedot

Moniulotteiset satunnaismuuttujat ja jakaumat

Moniulotteiset satunnaismuuttujat ja jakaumat Todennäköisyyslaskenta Osa 2: Satunnaismuuttujat ja todennäköisyysjakaumat Moniulotteiset satunnaismuuttujat ja jakaumat KE (2014) 1 Moniulotteiset satunnaismuuttujat ja todennäköisyysjakaumat >> Kaksiulotteiset

Lisätiedot

1. PÄÄTTELY YHDEN SELITTÄJÄN LINEAARISESTA REGRESSIOMALLISTA

1. PÄÄTTELY YHDEN SELITTÄJÄN LINEAARISESTA REGRESSIOMALLISTA Mat-2.104 Tilastollisen analyysin perusteet / Ratkaisut Aiheet: Avainsanat Päättely yhden selittäjän lineaarisesta regressiomallista Ennustaminen, Ennuste, Ennusteen luottamusväli, Estimaatti, Estimaattori,

Lisätiedot