Markov-prosessit (Jatkuva-aikaiset Markov-ketjut)

Transkriptio

1 J. Vrtamo Lkenneteora a lkenteenhallnta / Markov-prosesst 1 Markov-prosesst (Jatkuva-akaset Markov-ketut) Tarkastellaan (statonaarsa) Markov-prosessea, oden parametravaruus on atkuva (yleensä aka). Srtymät tlasta toseen vovat tapahtua melvaltasna aanhetknä. Markov-omnasuuden vuoks aka, onka ärestelmä vettää annetussa tlassa, on mustton: älelläolevan aan akauma rppuu van ko. tlasta, mutte stä, kauanko tlassa on o oltu aka on eksponentaalsest akautunut. Markov-prosessn X t määrttelee täydellsest ns. generaattormatrs l. srtymänopeusmatrs P{X t+ t = X t = } q, = lm t 0 t -todennäkösyys akaykskköä kohden srtyä tlasta tlaan - srtymänopeus l. srtymäntensteett Kokonassrtymänopeus pos tlasta on q = q, tlan elnaka Exp(q ) Tällä nopeudella tlan todennäkösyys penenee. Määrtellään q, = q

2 J. Vrtamo Lkenneteora a lkenteenhallnta / Markov-prosesst 2 Srtymänopeusmatrs a aasta rppuva tlatodennäkösyysvektor Srtymänopeusmatrs kokonasuudessaan on Q = q 0,0 q 0,1... q 1,0 q 1, = q 0 q 0,1... q 1,0 q rvsummat ovat nolla: tlasta postuva tn.massa srtyy muualle Tlatodennäkösyysvektor π(t) on nyt aan funkto, oka kehttyy seuraavast d π(t) =π(t) Q dt π(t + t) =π(t)+π(t) Q t + o( t) =π(t)(i + Q t)+o( t) Srtymätodennäkösyysmatrs akaväln t yl on I + Q t -lähenee dentteettmatrsa I, kun t 0 - Q on srtymätodennäkösyysmatrsn akadervaatta (srtymänopeusmatrs) Muodollnen ratkasu aasta rppuvalle tlatodennäkösyysvektorlle on π(t) =π(0) e Q t Matrseksponentt e A vodaan määrtellä - sarakehtelmän avulla: e A = I + A + 1 2! A2 + - omnasarvoen a -vektoren avulla: Au T = z u T a v A = z v A = z u T v a e A = e z u T v

3 J. Vrtamo Lkenneteora a lkenteenhallnta / Markov-prosesst 3 Globaalt tasapanoehdot Statonaarnen ratkasu π = lm t π(t) on aasta rppumaton a sten toteuttaa yhtälön π Q = 0 Globaal tasapanoehto, oka lmottaa todennäkösyysvrtoen tasapanon. Yhtälön :s rv on q }{{} q, π = π q, = π q, π q, π q, = todennäkösyysvrta tlasta tlaan (srtymäfrekvenss tlasta tlaan ) q, q, vrrat ulos = vrrat ssään

4 J. Vrtamo Lkenneteora a lkenteenhallnta / Markov-prosesst 4 Globaalt tasapanoehdot (atkoa) Yhtälöt ovat rppuva: mkä tahansa yhtälöstä on automaattsest vomassa, os muut ovat vomassa ( todennäkösyyden hävämättömyys ). Ratkasu on määrätty vakotekää valle. Ratkasu tulee ykskästtesest määrätyks normehdon kautta. π e T =1 el π =1 π on Q:n omnasarvoon 0 lttyvä (vasemmanpuolenen) omnasvektor. Globaal tasapanoehto pätee yhtä hyvn myös tlaoukolle. Statonaarsessa tlassa todennäkösyysvrrat kahteen oukkoon aettuen tloen välllä ovat tasapanossa: Olkoot Ω a Ω komplementaarset tlaoukot. Tällön Ω, Ω π q, = Ω, Ω π q, Ω _ Ω

5 J. Vrtamo Lkenneteora a lkenteenhallnta / Markov-prosesst 5 Tasapanoyhtälön ratkasemsesta Samalla tavalla kun Markovn ketun tapauksessa (homogeensen) tasapanoyhtälön π Q = 0 ratkasu, oka toteuttaa normehdon π e T = 1, saadaan käteväst krottamalla normehdosta n + 1 kopota π E = e mssä E on (n +1) (n + 1)-matrs, onka kakk alkot ovat ykkösä, E = laskemalla yhtälöt yhteen, π (Q + E) =e, a ratkasemalla nän saatu epähomogeennen yhtälö π = e (Q + E) 1

6 J. Vrtamo Lkenneteora a lkenteenhallnta / Markov-prosesst 6 Upotettu Markovn ketu (embedded Markov chan) Jokaseen atkuva-akaseen Markovn prosessn X t vodaan ltää dskreettakanen Markovn ketu, ns. upotettu Markovn ketu X n. Huomo knntetään X t :n tlasrtymn (sllon kun ne tapahtuvat) el X t :n läpkäymen tloen onoon. Tapahtukoot X t :n tlasrtymät hetkllä t 0,t 1,... Määrtellään X n :n arvoks X t:n arvo het hetkellä t n tapahtuneen tlasrtymän älkeen (hetk t + n ), el X t:n arvo välllä (t n,t n+1 ). X Koska X t on Markov-prosess, nn nän määrtelty n = X t + n ono X muodostaa Markovn ketun. n X 2 X 1 X 5 X 3 X 6 X 7 X t X 4 t 1 t 2 t 3 t 4 t 5 t 6 t 7

7 J. Vrtamo Lkenneteora a lkenteenhallnta / Markov-prosesst 7 Upotettu Markovn ketu (atkoa) Markov-prosessn tlat luoktellaan vastaavast kun nän määrtellyn Markovn ketun tlat (transentt, absorbova, palautuva,...). Upotetun Markovn ketun tlasrtymätodennäkösyydet p, = lm P{X t+ t = X t+ t, X t = } t 0 P{X t+ t =, X t+ t X t = } = lm t 0 P{X t+ t X t = } = q, q, vrt. P{mn(X 1,...,X n )=X } = 0 = λ λ 1 + +λ n,kunx Exp(λ ) α α α+β β β α+β Markov-prosess, srtymänopeudet q, tasapanotodennäkösyydet π Upotettu Markovn ketu, srtymätodennäkösyydet p, tasapanotodennäkösyydet π

8 J. Vrtamo Lkenneteora a lkenteenhallnta / Markov-prosesst 8 Upotetun Markovn ketun tasapanotodennäkösyydet π = π E[T ] π E[T ] π = π q π q E[T ]=1/q, q = q, π = akaosuus, onka X t vettää tlassa (pano E[T ]) π = suhtellnen frekvenss, olla tla esntyy X n :n läpkäymen tloen onossa (pano 1) Huom. π q on frekvenss, olla Markovn ketu X t suorttaa hyppyä pos tlasta. Systeemn ollessa tasapanossa tämä on sama kun frekvenss, olla systeem suorttaa hyppyä tlaan. Nyt on tarkasteltu kakken X t :n läpkäymen tloen onoa X n Joskus tästä onosta vodaan sopvalla tavalla poma osaono, oka edelleen muodostaa erään upotetun Markovn ketun. myöhemmn tullaan ns. M/G/1-onosysteemn analyys perustamaan sopvast valtun upotetun Markovn ketun tarkasteluun

9 J. Vrtamo Lkenneteora a lkenteenhallnta / Markov-prosesst 9 Sem-Markov-prosesst Kääntäen okaseen Markovn ketuun Z n,n=1, 2,... vodaan lttää atkuva-akanen satunnasprosess X t valtsemalla aka T,onkaX t vettää tlassa ostakn akaumasta - oka kerta musta rppumatta - er tlolla akaumat vovat olla erlaset a arpomalla uus tla Z n :n tlasrtymätodennäkösyyksen mukasest. Nän saatua prosessa X t kutsutaan sem-markov-prosessks - e yleensä ole Markov-prosess - on Markov-prosess sllon a van sllon, kun T Exp(λ ) - sllä on sama statonaarnen akauma kun vastaavalla Markovn prosesslla