Markov-prosessit (Jatkuva-aikaiset Markov-ketjut)

Transkriptio

1 J. Virtamo Jonoteoria / Markov-prosessit 1 Markov-prosessit (Jatkuva-aikaiset Markov-ketut) Tarkastellaan (stationaarisia) Markov-prosessea, oiden parametriavaruus on atkuva (yleensä aika). Siirtymät tilasta toiseen voivat tapahtua mielivaltaisina aanhetkinä. Markov-ominaisuuden vuoksi aika, onka ärestelmä viettää annetussa tilassa, on muistiton: älelläolevan aan akauma riippuu vain ko. tilasta, muttei siitä, kauanko tilassa on o oltu aika on eksponentiaalisesti akautunut. Markov-prosessin X t määrittelee täydellisesti ns. generaattorimatriisi l. siirtymänopeusmatriisi P{X t+ t = X t = i} q i, = lim t 0 t i - todennäköisyys aikayksikköä kohden siirtyä tilasta i tilaan - siirtymänopeus l. siirtymäintensiteetti Kokonaissiirtymänopeus pois tilasta i on q i = i q i, tilan elinaika Exp(q i ) Tällä nopeudella tilan i todennäköisyys pienenee. Määritellään q i,i = q i

2 J. Virtamo Jonoteoria / Markov-prosessit 2 Siirtymänopeusmatriisi a aasta riippuva tilatodennäköisyysvektori Siirtymänopeusmatriisi kokonaisuudessaan on Q = q 0,0 q 0,1... q 1,0 q 1, = q 0 q 0,1... q 1,0 q rivisummat ovat nollia: tilasta i poistuva tn.massa siirtyy muualle Tilatodennäköisyysvektori π(t) on nyt aan funktio, oka kehittyy seuraavasti d π(t) = π(t) Q dt π(t + t) = π(t) + π(t) Q t + o( t) = π(t)(i + Q t) + o( t) Siirtymätodennäköisyysmatriisi aikavälin t yli on P( t) = I + Q t - lähenee identiteettimatriisia I, kun t 0 - Q = P (0) on siirtymätodennäköisyysmatriisin aikaderivaatta (siirtymänopeusmatriisi) Muodollinen ratkaisu aasta riippuvalle tilatodennäköisyysvektorille on π(t) = π(0) e Qt Matriisieksponentti e A voidaan määritellä sarakehitelmän avulla: e A = I + A + 1 2! A2 +

3 J. Virtamo Jonoteoria / Markov-prosessit 3 Globaalit tasapainoehdot Stationaarinen ratkaisu π = lim t π(t) on aasta riippumaton a siten toteuttaa yhtälön π Q = 0 Globaali tasapainoehto, oka ilmoittaa todennäköisyysvirtoen tasapainon. Yhtälön :s rivi on q }{{} i = i = q,i π = i = π q,i = i = π i q i, π i q i, π i q i, = todennäköisyysvirta tilasta i tilaan (siirtymäfrekvenssi tilasta i tilaan ) q, i i q i, i virrat ulos = virrat sisään

4 J. Virtamo Jonoteoria / Markov-prosessit 4 Globaalit tasapainoehdot (atkoa) Yhtälöt ovat riippuvia: mikä tahansa yhtälöistä on automaattisesti voimassa, os muut ovat voimassa ( todennäköisyyden häviämättömyys ). Ratkaisu on määrätty vakiotekiää vaille. Ratkaisu tulee yksikäsitteisesti määrätyksi normiehdon kautta. π e T = 1 eli π = 1 π on Q:n ominaisarvoon 0 liittyvä (vasemmanpuoleinen) ominaisvektori. Globaali tasapainoehto pätee yhtä hyvin myös tilaoukoille. Stationaarisessa tilassa todennäköisyysvirrat kahteen oukkoon aettuen tiloen välillä ovat tasapainossa: Olkoot Ω a Ω komplementaariset tilaoukot. Tällöin i Ω, Ω π q,i = i Ω, Ω π i q i, _

5 J. Virtamo Jonoteoria / Markov-prosessit 5 Tasapainoyhtälön ratkaisemisesta Samalla tavalla kuin Markovin ketun tapauksessa (homogeenisen) tasapainoyhtälön π Q = 0 ratkaisu, oka toteuttaa normiehdon π e T = 1, saadaan kätevästi kiroittamalla normiehdosta n kopiota π E = e missä E on n n-matriisi, onka kaikki alkiot ovat ykkösiä, E = laskemalla yhtälöt yhteen, π (Q + E) = e, a ratkaisemalla näin saatu epähomogeeninen yhtälö π = e (Q + E) 1

6 J. Virtamo Jonoteoria / Markov-prosessit 6 Upotettu Markovin ketu (embedded Markov chain) Jokaiseen atkuva-aikaiseen Markovin prosessiin X t voidaan liitää diskreettiaikainen Markovin ketu, ns. upotettu Markovin ketu X n. Huomio kiinnitetään X t :n tilasiirtymiin (silloin kun ne tapahtuvat) eli X t :n läpikäymien tiloen onoon. Tapahtukoot X t :n tilasiirtymät hetkillä t 0, t 1,... Määritellään X n :n arvoksi X t:n arvo heti hetkellä t n tapahtuneen tilasiirtymän älkeen (hetki t + n ), eli X t :n arvo välillä (t n, t n+1 ). X Koska X t on Markov-prosessi, niin näin määritelty n = X t + n ono X muodostaa Markovin ketun. n X 2 X 1 X 5 X 3 X 6 X 7 X t X 4 t 1 t 2 t 3 t 4 t 5 t 6 t 7

7 J. Virtamo Jonoteoria / Markov-prosessit 7 Upotettu Markovin ketu (atkoa) Markov-prosessin tilat luokitellaan vastaavasti kuin näin määritellyn Markovin ketun tilat (transientti, absorboiva, palautuva,... ). Upotetun Markovin ketun tilasiirtymätodennäköisyydet p i, = lim t 0 P{X t+ t = X t+ t i, X t = i} P{X t+ t =, X t+ t i X t = i} = lim t 0 P{X t+ t i X t = i} = q i, q i, i vrt. P{min(X 1,..., X n ) = X i } = 0 i = λ i λ 1 + +λ n, kun X i Exp(λ i ) Markov-prosessi, siirtymänopeudet q i, tasapainotodennäköisyydet π i Upotettu Markovin ketu, siirtymätodennäköisyydet p i, tasapainotodennäköisyydet π i

8 J. Virtamo Jonoteoria / Markov-prosessit 8 Upotetun Markovin ketun tasapainotodennäköisyydet π i = π i E[T i ] π E[T ] π i = π iq i π q E[T i ] = 1/q i, q i = q i, i π i = aikaosuus, onka X t viettää tilassa i (paino E[T i ]) π i = suhtellinen frekvenssi, olla tila i esiintyy X n :n läpikäymien tiloen onossa (paino 1) Huom. π i q i on frekvenssi, olla Markovin ketu X t suorittaa hyppyä pois tilasta i. Systeemin ollessa tasapainossa tämä on sama kuin frekvenssi, olla systeemi suorittaa hyppyä tilaan i. Nyt on tarkasteltu kaikkien X t :n läpikäymien tiloen onoa X n Joskus tästä onosta voidaan sopivalla tavalla poimia osaono, oka edelleen muodostaa erään upotetun Markovin ketun. myöhemmin tullaan ns. M/G/1-onosysteemin analyysi perustamaan sopivasti valitun upotetun Markovin ketun tarkasteluun

9 J. Virtamo Jonoteoria / Markov-prosessit 9 Semi-Markov-prosessit Kääntäen okaiseen Markovin ketuun Z n, n = 1, 2,... voidaan liittää atkuva-aikainen satunnaisprosessi X t valitsemalla aika T i, onka X t viettää tilassa i ostakin akaumasta - oka kerta muista riippumatta - eri tiloilla akaumat voivat olla erilaiset a arpomalla uusi tila Z n :n tilasiirtymätodennäköisyyksien mukaisesti. Näin saatua prosessia X t kutsutaan semi-markov-prosessiksi - ei yleensä ole Markov-prosessi - on Markov-prosessi silloin a vain silloin, kun T i Exp(λ i ) - sillä on sama stationaarinen akauma kuin vastaavalla Markovin prosessilla