Ssältö Markov-prosesst Syntymä-kuolema-prosesst luento6.ppt S-38.45 - Lkenneteoran perusteet - Kevät 6 Markov-prosess Esmerkk Tark. atkuva-akasta a dskreetttlasta stokaststa prosessa X(t) oko tla-avaruudella S {,,,N} ta S {,,...} Määr. Prosess X(t) on Markov-prosess, os P{ X ( tn+ ) xn+ X ( t) x, K, X ( tn) xn} P { X ( tn+ ) xn+ X ( tn) xn} Rppumattomen lsäysten prosess X(t) on ana Markov-prosess: X ( tn) X ( tn) + ( X ( tn) X ( tn)) Seuraus: Posson-prosess A(t) on Markov-prosess Määrtelmän 3 mukaan Posson-prosessn lsäykset ovat rppumattoma kaklla n, t < < t n+ a x,, x n + Tätä ehtoa sanotaan Markov-omnasuudeks Jos Markov-prosessn nykytla tunnetaan, prosessn tulevasuus e mtenkään rpu prosessn aemmasta mennesyydestä (el stä, mten nykytlaan on tultu) Nykytla ss ssältää kaken atkon kannalta tarpeellsen nformaaton 3 4
Akahomogeensuus Tlasrtymäntensteett Määr. Markov-prosess X(t) on akahomogeennen, os P { X ( t + ) y X ( t) x} P{ X ( ) y X () x} kaklla t, a x, y S Todennäkösyydet P{X(t + ) y X(t) x} evät ss rpu t:stä Tarkastellaan akahomogeensta Markov-prosessa X(t) Tlasrtymäntensteett q (state transton rate), mssä, S, määrtellään seuraavast: q : lm P{ X ( h) X () } h h Tlatodennäkösyydet P{X(t) }, S, määräytyvät ykskästtesest srtymä-ntensteetestä q, kunhan ns. alkuakauma (ntal dstrbuton) el todennäkösyydet P{X() }, S, on annettu Huom. Jatkossa raotamme tarkastelumme pelkästään akahomogeensn Markov-prosessehn 5 6 Eksponentaalsest akautuneet tlassaoloaat Tlasrtymätodennäkösyydet Oletetaan, että Markov-prosess on tlassa hetkellä t. Lyhyellä akavälllä (t, t+h] prosess srtyy uuteen tlaan tn:llä q h + o(h) (rppumatta stä, mtä tapahtu ennen hetkeä t) Merktään q :llä kokonasntensteettä srtyä pos tlasta, ts. q : q Lyhyellä akavälllä (t, t+h] prosess srtyy pos tlasta tn:llä q h + o(h) (rppumatta stä, mtä tapahtu ennen hetkeä t) Kyseessä on selvästkn ns. unohtavasuusomnasuus Tlassa vetetty aka noudattaa ss eksponenttakaumaa ntensteettnään q 7 Merktään T :llä oloakaa tlassa a T :llä sellasta (potentaalsta) oloakaa tlassa, oka päättyy srtymään tlaan : T Exp( q ), T Exp( q ) Sm T vodaan aatella rppumattomen a eksponentaalsest akautuneden sm:en T mnmks (ks. luennon 5 kalvo 44): T mnt Merk. p :llä todennäkösyyttä, että toteutunut srtymä on tlasta tlaan. Ko. tlasrtymätodennäkösyydet (state transton probabltes) saadaan kaavalla q p P{ T T} q 8
Tlasrtymäkaavo Pelkstymättömyys Akahomogeennen Markov-prosess estetään usen ns. tlasrtymäkaavon (state transton dagram) avulla. Kyseessä on suunnattu verkko, onka solmut vastaavat prosessn tloa a ykssuuntaset lnkt vastaavat mahdollsa tlasrtymä lnkk tlasta tlaan q > Esm. Kolmtlanen Markov-prosess (S {,,}): Määr. Tlasta pääsee tlaan ( ), os tlasrtymäkaavosta löytyy suunnattu polku :stä :hn Jos nän on, nn lähdettäessä tlasta tlassa käydään (oskus tulevasuudessa) postvsella todennäkösyydellä Määr. Tlat a kommunkovat ( ), os a Määr. Markov-prosess on pelkstymätön (rreducble), os kakk tlat kommunkovat keskenään Esmerkks edellsellä kalvolla estetty Markov-prosess on pelkstymätön Q + + + + q q q q 9 Tasapanoakauma a globaalt tasapanoyhtälöt Esmerkk Tark. pelkstymätöntä Markov-prosessa X(t) srtymäntensteeten q Määr. Olkoon π(π π, S) tla-avaruudessa S määrtelty akauma, ts. se toteuttaa ns. normeerausehdon S π Jakauma π on prosessn X(t) tasapanoakauma (equlbrum dstrbuton), os seuraavat globaalt tasapanoehdot (global balance equatons) ovat vomassa kaklla S: π q π q (GBE) On mahdollsta, ette prosesslla ole tasapanoakaumaa. Kutenkn, os esm. tla-avaruus on äärellnen, tasapanoakauma on ana olemassa. Valtsemalla tasapanoakauma alkuakaumaks (ts. P{X() } π ), ko. Markov-prosesssta tulee statonaarnen (statonaarsena akaumanaan π) Q π + π + π π π π π + π π ( + ) π + π π π, +, 3 3+ 3+ (GBE)
Lokaalt tasapanoyhtälöt a kääntyvyys Ssältö Tarkastellaan edelleen pelkstymätöntä Markov-prosessa X(t) srtymäntensteeten q Väte. Olkoon π(π π, S) tla-avaruudessa S määrtelty akauma, ts. S π Jos seuraavat lokaalt tasapanoehdot (local balance equatons) ovat vomassa kaklla, S: π q π q nn π on prosessn tasapanoakauma. Tod. (GBE):t seuravat :stä summaamalla Tässä tapauksessa ko. Markov-prosessa sanotaan kääntyväks (reversble) 3 Markov-prosesst Syntymä-kuolema-prosesst 4 Syntymä-kuolema-prosess Pelkstymättömyys Tark. atkuva-akasta a dskreetttlasta Markov-prosessa X(t) oko tla-avaruudella S {,,,N} ta S {,,...} Määr. Markov-prosess X(t) on syntymä-kuolema-prosess (brthdeath process), os tlasrtymät ovat mahdollsa van verekkästen tloen välllä, ts. Tässä tapauksessa merktään > q : q, : q, + Huom. a N (kun N < ) 5 Väte: Syntymä-kuolema-prosess on pelkstymätön, os a van os > kaklla S\{N} a > kaklla S\{} Ääretöntlasen pelkstymättömän sk-prosessn tlasrtymäkaavo: Äärellstlasen pelkstymättömän sk-prosessn tlasrtymäkaavo: N N- N N 3 N N 6
Tasapanoakauma () Tasapanoakauma () Tarkastellaan pelkstymätöntä syntymä-kuolema-prosessa X(t) Tarkotus on ohtaa tasapanoakauma π(π S), mkäl sellanen on olemassa Lokaalt tasapanoyhtälöt: Nän ollen π π + + + π π π π + Jakaumaehto el normeerausehto: π π S S Tasapanoakauma on ss olemassa täsmälleen sllon, kun < S Äärellnen tla-avaruus: Ko. summa on ana äärellnen. Tasapanoakaumaks tulee N, π + π π Ääretön tla-avaruus: Jos ko. summa on äärellnen, nn tasapanoakaumaks tulee, π + π π 7 8 Esmerkk Puhdas syntymäprosess Q π π + π + ρπ π π ρ ( ρ : / ) π + π + π π ( + ρ + ρ ) π ρ + ρ + ρ Määr. Syntymä-kuolema-prosess on puhdas syntymäprosess, os kaklla S Ääretöntlasen syntymäprosessn tlasrtymäkaavo: Äärellstlasen syntymäprosessn tlasrtymäkaavo: Esmerkks Posson-prosess on ääretöntlanen puhdas syntymäprosess (ntensteeten kaklla S {,, }) Huom. Puhdas syntymäprosess e ole koskaan pelkstymätön (saat 9 stten statonaarnen). N N N- N