Jatkuva-aikaisten Markov-prosessien aikakehitys

Transkriptio

1 5A Jatkuva-aikaisten Markov-prosessien aikakehitys Tämän harjoituksen tavoitteena on harjoitella jatkuva-aikaisiin Markov-prosesseihin liittyviä hetkittäisiä jakaumia ja tutkia niien muutoksia ajassa. Alla on kuhunkin tehtävään esitetty malliratkaisut punaisella. Tuntitehtävät 5A1 Olkoon X (X n ) n Z+ Markov-ketju äärellisellä tilajoukolla S ja siirtymätoennäköisyysmatriisilla P (p x,y ) x,y S. Olkoon ( N(t) ) tästä riippumaton Poisson-prosessi intensiteetillä > 0. Määritellään jatkuva-aikainen prosessi ( Y (t) ) Markov-ketjun X satunnaisena aikamuunnoksena kaavalla Y (t) X N(t). (a) Aputulokseksi toista, että Poisson-jakaumaa parametrilla nouattavalle satunnaisluvulle M on voimassa estimaatit Ratkaisu. P [ M 1 ja P [ M i) Poisson-jakaumaa nouattavan satunnaisluvun M pistetoennäköisyysfunktio on P[M i i i! e, joten P[M 1 1 P[M 0 1 e On siis osoitettava, että 1 e eli että f() : 1 + e 0 kaikilla 0. Nyt f(0) 0, joten riittää osoittaa, että f on kasvava, mikä puolestaan selviää erivaatan positiivisuuesta: Siis P[M 1. ii) Pätee Df() 1 1 e 0 kaikilla 0 P[M 2 1 P[M 0 P[M 1 1 e e, joten on osoitettava, että f() : 2 /2 + (1 + )e 1 0 kaikilla 0. Taas f(0) 0 ja joten P [ M Df() + e (1 + )e (1 1e ) 0, pätee (kaikilla 0). Olkoot sitten x, y S, x y, kaksi eri tilaa. 1 / 6

2 (b) Käyttäen ensimmäistä (a)-kohan tulosta näytä, että P [ Y (t) y Y (0) x t. Ratkaisu. Päätellään P [ Y (t) y Y (0) x P [ N(t) N(0) 1 t, sillä Y (t) Y (0) eli X N(t) X N(0) implikoi, että N(t) > N(0). Prosessi N on Poisson-prosessi, joten N(t) N(0) st Poi((t 0)) st Poi(t), jolloin yläraja t saaaan a-kohan tuloksesta. (c) Käyttäen myös jälkimmäistä (a)-kohan aputulosta näytä, että P [ Y (t) y Y (0) x te t p x,y t 2. Ratkaisu. Jaetaan tutkittava tn kahteen termiin P [ Y (t) y Y (0) x P [ Y (t) y & N(t) 1 Y (0) x + P [ Y (t) y & N(t) 2 Y (0) x. Huomaa, että N(t) 0 ei esiinny yllä, koska y x. Poisson-prosessin ja Markovketjun riippumattomuuen perusteella ensimmäinen termi saaaan P [ Y (t) y & N(t) 1 Y (0) x P(N(t) 1)P(X1 y X 0 x) te t p x,y. Näin ollen P [ Y (t) y Y (0) x te t p x,y P [ Y (t) y & N(t) 2 Y (0) x P [ N(t) 2 Y (0) x (r-ttomuus) teht. (a)ii P(N(t) 2) t 2. () Päättele aiempien kohtien avulla, että [ P Y (t) y Y (0) x t 0 + t p x,y. Ratkaisu. C-kohan epäyhtälö voiaan kirjoittaa muoossa te t p x,y t 2 P [ Y (t) y Y (0) x te t p x,y t 2 2 / 6

3 kaikilla > 0 ja t 0. Tutkitaan nyt kysyttyä raja-arvoa y.o. ylä- ja alarajan avalla: te t p x,y ± t 2 ( e t p x,y ± 1 ) t 0 + t t t p x,y. Koska raja-arvot ylä- ja alarajalle ovat samat, pätee siis [ P Y (t) y Y (0) x p x,y. t 0 + t Mikä on yllä johettujen tulosten merkitys? Prosessien X ja N Markov-ominaisuuksien perusteella voiaan pääpiirteittäin samaan tapaan kuin kohassa () näyttää, että kaikilla t > 0 ja x y pätee P [ Y (t + s) y Y (t) x p x,y. s 0 s Kokonaistoennäköisyyen kaavaan yhistettynä tämä kaava kertoo, miten jatkuva-aikaisen prosessin Y ( Y (t) ) hetkittäiset tilajakaumat muuttuvat infinitesimaalisen lyhyessä ajassa s. Hetken t 0 tilajakauma ν t ( ν t (y) ) on kaavan ν y S t(y) P [ Y (t) y määrittelemä vaakavektori. Saatu hetkittäisten tilajakaumien aikakehitystulos voiaan yhteenvetää matriisimuotoisena ifferentiaaliyhtälönä 1 t ν t ν t (P I) eli t ν t ν t Q, missä Q : (P I). Tämä tunnetaan nimellä Kolmogorovin etuperoinen ifferentiaaliyhtälö [Leskelä, Lause Kotitehtävät (palautettava kirjallisina pe klo 10:15 mennessä) 5A2 Oletetaan, että sairaalan teho-osastolle kiireellistä hoitoa tarvitsevien potilaien saapumiset muoostavat Poisson-prosessin intensiteetillä 2 (yksikkönä ), laskuripro- 1 tunti sessinaan N ( N(t) ) (ajan t yksikkönä tunti). Laske: (a) Toennäköisyys P [ N(2) 5 sille, että kahen tunnin aikana saapuu viisi potilasta. (b) Ehollinen toennäköisyys P [ N(5) 8 N(2) 3 sille, että viien tunnin työvuoron aikana saapuu yhteensä kaheksan potilasta, kun on havaittu että työvuoron ensimmäisen kahen tunnin aikana potilaita saapui kolme. (c) Ehollinen toennäköisyys P [ N(2) 3 N(5) 8 sille, että erään työvuoron ensimmäisen kahen tunnin aikana oli saapunut kolme potilasta, kun tieetään koko viien tunnin työvuoron aikana saapuneen yhteensä kaheksan potilasta. Ratkaisu. 1 Yksikkömatriisi I esiintyy yhtälössä, koska tapaus y x tulee ottaa mukaan komplementtitoennäköisyyen kautta, P [ Y (t + s) x Y (t) x 1 y x P[ Y (t + s) y Y (t) x. 3 / 6

4 (a) Poisson-prosessille intensiteetillä on aikavälillä t 1, t 2 osuvien hyppyjen lukumäärä Poisson((t 2 t 1 ))-jakautunut. Muistetaan tässä vaiheessa Poisson(η)-jakauman pistetoennäköisyyet: jos X nouattaa Poisson(η)-jakaumaa, niin P(X i) ηi i! e η. Näin pätee yleisesti Poisson-prosessille intensiteetillä aikavälillä 0, t: Tehtävän luvuilla saaaan P(N(t) k) (t)k e t. k! P(N(2) 5) 45 5! e % (b) Muistetaan, että Poisson-prosessilla on erillisillä aikaväleillä riippumattomat muutokset [Leskelä 2015, luku 8.5. Näin aikaväli 2, 5 on riippumaton siitä, mitä tapahtuu sitä ennen aikavälillä 0, 2. Lisäksi Poisson-prosessille intensiteetillä on aikavälillä t 1, t 2 sattuvien tapahtumien lukumäärä Poisson((t 2 t 1 ))-jakautunut. Näin saaaan: P(N(5) 8 N(2) 3) P(N(2, 5) 5) (c) (Tapa 1.) ((5 2))5 e (5 2) 65 5! 5! e %. P [ N(2) 3 N(5) 8 P(N(2) 3 ja N(5) 8) P(N(5) 8) P(N(5) 8 N(2) 3)P(N(2) 3) P(N(5) 8) 4 3 3! e ! e ! e % P(N(2, 5) 5)P(N(2) 3) P(N(5) 8) Kahen ensimmäisen yhtäsuurusumerkin kohalla käytettiin ehollisen toennäköisyyen määritelmää. Kolmannessa yhtäsuuruusmerkissä käytetään b)-kohan argumentointia ja viimeisessä Poisson-jakauman pistetoennäköisyyksiä. (Tapa 2.) Koska Poisson-prosessin hyppyhetket muoostavat tasakoosteisen sirontakuvion, hyppyhetket välillä (0, 5 ja eholla N(5) 8 voiaan konstruoia sirottamalla 8 tasajakautunutta pistettä välille (0, 5. Olkoot siis U i Uni((0, 5) riippumattomia ja samoin jakautuneita, 1 i 8. Näin olleen P [ N(2) 3 N(5) 8 P [ U i (0, 2 tasan kolmelle i {1,..., 8} ( ) 8 (2/5) 3 (3/5) %. 4 / 6

5 5A3 Kaksitilaisen ketjun siirtymämatriisit. Tilajoukon {1, 2} Markov-ketjulla on generaattorimatriisi [ Q, µ µ missä, µ > µ (a) Kirjoita Kolmogorovin takaperoiset ifferentiaaliyhtälöt P (t) Q P (t) auki alkioittain (eli etsi lausekkeet matriisialkioien aikaerivaatiolle P (t) t i,j ). t Ratkaisu. t P t(1, 1) P t (1, 1) + P t (2, 1), t P t(1, 2) P t (1, 2) + P t (2, 2), t P t(2, 1) µp t (1, 1) µp t (2, 1), t P t(2, 2) µp t (1, 2) µp t (2, 2). (b) Kirjoita (a)-kohan avulla ifferentiaaliyhtälö erotukselle f(t) P (t) 1,1 P (t) 2,1 ja ratkaise se käyttämällä tehtävään sopivaa alkuehtoa. Ratkaisu. Vähentämälla a-kohan ensimmäisestä DY:stä kolmas saaaan f (t) t P t(1, 1) t P t(2, 1) P t (1, 1) + P t (2, 1) (µp t (1, 1) µp t (2, 1)) ( + µ)p t (1, 1) + ( + µ)p t (2, 1) ( + µ)f(t). Alkuehto on P 0 I (tilajoukon {1, 2} ientiteettimatriisi), josta f(0) 1. Tämän ifferentiaaliyhtälön ratkaisu on f(t) e (+µ)t. (c) Ratkaise (a)- ja (b)-kohtien avulla ketjun t:n aikayksikön siirtymämatriisi P (t) ajan t funktiona. Ratkaisu. (a)-kohan ensimmäisestä yhtälöstä saaaan P t(1, 1) f(t) alkueholla P 0 (1, 1) 1. Integroimalla nähään, että P t (1, 1) P 0 (1, 1) + t 0 f(s) s µ + µ + + µ e (+µ)t. 5 / 6

6 Vastaavasti (a)-kohan kolmatta yhtälöä käyttämällä nähään, että P t (2, 1) toteuttaa ifferentiaaliyhtälön P t(2, 1) µf(t) alkueholla P 0 (2, 1) 0. Näin ollen P t (2, 1) P 0 (2, 1) + t 0 µf(s) s µ + µ (1 e (+µ)t ). Loput matriisin P t alkiot saaaan muistamalla, että siirtymämatriisin rivisummat ovat ykkösiä (tai toistamalla b-tehtävä erotukselle g(t) P (t) 1,2 P (t) 2,2 ): P t (1, 2) 1 P t (1, 1) + µ (1 e (+µ)t ) ja P t (2, 2) 1 P t (2, 1) + µ + µ + µ e (+µ)t. Huomaa, että kaikki P t :n alkiot koostuvat vakiosta ja eksponentiaalisesti vaimenevasta termistä. Näin saaaan yllättävän siisti matriisimuotoinen ratkaisu: P t 1 [ [ µ + e (+µ)t + µ µ + µ µ µ. (1) () Ratkaise ketjun tasapainojakauma π suoraan tasapainoyhtälöistä πq 0 ja vertaa saamaasi ratkaisua (c)-kohan tulokseen. Ratkaisu. Matriisimuotoinen tasapainoyhtälö πq 0 voiaan kirjoittaa eli eli π(1)q(1, 1) + π(2)q(2, 1) 0 π(1)q(1, 2) + π(2)q(2, 2) 0, π(1)( ) + π(2)µ 0 π(1) + π(2)( µ) 0, π(1) µπ(2). Hyöyntämällä ehtoa π(1) + π(2) 1 tästä nähään, että kysytty tasapainojakauma on π [ π(1) π(2) [ µ +µ +µ. Tätä voiaan verrata (c)-kohan tulokseen ja huomata, että P t t [ π(1) π(2), π(1) π(2) eli µ 0 P t π kaikille alkujakaumille µ 0, aivan kuten Markov-ketjujen yleinen teoria [Leskelä, Lause 11.8 väittääkin. Huomataan myös, että lähestyminen kohti tasapainoa on eksponentiaalisen nopeaa. Tämäkin on yleisempi fakta. 6 / 6