Jatkuva-aikaisia Markov-prosesseja

Transkriptio

1 5B Jatkuva-aikaisia Markov-prosesseja Tämän harjoituksen tavoitteena on harjoitella jatkuva-aikaisiin Markov-prosesseihin liittyviä hetkittäisiä jakaumia ja tasapainojakaumia. Laskuharjoitukseen kannattaa ottaa mukaan tietokone tai matriisilaskutoimituksiin kykeneväinen laskin. Alla on kuhunkin tehtävään esitetty malliratkaisut punaisella sekä malliratkaisujen lisämateriaalit sinisellä. Tuntitehtävät 5B1 Yrityksen it-henkilö on vastuussa kahden www-palvelimen toiminnasta. Palvelin i toimii keskimäärin l i päivää ennen vikaantumistaan ja vian korjaaminen kestää keskimäärin m i päivää, missä l 1 = 30, l 2 = 100, m 1 = 1 ja m 2 = 2. Palvelinten toiminta- ja korjausajat oletetaan toisistaan riippumattomiksi ja eksponenttijakautuneiksi. It-henkilö korjaa palvelimet vikaantumisjärjestyksessä. (a) Mallinna palvelinten tilaa jatkuva-aikaisella tilajoukon S = {(), (1), (2), (1, 2), (2, 1)} Markov-ketjulla, missä tilajoukon alkiot ovat 0 2 alkion järjestettyjä listoja, jotka kuvaavat korjattavien palvelinten työjonoja. Kirjoita Markov-ketjun generaattorimatriisi ja piirrä siirtymäkaavio. Ratkaisu. Merkitään λ i = 1/l i ja µ i = 1/m i. Nyt koneen i toiminta-aika on L i Exp(λ i ) ja korjausaika M i Exp(µ i ). Voidaan päätellä, että kyseessä on jatkuva-aikaien Markov-ketju, jossa hyppyvauhdit ovat λ i ja µ i (kukin ilmeiselle siirtymälle). Tämä voidaan koota siirtymäkaavioon, jossa kaarten painot siis ovat siirtymäintensiteettejä (=hyppyvauhteja), ja kaaria vastaavat siirtymä-tn:t ovat [kaaren paino]/[kaikkien samasta solmusta lähtevien kaarten yhteispaino]. λ 1 λ µ 1 µ 2 λ 2 λ 1 µ µ 2 Generaattorimatriisin kirjoittamiseksi muistetaan Kytölän käsin kirjoitetuista luentomuistiinpanoista, että jos jatkuva-aikainen ja äärellistilainen Markov-ketju X t on annettu intensiteettien I x y avulla, joilla tilassa x oleva prosessi siirtyy tilaan y 1 / 8

2 (merkitään I x y = 0 jos siirtymää x y ei tapahdu), niin 1 { I x y, x y Q(x, y) = z y I y z, x = y. Tästä saadaan tilajoukon järjestyksellä {(), (1), (2), (1, 2), (2, 1)} (λ 1 + λ 2 ) λ 1 λ µ 1 (λ 2 + µ 1 ) 0 λ 2 0 Q = µ 2 0 (λ 1 + µ 2 ) 0 λ µ 1 µ µ µ 2 (b) Millä todennäköisyydellä kumpikaan palvelimista ei toimi viikon kuluttua, jos ne molemmat toimivat nykyhetkellä? Ratkaisu. Ketjun t:n aikayksikön siirtymämatriisi P t saadaan generaattorimatriisista matriisieksponenttina P t = e tq = n=0 t n n! Qn. Muistetaan, että ajan yksikkönä on päivä. Tietokoneella laskemalla nähdään, että P 7 = e 7Q = Ketjun alkutila on X(0) = 0 eli alkujakauma on µ 0 = (1, 0, 0, 0, 0). Tilajakauma hetkellä t = 7 on siis µ 7 = µ 0 P 7 = [ ], mikä on siis neliömatriisin P 7 ensimmäinen rivi. Viikon kuluttua kumpikaan palvelin ei toimi todennäköisyydellä µ 7 (12) + µ 7 (21) = = (c) Selvitä palvelinten tilaa kuvaavan ketjun tasapainojakauma. Millä todennäköisyydellä yrityksestä löytyy vähintään yksi toimiva palvelin tasapainotilanteessa? Ratkaisu. (Analyyttinen tapa.) Tasapainojakauma π saadaan lauseen [Leskelä 2015, Lause 11.5] mukaan ratkaisemalla matriisiyhtälö πq = 0 eli π(x)q(x, y) = 0, y S, 1 Tämä määritelmä on yhtäpitävä luentomonisteen [Leskelä 2015] kanssa. x S 2 / 8

3 ja hyödyntämällä normalisointiehtoa x S π(x) = 1. Näissä yhtälöissä on 5 tuntematonta ja 6 yhtälöä, joten ratkaiseminen ei ole pelkkää matriisin kääntämistä. Vastaavia laskentatehtäviä tulee eteen myös diskreettiaikaisten Markov-ketjujen tasapainojakaumaa etsittäessä. (Tasapainoehto on πq = 0 tai π(p I) = 0 jatkuvalle tai diskreetille ajalle ja lisäksi normalisaatioehto x S π(x) = 1 molemmille.) Kehittyneempi laskentaohjelmisto tietysti ratkaisee periaatteessa tällaisenkin ongelman. Jos generaattori- tai siirtymämatriisin alkiot ovat numeerisia likiarvoja voi kuitenkin ohjelmisto yllättäen sanoa, että ratkaisua ei ole. Tällöin sopiva laskennallinen kikka on poistaa ensin yksi yhtälöistä πq = 0, ratkaista jäljelle jäänyt yhtälöryhmä (5 tuntematonta ja 5 yhtälöä) ja lopuksi tarkistaa, että numeerisen tarkkuuden rajoissa myös pois jätetty yhtälö toteutuu. Alla oleva lisäys takaa, että tämä kikka toimii itse asiassa aina. Ratkaistaan siis tuurilla tai taidolla yhtälöryhmä πq = 0 yhtälö normalisaatioehdolla x S π(x) = 1. Tulos on π [ ]. Kysytty tn on siis 1 π(12) π(21) = Lisäys. Alla oleva lause on hyödyllinen, kun ratkaistaan likiarvoin annetun Markovketjun tasapainojakaumaa. Lause 5B.1. Olkoon X yhtenäinen jatkuva- tai diskreettiaikainen Markov-ketju ja Q R n n sen generaattorimatriisi tai Q R n n siirtymämatriisin avulla Q = P I. Tällöin korvaamalla mikä tahansa yhtälöryhmän πq = 0 yhtälö normalisaatioehdolla i π(i) = 1 saadaan yhtälöryhmä, jonka kerroinmatriisi on kääntyvä. Tämän kääntyvän yhtälöryhmän ratkaisu π on ketjun yksikäsitteinen tasapainojakauma, joka totetuttaa πq = 0 ja i π(i) = 1. Todistus on karkeasti seuraava: luennoilta tiedämme [Leskelä, Luku 3.3], että yhtälöryhmän πq = 0 ratkaisuavaruus on yksiulotteinen. Kukin Q:n sarake vastaa yhtä ryhmän πq = 0 yhtälöä. Koska Q:n rivisummat ovat nollia, on kuitenkin kaikkien sarakkevektorien summa nollavektori. Näin ollen mikä tahansa sarake (ryhmän πq = 0 yhtälö) voidaan ilmaista toisten lineaarikombinaationa. Erityisesti mikä tahansa ryhmän πq = 0 yhtälö voidaan poistaa muuttamatta ratkaisuavaruutta. Loppu seuraa tasapainojakauman πq = 0, i π(i) = 1 olemassaolosta. (Numeerinen tapa.) Lauseen [Leskelä, Lause 11.8] mukaan yhtenäinen jatkuvaaikainen ja äärellistilainen Markov-ketju suppenee kohti tasapainojakaumaansa ajan kuluessa. Jatkuva-aikainen Markov-ketju on määritelmän mukaan yhtenäinen, joss vastaava siirtymäkaavio on verkkona yhtenäinen. Tämä on selvää y.o. kaaviosta. Otetaan siis pitkän aikavälin aikakehitysmatriisi, esim. e 100Q ja lasketaan se tietokoneella. Havaitaan, että numeerisen tarkkuuden rajoissa kaikki rivit ovat samoja [ ]. 3 / 8

4 Havaitaan myös, että numeerisen tarkkuuden rajoissa tämä tila toteuttaa tasapainoyhtälön [Leskelä 2015, Lause 11.5] [ ] Q = [0, 0, 0, 0, 0], joten kyseessä on tasapainotila. Siis π [ ]. Kysytty tn on siis 1 π(12) π(21) = (d) Jos tasapainotilanteessa havaitaan, että kumpikaan palvelin ei toimi, kauanko odotusarvoisesti kestää, ennen kuin toimintaan saadaan vähintään yksi palvelin? Ratkaisu. Tilat, joissa kumpikaan palvelin ei toimi, ovat 12 ja 21. Tilasta 12 siirrytään vain tilaan 2, satunnaisen Exp(µ 1 )-jakautuneen ajan kuluttua, jonka odotusarvo on m 1 = 1/µ 1 = 1 päivää. Vastaavasti tilasta 21 siirrytään vain tilaan 1, satunnaisen Exp(µ 2 )-jakautuneen ajan kuluttua, jonka odotusarvo on m 2 = 1/µ 2 = 2 päivää. Kun ketjun havaitaan tasapainotilassa kuuluvan tilajoukkoon {12, 21}, niin silloin se on tilassa 12 tn:llä ja tilassa 21 tn:llä π(12) = π(21) = π(12) π(12) + π(21) = π(21) π(12) + π(21) = Odotusarvoisesti toinen palvelin saadaan siis toimimaan päivän kuluttua = 1.79 Kotitehtävät (palautettava kirjallisina pe klo 10:15 mennessä) 5B2 Yrityksen it-henkilö on vastuussa kahden www-palvelimen toiminnasta, jotka toimivat kuten tehtävässä 5B1. Oletetaan nyt kuitenkin, että palvelimet on priorisoitu niin, että it-henkilö korjaa palvelimen 1 heti sen vioittuessa ja tarvittaessa keskeyttää palvelimen 2 korjaustyöt siksi aikaa. (a) Mallinna palvelinten tilaa jatkuva-aikaisella tilajoukon S = {, {1}, {2}, {1, 2}} Markov-ketjulla, missä tilajoukon alkiot ovat järjestämättömiä joukkoja, jotka kuvaavat korjausta odottavia palvelimia. Kirjoita ketjun generaattorimatriisi ja piirrä siirtymäkaavio. Ratkaisu. Edellisen tehtävän kanssa identtisillä perusteluilla ja merkinnöillä saadaan siirtymäkaavio 4 / 8

5 λ 1 λ µ 1 µ 2 λ 2 µ 1 12 λ 1 Tästä saadaan ketjun generaattorimatriisi λ 1 λ 2 λ 1 λ 2 0 Q = µ 1 λ 2 µ 1 0 λ 2 µ 2 0 λ 1 µ 2 λ µ 1 µ 1 (b) Selvitä palvelinten tilaa kuvaavan ketjun tasapainojakauma. Millä todennäköisyydellä yrityksestä löytyy vähintään yksi toimiva palvelin tasapainotilanteessa? Ratkaisu. Edellisen tehtävän tapaan halutaan siis ratkaista yhtälöt πq = 0 ja i π(i) = 1. Edellisen tehtävän lisäyksen hengessä ratkaistaan korvaamalla yksi Q:n saraketta vastaava yhtälö normitusehdolla, λ 1 λ 2 λ 1 λ 2 1 π ˆQ = [0, 0, 0, 1], ˆQ = µ 1 λ 2 µ µ 2 0 λ 1 µ µ 1 1 mistä matriisi kääntämällä saadaan π = [0.948, , , ]. Kuten edellisessä tehtävässä, tp-jakauma voitaisiin myös löytää matriisieksponentin avulla. Vähintään yksi palvelin toimii tasapainotilassa tn:llä 1 π(12) = (c) Jos tasapainotilanteessa havaitaan, että kumpikaan palvelin ei toimi, kauanko odotusarvoisesti kestää, ennen kuin toimintaan saadaan vähintään yksi palvelin? Ratkaisu. Jos molemmat palvelimet ovat rikki, korjataan palvelinta 1. Tämän korjausaika τ on Exp(µ 1 )-jakautunut, joten (kts. teht. 1A2) E(τ) = 1/µ 1 = / 8

6 (d) Vertaa edellisten kohtien tuloksia tehtävän 5B1 tuloksiin. Ratkaisu. Verrataan ensin tehtävien 5B1d ja 5B2c tuloksia. Jos molemmat palvelimet ovat rikki, on jälkimmäisessä tehtävässä tutkittu nopeamman korjattavan priorisointi selvästikin kannattavampaa, eli ainakin toinen palvelin saadaan toimimaan keskimäärin nopeammin tehtävän 5B2 tavalla. Verrataan seuraavaksi tasapainojakaumia (5B1c ja 5B2b), eli pitkän aikavälin käytöstä. Ensiksikin havaitaan, että tilojen (12) ja (21) yhteenlaskettu osuus kaikista päivistä pitkällä aikavälillä on tehtävässä 5B2 pienempi. Myös tässä mielessä tehtävän 5B2 strategia oli siis fiksu. Toisaalta kuitenkin havaitaan, että tilan 0 tn on tasapainotilassa sama tehtävissä 5B1c ja 5B2b. Syy on selvä: korjausjärjestys ei vaikuta siihen, kuinka usein koneet rikkoutuvat ja kuinka kauan korjaus kestää, ja vain nämä kaksi määräävät tilan nolla osuuden. 5B3 Kone toimii odotusarvoisesti 1/λ = 100 päivää ennen rikkoutumistaan ja korjaaminen kestää odotusarvoisesti 1/µ = 10 päivää. Toiminta- ja korjausajat oletetaan toisistaan riippumattomiksi ja eksponenttijakautuneiksi. Toimiessaan (tila 1) kone tuottaa voittoa keskimäärin A = e päivässä ja rikki ollessaan (tila 2) tappiota keskimäärin e päivässä. (a) Jos kone on kuukauden alussa rikki, niin kuinka monta päivää se odotusarvoisesti on rikki kyseisen kuukauden (30 päivää) aikana? Vihje: Tehtävän 5A3 tuloksista on apua. Ratkaisu. Olkoon X t koneen tilaa kuvaava jatkuva-aikainen äärellistilainen prosessi. Eksponentiaalisista ja riippumattomista odotusajoista päätellään, että X t on Markov-prosessi. Valitaan aikayksiköksi päivä. Päätellään kuvauksesta siirtymäkaavio λ 1 2 µ jossa siis tila 1 on kunnossa ja 2 rikki. Järjestämällä tilat järjestykseen 1, 2, vastaa ketjua generaattorimatriisi [ ] λ λ Q =. µ µ Huomaa, että ketju ja notaatiot ovat yhtenevät tehtävän 5A3 kanssa. Tuossa tehtävässä ratkaistiin siirtymämatriisi P (t): P t = 1 [ ] [ ] µ λ + e (λ+µ)t λ λ. (1) λ + µ µ λ λ + µ µ µ 6 / 8

7 Tilan y odotusarvoinen esiintyvyys alkutilalla x on [Leskelä 2015, luku 11.5] M t (x, y) = t s=0 P s (x, y)ds, joten tässä kiinnostaa alkio M t (2, 2). Sijoittamalla matriisin (1) alkio (2, 2) saadaan M t (2, 2) = λt λ + µ + µ (λ + µ) 2 (1 e (λ+µ)t ). Sijoittamalla tähän lukuarvot µ = 1/10, λ = 1/100 ja t = 30 saadaan M 30 (2, 2) (päivää). (b) Jos kone on kuukauden alussa rikki, niin kuinka paljon se odotusarvoisesti tuottaa voittoa omistajalleen kyseisen kuukauden (30 päivää) aikana? Ratkaisu. Luentomonisteen mukaan [Leskelä 2015, luku 11.6] odotusarvoisten kustannusten vaakavektori g t (x) alkutiloilla x S indeksoituna saadaan g t = M t c, jossa c on kustannusten pystyvektori. Kuten edellä, M t (x, y) = t s=0 P s (x, y)ds, joten siirtymämatriisin (1) avulla saadaan g t (2) = = = t s=0 y S t P s (2, y)c(y)ds [ µ λ s=0 λ + µ (1 e (λ+µ)s ) λ + µ + µ ] λ + µ e (λ+µ)s ds [ ] µ λ + µ (t + e (λ+µ)t 1 λt ) λ + µ λ + µ + µ (λ + µ) (1 2 e (λ+µ)t ) Sijoittamalla arvot saadaan g 30 (2) (euroa). (c) Millä vauhdilla kone tuottaa omistajalleen voittoa pitkällä aikavälillä? Ratkaisu. Ergodisuuslauseen [Leskelä 2015, Lause 11.10] mukaan pitkän aikavälin tuottovauhti on tn:llä yksi tasapainojakauman tuottovauhti π(x)c(x). x S 7 / 8

8 Tasapainojakaumaksi ratkaistu tehtävässä 5A3d π = [ µ λ+µ λ λ+µ], joten pitkän aikavälin tuottovauhdiksi saadaan x S π(x)c(x) = 1 (µ λ ) (euroa/päivä). λ + µ Huomaa, että pitkän aikavälin odotusarvoinen tuottovauhti alkaen tilasta 2 voidaan ratkaista suoraan edellisestä tehtävästä ja saada sama tulos: g t (2)/t t 1 (µ λ ). λ + µ Ergodisuuslauseen mukaan kyseessä ei ole kuitenkaan pelkästään odotusarvoinen tuottovauhti vaan myös melkein varma raja. 8 / 8