6A Jatkuvan aikavälin stokastisia prosesse Tämän harjoituksen tavoitteena on tutustua uusiutumisprosesseihin tkuva-aikaisiin Markovprosesseihin harjoitella laskemaan niihin liittyviä hetkittäisiä kaumia tasapainokaumia. Laskuharjoitukseen kannattaa ottaa mukaan tietokone tai matriisilaskutoimituksiin kykeneväinen laskin. Alla on kuhunkin tehtävään esitetty malliratkaisut punaisella sekä malliratkaisujen lisämateriaalit sinisellä. Tuntitehtävät 6A1 Oletetaan, että uusiutumisprosessin väliat τ 1, τ 2,... ovat riippumattomia samoin kautuneita, joille pätee E(τ i ) = m (0, ) P(τ i > 0) = 1. Todista, että luentomonisteen kaavan (9.3) määrittämät kertymäfunktiot F + (t) = P(τ + t) = E(τ i t) E(τ i ) F (t) = P(τ t) = E(τ i1(τ i t)) E(τ i ) todella ovat R + :n kertymäfunktioita, eli niille pätee F (0) = 0, lim t F (t) = 1, F on kasvava oikealta tkuva. Ratkaisu. Selvästi F (0) = 0 molemmissa tapauksissa. Kasvavuus (eli ei-vähenevyys) seuraa myös suoraan odotusarvon monotonisuudesta. Osoitetaan seuraavaksi, että että F (t) 1 kun t. Tätä varten haluttaisiin vaihtaa rajojen järjestystä, esim. lim E(τ i t) =? E( lim τ i t) = E(τ i ). t t Puolittain kurssin ulkopuolelta napataan tähän hätään alisteisen suppenemisen lause [engl. dominated convergence theorem] (heikompi monotonisen suppenemisen lausekin riittäisi tässä). Lauseen mukaan lim t E(X t ) = E(lim t X t ), jos on olemassa jokin satunnaismuuttu Z s.e. EZ < X t Z kaikilla t. Selvästi τ i t τ i τ i 1(τ i t) τ i kaikilla t, joteon τ i on sopiva majorantti. Näin ollen voidaan vaihtaa rankäynnin odotusarvon järjestystä lim E(τ i t) = E( lim τ i t) = E(τ i ) t t lim E(τ i1(τ i t)) = E( lim τ i 1(τ i t)) = E(τ i ). t t 1 / 9
Jakamalla yllä molemmat puolet luvulla m = E(τ i ) voiaan päätellä, että F (t) 1 kun t. Oikealta tkuvuus voidaan perustella samaan tapaan. Valitaan jokin anhetki t. Kun h 0 oikealta puolelta, pätee Lisäksi pätee τ i (t + h) τ i t τ i 1(τ i t + h) τ i 1(τ i t). τ i (t + h) τ i τ i 1(τ i t + h) τ i kaikilla h 0. Jälleen oikealla puolella on integroituva satunnaisluku, joten alisteisen suppenemisen lauseella oikealta tkuvuus seuraa. Itseasiassa ylläoleva päättely osoittaa, että F + (t) on tkuva myös vasemmalta. F (t) ei välttämättä ole tkuva vasemalta. 6A2 Yrityksen it-henkilö on vastuussa kahden www-palvelimen toiminnasta. Palvelin i toimii keskimäärin l i päivää ennen vikaantumistaan vian koraminen kestää keskimäärin m i päivää, missä l 1 = 30, l 2 = 100, m 1 = 1 m 2 = 2. Palvelinten toiminta- korusat oletetaan toisistaan riippumattomiksi eksponenttikautuneiksi. It-henkilö kora palvelimet vikaantumisjärjestyksessä. (a) Mallinna palvelinten tilaa tkuva-aikaisella tilajoukon S = {, 1, 2, 12, 21} Markovketjulla, missä tilajoukon alkiot kuvaavat korttavien palvelinten työjono. Kirjoita Markov-ketjun generaattorimatriisi piirrä siirtymäkaavio. Ratkaisu. Merkitään λ i = 1/l i µ i = 1/m i. Nyt koneen i toiminta-aika on L i = st Exp(λ i ) korusaika M i = st Exp(µ i ). Voidaan päätellä, että kyseessä on tkuva-aikaien Markov-ketju, jossa hyppyvauhdit ovat λ i µ i (kukin ilmeiselle siirtymälle). Tämä voidaan koota siirtymäkaavioon, jossa kaarten painot siis ovat siirtymäintensiteettejä (=hyppyvauhte), kaaria vastaavat siirtymä-tn:t ovat [kaaren paino]/[kaikkien samasta solmusta lähtevien kaarten yhteispaino]. 2 / 9
1 0 2 µ 1 µ 2 µ 1 12 21 µ 2 Generaattorimatriisin kirjoittamiseksi muistetaan luennon 5B muistiinpanoista, että jos tkuva-aikainen äärellistilainen Markov-ketju X t on annettu intensiteettien I x y avulla, joilla tilassa x oleva prosessi siirtyy tilaan y (merkitään I x y = 0 jos siirtymää x y ei tapahdu), niin 1 { I x y, x y Q(x, y) = z y I y z, x = y. Tästä saadaan Q = ( + ) 0 0 µ 1 ( + µ 1 ) 0 0 µ 2 0 ( + µ 2 ) 0 0 0 µ 1 µ 1 0. 0 µ 2 0 0 µ 2 (b) Millä todennäköisyydellä kumpikaan palvelimista ei toimi viikon kuluttua, jos ne molemmat toimivat nykyhetkellä? Ratkaisu. Merkitään aikahorisonttia t = 7 (päivää). Ketjun t:n aikayksikön siirtymämatriisi P t saadaan generaattorimatriisista matriisieksponenttina P t = e tq = n=0 t n n! Qn. Tietokoneella laskemalla nähdään, että 0.949 0.0318 0.0179 0.000316 0.00107 0.948 0.0325 0.0183 0.000371 0.00110 P 7 = e 7Q = 0.918 0.0343 0.0400 0.000342 0.00713 0.891 0.0342 0.0640 0.001241 0.01000. 0.895 0.0571 0.0165 0.000771 0.03106 1 Tämä määritelmä on yhtäpitävä luentomonisteen [Leskelä 2015] kanssa, vaikka yhtäpitävyys ei ehkä ole opiskelille ilmeinen. 3 / 9
Ketjun alkutila on X(0) = sitä vastaava alkukauma eli tilan Dirac-kauma on δ = (1, 0, 0, 0, 0). Ketjun tilakauma anhetkellä t = 7 (päivää) saadaan siirtymämatriisista P 7 kaavalla δ P 7 = [ 0.949 0.0318 0.0179 0.000316 0.00107 ], mikä on siis neliömatriisin P 7 ensimmäinen (tilaa vastaava) rivi. Viikon kuluttua kumpikaan palvelin ei toimi todennäköisyydellä δ P 7 (12) + δ P 7 (21) = P 7 (, 12) + P 7 (, 21) = 0.000316 + 0.00107 = 0.00139. (c) Selvitä palvelinten tilaa kuvaavan ketjun tasapainokauma. Millä todennäköisyydellä yrityksestä löytyy vähintään yksi toimiva palvelin tasapainotilanteessa? Ratkaisu. (Numeerinen tapa.) Lauseen [Leskelä, Lause 11.8] mukaan yhtenäinen tkuva-aikainen äärellistilainen Markov-ketju suppenee kohti tasapainokaumaansa an kuluessa. Jatkuva-aikainen Markov-ketju on määritelmän mukaan yhtenäinen, joss ylikellotettua diskreettiä ketjua vastaava siirtymäkaavio on yhtenäinen. Koska ylikellottamisessa vain lisätään siirtymäkaavion silmukoita, α µ 1 α α µ 2 1 0 2 µ 1 µ 2 µ 1 12 21 µ 2 α µ 1 α µ 2 jollakin tarpeeksi suurella ylikellotustaajuudella α, on tehtävässä tarkasteltu ketju on selvästi yhtenäinen. Otetaan siis pitkän aikavälin aikakehitysmatriisi, esim. e 100Q lasketaan se tietokoneella. Havaitaan, että numeerisen tarkkuuden rajoissa kaikki rivit ovat samo [ 0.948 0.0319 0.0184 0.000319 0.00123 ]. Havaitaan myös, että numeerisen tarkkuuden rajoissa tämä tila toteuttaa tasapainoyhtälön [Leskelä 2015, Lause 11.5] [ 0.948 0.0319 0.0184 0.000319 0.00123 ] Q = [0, 0, 0, 0, 0], 4 / 9
joten kyseessä on tasapainotila. (Analyyttinen tapa.) Tasapainokauma π saadaan lauseen [Leskelä 2015, Lause 11.5] mukaan ratkaisemalla matriisiyhtälö πq = 0 eli π(x)q(x, y) = 0, y S, x S hyödyntämällä normalisointiehtoa x S π(x) = 1. Näissä yhtälöissä on 5 tuntematonta 6 yhtälöä. Yksi matriisiyhtälöä πq = 0 vastavista yhtälöistä on redundantti, joten sen voi jättää pois 2. Jätetään esimerkiksi Q:n viimeistä saraketta vastaava yhtälö pois. Olkoon Q R 5 4 matriisi, joka saadaan poistamalla Q:n viimeinen sarake. Tällöin saadaan uusi matriisiyhtälö π Q = (0, 0, 0, 0). Tähän yhtälöryhmään saadaan lisättyä normalisointiehto πe T = 1, jossa e = (1, 1, 1, 1, 1), kirjoittamalla π ˆQ = (0, 0, 0, 0, 1), missä ˆQ = [ Q ] e T R 5 5 on neliömatriisi, joka saadaan lisäämällä matriisiin Q uusi sarake e T. Ketjun tasapainokauma saadaan kertomalla molemman puoliset yhtälöt ˆQ:n käänteismatriisilla oikealta. Tämänkin voidaan laskea kätevästi tietokoneella tulokseksi saadaan π = [0, 0, 0, 0, 1] ˆQ 1 = [ 0.948 0.0319 0.0184 0.000319 0.00123 ]. Kysytty tn on siis 1 π(12) π(21) = 0.998. (d) Jos tasapainotilanteessa havaitaan, että kumpikaan palvelin ei toimi, kauanko odotusarvoisesti kestää, ennen kuin toimintaan saadaan vähintään yksi palvelin? Ratkaisu. Tilat, joissa kumpikaan palvelin ei toimi, ovat 12 21. Merkitään näiden tilojen joukkoa A = {12, 21}. 2 Lisäys. (Ratkaisutavan yleispätevyys.) Yhtenäisen Markov-ketjun tapauksessa tasan yksi yhtälöistä on aina redundantti. Tämä johtuu siitä, että suoraan määritelmän mukaan Q = diag(λ(x))(p I), jossa P on vastaavan diskreettiaikaisen Markov-ketjun siirtymämatriisi. Kuten luentomonisteen luvun 3.3 lopussa voidaan nyt päätellä, että matriisin (P I) oikea nolla-avaruus on yhtenäisille ketjuille yksiulotteinen. Näin ollen myös vasen nolla-avaruus on yksiulotteinen, joten tasan yksi yhtälöistä πq = (πdiag(λ(x)))(p I) = 0 on redundantti. Lisäksi tiedetään, että diskreettiaikaisella Markov-ketjulla P on yksikäsitteinen tasapainokauma π d, jolle π d (P I) = 0. Tästä saadaan tkuva-aikaisen diskreettiaikaisen Markov-ketjun tasapainotiloille relaatio π π d diag(λ(x)). Erityisesti Q:n vasemman nolla-avaruuden vektorin π π d diag(λ(x)) kaikki komponentit tosiaan ovat positiivisia, eli se tosiaan on (oikein normalisoituna) kaumavektori. 5 / 9
Tilasta 12 siirrytään tilaan 2 satunnaisen Exp(µ 1 )-kautuneen an kuluttua, jonka odotusarvo on m 1 = 1/µ 1 = 1 päivää. Tässä tilassa toinen palvelimista (palvelin 1) on saatu toimintaan. Ketjun hyppyvauhti tilassa 12 on λ(12) = µ 1. Vastaavasti tilasta 21 siirrytään tilaan 1 satunnaisen Exp(µ 2 )-kautuneen an kuluttua, jonka odotusarvo on m 2 = 1/µ 2 = 2 päivää. Tässä tilassa toinen palvelimista (palvelin 2) on saatu toimintaan. Ketjun hyppyvauhti tilassa 21 on λ(21) = µ 2. Jos ketju käynnistyy jommasta kummasta näistä tiloista, niin ketjun ensimmäinen hyppyhetki T on myös se anhetki, jolloin vähintään toinen palvelimista on saatu toimintaan. Kun ketjun havaitaan tasapainotilassa kuuluvan tilajoukkoon A = {12, 21} (eli kumpikaan palvelin ei toimi), niin silloin se on tilassa 12 (eli palvelin 1 on korttavana, palvelin 2 vikaantuneena jonossa) tn:llä π(12) = π(12) π(12) + π(21) = 0.207 tilassa 21 (eli palvelin 2 on korttavana, palvelin 1 vikaantuneena jonossa) tn:llä π(21) = π(21) π(12) + π(21) = 0.793. Jakauma π on siis havainnoin näkökulmasta ketjun alkukauma. Tästä kaumasta käynnistyvälle ketjulle ensimmäisen hyppyhetken T odotusarvo on E π (T ) = π(x)e x (T ) x S = π(12)e 12 (T ) + π(21)e 21 (T ) = π(12)m 1 + π(21)m 2 = 0.207 1 + 0.793 2 = 1.79. Vähintään toinen palvelimista saadaan toimintaan siis odotusarvoisesti 1.79 päivän kuluttua. 6 / 9
Kotitehtävät 6A3 Yrityksen it-henkilö on vastuussa kahden www-palvelimen toiminnasta, jotka toimivat kuten tehtävässä 6A2. Palvelimet on priorisoitu niin, että it-henkilö kora palvelimen 1 heti sen vioittuessa tarvittaessa keskeyttää palvelimen 2 korustyöt siksi aikaa. (a) Mallinna palvelinten tilaa tkuva-aikaisella tilajoukon S = {, 1, 2, 12} Markovketjulla, missä tilajoukon alkiot kuvaavat korttavien palvelinten joukko. Kirjoita ketjun generaattorimatriisi piirrä siirtymäkaavio. Ratkaisu. Edellisen tehtävän kanssa identtisillä perusteluilla merkinnöillä saadaan siirtymäkaavio 1 0 2 µ 1 µ 2 µ 1 12 Tästä saadaan ketjun generaattorimatriisi 0 Q = diag(λ(x))(p I) = µ 1 µ 1 0 µ 2 0 µ 2 0 0 µ 1 µ 1 (b) Selvitä palvelinten tilaa kuvaavan ketjun tasapainokauma. Millä todennäköisyydellä yrityksestä löytyy vähintään yksi toimiva palvelin tasapainotilanteessa? Ratkaisu. Edellisen tehtävän tapaan muodostetaan ˆQ korvaamalla yksi Q:n saraketta vastaava yhtälö normitusehdolla, ˆQ = 1 µ 1 µ 1 0 1 µ 2 0 µ 2 1. 0 0 µ 1 1 Ja nyt tasapainokaumalle π pätee π ˆQ = [0, 0, 0, 1],. 7 / 9
mistä matriisi kääntämällä saadaan π = [0.948, 0.0313, 0.0196, 0.000966]. Kuten edellisessä tehtävässä, tämä voitaisiin tehdä myös numeerisesti. (c) Jos tasapainotilanteessa havaitaan, että kumpikaan palvelin ei toimi, kauanko odotusarvoisesti kestää, ennen kuin toimintaan saadaan vähintään yksi palvelin? Ratkaisu. Jos molemmat palvelimet ovat rikki, kortaan palvelinta 1. Tämän korusaika τ on Exp(µ 1 )-kautunut, joten (kts. teht. 1A3) E(τ) = 1/µ 1 = 1. (d) Vertaa edellisten kohtien tuloksia tehtävän 6A2 tuloksiin. Ratkaisu. Verrataan ensin tehtävien 6A2d 6A3c tuloksia. Jos molemmat palvelimet ovat rikki, on jälkimmäisessä tehtävässä tutkittu nopeamman korttavan priorisointi selvästikin kannattavampaa, eli ainakin toinen palvelin saadaan toimimaan keskimäärin nopeammin tehtävän 3 tavalla. Verrataan seuraavaksi tasapainokaumia (6A2c 6A3b), eli pitkän aikavälin käytöstä. Ensiksikin havaitaan, että tilojen (12) (21) yhteenlaskettu osuus kaikista päivistä pitkällä aikavälillä on tehtävässä 3 pienempi. Myös tässä mielessä tehtävän 3 strategia oli sis fiksu. Toisaalta kuitenkin havaitaan, että tilan 0 tn on sama tehtävissä 6A2c 6A3b. Syy on selvä: korusjärjestys ei vaikuta siihen, kuinka usein koneet rikkoutuvat kuinka kauan korus kestää, vain nämä kaksi määräävät tilan nolla osuuden. 6A4 Bussipysäkille saapuvien bussien saapumishetkien (luentomoniste, esimerkki 9.17) väliaiko merkitään τ 1, τ 2,.... Luentomonisteen lauseen 9.16 perusteella tiedetään, että satunnaisen matkustan näkökulmasta odotusaika τ + seuraavan bussin saapumiseen noudattaa pitkällä aikavälillä likimäärin väliaikojen tasapainokaumaa, seuraavan edellisen bussin väliaika τ likimäärin kokovinoutettua väliaikakaumaa. Selvitä satunnaislukujen τ + τ tiheysfunktiot (jos olemassa) kertymäfunktiot, kun (a) τ i = st Tas(0, 1) noudattaa avoimen yksikkövälin (0, 1) tasakaumaa. Ratkaisu. Luentomonisteen kaavo (9.4) (9.5) käyttämällä saadaan tasapainokauman tiheysfunktio: f + (t) (yleisesti) = P(τ i > t) Eτ i (tässä) = 2(1 t), t (0, 1). Kokovinoutetulla kaumalla on tiheysfunktio, jos τ i :llä on tiheysfunktio f. Tällöin, f (t) (yleisesti) = tf(t) Eτ i (tässä) = 2t, t (0, 1). 8 / 9
Välin (0, 1) ulkopuolella tiheysfunktiot ovat nollia. (Välin reunapisteissä tiheysfunktion saa määritellä miten haluaa.) Vastaavat kertymäfunktiot ovat F + (t) = t 0 F (t) = 2(1 s) ds = 2t t 2, t [0, 1] t 0 2s ds = t 2, t [0, 1]. Tiheysfunktiot voidaan esim. Wikipediasta hakemalla tunnistaa betakaumiksi niin, että τ + = st Beta(1, 2) τ = st Beta(2, 1). (b) τ i = st δ c noudattaa Dirac-kaumaa pisteessä c > 0. Ratkaisu. Koska Dirac-kaumalla ei ole tiheysfunktiota, kannattaa laskea kertymäfunktiot. Luentomonisteen kaavaa (9.3) käyttämällä P(τ + t) = E(τ i t) E(τ i ) = E(c t) E(c) = c t c = 1 (t/c), t 0. Samalla kaavalla P(τ t) = E(τ i1(τ i t)) E(τ i ) = c1(c t)) c = 1(c t). Näistä nähdään, että τ + = st Tas(0, c) noudattaa välin (0, c) tasakaumaa τ = st δ c Dirac-kaumaa pisteessä c. (c) Kauanko bussipysäkille saapuvan henkilön pitää odotusarvoisesti odottaa seuraavan bussin saapumista, jos bussin väliat noudattavat (a)-kohdan kaumaa? Ratkaisu. Odotusan odotusarvo on E(τ + ) = 1 0 t f + (t) dt = 1 0 t 2(1 t)dt = 1 3. Kun aikayksikkönä on 1 tunti, niin busse saapuu keskimäärin 30 min välein, jolloin voisi luulla, että bussia tyypillisesti pitää odottaa 15 minuuttia. Oikea vastaus tässä tapauksessa kuitenkin on 20 min. (d) Kauanko bussipysäkille saapuvan henkilön pitää odotusarvoisesti odottaa seuraavan bussin saapumista, jos bussin väliat noudattavat (b)-kohdan kaumaa? Ratkaisu. Koska τ + noudattaa välin (0, c) tasakaumaa, on kysytty odotusarvo E(τ + ) = c/2. Jos esimerkiksi c = 1/2 aikayksikkön 1 tunti, niin busse saapuu tarkalleen 30 min minuutin välein, pysäkille satunnaisesti saapuvan henkilön odotusarvoinen odotusaika on 15 min, mikä vastaa arki-intuitiota. Tunnistatko kertymäfunktioita vastaavat kaumat? 9 / 9