Markov-kustannusmallit ja kulkuajat

2B Markov-kustannusmallit ja kulkuajat Tämän harjoituksen tavoitteena on oppia laskemaan Markov-kustannusmallien kustannuskertymiä ja -vauhteja, ketjujen odotettuja kulkuaikoja sekä todennäköisyyksiä osua johonkin tilaan ennen käymistä jossain valitussa tilajoukossa. Harjoituksiin kannattaa tuoda mukaan kannettava tietokone tai laskin, jolla voi laskea tehtävissä esiintyvien laskujen lukuarvoja. Alla on kuhunkin tehtävään esitetty malliratkaisut punaisella sekä malliratkaisujen lisämateriaalit sinisellä. Tuntitehtävät 2B Tarkastellaan tilajoukon S {, 2,..., 6} Markov-ketjua, jonka siirtymämatriisi on 0.2 0.2 0. 0.2 0.2 0. 0.4 0 0.6 0 0 0 P 0 0.6 0 0 0 0.4 0 0 0 0.5 0.5 0. 0 0 0 0 0 0 0 0 0 0 Piirrä ketjun siirtymäkaavio ja vastaa seuraaviin kysymyksiin. Ratkaisu. 5 0.2 0.2 0.5 2 0.4 0.2 0.2 4 0.5 0.6 0.6 0. 0. 3 0.4 6 / 2

(a) Millä todennäköisyydellä tilasta käynnistyvä ketju lopulta päätyy tilaan 5? Entäpä tilaan 6? Ratkaisu. Tilat 5 ja 6 ovat absorboivia tiloja eli nieluja (engl. absorbing state tai sink). Näin ollen niihin osuminen ja päätyminen ovat sama asia. Muistetaan luentomonisteesta, että joukon A osumatodennäköisyys toteuttaa diskreetin keskiarvoperiaatteen reuna-arvolla I A : kootaan tilan 5 osumatodennäköisyydet vektoriin, ja merkitään sitä (f(x)) x S. Nyt siis { f(5) f(x) y S P (x, y)f(y), x 5. Auki kirjoitettuna tämä yhtälöryhmä on 0.2 0.2 0. 0.2 0. f() 0.2 0.4 0 0.6 0 0 0 0.6 0 0 0.4 0 0 0 0.5 0 I f(2) 5 f(3) f(4) 0 0 0.5. 0 0 0 0 f(6) 0 Huomaa y.o. yhtälöryhmän sukulaisuus siirtymämatriisiin: vasemmanpuolimmainen matriisi on saatu poistamalla siirtymämatriisista 5. rivi ja sarake, oikealla taas ovat siirtymätodennäköisyydet tilaan 5. Yllä olevaa yhtälöryhmää ei kuitenkaan voida suoraan ratkaista kääntämällä matriisia; alin rivi on pelkkää nollaa. Piirretystä siirtymäkaaviosta kuitenkin nähdään että f(6) 0, mitä tietoa käyttämällä voidaan poistaa y.o. yhtälöryhmästä kuudes rivi ja kerroinmatriisin sarake. Näin saadaan uusi yhtälöryhmä 0.2 0.2 0. 0.2 f() 0.4 0 0.6 0 0 0.6 0 0 I f(2) 4 f(3) 0 0 0 0.5 f(4) 0.2 0 0 0.5. Tässä kerroinmatriisi on kääntyvä, ja saadaan [ f(), f(2), f(3), f(4) ] [ 0.6275, 0.3922, 0.2353, ]. Lopulta siis tn päätyä tilaan 5 tilasta on f() 0.6275. Koska Markov-ketju päätyy todennäköisyydellä joko tilaan 5 tai 6, on tn päätyä tilaan 6 tilasta f() 0.3725. Lisäys. (Y.o. ratkaisutavan yleispätevyys.) Yleisemmin pätee, että keskiarvoperiaatteen yhtenäiselle Markov-ketjulle antama matriisi P I on kääntyvä jos ja 2 / 2

vain jos nieluja vastaavat yhtälöt ja kerroinmatriisin sarakkeet on poistettu erikseen järkeilemällä kuten yllä. Tämä matriisialgebrallinen ratkaisun yksikäsitteisyysehto on ekvivalentti luentomonisteen ehdolle, että vierailutodennäköisyys on y.o. yhtälöryhmän pienin ratkaisu. Yllä esitetty ratkaisustrategia toimii siis aina. (b) Mikä on todennäköisyys, että tilasta käynnistyvä ketju ei koskaan käy tilassa 3? Ratkaisu. Lasketaan ensin todennäköisyys g käydä tilassa 3. Vektori (g(x)) x S toteuttaa siis yhtälöryhmän { g(3) g(x) y S P (x, y)g(y), x 3. eli matriisein 0.2 0.2 0.2 0.2 0. g() 0. 0.4 0 0 0 0 0 0 0.5 0.5 0 0 0 0 0 I g(2) 5 g(4) g(5) 0.6 0 0. 0 0 0 0 g(6) 0 Matriisi ei taaskaan ole kääntyvä. Päätellään g:n arvo nieluissa: g(5) g(6) 0. Nyt saadaan ryhmä 0.2 0.2 0.2 g() 0. 0.4 0 0 I 5 g(2) 0.6. 0 0 0.5 g(4) 0 Tämä ryhmä on kääntyvä (kuten edellä huomautettiin), ja saadaan g [0.3056, 0.7222,, 0, 0, 0]. Todennäköisyys olla käymättä tilassa 3 kun on aloitettu tilasta on siis 0.3056 0.6944. Lisäys. (Todennäköisyystulkinta.) Aiemmin kurssilla on opittu, että (P t ) x,y kerää kaikkien niiden polkujen painot, jotka kulkevat t askeleella solmusta x solmuun y siirtymäkaaviolla. Olkoon nyt P siirtymämatriisi, josta on poistettu nieluja sekä kohdesolmua (yllä tila 3) vastaavat rivit ja sarakkeet. Tällöin täysin vastaavasti ( P t ) x,y kerää kaikkien niiden polkujen painot, jotka kulkevat t askeleella solmusta x solmuun y siirtymäkaaviolla, josta on poistettu nielut ja kohdesolmu. Vierailytodennäköisyys g saatiin yllä yhtälöstä (I P )g h, jossa h(y) kerää siirtymätodennäköisyydet kohdetilaan, h(y) P (y, kohdetila). Matriiseille (I P ) pätee sama potenssisarja kuin reaaliluvuille ( q), joten g (I + P + P 2 +...)h 3 / 2

eli komponenteittain g(x) y S ( P t ) x,y P (y, kohdetila). t0 Tällä on ilmeinen polkusummatulkinta kaikkien niiden polkujen painona, jotka kulkevat solmusta x solmuun y siirtymäkaaviolla, josta on poistettu nielut ja kohdesolmu, ja tämän jälkeen siirtyvät solmusta y kohdesolmuun. (c) Kauanko odotusarvoisesti kestää, ennen kuin tilasta käynnistyvä ketju osuu tilajoukkoon {5, 6}? Ratkaisu. (Tapa : kulkuajat) Luentomonisteesta tiedetään, että odotusarvoinen kulkuaika f(x) solmusta x joukkoon {5, 6} toteuttaa yhtälöryhmän { f(x) 0, x {5, 6} f(x) + y S P (x, y)f(y), muilla x. Jälkimmäiset yhtälöt voidaan kirjoittaa matriisein: olkoon P matriisi P, josta on poistettu 5. ja 6. rivi ja sarake, eli 0.2 0.2 0. 0.2 P 0.4 0 0.6 0 0 0.6 0 0. () 0 0 0 0.5 Nyt siis (I 4 P )[f(), f(2), f(3), f(4)] T [,,, ] T. Kerroinmatriisi yllä on kääntyvä (havaitaan numeerisesti tai tiedetään teoriasta, koska P :stä on poistettu nieluja vastaavat rivit ja sarakkeet). Kääntämällä matriisi saadaan erityisesti kysytty tn f() f() ((I 4 P ) ) [,,, ] T 3.3725 (Tapa 2: kustannusmalli) Koska tilat 5 ja 6 ovat nieluja, saadaan tämä odotusarvo laskettua kustannusmallina: asetetaan kaikille muille solmuille kaikilla ajanhetkillä kustannus. Osuttuaan solmuun 5 tai 6 prosessi jää paikalleen, joten odotusarvoinen kokonaiskustannus on suoraan näitä ennen vieraltujen tilojen lukumäärän keskiarvo. Tämä keskiarvo saadaan kustannusmallin mukaan kaavasta π( P t k t ), t0 jossa vaakavektori π on alkujakauma (eli tässä π [, 0, 0, 0, 0, 0]) ja pystyvektori k t kustannus hetkellä t (tässä k t [,,,, 0, 0] T kaikilla t). Ei ole selvää, että 4 / 2

y.o. sarja suppenee. Koska nielujen kustannus on nolla, voidaan niitä vastaavat sarakkeet poistaa P :stä ja rivit k:sta. Koska nieluista aloitettaessa kustannus on nolla, voidaan niitä vastaavat rivit poistaa P :stä ja sarakkeet π:stä. Olkoon siis π [, 0, 0, 0], k [,,, ] T ja P matriisi P, josta on poistettu 5. ja 6. rivi ja sarake kuten yhtälössä () tavassa. Nyt kustannus saadaan y.o. kaavasta matriisin (I 4 P ) potenssisarjaesityksen avulla π( P t ) k π(i 4 P ) k t0 Kaava on siis sama kuin tavassa. ((I 4 P ) [,,, ] T ). 2B2 Olkoon (X 0, X,... ) äärellisen tilajoukon S Markov-ketju, joka aina käydessään tilassa x aiheuttaa deterministisen kustannuksen c(x). Olkoon g(x) tilasta x käynnistyvän Markov-ketjun aiheuttama odotettu kokonaiskustannus ennen ketjun osumista tilajoukkoon A. (a) Johda funktiolle g : S R seuraavat yhtälöt: g(x) 0, g(x) c(x) + y S x A p x,y g(y), x / A. Ratkaisu. On selvää, että g(x) 0, x A. Kun x A, merkitään τ A satunnaiskävelyn osuma-aikaa joukkoon A, ja asetetaan c(x) 0, x A. Tällöin suoraan määritelmästä g(x) E[ τ A t0 c(x) + E[ (ehdollistus) c(x) + y S (Markov-ominaisuus) c(x) + y S (g:n määritelmä) c(x) + y S c(x t ) X 0 x] τ A t c(x t ) X 0 x] p x,y E[ p x,y E[ τ A t τ A t p x,y g(y). c(x t ) X 0 x, X y] c(x t ) X y] Huomaa, että y.o. lasku toimii, kunhan g on äärellinen. Voidaan kuitenkin helposti osoittaa, että näin on jos k.o. Markov-ketjun siirtymäkaavio on yhtenäinen. 5 / 2

(b) Selvitä a)-kohdan tulosta soveltamalla kuinka monta kertaa tehtävän 2B tilasta käynnistyvä ketju odotusarvoisesti käy tilassa 3 ennen absorboitumistaan tilajoukkoon {5, 6}. Ratkaisu. Olkoon g(x) haluttun odotusarvo lähtötilasta x. Tällöin siis kustannus c(x) I {3} (x) g(x) 0, x {5, 6} g(x) I {3} (x) + y S p x,y g(y), x / {5, 6}. Tämä voidaan kirjoittaa matriisin P avulla, kun siitä poistetaan nieluja vastaavat 5. ja 6. rivi ja sarakke. Merkitään tätä matriisia P (kts. yhtälö ). Nyt siis g() 0 ( I 4 P ) g(2) g(3) 0, g(4) 0 josta saadaan matriisi kääntämällä g() 0.5392. 6 / 2

Kotitehtävät 2B3 Analysoi Katiskakauppa.com Oyj:n liiketoiminnan odotettua voittoa käyttäen luentomonisteen (esimerkit 2.2. ja 4.2) stokastista kustannusmallia. (a) Laske varaston kokoa kuvaavan ketjun tasapainojakauma. Ratkaisu. Tämän Markov-ketjun siirtymämatriisi on siis 0.0498 0 0 0.9502 P 0.494 0.0498 0 0.8008 0.2240 0.494 0.0498 0.5768, 0.2240 0.2240 0.494 0.4026 jossa ketjun tilat ovat järjestyksessä 2, 3, 4, 5, ja kaavio 0.2240 0.0498 0.0498 2 0.494 0.494 3 4 0.0498 0.9502 0.8008 0.2240 0.2240 0.5768 0.494 5 0.4026 Tasapainoyhtälöt: { πp π π[,,, ] T. Kirjoitetaan π [π 2, π 3, π 4, π 5 ] ja avataan yhtälöryhmä: 0.0498π 2 + 0.494π 3 + 0.2240π 4 + 0.2240π 5 π 2 0.0498π 3 + 0.494π 4 + 0.2240π 5 π 3 0.0498π 4 + 0.494π 5 π 4 0.9502π 2 + 0.8008π 3 + 0.5768π 4 + 0.4026π 5 π 5 π 2 + π 3 + π 4 + π 5. 7 / 2

Kolmas yhtälö antaa π 4 494 9502 π 5 0.572π 5 mikä voidaan sijoittaa toiseen yhtälöön: π 3 (2240 + 494 494 9502 )π 5/9502 0.2605π 5 jolloin ensimmäinen yhtälö antaa π 2 9502 (494π 3 + 2240π 4 + 2240π 5 ) 0.332π 5. Neljättä yhtälöä ei ole käytetty, mutta on helppoa todeta y.o. arvojen toteuttavan sen (num. virhettä vaille). Viidennestä yhtälöstä saadaan 0.332π 5 + 0.2605π 5 + 0.572π 5 + π 5 π 5 0.5775 Näin ollen tasapainojakauma on [0.82, 0.504, 0.0908, 0.5775] [0.8, 0.50, 0.09, 0.578]. (b) Laske myymälän pitkän aikavälin odotettu kustannus/tuottovauhti (EUR/viikko). Ratkaisu. Ergodisuusteoreeman mukaan pitkän aikavälin kustannusvauhti saadaan suoraan rajajakauman kustannusvauhtina: kustannus oli annettu prujussa [c(2), c(3), c(4), c(5)] [250.2, 35.57, 336.3, 323.08], joten merkitsemällä rajajakaumaa π, pitkän aikavälin kustannusvauhti on π(x)c(x) 30.0. x S (c) Vertaa b)-kohdan tulosta esimerkissä 4.2 laskettuihin kymmenen viikon kustannuskertymiin. Ratkaisu. Y.o. pitkän aikavälin kustannusvauhti antaisi 0 viikon kertymäksi noin 300 e. Riippuen alkutilasta 0 viikon kertymä on esimerkissä 3047 322 e. Suhteellinen virhe pitkän aikavälin kertymään verrattuna on alle kaksi prosenttia. 2B4 Taka-Pajulan kaupunki aikoo järjestää jouluvalaistuksen. Kaupunki kilpailuttaa kaksi lamppuvalmistajaa: A ja B, joilta saadut tarjoukset ovat joko sattumalta tai kartellin johdosta lamppujen yksikköhinnalta samat. Valmistajien lamput eroavat kuitenkin laadultaan: valmistajan A lamppujen käyttöiät ovat eksponenttijakautuneita parametrilla ja valmistajan B parametrilla, ja kaikkien lamppujen käyttöiät ovat toisistaan riippumattomia. Parametreja, ei tunneta, joten kaupungin etevät virkamiehet keksivät käyttää tilastotieteen osaamistaan tilauspäätöksen tekemiseksi. Molemmilta valmistajilta tilataan lamppu testikäyttöön ja vertaillaan, kumpi lampuista kestää pidempään. Testi toistetaan, kunnes toinen valmistajista on saavuttanut viisi testivoittoa enemmän kuin toinen. Lamput tilataan tältä valmistajalta. 8 / 2

(a) Laske todennäköisyys, että valmistajan A lamppu kestää yksittäisessä testissä pidempään. Ratkaisu. Lamppujen eliniän T, jossa {A, B}, tiheysfunktio on eksponenttijakauman mukaan f T (t) I t>0 λ exp( λ t) ja riippumattomuuden perusteella niiden yhteistiheysfuktio on näiden tulo. Näin ollen Symmetrisesti P[A:n lamppu poksahtaa ennen B:n lamppua] P[T A < T B ] f TA,T B (t A, t B )dt A dt B {t A <t B } tb t B 0 t B 0 t A 0 f TA (t A )f TB (t B )dt A dt B f TB (t B )[ exp( t B )]dt B + +. P[B:n lamppu poksahtaa ennen A:n lamppua] +. Oletetaan parametreille arvot 0.04 ja 0.06 (yksikköinä /vrk). (b) Millä todennäköisyydellä tilaus päädytään lopulta tekemään valmistajalta A? Ratkaisu. Olkoon nyt X t A:n voitot miinus B:n voitot t:n testin jälkeen. Jos X t ±5, asetetaan X t+ X t, koska testejä ei enää tehdä. Riippumattomuusoletusten mukaan X t on Markov-ketju, ja sen siirtymäkaavio on + + + + + 5 4 3... 3 4 5 + + + + + Nyt siis X 0 0 ja A voittaa, joss Markov-ketju X t osuu solmuun 5. Osumatodennäköisyys f toteuttaa yhtälöt f( 5) 0 f(5) f(j) + f(j ) + + f(j + ), 4 j 4 9 / 2

Tämä yhtälö voitaisiin ratkaista kääntämällä matriisi kuten esimerkiksi tehtävässä 2B. Viimeinen yhtälö on kuitenkin lineaarinen differenssiyhtälö, joille usein löytyy eksponenttimuotoinen ratkaisu. Kokeillaan siis f(j) c j, je merkitään + : p. Tällöin saadaan c ( p) + pc 2 c tai c p p /. Lineaarisuuden mukaan viimeisen yhtälön ratkaisut ovat siis muotoa ( ) j λa f(j) α + β ja kertoimet ( ) α, β voidaan ratkaista reunaehdoista, kunhan niitä vastaavat j λ funktiot A ja ovat lineaarisesti riippumattomat, eli λa ; tällöin tehtävässä kysytty tn on symmetrian perusteella /2. Muutoin, ( ) 5 λ α A + β 0 ( ) 5 λ α A + β α ( ) λa 5 ( ) λb 5 λb ( ) λa 5 λ β α B λa joten lopulta kiinnostava suure on f(0) α + β ( ( ) 5 λa ) 5 ( ) 5. λa Sijoittamalla yllä saatuun kaavaan 0.04 ja 0.06 saadaan f(0) (3/2)5 (2/3) 5 (3/2) 5 0.8836. Lisäys. Osoita y.o. lausekkeesta, että f(0) /2, kun /. (c) Kuinka monta testiä odotusarvoisesti tarvitaan? Ratkaisu. Tarvittujen testien määrä on yllä kuvatun Markov-ketjun kulkuaika joukkoon { 5, 5}. Odotusarvoinen kulkuaika g toteuttaa yhtälöt g( 5) 0 g(5) 0 g(j) + g(j ) + + g(j + ) +, 4 j 4. 0 / 2

Tutkitaan jälleen viimeistä yhtälöistä eli lineaarista differenssiyhtälöä g(j) ( p)g(j ) + pg(j + ) +, (2) jossa jälleen p : /( + ). Jos löydetään tälle yhtälölle jokin ratkaisu g 0 (joka ei huomioi kahta ensimmäistä yhtälöryhmän yhtälöä), ovat edellisen kohdan perusteella kaikki funktiot muotoa ( ) j λa g(j) g 0 (j) + α + β (3) myös ratkaisuja, ja tämän jälkeen α ja β voidaan sovittaa reunaehtoihin. Etsitään siis erityisratkaisu differenssiyhtälölle (2). Koska yhtälö on affiini, on affiini yrite luonnollinen. Koska vakiotermi ei sisälly g 0 :aan (kts. yhtälö (3)), kokeillaan siis lineaarista funktiota g 0 (j) kj. Tällöin (2) antaa ehdon eli kun p /2, saadaan ja g(j) ( 2p)k, g 0 (j) j 2p + α j 2p ( λa ) j + β (4) Jäljellä on vakioiden α ja β sovittaminen. Reunaehdoista saadaan ( ) 5 5 + α 2p + β 0 α ( ) 5 ( ) 5 5 + α 2p + β 0 β 5 2p α. 0 ( 2p)(( / ) 5 ( / ) 5 ) Haluttu odotettu kulkuaika saadaan siis lopulta sijoittamalla kaavaan (4) yllä saadut α ja β sekä j 0: g(0) 0 ( 2p) ( ( / ) 5 ( / ) 5) 5 2p ( ) 5 λa 0 ( 2p) ( ( / ) 5 ( / ) 5) ( ) λ 5] 5 2[ A ( 2p (λa / ) 5 ( / ) 5), jossa p /( + ). Sijoitetaan vielä lukuarvot 0.04 ja 0.06: g(0) 9.88. / 2

Lisäys.(Tapaus p /2.) Tapaus p /2 käyttäytyi oleellisesti eri tavalla kuin muut p:n arvot. Yllä f:lle ja g:lle saadut differenssiyhtälöt voidaan kuitenkin tällöinkin ratkaista, jolloin saadaan f(j) αj + β g 0 (j) j 2 g(j) j 2 + αj + β. Yllä annetut f ja g 0 voidaan arvata sillä perusteella, että niiden differenssiyhtälöt voidaan tulkita diskreetin toisen derivaatan D avulla: f:lle saadaan tällöin DDf/2 0 ja g 0 :lle DDg 0 /2. Vastaavien jatkuvien differentiaaliyhtälöiden ratkaisut ovat f(x) αx + β ja g 0 (x) x 2. Lisäys. (Yleinen uhkapelurin vararikkotodennäköisuus [engl. gambler s ruin]) Kootaan vielä selkeyden vuoksi yleisen -ulotteisen satunnaiskävelyn ratkaisu. Tämä seuraa suoraan ylläolevasta, mutta on sen verran tärkeä, että annetaan erikseen. Siirtymäkaavio: p p p p p m m + m +... M 2 M M p p p p p Osumatodennäköisyydet: f(m) 0 tai f(m) tai 0 f(j) ( p)f(j ) + pf(j + ), m + j M ( ) j p f(j) α p + β, p /2 f(j) αj + β, p /2. Kulkuajat: g(m) 0 g(m) 0 g(j) ( p)g(j ) + pg(j + ) +, m + j M ( ) j g(j) j + α p 2p p + β, p /2 g(j) j 2 + αj + β, p /2. 2 / 2