Markov-kustannusmallit ja kulkuajat

Transkriptio

1 2B Markov-kustannusmallit ja kulkuajat Tämän harjoituksen tavoitteena on oppia laskemaan Markov-kustannusmallien kustannuskertymiä ja -vauhteja, ketjujen odotettuja kulkuaikoja sekä todennäköisyyksiä osua johonkin tilaan ennen käymistä jossain valitussa tilajoukossa. Harjoituksiin kannattaa tuoda mukaan kannettava tietokone tai laskin, jolla voi laskea tehtävissä esiintyvien laskujen lukuarvoja. Alla on kuhunkin tehtävään esitetty malliratkaisut punaisella sekä malliratkaisujen lisämateriaalit sinisellä. Tuntitehtävät 2B1 Tarkastellaan tilajoukon S = 1, 2,..., 6} Markov-ketjua, jonka siirtymämatriisi on P = Piirrä ketjun siirtymäkaavio ja vastaa seuraaviin kysymyksiin. Ratkaisu / 8

2 (a) Millä todennäköisyydellä tilasta 1 käynnistyvä ketju lopulta päätyy tilaan 5? Entäpä tilaan 6? Ratkaisu. (Kytölä: luentomuistiinpanot 2016, luku Markov-kustannusmallit ja -kulkuajat. Vaihtoehtoisesti Leskelä, luku 4.5.) Tilat 5 ja 6 ovat absorboivia tiloja eli nieluja (engl. absorbing state tai sink). Näin ollen niihin osuminen ja päätyminen ovat sama asia. Muistetaan luentomonisteesta, että joukon A osumatodennäköisyys on yksi joukossa A ja toteuttaa diskreetin keskiarvoperiaatteen muualla. Formaalisti: kootaan tilan 5 osumatodennäköisyydet vektoriin, ja merkitään sitä (f(x)) x S. Nyt siis f(5) = 1 f(x) = y S P (x, y)f(y), x 5. (1) Yllä jäävät muuttujiksi f(x), x 5. Näin saatu yhtälöryhmä on matriisein kirjoitettuna f(1) I f(2) 5 f(3) f(4) = f(6) 0 Huomaa y.o. matriisien sukulaisuus siirtymämatriisiin: vasemmanpuolimmainen matriisi on saatu poistamalla siirtymämatriisista 5. rivi ja sarake, oikealla vektorissa taas ovat siirtymätodennäköisyydet tilaan 5. Yllä olevaa yhtälöryhmää ei kuitenkaan voida suoraan ratkaista kääntämällä matriisia; tilaa 6 vastaava alin rivi on muotoa 0 = 0. Koska tila 6 on nielu, voidaan kuitenkin päätellä, että f(6) = 0. Näin saadaan uusi yhtälöryhmä f(1) I f(2) 4 f(3) = f(4) Tässä kerroinmatriisi on kääntyvä, ja saadaan [ f(1), f(2), f(3), f(4) ] = [ , , , 1 ]. Lopulta siis tn päätyä tilaan 5 tilasta 1 on f(1) = Koska Markov-ketju päätyy todennäköisyydellä 1 joko tilaan 5 tai 6, on tn päätyä tilaan 6 tilasta 1 1 f(1) = / 8

3 Lisäys. (Y.o. ratkaisutavan yleispätevyys.) Markov-ketjun todennäköisyys osua epätyhjään tilajoukkoon A alkutilasta x toteuttaa yhtälöryhmän f(x) = 1, x A f(x) = y S P (x, y)f(y), muutoin (2) Y.o. tehtävässä vastaava yhtälöryhmä osoittautui singulaariseksi, ja osumatodennäköisyyksien ratkaiseminen vaati pientä järkeilyä. Itse asiassa yleisemmin pätee, että joko yhtälöryhmästä (2) seuraa, että osumatodennäköisyys f(x) = 1 kaikilla tiloilla x, tai sillä on äärettömän monta ratkaisua. Leskelän luentomonisteessa (Lause 4.10) muotoiltiin osumatodennäköisyyden olevan yhtälöryhmän (2) pienin ei-negatiivinen ratkaisu. Kytölän muistiinpanoissa taas puhutaan osumatodennäköisyyksien ratkeamisesta yleensä järkeilemällä. Tarjottakoon tässä vielä kolmas muotoilu: Äärellistilaisen Markov-ketjun todennäköisyys osua epätyhjään tilajoukkoon A on yhtälöryhmän f(x) = 1, x A f(x) = 0, x A f(x) = y S P (x, y)f(y), muutoin yksikäsitteinen ratkaisu. Tämä muotoilu siis takaa, että järkeily toimii ja antaa järkeilyn usein muodossa, joka soveltuu osumatodennäköisyyksien ratkaisemiseen tietokoneella. (b) Mikä on todennäköisyys, että tilasta 1 käynnistyvä ketju ei koskaan käy tilassa 3? Ratkaisu. Lasketaan ensin todennäköisyys g käydä tilassa 3. Vektori (g(x)) x S toteuttaa siis osumatodennäköisyyksien yhtälöryhmän g(3) = 1 g(x) = y S P (x, y)g(y), x 3. eli matriisein g(1) I g(2) 5 g(4) g(5) = g(6) 0 Matriisi ei taaskaan ole kääntyvä. Päätellään g:n arvo nieluissa: g(5) = g(6) = 0. Nyt saadaan ryhmä g(1) I 5 g(2) = g(4) 0 3 / 8

4 Tämä ryhmä on kääntyvä (kuten y.o. huomautuksesta tiedetään), ja saadaan g = [0.3056, , 1, 0, 0, 0]. Todennäköisyys olla käymättä tilassa 3 kun on aloitettu tilasta 1 on siis = (c) Kauanko odotusarvoisesti kestää, ennen kuin tilasta 1 käynnistyvä ketju osuu tilajoukkoon 5, 6}? Ratkaisu. (Kytölä: luentomuistiinpanot 2016, luku Markov-kustannusmallit ja -kulkuajat. Vaihtoehtoisesti Leskelä, luku 4.4.) Luentomonisteesta tiedetään, että odotusarvoinen kulkuaika f(x) solmusta x joukkoon 5, 6} toteuttaa yhtälöryhmän f(x) = 0, x 5, 6} f(x) = 1 + y S P (x, y)f(y), muilla x. Jälkimmäiset yhtälöt voidaan kirjoittaa matriisein: olkoon P matriisi P, josta on poistettu 5. ja 6. rivi ja sarake, eli P = (3) Nyt siis (I 4 P )[f(1), f(2), f(3), f(4)] T = [1, 1, 1, 1] T. Kerroinmatriisi yllä on kääntyvä. Kääntämällä matriisi saadaan erityisesti kysytty tn f(1): f(1) = ((I 4 P ) ) 1 [1, 1, 1, 1] T = Lisäys. Leskelän ja Kytölän muistiinpanoissa on pieniä eroja myös kulkuaikojen kohdalla. Tarjotaan tässäkin (toivottavasti) laskennallisempi mutta eksakti vaihtoehto: odotusarvoiset kulkuajat epätyhjään tilajoukkoon A ovat yhtälöryhmän f(x) = 0, x A f(x) = 1 + y S P (x, y)f(y), muutoin (4) yksikäsitteinen ratkaisu joukossa (R + }) n. Erityisesti jos ryhmä ratkeaa reaalisesti, on ratkaisu odotusarvoinen kulkuaika. 1 4 / 8

5 Kotitehtävät (palautettava kirjallisina ti klo 10:15 mennessä) 2B2 Analysoi Katiskakauppa.com Oyj:n liiketoiminnan odotettua voittoa käyttäen luentomonisteen (esimerkit 2.2. ja 4.2) stokastista kustannusmallia. (a) Laske varaston kokoa kuvaavan ketjun tasapainojakauma. Ratkaisu. Tämän Markov-ketjun siirtymämatriisi on siis P = , jossa ketjun tilat ovat järjestyksessä 2, 3, 4, 5, ja kaavio Tasapainoyhtälöt: πp = π π[1, 1, 1, 1] T = 1. Kirjoitetaan π = [π 2, π 3, π 4, π 5 ] ja avataan yhtälöryhmä: π π π π 5 = π π π π 5 = π π π 5 = π π π π π 5 = π 5 π 2 + π 3 + π 4 + π 5 = 1. 5 / 8

6 Kolmas yhtälö antaa π 4 = π π 5 mikä voidaan sijoittaa toiseen yhtälöön: jolloin ensimmäinen yhtälö antaa π 3 = ( )π 5/ π 5 π 2 = (1494π π π 5 ) π 5. Neljättä yhtälöä ei ole käytetty, mutta on helppoa todeta y.o. arvojen toteuttavan sen (numeerista virhettä vaille). Viidennestä yhtälöstä saadaan π π π 5 + π 5 = 1 π 5 = Näin ollen tasapainojakauma on [0.1812, , , ] [0.181, 0.150, 0.091, 0.578]. (b) Laske myymälän pitkän aikavälin odotettu kustannus/tuottovauhti (EUR/viikko). Ratkaisu.(Leskelä, luku 4.3) Pitkän aikavälin odotusarvoinen kustannusvauhti saadaan suoraan tasapainojakauman kustannuskeskiarvona. Kustannus oli annettu prujussa [c(2), c(3), c(4), c(5)] = [250.21, , , ], joten merkitsemällä edellä ratkaistua rajajakaumaa π, pitkän aikavälin kustannusvauhti on π(x)c(x) x S Lisäys. Ergodisuusteoreeman 4.3 mukaan deterministiselle kustannukselle c(x s ) pätee vahvempi ominaisuus: pitkän aikavälin kustannuskeskivauhti lähestyy tn:llä 1 lukua x π(x)c(x). Katiskakauppa-esimerkissä (ja usein muutenkin) hetken s kustannus on kuitenkin satunnainen siten, että riippuu vain seuraavasta tilasta: C(X s ) = c(x s, X s+1 ). Ergodisuusominaisuus voidaan helposti todistaa myös tällaisille kustannuksille. Näin ollen yllä laskettu pitkän aikavälin odotusarvoinen kustannusvauhti on myös tn:llä 1 pitkän aikavälin kustannusvauhti. (c) Vertaa b)-kohdan tulosta esimerkissä 4.2 laskettuihin kymmenen viikon kustannuskertymiin. Ratkaisu. Y.o. pitkän aikavälin kustannusvauhti antaisi 10 viikon kertymäksi noin 3100 e. Riippuen alkutilasta 10 viikon kertymä on esimerkissä e. Suhteellinen virhe pitkän aikavälin kertymään verrattuna on alle kaksi prosenttia, eli ainakin tässä käytännön esimerkissä Markov-ketjun käytöstä voidaan mallintaa rajajakauman avulla hämmästyttävän hyvin jo lyhyellä aikavälillä. 6 / 8

7 2B3 Olkoon (X 0, X 1,... ) äärellisen tilajoukon S Markov-ketju, joka aina käydessään tilassa x aiheuttaa deterministisen kustannuksen c(x). Olkoon g(x) tilasta x käynnistyvän Markov-ketjun aiheuttama odotettu kokonaiskustannus ennen ketjun osumista tilajoukkoon A. (a) Johda funktiolle g : S R seuraavat yhtälöt: g(x) = 0, g(x) = c(x) + y S x A p x,y g(y), x / A. Ratkaisu. (Vrt. Kytölä, luvun Markov-kustannusmallit ja -kulkuajat ensiaskelanalyysi.) On selvää, että g(x) = 0, x A. Kun x A, merkitään τ A satunnaiskävelyn osumaaikaa joukkoon A, ja asetetaan c(x) = 0, x A. Tällöin suoraan määritelmästä g(x) = E[ τ A t=0 = c(x) + E[ (ehdollistus) = c(x) + y S (Markov-ominaisuus) = c(x) + y S (g:n määritelmä) = c(x) + y S c(x t ) X 0 = x] τ A t=1 c(x t ) X 0 = x] p x,y E[ p x,y E[ τ A t=1 τ A t=1 p x,y g(y). c(x t ) X 0 = x, X 1 = y] c(x t ) X 1 = y] Huomaa, että y.o. lasku on tehty sillä oletuksella, että odotusarvoinen kustannut g on olemassa (joukossa R + }). Tämä on ilmeistä kaikille järkeville kustannuksille ja Markov-ketjuille. Samoin voidaan osoittaa, että kaikille järkeville kustannuksille ja Markov-ketjuille yllä saatu yhtälöryhmä ratkeaa yksikäsitteisesti (joukossa R + }). (b) Selvitä a)-kohdan tulosta soveltamalla kuinka monta kertaa tehtävän 2B1 tilasta 1 käynnistyvä ketju odotusarvoisesti käy tilassa 3 ennen absorboitumistaan tilajoukkoon 5, 6}. Ratkaisu. Olkoon g(x) haluttun odotusarvo lähtötilasta x. Tällöin siis kustannus c(x) = I 3} (x) g(x) = 0, x 5, 6} g(x) = I 3} (x) + y S p x,y g(y), x / 5, 6}. 7 / 8

8 Tämä voidaan kirjoittaa matriisin P avulla, kun siitä poistetaan nieluja vastaavat 5. ja 6. rivi ja sarakke. Merkitään tätä matriisia P (kts. yhtälö 3). Nyt siis g(1) 0 ( I 4 P ) g(2) g(3) = 0 1, g(4) 0 josta saadaan matriisi kääntämällä g(1) = (Sanity check: tässä saatu odotusarvoinen vierailujen lukumäärä on suurempi kuin kohdassa 2B1b ratkaistu vierailutodennäköisyys ) 8 / 8