Erilaisia Markov-ketjuja

MS-C2 Stokastiset prosessit Syksy 207 3A Erilaisia Markov-ketjuja Tuntitehtävät 3A Lepakoiden rengastaja (tai kuponkien keräilijä) Lepakkoluolassa on lepakkoa, joista jokainen lentää luolasta ulos joka yö palaten kuitenkin aamuksi takaisin Lepakkotutkija pyydystää joka yö sattumanvaraisesti yhden ulos tulevista lepakoista, rengastaa sen ellei sitä ole vielä rengastettu, ja päästää sen sitten jälleen aamuksi palaamaan tovereidensa kanssa luolaan (a) Olkoon X t on t:nnen yön jälkeen rengastettujen lepakkojen lukumäärä Osoita, että prosessi X (X t ) t Z+ on Markov-ketju joukolla S 0,, 2,,, }, ja laske sen siirtymätodennäköisyydet Ratkaisu Prosessi X (X t ) t Z+ on selvästi äärellisellä joukolla S 0,, 2,,, } Yleisesti äärellisen tila-avaruuden S prosessi on Markovprosessi, jos siirtymät ovat historiasta riippumattomia: kaikilla t ja x 0,, x t S P(X t+ y X t x, X t x t,, X 0 x 0 ) P(X t+ y X t x) p x,y Yo kaava pätee tässä tapauksessa, koska X t+ X t + Iyönä (t + ) napataan uusi lepakko} äin X t+ :n jakauma määräytyy arvosta X t x ja X t+ on (tarinan perusteella oletettavasti) historiasta X 0,, X t riippumaton Ketjun siirtymämatriisi on P (p x,y ) 0 x,y, jossa p x,x+ x, 0 x < p x,x x, 0 x p x,y 0, muutoin (b) Oletetaan, että erään yön jälkeen tutkija on rengastanut kaikki paitsi j lepakkoa Osoita, että odotusarvoisesti tutkijalla kestää vielä ( + 2 + 3 + + j ) yötä kunnes jokainen lepakko on rengastettu Ratkaisu Tämä olisi luonnollisinta ratkaista suoraan ilman Markov-teoriaa Kurssin teeman vuoksi esitetään kuitenkin ensin Markov-teorian versio (Tapa : Markov-teorian tapa) Muistetaan, että äärellistilaisen Markov-ketjun (X t ) t Z+ odotusarvoinen kulkuaika g(x) tilajoukkoon A alkutilasta x S toteuttaa yhtälöryhmän g(x) 0, x A, g(x) y S p x,yg(y) +, x A / 7

MS-C2 Stokastiset prosessit Syksy 207 Kirjoitetaan nämä tehtävän Markov-ketjulle Kirjoitetaan suoraan jälkimmäinen yhtälö tilalle x k, jossa siis on pyydystämättä k lepakkoa: g() 0, g( k) kg( k) + k g( k + ) +, k g() 0, g( k) g( k + ) +, k k Ilmiselvästi yo yhtälöryhmällä on yksikäsitteinen ratkaisu joka siis on odotettu kulkuaika: g() 0, g( k) + 2 + + k, k (Tapa 2: geometrisen jakauman tapa) Merkitään aikaa jolloin viimeinen lepakko rengastetaan T + mint : X t } Olkoon θ(x; x ) x:nnen lepakon rengastamisen tarvittava aika, kun on jo rengastettu x lepakkoa Huomaa, että T + θ(x; x ) Lisäksi selvästi θ(x; x ) on muotoa + [geometrisesti jakautunut satunnaismuuttuja joukolla Z + onnistumistodennäköisyydellä p ( (x ))/] Muistamalla geometrisen jakauman odotusarvo ( p)/p (kts teht A2b) saadaan E(θ(x; x )) /( (x )) Tästä seuraa x E j (T + ) x j+ x j+ E(θ(x; x )), (x ), j j + x, x ( j + j + 2 + ) (c) Osoita (esimerkiksi integraalia du tarkastelemalla), että mille tahansa u pätee log( + ) + 2 + 3 + + log() + Mitä tämä lasku kertoo ajasta, joka lepakkotutkijalla kokonaisuudessaan kuluu kunnes kaikki lepakot on rengastettu? Ratkaisu Jaetaan molempia epäyhtälöitä varten integraalin du sopiva integrointiväli osaväleihin pituudeltaan Koska funktio f(u) /u on u vähenevä, 2 / 7

MS-C2 Stokastiset prosessit Syksy 207 saadaan ensin epäyhtälö log( + ) + j+ j uj j+ j f(u)du, uj /j i Toiseen suuntaan epäyhtälö saadaan vastaavasti: log() f(u)du, j+ log() + j uj j+ j uj /j j2 /j j f(u)du f(j)du f(u)du f(j + )du Tämä todistaa väitetyt epäyhtälöt Erityisesti tämä tarkoittaa sitä, että j /j log, eli lepakonrengastaja joutuu valvomaan odotusarvoisesti noin log yötä Huh huh! Lisäys Lisätehtävä: laske geometrisen jakauman tavasta lepakoiden pyydystysajan T + varianssi, approksimoi varianssin lauseketta integraalilla kohdan (c) tapaan, ja totea että erityisesti T + Var( log ) 0, kun Lepakonrengastajalla ei siis ole toivoakaan valvoa vähempää kuin ne odotusarvoiset log yötä Huh huh! 3 / 7

MS-C2 Stokastiset prosessit Syksy 207 Kotitehtävät (palautettava kirjallisina pe 299 klo 0:5 mennessä) 3A2 Uusiutumisketju Olkoon q ( q(0), q(), q(2), ) jokin tila-avaruuden Z + 0,, 2, } todennäköisyysjakauma Jakaumaa q vastaava uusiutumisketju on äärettömän tilajoukon Z + Markov-ketju, jonka siirtymämatriisille pätee p k,k kaikilla k > 0 ja p 0,k q(k) kaikilla k 0 (a) Luonnostele kuva ketjun siirtymäkaaviosta (b) Millainen jakauma q tuottaa yhtenäisen uusiutumisketjun? (c) Todista, että tila 0 on palautuva (d) Ilmaise jakauman q avulla tilan 0 odotettu paluuaika E 0 [ T + 0 ], missä merkitään T + 0 mint : X t 0} (e) Keksi tai googlaa esimerkki todennäköisyysjakaumasta, jota vastaavalle uusiutumisketjulle pätee E 0 [ T + 0 ] Ratkaisu a) Ketjun siirtymämatriisi on P q(0) q() q(2) q(3) 0 0 0 0 0 0 0 0 0 b) Yleisesti numeroituvan tila-avaruuden S Markov-ketju on yhtenäinen, jos kaikille tiloille x, y S pätee seuraava: tilasta x alkava ketju voi jossakin äärellisessä ajassa 0 t < kulkeutua tilaan y, ts P(X t y X 0 x) > 0 jollakin t Tätä merkitään x y Väite: Tehtävän uusiutumisketju on yhtenäinen jos ja vain jos q(k) saa positiivisia arvoja äärettömän monella k Z Todistus: Jos : Riittää selvästi osoittaa, että kaikille x, y pätee x 0 ja 0 y Ominaisuus x 0 on ilmeinen Omianisuus 0 y seuraa, koska q(k) > 0 jollakin k y Vain jos : Jos q(k) > 0 vain äärellisen monella k, otetaan y joka on suurempi kuin kaikki tällaiset k yt 0 y c) (Leskelä, luku 54) Merkitään T 0 + mint : X t 0} On todistettava, että ρ(0, 0) P 0 (T + 0 < ) Tehdään vastaoletus, jonka mukaan ρ(0, 0) < Tällöin on olemassa ε > 0 se ρ(0, 0) ε Toisaalta huomaa, että k Z + q(k) Joten on olemassa (ε) > 0 se (ε) q(k) > ε 4 / 7

MS-C2 Stokastiset prosessit Syksy 207 ja näin pätee ρ(0, 0) P 0 (T 0 + < (ε) + ) > ε Tämä on ristiriita Eli vastaoletus on väärin ja ρ(0, 0) d) Huomaa, että P 0 (T 0 + ) q(0) sekä P 0 (T 0 + 2) q() Yleisemmin pätee P 0 (T 0 + k + ) q(k) k Z + äin odotusarvo voidaan laskea suoraan tavallisella odotusarvon kaavalla, jolloin saadaan E 0 (T + 0 ) q(k)(k + ) kq(k) + q(k) + kq(k) e) Seuraava jakauma käy vastaukseksi: q(k) 0, kun k 0 q(k) 6 π 2 k 2 kun k > 0 Tämä on tn-jakauma, koska pätee k π2 (kts esim k 2 6 https://enwikipediaorg/wiki/basel_problem) Lisäksi saadaan kq(k) kq(k) k k 6 π 2 k 6 π 2 k k, joka seuraa suoraan harjoi- Viimeisessä kohdassa käytettiin tietoa k tuksesta 3Ac yllä k Lisäys Tehtävän 3A2e mielenkiitoisuus ei ole ilmeistä ainakaan vuonna 206 saatavilla olleiden luentomateriaalien perusteella, joten näytetään argumentti tässä: Olkoon (X t ) t 0 numeroituvasti äärettömän tila-avaruuden S yhtenäinen Markovketju Jos E x [T + x ] jollekin tilalle x S, niin ketjulla ei ole tasapainojakaumaa Todistus: Tehdään vastaoletus, että ketjulla on tp-jakauma π Yhtenäisyyden perusteella pätee tällöin π(x) > 0 Olkoon µ 0 mikä tahansa alkujakauma ja µ t µ 0 P t sitä vastaava hetken t tilajakauma yt saadaan µ t (x) P(X t x X 0 µ 0 ) P(X 0 x & X,, X t x X 0 µ 0 ) + P(X x & X 2,, X t x X 0 µ 0 ) + + P(X t x & X t x X 0 µ 0 ) µ 0 (x)p x (T + x t + ) + µ (x)p x (T + x t) + + µ t (x)p x (T + x 2) Valitsemalla µ 0 π saadaan siis kaikilla t π(x) µ t (x) π(x)(p x (T + x t + ) + P x (T + x t) + + P x (T + x 2)) 5 / 7

MS-C2 Stokastiset prosessit Syksy 207 Rajalla t yllä suluissa oleva todennäköisyyksien summa on E x (T + x ) (kts esim Leskelä, Lemma 49), joten π(x) Tämä on ristiriita, joten ketjulla ei voi olla tasapainojakaumaa π Ylläoleva on osa seuraavaa lausetta: Lause 3A Olkoon (X t ) t 0 numeroituvasti äärettömän tila-avaruuden S yhtenäinen Markov-ketju Tällöin pätee joko (a) tai (b): (a) Kaikilla x S pätee ja ketjulla ei ole tasapainojakaumaa (b) Kaikilla x S pätee E x [T + x ] E x [T + x ] < ja ketjulla on yksikäsitteinen tasapainojakauma Lisäksi jaksottoman ketjun tapauksessa tämä tasapainojakauma on kaikkien alkujakaumien rajajakauma (Leskelän lauseen 55 mielessä) 3A3 Verkon satunnaiskulku Olkoon G solmujoukon V,, n} suuntaamaton verkko, jossa kunkin solmun x asteluku deg(x) eli naapureiden lukumäärä on vähintään Verkon G satunnaiskulku etenee siirtymällä jokaisella askeleella tasaisen satunnaisesti johonkin naapurisolmuun, jolloin p x,y kun x y, ja p deg(x) x,y 0 muuten (a) Todista, että verkon satunnaiskulku on kääntyvä jakauman π(x) c deg(x) suhteen, kun vakio c valitaan sopivasti (b) Laske a)-kohdan tulosta käyttämällä tasapainojakauma tyhjällä shakkilaudalla satunnaisesti kulkevalle kuninkaalle (ks luentokohtaiset kyselyt 3 ja 4) (c) Laske a)-kohdan tulosta käyttämällä tasapainojakauma tyhjällä shakkilaudalla satunnaisesti kulkevalle ratsulle (ks luentokohtaiset kyselyt 3 ja 4) Ratkaisu a) (Leskelä, luku 55) Yleisesti Markov-ketju on kääntyvä jakauman π suhteen, jos kaikilla tiloilla x, y pätee π(x)p (x, y) π(y)p (y, x) Tässä: jos pätee x y, niin pätee P (x, y) P (y, x) 0 Tällöin π(x)p (x, y) 0 π(y)p (y, x) Toisaalta jos pätee x y, saadaan π(x)p (x, y) c deg(x) deg(x) c cdeg(y) π(y)p (y, x) () deg(y) Valitsemalla c x / deg(x) on π jakauma ja ketju kääntyvä sen suhteen https://mycoursesaaltofi/course/viewphp?id7893&section4 6 / 7

MS-C2 Stokastiset prosessit Syksy 207 b) (Leskelä, luku 55) Olkoot verkon G solmut shakkilaudan ruutuja ja kaaret kuninkaan mahdollisia siirtoja Saatu verkko on suuntaamaton, ja kaikkien solmujen aste positiivinen Kuninkaan satunnainen siirtely on kohdan (a) mukainen satunnaiskulku verkolla G Muistetaan, että jos ketju on kääntyvä jakauman suhteen, ko jakauma on tasapainojakauma äin kohdan (a) kääntyvä jakauma on satunnaisesti siirrellyn kuninkaan (yksikäsitteinen) tasapainojakauma Muodostetaan kuninkaalle kullekin shakkiruudelle arvo, joka kertoo, kuinka moneen ruutuun kyseisestä ruudusta pääsee Saadaan seuraava tulos 3 5 5 5 5 5 5 3 3 5 5 5 5 5 5 3 Laskemalla kaikki matriisin alkiot yhteen saadaan 420 äin tasapainojakauma on π ( 3 420 5 420 5 ) ( 420 40 84 84 ) c) Samaan tapaan ratsulle: 2 3 4 4 4 4 3 2 3 4 6 6 6 6 4 3 3 4 6 6 6 6 4 3 2 3 4 4 4 4 3 2 Laskemalla kaikki matriisin alkiot yhteen saadaan 336 äin tasapainojakauma on π ( 2 336 3 336 4 336 ) ( 68 2 84 ) Lisäys Miten kohta (a) muuttuu, jos solmusta x solmuun y voi kulkea kaarta ja p x,y / deg(x), eli joka solmusta poistutaan tasajakautunutta kaarta pitkin? Entäpä jos solmusta x solmuun y kulkee kaari, jonka paino on positiivinen ei-kokonaisluku? 7 / 7