2A Markov-ketjut pitkällä aikavälillä Tämän harjoituksen tavoitteena on oppia lukemaan siirtymämatriisista tai siirtymäkaaviosta, milloin Markov-ketju on yhtenäinen ja jaksoton; oppia tunnistamaan, milloin ketjun tilajakauma suppenee pitkällä aikavälillä; ja oppia laskemaan annetun siirtymämatriisin tasapainojakauma Jos mahdollista, harjoituksiin kannattaa tuoda mukaan kannettava tietokone tai laskin, jolla voi laskea tehtävissä esiintyvien laskujen lukuarvoja Alla on kuhunkin tehtävään esitetty malliratkaisut punaisella sekä malliratkaisujen lisämateriaalit sinisellä Tuntitehtävät 2A1 Yhtenäisen ketjun jaksollisuus Perustele, miksi seuraavat tulokset ovat totta yleiselle äärellisen tilajoukon S Markov-ketjulle ja sen siirtymämatriisille P = (p x,y x,y S (a Jos p x,x > 0, niin tällöin myös (P t x,x > 0 kaikilla t = 1, 2, Ratkaisu (Leskelä, luvut 21 ja 23 Epäyhtälö p x,x > 0 tarkoittaa, että tilasta x on linkki itseensä, kun taas (P t x,x > 0 tarkoittaa, että tilasta x on mahdollista päästä t:llä askeleella takaisin tilaan x Jälkimmäinen on ensimmäisen nojalla totta, sillä nyt prosessi voi siirtyä t kertaa peräkkäin tilasta x takaisin itseensä Päättely voidaan esittää formaalisti esimerkiksi seuraavasti: (P t x,x = P(X t = x X 0 = x P(X t = x, X t 1 = x,, X 1 = x X 0 = x = p t x,x > 0, koska p x,x > 0 (b Jos p x,x > 0, niin tilan x jakso on 1 Ratkaisu (Leskelä, luku 34 Jos p(x, x > 0, niin mahdollisten paluuhetkien joukkon on T x = {1, 2, 3, }, jonka suurin yhteinen tekijä on 1 äin ollen tilan x jakso on 1, eli tila on jaksoton (c Jos p x,x > 0 ja x y (ks luentomoniste, Luku 32, niin on olemassa s siten, että (P t y,y > 0 kaikilla t = s, s + 1, s + 2, Ratkaisu Jos x y, niin on olemassa luvut s 1 ja s 2 se P s 1 (y, x > 0 ja P s 2 (x, y > 0 Merkitään s = s 1 +s 2 Tällöin P s+k (y, y P s 1 (y, xp k (x, xp s 2 (x, y > 0 kaikilla k 1 (d Yhtenäinen ketju on jaksoton, jos p x,x > 0 pätee jollekin tilalle x Ratkaisu Ketju on yhtenäinen, jos kaikille tiloille z, y pätee z y Valitaan z = x yt edellisen kohdan perusteella jokaisella y on olemassa s 1, jolle P t (y, y > 0 kaikilla t = s, s + 1, äin ollen tilan y mahdollisten paluuhetkien joukko sisältää T y {s, s + 1, s + 2, } Ainoa positiivinen kokonaisluku, jolla sekä s että s+1 ovat jaollisia, on 1 äin ollen lukujoukon T y suurin yhteinen tekijä on 1, eli tilan y jakso on 1 1 / 6
Lisäys Yleisemmin kaikkien yhtenäisen Markov-ketjun tilojen jakso on sama (tai vielä yleisemmin kunkin yhtenäisen komponentin kaikkien tilojen jakso on sama Todistus on oleellisesti sama kuin kohta (d yllä Kotitehtävät (palautettava kirjallisina pe 229 klo 10:15 mennessä 2A3 Selvitä seuraavien Markov-ketjujen pitkän aikavälin käyttäytyminen (a Työmatkapyöräilijän pyörä on kunakin työpäivänä joko kunnossa tai rikki Kun pyörä on jonakin työpäivänä ollut kunnossa, se on seuraavanakin kunnossa todennäköisyydellä 95%, muuten rikki ja kun se on ollut rikki, se on seuraavana työpäivänä kunnossa todennäköisyydellä 33%, muuten edelleen rikki riippumatta aiemmista tiloista Kuinka suuren osuuden työpäivistä pyörä on pitkällä aikavälillä rikki? Ratkaisu (1: Markov-teorian tavat Muistetaan, että Markov-ketjun tilojen aikaosuuksia pitkällä aikavälillä kuvaa tasapainojakauma Formaalisti: olkoon (X t t äärellisen tila-avaruuden yhtenäinen Markov-ketju ja T (y sen vierailulaskuri tilassa y aikaan T mennessä, T (y = T I{X t = y} t=0 Tällöin pätee kaikille tiloille y ja kaikille alkujakaumille µ 0 ( lim E T (y 1 = lim T T + 1 T T + 1 (µ 0P t y = π(y, missä π on ketjun yksikäsitteinen 1 tasapainojakauma Ylläoleva on suoraviivainen seuraus hetkittäisten tilajakaumien µ 0 P t suppenemisesta (Leskelä, lause 311 Lisäys Yo formaalin muotoilun mukaan Markov-ketjun tilojen odotusarvoisia aikaosuuksia pitkällä aikavälillä kuvaa tasapainojakauma Sana odotusarvoisia voidaan kuitenkin poistaa, koska seuraava vahvempi tulos pätee (Leskelä, Lause 44: äärellisen tila-avaruuden yhtenäiselle Markov-ketjulle (X t t, pätee kaikille tiloille y ja kaikille alkujakaumille todennäköisyydellä 1 T (y lim T T + 1 = π(y, missä π on ketjun yksikäsitteinen tasapainojakauma Olkoon tila kunnossa tila 1 ja tila rikki tila 2 Tällöin siirtymämatriisiksi saadaan: [ ] 095 005 P = 033 067 1 Katso Leskelä, Lause 38 2 / 6
Vastaava Markov-ketju on yhtenäinen Tehtävän Markov-ketjulle siis se osuus työpäivistä, jonka pyörä on pitkällä aikavälillä rikki, on π(rikki, missä π on tasapainojakauma Alla on ratkaistu tasapainojakauma kahdella eri Markov-teorian tavalla (1a: Analyyttinen tapa; Leskelä, Luku 31 Tasapainojakauma saadaan tasapainoyhtälöistä π = πp ja π(x i = 1 äistä saadaan 095π 1 + 033π 2 = π 1 π 2 = 5/33π 1 005π 1 + 067π 2 = π 2 π 1 + π 2 = 1 Ensimmäinen ja toinen yhtälö ovat yhtäpitävät; tämä voidaan tarkastaa sijoittamalla ensimmäinen rivi toiseen Sijoittamalla ensimmäinen rivi kolmanteen saadaan π 1 = 33/38, joten π 2 = 5/38 Tasapaino- ja rajajakauma on siis π = [33/38, 5/38] [08684, 01316] Pyörä on siis pitkällä aikavälillä noin 13, 2% päivistä rikki (1b: umeerinen tapa; vrt Leskelä, esimerkki 32 Tehtävän Markov-ketju on yhtenäinen ja jaksoton äin ollen hetkittäiset tilajakaumat suppenevat alkujakaumasta riippumatta kohti rajajakaumaa, joka on ketjun tasapainojakauma π (Leskelä, Lause 311 Rajajakauman taas voi päätellä laskemalla tietokoneella siirtymämatriisin suuria potensseja; P 100 [ ] 08684 01316 08684 01316 Ja numeerisen tarkkuuden rajoissa P 101 = P 100, joten jakauma on ajautunut sadassa askeleessa tasapainotilaansa [08684, 01316] alkutilasta riippumatta Pyörä on siis pitkällä aikavälillä noin 13, 2% päivistä rikki (2: Geometrisen jakauman tapa Tutkitaan nyt pitkän aikavälin käytöstä suoraan ilman Markov-ketjujen teoriaa Aika, jonka pyörä on kerralla kunnossa on geometrisesti jakautunut joukolla Z >0 parametrilla 005 Vastaavasti aika, jonka pyörä on kerralla rikki on geometrisesti jakautunut joukolla Z >0 parametrilla 033 Vastaavat odotusarvot ovat 1/005 ja 1/033 Tarkastellaan nyt sykliä, jolloin pyörä on ollut kertaa rikki ja kertaa kunnossa Tämän aikavälin pituus T toteuttaa suurten lukujen lain mukaan melkein varmasti T / 1/005 + 1/033 kun Vastaavasti kertaa rikki oleminen T (rikki oleminen T (kunnossa toteuttavat T (rikki / 1/033, T (kunnossa / 1/005 i ja kertaa kunnossa 3 / 6
Tästä saadaan rikki- ja kunnossaolemisen osuudet: melkein varmasti T (rikki /T 08684, T (kunnossa /T 01316 Pyörä on siis pitkällä aikavälillä noin 13, 2% päivistä rikki (b Tarkastellaan harjoitustehtävän 1B3 Markov-ketjua tilajoukolla S = {AA, Aa, aa} ja siirtymämatriisilla 0 P = 1/4 1/4, 0 missä tilat on lueteltu järjestyksessä AA, Aa, aa Laske eri genotyyppien osuudet tässä jälkeläisten ketjussa pitkällä aikavälillä Ratkaisu Siirtymäkaavio on AA Aa aa 1/4 mistä nähdään, että ketju on yhtenäinen Genotyyppien osuudet pitkällä aikavälillä tulevat näin ollen ketjun yksikäsitteisestä tasapainojakaumasta π Perusteltu on kuten kohdassa (a (Analyyttinen tapa Tasapainoyhtälöt ovat 1/4 π 1 + 1/4π 2 = π 1 π 2 = 2π 1 π 1 + π 2 + π 3 = π 2 1/4π 2 + π 3 = π 3 π 2 = 2π 3 π 1 + π 2 + π 3 = 1 ja oikealla olevista yhtälöistä nähdään suoraan, että π = [1/4,, 1/4] (umeerinen tapa Siirtymäkaaviosta nähdään, että ketju on yhtenäinen ja jaksoton äin ollen yksikäsitteinen tasapainojakauma on myös kaikkien alkujakaumien rajajakauma (Leskelä, lause 311 Laskemalla siirtymämatriisin suuria potensseja saadaan rajajakauma: 1/4 1/4 P 100 1/4 1/4 1/4 1/4 (Johtopäätös Tasapainojakauma on siis π = [1/4,, 1/4] eli genotyyppien osuudet pitkällä aikavälillä ovat: AA: 1/4, Aa:, aa: 1/4 4 / 6
2A4 Korkean ja matalan tuloasteen solmun PageRank Tarkastellaan suunnattua verkkoa, jonka solmujoukko on V = {1, 2,, n}, ja joka sisältää linkit 1 2, 2 1 sekä x 2, kun x = 3, 4,, n Olkoon (X 0, X 1, luentomonisteen PageRank-algoritmin (Esimerkki 23 mukainen tätä verkkoa vastaava Markov-ketju (a Luonnostele paperille ketjun siirtymäkaavio ja selvitä, millä vaimennuskertoimen c arvoilla Markov-ketju on yhtenäinen Ratkaisu Verkko V on 1 2 3 4 n PageRank-siirtymätodennäköisyydet ovat P (x, y = c 1 n + (1 c G(x, y y V G(x, y, missä G on verkon V naapuruusmatriisi ja c [0, 1] vapaa parametri Yllä piirretty verkko V on myös PageRank-Markov-ketjun siirtymäkaavio, kun c = 0 Tällöin kaikkien kaarien paino on 1 Kun c > 0, kaikkien solmuparien välillä on molempiin suuntiin kaari Tällöin yläpuolella kuvassa olevien verkon V kaarien paino on c/n + (1 c ja muiden c/n Markov-ketju on yhtenäinen, joss c > 0 (b Laske verkon solmujen PageRank-arvot ratkaisemalla Markov-ketjun tasapainoyhtälöt Ratkaisu Tasapainoyhtälöt (Leskelä, luku 31 ovat π(1 = π(1cn 1 + π(2 ( cn 1 + (1 c ( n + π(x cn 1 π(2 = π(1 ( cn 1 + (1 c ( n (cn + π(2cn 1 + π(x 1 + (1 c π(3 = π(n = n π(x = 1 x=1 ( n π(x x=1 ( n π(x x=1 cn 1 cn 1 x=3 x=3 5 / 6
Sijoittamalla normalisaatioehto x π(x = 1, ylemmät yhtälöt sievenevät muotoon Tästä voidaan ratkaista π(1 = π(1 = cn 1 + π(2(1 c, π(2 = cn 1 + (1 π(2(1 c, π(3 = cn 1, π(n = cn 1 ( 1 + π(2 = cn 1 + (1 c, 1 + (1 c π(3 = cn 1, π(n = cn 1 1 c cn 1 + 1 + (1 c (1 c2 1 + (1 c, (c Miten PageRank-arvot käyttäytyvät, kun c = 0 ja c = 1? Ratkaisu Kun c = 0, saadaan π(1 = π(2 = 1 ja π(x = 0 kun x 3 Kun 2 c = 1, saadaan π(x = 1/n kaikilla x (d Miten PageRank-arvot käyttäytyvät, kun n? Ratkaisu Kun n, saadaan rajalla π(1 = (1 c2 1 + (1 c, π(2 = (1 c 1 + (1 c, π(j = 0, j 3 Huomaa, että raja-arvoille pätee π(1 + π(2 = 1 c, joten [π(1, π(2] ei ole tilajoukon {1, 2} tn-jakauma, vaan c:n verran tn-massaa on karannut äärettömiin rajankäynnin yhteydessä 6 / 6