MS-C2111 Stokastiset prosessit 2A Markov-ketjut pitkällä aikavälillä Tämän harjoituksen tavoitteena on oppia lukemaan siirtymämatriisista tai siirtymäkaaviosta, milloin Markov-ketju on yhtenäinen ja jaksoton; oppia tunnistamaan, milloin ketjun tilajakauma suppenee pitkällä aikavälillä; ja oppia laskemaan annetun siirtymämatriisin tasapainojakauma Jos mahdollista, harjoituksiin kannattaa tuoda mukaan kannettava tietokone tai laskin, jolla voi laskea tehtävissä esiintyvien laskujen lukuarvoja Alla on kuhunkin tehtävään esitetty malliratkaisut punaisella sekä malliratkaisujen lisämateriaalit sinisellä Tuntitehtävät 2A1 Korkean ja matalan tuloasteen solmun PageRank Tarkastellaan suunnattua verkkoa, jonka solmujoukko on V = {1, 2,, n}, ja joka sisältää linkit 1 2, 2 1 sekä x 2, kun x = 3, 4,, n Olkoon (X0, X1, luentomonisteen PageRank-algoritmin (Esimerkki 23 mukainen tätä verkkoa vastaava Markov-ketju (a Luonnostele paperille ketjun siirtymäkaavio ja selvitä, millä vaimennuskertoimen c arvoilla Markov-ketju on yhtenäinen Ratkaisu Kuva 1: Siirtymäkaavio, kun c = 0 Kuvassa 1 on esitetty ketjun siirtymäkaavio, kun c = 0 Tällöin kaikkien linkkien paino on 1 Kun c > 0, kaikkien solmuparien välillä on kaksisuuntainen linkki Tällöin kuvassa olevien linkkien paino on c/n + (1 c, muiden c/n Ketju on yhtenäinen täsmälleen silloin, kun c > 0 (b Laske verkon solmujen PageRank-arvot ratkaisemalla Markov-ketjun tasapainoyhtälöt 1/7
Ratkaisu Tasapainoyhtälöt voidaan kirjoittaa muodossa π(1 = π(1cn 1 + π(2 ( cn 1 + (1 c ( n + π(x cn 1, π(2 = π(1 ( cn 1 + (1 c ( n (cn + π(2cn 1 + π(x 1 + (1 c, π(3 = π(n = ( n π(x cn 1, x=1 ( n π(x cn 1, x=1 x=3 x=3 Koska n x=1 π(x = 1, nämä sievenevät muotoon Tästä voidaan ratkaista π(1 = π(1 = cn 1 + π(2(1 c, π(2 = cn 1 + (1 π(2(1 c, π(3 = cn 1, π(n = cn 1 ( 1 + π(2 = cn 1 + (1 c, 1 + (1 c π(3 = cn 1, π(n = cn 1 1 c cn 1 + 1 + (1 c (1 c2 1 + (1 c, (c Miten PageRank-arvot käyttäytyvät, kun c = 0 ja c = 1? Ratkaisu Kun c = 0, saadaan π(1 = π(2 = 1 ja π(x = 0 kun x 3 Kun 2 c = 1, saadaan π(x = 1/n kaikilla x (d Miten PageRank-arvot käyttäytyvät, kun n? 2 / 7
Ratkaisu Kun n, saadaan rajalla Huomaa, että raja-arvoille pätee π(1 = (1 c2 1 + (1 c, π(2 = (1 c 1 + (1 c, π(3 = 0, π(n = 0 π(1 + π(2 = 1 c (0, 1, joten [π(1, π(2] ei ole tilajoukon {1, 2} tn-jakauma, vaan c:n verran tn-massaa on kadonnut äärettömiin rajankäynnin yhteydessä 2A2 Yhtenäisen ketjun jaksollisuus Perustele, miksi seuraavat tulokset ovat totta yleiselle äärellisen tilajoukon S Markov-ketjulle ja sen siirtymämatriisille P = (p x,y x,y S (a Jos p x,x > 0, niin tällöin myös (P t x,x > 0 kaikilla t = 1, 2, Ratkaisu Epäyhtälö p x,x tarkoittaa, että tilasta x on linkki itseensä, kun taas (P t x,x > 0 tarkoittaa, että tilasta x on mahdollista päästä t:llä askeleella takaisin tilaan x Jälkimmäinen on ensimmäisen nojalla totta, sillä nyt prosessi voi siirtyä t kertaa peräkkäin tilasta x takaisin itseensä Päättely voidaan esittää formaalisti esimerkiksi seuraavasti: (P t x,x = P(X t = x X 0 = x P(X t = x, X t 1 = x,, X 1 = x X 0 = x = p t x,x > 0, koska p x,x > 0 Lisäys Voidaan silti helposti konstruoida ketju, jolle (P t (x, x t 0 (b Jos p x,x > 0, niin tilan x jakso on 1 Ratkaisu Jos P (x, x > 0, niin mahdollisten paluuhetkien joukkon on T x = {1, 2, 3, }, jonka suurin yhteinen tekijä on 1 äin ollen tilan x jakso on 1, eli tila on jaksoton (c Jos p x,x > 0 ja x y (ks luentomoniste, Luku 32, niin (P t y,y > 0 kaikilla t = s, s + 1, s + 2, jostain positiivisesta kokonaisluvusta s lähtien 3 / 7
Ratkaisu Jos x y, niin on olemassa luvut s 1 ja s 2 se P s 1 (y, x > 0 ja P s 2 (x, y > 0 Merkitään s = s 1 +s 2 Tällöin P s+k (y, y P s 1 (y, xp k (x, xp s 2 (x, y > 0 kaikilla k 1 (d Yhtenäinen ketju on jaksoton, jos p x,x > 0 pätee jollekin tilalle x Ratkaisu Edellisen kohdan perusteella jokaisella y on olemassa s 1, jolle P t (y, y > 0 kaikilla t = s, s + 1, äin ollen tilan y mahdollisten paluuhetkien joukko sisältää T y {s, s + 1, s + 2, } Ainoa positiivinen kokonaisluku, jolla sekä s että s + 1 ovat jaollisia, on 1 (Tämän seuraa siitä, että jos s ja s + 1 ovat jaollisia d:llä, niin tällöin myös (s + 1 s on d:n monikerta äin ollen lukujoukon suurin ja ainoa yhteinen tekijä on 1, eli tilan y jakso on 1 Lisäys Yleisemmin kaikkien yhtenäisen Markov-ketjun verteksien jakso on sama (tai vielä yleisemmin kunkin yhtenäisen komponentin kaikkien verteksien jakso on sama Todistus on oleellisesti sama kuin kohta (d yllä 4 / 7
Kotitehtävät 2A3 Selvitä seuraavien Markov-ketjujen pitkän aikavälin käyttäytyminen (a Työmatkapyöräilijän pyörä on kunakin työpäivänä joko kunnossa tai rikki Kun pyörä on jonakin työpäivänä ollut kunnossa, se on seuraavanakin kunnossa todennäköisyydellä 95%, muuten rikki ja kun se on ollut rikki, se on seuraavana työpäivänä kunnossa todennäköisyydellä 33%, muuten edelleen rikki riippumatta aiemmista tiloista Kuinka suuren osuuden työpäivistä pyörä on pitkällä aikavälillä rikki? Ratkaisu Olkoon tila kunnossa tila 1 ja tila rikki tila 2 Tällöin siirtymämatriisiksi saadaan: [ ] 095 005 P = 033 067 Vastaava Markov-ketju on yhtenäinen ja jaksoton Yleisesti pätee, että yhtenäisen ja jaksottoman äärellisen tila-avaruuden Markov-ketjun rajajakauma on olemassa ja on alkutilasta riippumatta ketjun tasapainojakauma (Analyyttinen tapa Koska rajajakauma on tasapainojakauma, se saadaan tasapainoyhtälöistä π = πp ja π(x i = 1 äistä saadaan 095π 1 + 033π 2 = π 1 π 2 = 5/33π 1 005π 1 + 067π 2 = π 2 π 1 + π 2 = 1 Ensimmäinen ja toinen yhtälö ovat yhtäpitävät; tämä voidaan tarkastaa sijoittamalla ensimmäinen rivi toiseen Sijoittamalla ensimmäinen rivi kolmanteen saadaan π 1 = 33/38, joten π 2 = 5/38 Tasapaino- ja rajajakauma on siis π = [33/38, 5/38] [08684, 01316] (umeerinen tapa Rajajakauman voi päätellä laskemalla tietokoneella siirtymämatriisin suuria potensseja; P 100 [ ] 08684 01316 08684 01316 Ja numeerisen tarkkuuden rajoissa P 100 P = P 100, joten jakauma on ajautunut sadassa askeleessa tasapainotilaansa alkutilasta riippumatta (Geometrisen jakauman tapa Aika, jonka pyörä on kunnossa on geometrisesti jakautunut joukolla Z + parametrilla 005 Vastaavasti aika, jonka pyörä on rikki on geometrisesti jakautunut joukolla Z + parametrilla 033 Vastaavat odotusarvot i 5 / 7
ovat 1/005 ja 1/033 Tarkastellaan nyt sykliä, jolloin pyörä on ollut kertaa rikki ja kertaa kunnossa Tämän aikavälin pituus T toteuttaa suurten lukujen lain mukaan melkein varmasti T / 1/005 + 1/033 ja vastaavasti kertaa rikki ja kertaa kunnossa oleminen kestää melkein varmasti T (rikki / 1/033, T (kunnossa / 1/005, mistä saadaan rikki- ja kunnossaolemisen osuudet: melkein varmasti T (rikki /T 08684, T (kunnossa /T 01316 (Johtopäätös Rajajakauma on siis (noin [08684, 01316] Pyörä on siis pitkällä aikavälillä 13, 2% päivistä rikki (b Tarkastellaan harjoitustehtävän 1B4 Markov-ketjua tilajoukolla {AA, Aa, aa} Laske eri genotyyppien osuudet tässä jälkeläisten ketjussa pitkällä aikavälillä Ratkaisu Siirtymämatriisi on: 1/2 1/2 0 P = 1/4 1/2 1/4 0 1/2 1/2 Ketju on yhtenäinen ja jaksoton, joten yksikäsitteinen rajajakauma on olemassa (Analyyttinen tapa Rajajakauma on tasapainojakauma: 1/2π 1 + 1/4π 2 = π 1 π 2 = 2π 1 1/2π 1 + 1/2π 2 + 1/2π 3 = π 2 1/4π 2 + 1/2π 3 = π 3 π 2 = 2π 3 π 1 + π 2 + π 3 = 1 Oikealla olevista yhtälöistä nähdään suoraan, että π = [1/4, 1/2, 1/4] (umeerinen tapa Laskemalla siirtymämatriisin suuria potensseja saadaan: 1/4 1/2 1/4 P 100 1/4 1/2 1/4 1/4 1/2 1/4 (Johtopäätös Rajajakauma on siis [1/4, 1/2, 1/4] eli genotyyppien osuudet ovat: AA: 1/4, Aa: 1/2, aa: 1/4 2A4 Stokastikon shakkilauta Tyhjälle shakkilaudalle asetetaan valkea kuningas, jota siirrellään niin, että jokaisella ajanhetkellä valitaan umpimähkään yksi sallituista siirroista Tarkastele Markov-ketjua (X 0, X 1,, jossa X t on kuninkaan sijanti shakkilaudalla t:n siirron jälkeen 6 / 7
(a Onko ketju yhtenäinen? Entä jaksoton? Onko ketjulla tasapainojakaumaa? Entä rajajakaumaa? Ratkaisu Ketju on yhtenäinen, koska kuningas pääsee kaikkialle lähtöruudusta riippumatta, eli kaikkien tilaparien välillä on linkki Kuningas voi mistä tahansa ruudusta palata lähtötilaansa kahdella tai kolmella siirrolla Siis kunkin tilan jakso on syt{2, 3} = 1, eli ketju on jaksoton Ketjulla on yksikäsitteinen tasapainojakauma, sillä se on äärellinen ja yhtenäinen Tämä tasapainojakauma on lisäksi kaikkien alkujakaumien rajajakauma, koska ketju on jaksoton (b Vastaa samoihin kysymyksiin, kun kuningas korvataan lähetillä Ratkaisu Ketju ei ole yhtenäinen, koska lähetti ei pääse valkoisista ruuduista mustiin tai päinvastoin Ketju on jaksoton samasta syystä kuin kuninkaan tapauksessa Koska ketju on jaksoton, kukin alkutilan jakauma suppenee kohti rajajakaumaa äin saatu rajajakauma ei kuitenkaan ole yksikäsitteinen, sillä se riippuu siitä, miten todennäköisyysmassa on alkutilanteessa jakautunut kahden erillisen sisäisesti yhtenäisen tilajoukon, mustien ja valkoisten ruutujen, välille Rajajakauma on samalla tasapainojakauma, joten ketjulla on myös tasapainojakauma Se ei kuitenkaan ole yksikäsitteinen, kuten rajajakaumakaan ei ollut (Tarkemmin sanottuna merkitsemällä π m mustien lähettien rajajakaumaa ja π v valkoisten ovat tasapainojakaumat tasan ne jakaumat, jotka ovat muotoa cπ m + (1 cπ v, 0 c 1 ämä ovat myös kaikki rajajakaumat, kukin vastaavilla mustien ja valkoisten lähettien osuuksilla alkujakaumassa (c Vastaa samoihin kysymyksiin, kun lähetti korvataan ratsulla Ratkaisu Ketju on yhtenäinen, koska ratsu pääsee mistä tahansa ruudusta mihin tahansa ruutuun, kun riittävän monta siirtoa sallitaan Ketju ei kuitenkaan ole jaksoton: Yhdellä siirrolla ratsu siirtyy aina mustasta ruudusta valkoiseen, tai valkoisesta mustaan Siten paluuaika lähtöruutuun on aina jaollinen kahdella, eli kunkin tilan jakso on 2 Koska ketju on äärellinen ja yhtenäinen, sillä on on yksikäsitteinen tasapainojakauma yt kuitenkaan kaikki alkujakaumat eivät suppene kohti rajajakaumaa Jos todennäköisyysmassa on alussa epätasaisesti jakautunut mustien ja valkoisten ruutujen välille, jakauma ei suppene kohti mitään rajajakaumaa, koska todennäköisyysmassojen summa valkoisilla ruuduilla vuorottelee kahden erisuuren arvon välillä (Sopivalla alkujakaumalla prosessi kuitenkin suppenee kohti tasapainojakauma; triviaalina esimerkkinä käyttämällä alkujakaumana tasapainojakaumaa Yleisemmin on helpohkoa osoittaa, että prosessi ajautuu tasapainojakaumaan, jos ja vain jos alkujakaumassa mustille ja valkoisille ruuduille osuu saman verran tn-massaa Lisäys Tässä tehtävässä esiintyneet tasapaino- ja rajajakaumat voidaan helposti laskea eksplisiittisesti, ja tämä tullaan tekemään myöhemmässä laskuharjoituksessa 7 / 7