Markov-ketjuja suurilla tila-avaruuksilla

Transkriptio

1 3B Markov-ketjuja suurilla tila-avaruuksilla Tuntitehtävät 3B1 Sekoaako korttipakka sekoittamalla? Olkoon S kaikkien 52 kortin korttipakan mahdollisten järjestysten joukko. (a) Perustele, miksi joukossa S on 52! alkiota, 1 ja selitä, miten korttipakan järjestykset voidaan samaistaa joukon K = {1, 2, 3,..., 52} permutaatioiden kanssa. 2 Ratkaisu. Tietyn järjestyksen ensimmäinen kortti voidaan valita 52 kortin joukosta, tästä valinnasta riippumatta toiseksi kortiksi on 51 vaihtehtoa jne., jolloin siis järjestyksiä on = 52!. Järjestykset voidaan samastaa joukon K permutaatioiden kanssa (esimerkiksi) seuraavasti: Numeroidaan kortit luvuilla {1, 2,..., 52} ja ilmoitetaan korttipakan järjestys permutaation σ avulla siten, että σ(i) = j tarkoittaa, että i:ntenä (päältä lukien) pakassa on kortti numero j. Näin permutaatio kertoo, missä kohtaa pakkaa mikäkin kortti on. On helppo vakuuttua, että jokaista permutaatiota vastaa yksi korttipakan järjestys ja käänteän jokaista järjestystä yksi permutaatio. (b) Selitä, miksi hyvin sekoitettua korttipakkaa kuvaa joukon S todennäköisyysjakauma π, jolle π(σ) = 1 52! kaikilla σ S. Ratkaisu. Korttipakka on hyvin sekoitettu, jos kaikki mahdolliset korttien järjestykset ovat yhtä todennäköisiä. Järjestyksiä oli 52!, joten jokaisen järjestyksen (permutaation) todennäköisyys on hyvin sekoitetussa pakassa π(σ) = 1 52!. Lapsi sekoittaa korttipakkaa seuraavasti. Jokaisessa vaiheessa hän ottaa päällimmäisen kortin, ja työntää sen umpimähkäisesti valittuun kohtaan pakassa (eli yhtä todennäköisesti pakan alimmaiseksi, toiseksi alimmaksi,..., tai pakan päällimmäiseksi). Hän toistaa tätä vaihetta kärsivällisesti monta kertaa. (c) Mallinna sekoitusta joukon S Markov-ketjulla. Mitkä ovat tämän Markov-ketjun siirtymätodennäköisyydet. Ratkaisu. Mallinetaan sekoitusta Markov-ketjulla (X 0, X 1, X 2,...), jossa X 0 vastaa pakan alkuperäistä järjestystä, ja X i+1 vastaa kullekin kaikille i Z + järjestystä, joka saadaan järjestyksestä X i yhdellä sekoitusaskeleella. Siirtymätodennäköisyydet ovat seuraavat: järjestystä σ voi seurata järjestys σ, jos ja vain jos seuraava pätee: päällimmäinen kortti on siirtynyt k:nneksi, σ (1) = σ(k) jollakin 1 k 52, ja kaikilla muilla paikoilla 2 j 52 olleet kortit toteuttavat { σ (j) = σ(j 1), j k σ (j) = σ(j), j k Positiivisen kokonaisluvun n kertoma on n! = n (n 1) Joukon K permutaatiolla tarkoitetaan bijektiivistä kuvausta σ : K K. 1 / 6

2 Huomaa, että y.o. yhtälöiden perusteella k ja σ määräävät σ:n. Näin mahdollisia seuraavia tiloja on kaikista tiloista σ alkaen 52, kukin yhtä todennäköinen. Jatkoa varten huomataan myös, että kääntäen k ja seuraava tila σ määräävät edellisen tilan σ = σ (σ, k). (d) Tarkista, että kohdan (b) jakauma π on tasapainojakauma sekoitusta kuvaavalle Markov-ketjulle. Ratkaisu. Tarkistetaan, että tasapainoyhtälö pätee: (πp )(σ) = σ S π(σ )P (σ, σ) = 1 52! σ S P (σ, σ) = 1 52! = π(σ). Yllä käytettiin järjestyksessä seuraavia tietoja: matriisitulon määritelmä; π(σ ) = 1 52! kaikille σ S; P (σ, σ) = 1/52 tai P (σ, σ) = 0, ja tiloja σ joille ensimmäinen pätee on 52, nimittäin kohdan (c) yhtälön σ = σ (σ, k) toteuttava σ kullekin 1 k 52. (e) Onko sekoittamisen Markov-ketju kääntyvä kohdan (b) jakauman π suhteen? Ratkaisu. Kysytään siis onko π(σ)p (σ, τ) = π(τ)p (τ, σ) kaikilla σ, τ S. Väite: ei ole. Todistus: Valitaan esimerkiksi σ ja τ siten, että P (σ, τ) > 0 ja kohdan (c) ehdot toteutuvat arvolla k = 5, eli τ(5) = σ(1) τ(j 1) = σ(j), 2 j 5 τ(j) = σ(j), j 6, jolloin siis P (σ, τ) = 1/52. Nyt kohdan (c) siirtymäehdot eivät toteudu siirtymälle τ:sta σ:an, eli P (τ, σ) = 0. Intuitiivisesti tämä on tietysti selvää. Formaalisti: τ(1) = σ(2), eli kohdan (c) k:n olisi oltava 2 jotta P (τ, σ) > 0, mutta τ(3) = σ(4), eli τ(j) = σ(j) ei pätisi kun j k + 1. Näin ollen π(σ)p (σ, τ) > 0, mutta π(τ)p (τ, σ) = 0, eli jakauma ei ole kääntyvä. (f) Osoita, että mistä tahansa pakan alkuperäisestä järjestyksestä lähtien, pakan järjestysjakauma t:n sekoitusvaiheen jälkeen suppenee kun t kohti kohdan (b) hyvin sekoitetun korttipakan jakaumaa π. Ratkaisu. Muistetaan, että yhtenäisen ja jaksottoman äärellistilaisen Markovketjun hetkittäiset tilajakaumat suppenevat alkutilasta riippumatta kohti ketjun yksikäsitteistä tasapainojakaumaa ajan kuluessa. Koska hyvin sekoitetun pakan jakauma π on eräs ketjun tp-jakauma, riittää siis osoittaa ketjun yhtenäisyys ja jaksottomuus. Ketju on jaksoton, koska P (σ, σ) > 0 kaikilla σ. Ketju on yhtenäinen, koska mistä tahansa järjestyksestä päästään mihin tahansa toiseen järjestykseen. Tämän voi tehdä rakentamalla haluttua järjestystä pakan pohjalle: ensimmäinen kortti siirretään pakan pohjalle, toinen alimmaksi tai toiseksi alimmaksi niin että kaksi alinta ovat oikeassa järjestyksessä keskenään, kolmas jo siirrettyjen suhteen oikeaan väliin jne., kunnes 52 askeleen kuluttua kaikki kortit on siirretty ja pakka on halutussa järjestyksessä. 2 / 6

3 Kotitehtävät (palautettava kirjallisina ti klo 10:15 mennessä) 3B2 Pelipotti. Peliporukka pelaa uhkapeliä. Kunkin kierroksen aluksi voittopottiin lisätään 1 e. Sitten pelataan pelikierros, jonka lopputulos voi olla tasapeli tai jonkun pelaajan voitto. Tasapelin sattuessa voittopotti jätetään jakamatta ja se siirtyy seuraavalle pelikierrokselle. Jonkun pelaajista voittaessa, voittaja korjaa kertyneen voittopotin kokonaisuudessaan itselleen niin, että seuraavalle pelikierrokselle mennään ilman aiemmin kertynyttä voittopottia. Oletetaan, että kullakin kierroksella tasapelin todennäköisyys on q [0, 1], ja pelitulokset eri kierroksilla ovat toisistaan riippumattomat. (a) Merkitään X t :llä voittopotin suuruutta euroissa t:nnellä kierroksella. Näytä, että prosessi X = (X t ) t Z+ on äärettömän tilajoukon S = Z + = {0, 1, 2,...} Markovketju, ja laske sen siirtymätodennäköisyydet. Ratkaisu. Ketju on selvästi joukolla S, joka on numeroituvasti ääretön. Numeroituvasti äärettömän tila-avaruuden Markov-ehto saadaan seuraavasti: kaikille x t+1, x t,..., x 0 S pätee P(X t+1 = x t+1 X t = x t,..., X 0 = x 0 ) q, jos x t+1 = x t + 1 (tasapeli) (tässä) = q 1, jos x t+1 = 1 (joku pelaaja voittaa) 0, muuten (Markov-ehto) =P(X t+1 = x t+1 X t = x t ). Markov-ominaisuus siis toteutuu, ja siirtymätodennäköisyydet selvitettiin samalla. Siirtymämatriisiksi saadaan 1 q q q 0 q q 0 0 q (b) Millä parametrin q arvoilla voittopottiprosessilla X = (X t ) t Z+ on olemassa tasapainojakauma (eli stationaarinen jakauma)? Laske tasapainojakauma. Ratkaisu. Tasapainoyhtälöiden mukaan i π(i) = 1 ja π = πp, jossa P on siirtymämatriisi. Kirjoittamalla auki π = πp saadaan { π(1) = i=1 (1 q)π(i) i π(i)=1 π(1) = (1 q) π(i) = qπ(i 1), i 2. Jos q = 1: ensimmäinen tasapainoyhtälö on nyt π(1) = 0 ja jälkimmäinen antaa π(i) = π(i 1), i 2, joten 0 = π(1) = π(2) =... Todennäköisyysjakaumalle on kuitenkin oltava i=1 π(i) = 1, joten tasapainojakaumaa π ei ole olemassa. 3 / 6

4 Jos q = 0: Kaavat antavat suoraan π(i) = δ 1,i. Tämä on jakauma. Jos 0 < q < 1: Nyt saadaan π(1) = 1 q ja π(i) = qπ(i 1) kaikille i 2. Ratkaisuna saadaan tasapainojakauma π(i) = (1 q)q i 1 kaikilla i 1. Geomtrisen sarjan summakaavalla voidaan tarkistaa, että vaaditusti i=1 π(i) = 1, eli saatu π on etsitty tasapainojakauma. (Toimii itse asiassa myös kun q = 0.) 3B3 Kasvipopulaatio. Muutama hassu yksivuotisen kasvin siemen kulkeutuu tutkimusmatkailijan mukana vieraslajina muutoin eristyksissä olevalle saarelle. Kolme kulkeutuneista siemenistä kylväytyy ja saarella on siten aluksi kolme kyseisenlaista kasvia. Oletetaan, että tällaiset kasvit tuottavat vuoden lopuksi siemeniä, joista seuraavana vuonna kasvaa k Z + samanlaista kasvia todennäköisyydellä p(k) = 3 ( ) k 4, k = 0, 1, 2..., 7 7 ja oletetaan kunkin eri kasvin siementämien uusien kasvien määrien olevan keskenään riippumattomia. (a) Mikä on kasvipopulaation odotettu koko kahden vuoden kuluttua? Ratkaisu. Merkitään koko tehtävän ajan yhden kasvin jälkeläismäärää K, eli P(K = k) = p(k). Odotettu koko saadaan luentomuistiinpanojen kaavalla 5.9, eli E x (X t ) = xm t, missä siis m = E(K) on odotettu yhden yksilön jälkeläisten määrä ja x = X 0. Y.o. pistemassafunktiosta havaitaan, että K on geometrisesti jakautunut joukolla Z + ja onnistumistodennäköisyydellä p = 3/7. Tehtävästä 1A2b muistamme, että tällöin E(K) = (1 p)/p = 4/3. Kahden vuoden päästä odotettu populaatiokoko on siis E 3 (X 2 ) = 3 (4/3) 2 = 16/3. (b) Mikä on kasvipopulaation odotettu koko 25 vuoden kuluttua? Ratkaisu. Edellisen tehtävän tapaan odotettu koko 25 vuoden kuluttua on E 3 (X 25 ) = 3 (4/3) (c) Millä todennäköisyydellä saarella ei ole yhtään kasvia kolmen vuoden kuluttua? Ratkaisu. Merkitään tilasta X 0 = 1 lähtevän ketjun sukupuuton todennälöisyyksiä P 1 (X t = 0). Lisääntymismallin riippumattomuusoletuksien perusteella kustakin vuoden 0 kasviyksilöstä polveutuvien kasvien muodostamat sukupuut ovat riippumattomat. Näin ollen tehtävässä kysytty tn on todennäköisyyden P 1 (X t = 0) avulla P 3 (X t = 0) = (P 1 (X t = 0)) 3. 4 / 6

5 Ratkaistaan nyt P 1 (X t = 0) todennäköisyydet generoivien funktioiden avulla. Huomataan ensin, että kaikilla t pätee X t X t+1 = K j, jossa K j ovat riippumattomat toisistaan ja X t :stä ja kuvaavat kunkin vuoden t kasvin jälkeläismäärää. Leskelän Lauseen 5.8 mukaan tällöin X t+1 :n todennäköisyydet generoiva funktio on j=1 φ Xt+1 (z) = φ Xt (φ K (z)) = φ Xt φ K (z). Kun lisäksi X 0 = 1, niin pätee φ X1 (z) = φ K (z). Näin y.o. kaavasta seuraa, että φ Xt (z) on t:n φ K :n yhdiste kaikilla t: φ Xt (z) = φ K φ K (z). Haluttu tn saadaan nyt generoivasta funktiosta: P 1 (X t = 0) = φ K φ K (0), joten tehtävässä kysytty tn on lopulta kolmen φ K :n yhdisteen kolmas potenssi, P 3 (X 3 = 0) = (P 1 (X 3 = 0)) 3 = (φ K φ K φ K (0)) 3. (1) Jäljellä on vielä todennäköisyydet generoivan funktion φ K ratkaiseminen. Ratkaisu on oikeastaan siistein yleiselle geometriselle jakaumalle: φ K (z) = E(z K ) = p(1 p) k z k k=0 1 = p 1 z(1 p) (sijoitetaan p = 3/7) = 3 7 4z. Näin φ K (0) = 3/7 ja φ K φ K (0) = 21/37 ja φ K φ K φ K (0) = 111/175. Lopulta siis P 3 (X 3 = 0) = (111/175) (d) Millä todennäköisyydellä vieraslaji ennen pitkää kuolee saarelta sukupuuttoon? Ratkaisu. Samaan tapaan kuin edellisessä kohdassa, voidaan päätellä, että sukupuuton tn toteuttaa P 3 ( t : X t = 0) = (P 1 ( t : X t = 0)) 3. Selvitetään P 1 ( t : X t = 0) kahdella eri tavalla. 5 / 6

6 (Tapa 1: analyyttinen tapa.) Leskelän Lauseen 5.10 mukaan P 1 ( t : X t = 0) on yhtälön φ K (z) = z pienin ei-negatiivinen ratkaisu. Ratkaistaan siis: Pätee siis P 1 ( t : X t = 0) = 3/4 ja φ K (z) = 3 7 4z = z 4z 2 7z + 3 = 0 z = 3/4 tai z = 1. P 3 ( t : X t = 0) = (3/4) 3 = 27/64 = (Tapa 2: numeerinen tapa.) Koska sukupuutto on absorboiva tila, pätee sukupuuttotapahtumille {X 1 = 0} {X 2 = 0}... Tästä seuraa, että P 1 ( t : X t = 0) = lim t P 1 (X t = 0). (Tämä on oleellisesti tn-teorian aksiooma, mutta tällä kurssilla voidaan pitää määritelmänä tapahtuman { t : X t = 0} todennäköisyydelle.) Edellisessä kohdassa havaittiin, että P 1 (X t = 0) on t:n generoivan funktion yhdiste: P 1 (X t = 0) = φ Xt (0) = φ K φ K (0). Raja lim t P 1 (X t = 0) voidaan nyt selvittää vaikkapa funktiolaskimella laskemalla φ K :n yhdisteitä seuraavin komennoin: 0 3/(7-4*ans) 3/(7-4*ans). Tällöin vastaus ans saa arvoja 0, 0.42, 0.56, 0.63, 0.67, 0.69, 0.71, 0.722, 0.730, 0.735, ja stabiloituu lopulta 0.75:een. (Voidaan myös helposti osoittaa, että 0.75 on funktion φ K attraktiivinen kiintopiste, eli sieltä ei tämän jälkeen pois päästä, vaikka kuinka laskinta rämpättäisiin.) Näin lopulta P 3 ( t : X t = 0) = (P 1 ( t : X t = 0)) 3 = (0.75) 3 = / 6