Mat-2.3 Stokastiset rosessit Syksy 2007 Laskuharjoitustehtävät 3 Poroudas/Kokkala. Tarkastellaan Markov-ketjua, jonka tilajoukko on {0, } ja tilansiirtotodennäköisyysmatriisi P Olkoon alkujakauma α 0 a Määritä tilajakauma α k b Määritä rajajakauma lim k α k., 0 < <, 0 < < P X 0 0 P X 0 α 0 α. α k 0 α k kaikilla k N c Millaisella alkujakaumalla α 0 jakauma α k on riiumaton k:sta eli stationaarinen? 0 α k α 0 P k. Lasketaan P k ominaisarvohajotelman avulla. Matriisin P ominaisarvot saadaan yhtälöstä detp λi 0: λ λ 0 λ λ 0 λ, λ 2 Merkitään ω λ 2. Vastaavat vasemmanuoleiset ominaisvektorit ovat u ja u 2. Matriisin P ominaisarvohajotelma on P U DU, missä D on ominaisarvojen muodostama diagonaalimatriisi ja U on matriisi, jonka rivit ovat P:n vasemmanuoleiset ominaisvektorit eli
λ 0 0 D, U 0 λ 2 0 ω u u 2 Sijoitetaan U ja D: P U DU P k U D k U P k + + + 0 0 ω k ω k + ω k ω k ω k + ω k + ω k + ωk + a α k α 0 P k + +ω k α 0 α + ωk + +ω k α 0 +α α 0 α α 0 + α b 0 < <, 0 < <, joten < ω <. Tällöin lim k ω k 0, joten lim k αk c Jos +, ω 0, jolloin a-kohdassa laskettu α k ei riiu k:sta millään α:n arvoilla. Tällöin kaikilla α:n arvoilla k α k. Jos +, α k on k:sta riiumaton jos ja vain jos α 0 α 0, eli stationaarinen jakauma on α 2. Kaikkien Markov-ketjujen äiti Vuonna 93 julkaistussa artikkelissa Andrei Markov analysoi 20000 kirjaimen ituisen jakson Pushkinin runoelmasta Evgeni Onegin tutkiakseen, voidaanko vokaalien 0 ja konsonanttien vuorottelua kuvata
Kuva : Tilatodennäköisyydet arvoilla 0.6, 0.7 ja α 0 0 Markov-ketjulla. Datasta hän sai seuraavan tilansiirtotodennäköisyysmatriisin: 0.28 0.872 P 0.663 0.337 Kuinka suuri osuus Pushkinin tekstistä tämän mukaan on vokaaleja? 0.663 0.28 0 0.337 0.872 Siirtymätodennäköisyysmatriisi vastaa edellisen tehtävän Markov-ketjua arvoilla 0.872, 0.663. Rajajakaumaksi johdettiin π Näin ollen vokaalien osuus on 0.432. 0.663 0.872+0.663 0.872 0.872+0.663 0.432 0.568 3. Tehtaassa on kaksi konetta, joista käytetään yhtä kerrallaan. Kone rikkoutuu työäivän aikana todennäköisyydellä 0.6. Tehtaassa on yksi huoltomies, jolta vie kaksi äivää korjata kone, ja hän voi korjata vain yhtä konetta kerrallaan.
Rikkoutuvaa konetta voidaan käyttää rikkoutumisäivän louun. Seuraavana aamuna huoltomies aloittaa sen korjaamisen, ja varakone otetaan käyttöön, aitsi jos toinen kone on juuri korjattavana, jolloin sen korjaaminen saatetaan ensin louun. Kuinka monta äivää vuodessa molemmat koneet ovat oissa käytöstä keskimäärin? Määritellään yksittäisen koneen tilat: : käytössä tai varalla R: korjattavana. äivää R2: korjattavana 2. äivää W: rikki odottamassa korjaukseen ääsyä Näin koko systeemin mahdolliset tilat ovat: 0:, yksi kone käytössä, toinen varalla :,R yksi kone käytössä, toinen korjattavana. äivää 2:,R2 yksi kone käytössä, toinen korjattavana 2. äivää 3: R2,W yksi kone korjattavana 2. äivää, toinen rikki odottamassa korjaukseen ääsyä 0 2 R2 R 3 W R2 Merkitsemällä saadaan tilansiirtotodennäköisyydet 0 0 P 0 0 0 0 0 0 0
Ketju on jaksoton ja elkistymätön, joten rajajakauma saadaan ratkaistua ehdoista πp π, πc, eli yhtälöryhmästä π 0 π 0 + π 2 π π 0 + π 2 + π 3 π 2 π π 3 π π 0 + π + π 2 + π 3 π + 2 2 2 0.688 0.56 0.3 0.025 Vuodessa molemmat koneet ovat oissa käytöstä keskimäärin 365π 3 9.3 äivää. 4. Olkoon X n Markov-ketju, jonka tilansiirtotodennäköisyydet tunnetaan. Onko mahdollista laskea tilansiirtotodennäköisyyksiä taakseäin - voidaanko tietyllä n satunnaismuuttujalle X n määrittää jakauma ehdolla X n j? Tarkastele esimerkkinä Markov-ketjua tilajoukolla {, 2, 3}, oletuksella X n 2 ja tilansiirtotodennäköisyysmatriisilla 0 0. 0.9 P 0 0.6 0.4 0.3 0.7 0 Oastus: On siis määritettävä ehdolliset todennäköisyydet P X n i X n j. Saadaanko ratkaisu yhtälön n n P avulla? Onko n:n arvolla merkitystä? P X n i X n j P X n i, X n j P X n j P X n ipi, j P X n j P X n i i ei ole tunnettu, joten myöskään ehdollista todennäköisyyttä ei voida määrittää. Suurilla n:n arvoilla voidaan olettaa, että X n :n jakauma vastaa rajajakaumaa π. Esimerkkiketjulle π 0.096 0.584 0.320, josta saadaan esimerkiksi P X n 3 X n 2 π 3P3, 2 π 2 0.320 0.7 0.584 0.384