4A Martingaalit ja informaatioprosessit Tämän harjoituksen tavoitteena on tutustua satunnaisvektorin informaation suhteen lasketun ehdollisen odotusarvon käsitteeseen sekä oppia tunnistamaan, milloin annettu satunnaisprosessi on martingaali. Alla on kuhunkin tehtävään esitetty malliratkaisut punaisella sekä malliratkaisujen lisämateriaalit sinisellä. Tuntitehtävät 4A1 Markov-ketjut ja martingaalit. Keksi tai googlaa esimerkki satunnaisprosessista (M 0, M 1,... ), joka (ks. luentomoniste, luku 6.5) Ratkaisu. Muistetaan, että Markov-ketju on muistiton satunnaisprosessi ajassa kun taas martingaali saa olla muistillinen, mutta paras arvaus tulevaisuudesta on nykytila. Näiden kuvailujen perusteella seuraavat arvaukset ovat luonnollisia tarkistetaan niiden oikeellisuus lopuksi. (a) on Markov-ketju ja martingaali, Ratkaisu. Symmetrinen satunnaiskävely Z:lla (b) on Markov-ketju mutta ei martingaali, Ratkaisu. Epäsymmetrinen satunnaiskävely Z:lla. (c) on martingaali mutta ei Markov-ketju, Ratkaisu. Asetetaan M t = X 2 t t, missä X t on symmetrinen satunnaiskävely. (d) ei ole martingaali eikä Markov-ketju. Ratkaisu. Nostetaan kortteja pakasta palauttamatta niitä siihen. Olkoon M t nyt t:nnen kortin arvo. Ratkaisu. Tarkastetaan, että yllä keksityt ketjut täyttävät halutut ominaisuudet. a) Symmetrinen satunnaiskävely on selvästi Markov-ketju. Tarkistetaan, että jono M t on martingaali itsensä suhteen. Muistetaan, että prosessi M on martingaali satunnaisjonon X suhteen E M t < t M t σ(x 0,..., X t ) E{M t+1 X 0,..., X t } = M t. Symmetrinen satunnaiskävely määritellään M t+1 = M t + (2B t+1 1), jossa B t+1 Ber(1/2) on riippumaton prosessin historiasta. Osoitetaan, että M on martingaali askeleiden B suhteen. Ensimmäinen martingaaliominaisuus pätee 1 / 8
tässä, koska M t t aina. Toinen on selvä. Kolmas voidaan todistaa käyttämällä ehdollisen odotusarvon ominaisuuksia Leskelä 2015, Lause 6.3 saadaan E{M t+1 B 0,..., B t } = E{M t + (2B t+1 1) B 0,..., B t } (lineaarisuus) = E{M t B 0,..., B t } + E{(2B t+1 1) B 0,..., B t } (tunnetun arvon ulosveto) = M t + E{(2B t+1 1) B 0,..., B t } (r-ttoman informaation poisto) = M t + E{(2B t+1 1)} = M t. Edellä todistettiin martingaaliominaisuus jonon B suhteen. Muistetaan kuitekin Leskelä 2015, Lause 6.9, että tästä seuraa, että M on martingaali itsensä suhteen. b) Epäsymmetrinen satunnaiskävely tiedetään Markov-ketjuksi. Se ei ole matringaali, koska kolmas martingaaliominaisuus ei päde. Todistetaan tämä samanlaisella laskulla kuin edellä. Ensin, M t+1 = M t + (2B t+1 1), jossa B t+1 Ber(p), p 1/2 on riippumaton prosessin historiasta. Identtisellä laskulla saadaan =... E{M t+1 B 0,..., B t } = M t + E{(2B t+1 1)} = M t + 2p 1 M t. Tarkemmin sanottuna havaitaan, että prosessi on ylimartingaali, kun p < 1/2 (eli satunnaiskävely ajautuu alaspäin) ja alimartingaali, kun p > 1/2 (SK ajautuu ylöspäin). c) Tämä ketju ei ole Markov-ketju: on helppo osoittaa, että M voi saada saman arvon m kahdella eri ajan hetkellä siten, että mahdolliset siirtymät arvosta m ovat eri. Esimerkiksi jos X 2 = 0, niin M 2 = 2, ja X 3 = ±1, jolloin myös M 3 = 2, eli ajan hetkellä 2 prosessin M ainoa siirtymä 2:sta on 2:een. Mutta kun X 3 = ±1 ja M 3 = 2, niin X 4 = ±2 tai 0, ja M 4 = 0 tai 4. Näin ollen ajan hetkellä 3 saatiin eri siirtymät prosessille M tilasta 2. Todistetaan seuraavaksi että M on martingaali. Ensimmäinen martingaaliominai- 2 / 8
suus seuraa, koska X t < t. Toinen on selvä. Kolmas: E{M t+1 B 0,..., B t } = E{X 2 t+1 (t + 1) B 0,..., B t } sij. X t+1 = X t + (2B t+1 1) = E{X t + (2B t+1 1) 2 (t + 1) B 0,..., B t } (lineaarisuus) = E{X 2 t + 2X t (2B t+1 1) + (2B t+1 1) 2 B 0,..., B t } (t + 1) (lin. & tunnetun arvon ulosveto) = X 2 t + 2X t E{(2B t+1 1) B 0,..., B t } +E{(2B t+1 1) 2 B 0,..., B t } (t + 1) (r-ttoman informaation poisto) = X 2 t + 2X t E{(2B t+1 1)} + E{(2B t+1 1) 2 } (t + 1) = X 2 t + 0 + 1 t 1 = X 2 t t = M t. d) Ei Markov: jos viimeisin kortti oli kolmonen, tn nostaa seuraavaksi kakkonen riippuu aiempien kakkosten määrästä. Ei martingaali: jos ensimmäinen nostettu kortti ykkönen, seuraavan kortin odotusarvo tälle ehdollistettuna yli yksi. 4A2 Ennustusmartingaali. Olkoon U reaaliakselin yksikkövälillä 0, 1 tasajakautunut satunnaisluku ja määritellään X t = 2t U 2 t, t = 0, 1, 2,..., missä u tarkoittaa luvun u alaspäin pyöristämistä lähimpään kokonaislukuun. Olkoon M t = E U X0,..., X t satunnaisluvun U ennustusmartingaali informaatioprosessin (X 0, X 1,... ) suhteen (ks. luentomoniste, esimerkki 6.8). (a) Piirrä funktion u 2t u kuvaaja ja perustele sen jälkeen, miksi X 2 t s σ(x t ) kaikilla s t. Ratkaisu. Fuktio u 2t u arvioi lukua u alaspäin murtolukuun hilalla Z/2 t, 2 t ts. kertoo mihin hilan Z/2 t puoliavoimeen soluun j/2 t, (j + 1)/2 t ) luku u kuuluu antamalla solun vasemman laidan j/2 t. Kuvaajia on piirretty pienille t:n arvoille kuvassa 1. X s σ(x t ) kaikilla s t, koska hila Z/2 s sisältyy hilaan Z/2 t, joten hilan Z/2 t solusta voidaan päätellä hilan Z/2 t solu. (b) Perustele, miksi E U X 0,..., X t = E U X t kaikilla t 0. Ratkaisu. Koska X s koodaavat eri hilojen soluja, joihin U kuuluu, voidaan ehto X 0 = x 0,..., X t = x t kirjoittaa ekvivalentisti U S 0,..., U S t, jossa S s ovat hilojen soluja. Koska solut ovat sisäkkäisiä, on nyt tämä ehto edelleen ekvivalentti ehdolle U S t. (c) Kirjoita eksplisiittinen lauseke M t :lle satunnaisvektorin (X 0,..., X t ) funktiona. 3 / 8
y y y y MS-C2111 Stokastiset prosessit 1 t = 0 1 t = 1 0.9 0.9 0.8 0.8 0.7 0.7 0.6 0.6 0.5 0.5 0.4 0.4 0.3 0.2 y=u y = b 2 0 u c / 2 0 0.3 0.2 y=u y = b 2 1 u c / 2 1 0.1 0.1 0 0 0.2 0.4 0.6 0.8 1 u 0 0 0.2 0.4 0.6 0.8 1 u 1 t = 2 1 t = 3 0.9 0.9 0.8 0.8 0.7 0.7 0.6 0.6 0.5 0.5 0.4 0.4 0.3 0.3 0.2 0.1 y=u y = b 2 2 u c / 2 2 0.2 0.1 y=u y = b 2 3 u c / 2 3 0 0 0.2 0.4 0.6 0.8 1 u 0 0 0.2 0.4 0.6 0.8 1 u Kuva 1: Funktion u 2t u 2 t kuvaajia pienille t. 4 / 8
Ratkaisu. Havaitaan, että X t = x t U x t, x t + 2 t ), Joten M t = E U X0,..., X t (kohta b) = E U X t (perustelu yllä) = E U U Xt, X t + 2 t ) = X t + 2 t 1. Viimeinen askel seuraa siitä, että tapahtumalle U X t, X t + 2 t ) ehdollistettuna U on tasajakautunut välillä X t, X t + 2 t ). Lisäys. Nimensä mukaisesti ehdollisen odotusarvon avulla määritelty ennustusmartingaali on aina martingaali Leskelä 2015, Esimerkki 6.8. Osoita suoraan ylläolevan perusteella, että tämän tehtävän M t on matringaali. (d) Suppeneeko jono (M t ) t Z+, kun t? Jos suppenee, niin mihin ja millä todennäköisyydellä? Ratkaisu. Jono M t suppenee aina U:hun. Tämä johtuu siitä, että t t M t U 2 0. Jonon M t raja-arvo on siis aina olemassa ja on tasajakautunut satunnaismuuttuja. (Vertaa Leskelä 2015, Lause 2.13.) 5 / 8
Kotitehtävät 4A3 Keskitetty satunnaiskulku. Satunnaisjono (S 0, S 1,... ) määritellään rekursiivisesti kaavalla S 0 = x 0 ja S t = S t 1 + X t, t 1, missä x 0 R ja X 1, X 2,... ovat riippumattomia ja samoin jakautuneita odotusarvonaan m. (a) Todista, että keskitetty satunnaiskulku S t = S t mt on informaatiojonon (x 0, X 1, X 2,... ) suhteen martingaali riippumatta m:n arvosta. Ratkaisu. Tarkistetaan martingaalien ominaisuudet, Ensimmäinen seuraa, koska E S t < t S t σ(x 0,..., X t ) E{ S t+1 X 0,..., X t } = S t. S t = x 0 + S t x 0 + t X i mt i=1 t X i + m t i=1 E S t x 0 + m t + t E X i i=1 = x 0 + t( m + E X 1 ), ja E X 1 <, koska X 1 :llä on olemassa odotusarvo m. Toinen ominaisuus määräytyy suoraan kaavasta S t = x 0 + t X i mt. i=1 Kolmanteen tarvitaan pieni lasku, johon käytetään jälleen ehdollisen odotusarvon perusominaisuuksia Leskelä 2015, Lause 6.3: E{ S t+1 X 0,..., X t } = E{ S t + X t+1 m X 0,..., X t } (tunnettu ulos) = S t + E{X t+1 m X 0,..., X t } (r-ton ehto pois) = S t + E{X t+1 m} = S t. (b) Onko ( S t ) martingaali itsensä suhteen? 6 / 8
Ratkaisu. On. Tämä on sanottu suoraan luentomonisteen lauseessa Leskelä 2015, Lause 6.9. Vaihtoehtoisesti voidaan tarkistaa taas martingaalien ominaisuudet, E S t < t S t σ( S 0,..., S t ) E{ S t+1 S 0,..., S t } = S t. Ensimmäinen pätee suoraan edellisen kohdan laskulla. Toinen on triviaali. Kolmas saadaan edellisen kohdan laskulla, kun huomataan, että X t+1 on riippumaton keskitetym kävelyn polusta S 0,..., S t : E{ S t+1 S 0,..., S t } = E{ S t + X t+1 m S 0,..., S t } (tunnettu ulos) = S t + E{X t+1 m S 0,..., S t } (r-ton ehto pois) = S t + E{X t+1 m} = S t. 4A4 Huijareiden kasino. Kasinon kolikonheittopelissä on kahdenlaisia kolikoita: 90% pöydistä käyttää tavallista (kruunan tn on 1/2) ja loput painotettua (kruunan tn on 1/4) kolikkoa. Mallinnetaan satunnaisesti valitun pelipöydän yksittäisen pelin tuottoa satunnaisluvulla { +1, jos U W, X = 2 1 {U W } 1 = 1, muuten, missä U ja W ovat riippumattomia, P W = 1/2 = 0.90 = 1 P W = 1/4, ja U noudattaa välin (0, 1) tasajakaumaa. (a) Laske pelin odotettu tuotto E X ulkopuolisen havainnoijan näkökulmasta. Ratkaisu. E X (harhattomuus) = E W EU X W = 0.9E U X W = 1/2 + 0.1EU X W = 1/4 = 0.9 P(U 1/2) P(U > 1/2) + 0.1 P(U 1/4) P(U > 1/4) = 0.9 0 + 0.1 ( 1/2) = 0.05. (b) Kirjoita satunnaisluvun E X W lauseke W :n funktiona. 7 / 8
Ratkaisu. E X W = E 2 1 {U W } 1 W = P U (U W ) P U (U > W ) 1, W < 0 = 2W 1, 0 W 1 1, W > 1 Toinen askel käytti U:n ja W :n riippumattomuutta ja kolmas U:n tasajakaumaa. W :n jakaumaa ei itse asiassa tarvittu! Annetulla W :n jakaumalla kiinnostavat arvot ovat siis E X { 1/2, W = 1/4 W = 0, W = 1/2. (c) Kirjoita satunnaisluvun E X U, W lauseke W :n ja U:n funktiona. Ratkaisu. U ja W määräävät X:n, joten kysymys on kompa: { +1, jos U W, X = 2 1 {U W } 1 = 1, muuten. 8 / 8