Martingaalit ja informaatioprosessit

Transkriptio

1 6A Martingaalit ja informaatioprosessit Tämän harjoituksen tavoitteena on oppia tunnistamaan, milloin satunnaisprosessi on martingaali annetun informaatioprosessin suhteen ja milloin satunnaishetki on valintahetki annetun informaatioprosessin suhteen. Alla on kuhunkin tehtävään esitetty malliratkaisut punaisella. Tuntitehtävät 6A1 Markov-ketjut ja martingaalit. Keksi tai googlaa esimerkki tilajoukon Z diskreettiaikaisesta satunnaisprosessista X = (X t ) t Z+, joka (ks. luentomoniste, luku 6.5) Ratkaisu. Muistetaan, että Markov-ketju on muistiton satunnaisprosessi ajassa kun taas martingaali saa olla muistillinen, mutta paras arvaus tulevaisuudesta on nykytila. Näiden kuvailujen perusteella seuraavat arvaukset ovat luonnollisia tarkistetaan niiden oikeellisuus lopuksi. (a) on Markov-ketju ja martingaali, Ratkaisu. Symmetrinen satunnaiskävely Z:lla (b) on Markov-ketju mutta ei martingaali, Ratkaisu. Epäsymmetrinen satunnaiskävely Z:lla. (c) on martingaali mutta ei Markov-ketju, Ratkaisu. Reilu uhkapeli historiasta riippuvalla panoksella. (d) ei ole martingaali eikä Markov-ketju. Ratkaisu. Nostetaan kortteja pakasta palauttamatta niitä siihen. Olkoon M t nyt t:nnen kortin arvo. Ratkaisu. Tarkastetaan, että yllä keksityt ketjut täyttävät halutut ominaisuudet. Martingaalitodistukset on kirjoitettu auki, koska ne ovat harjoituksen teema. Muistetaan, että prosessi M on martingaali satunnaisjonon X suhteen, jos pätevät ehdot E M t < t M t σ(x 0,..., X t ) E{M t+1 X 0,..., X t } = M t. a) Symmetrinen satunnaiskävely määritellään M 0 = 0 ja M t+1 = M t + (2B t+1 1), jossa B t+1 Ber(1/2) on riippumaton prosessin historiasta. Symmetrinen satunnaiskävely on selvästi Markov-ketju. Osoitetaan, että M on martingaali askeleiden B suhteen. Ensimmäinen martingaaliominaisuus pätee tässä, koska M t t aina. 1 / 6

2 Toinen on tarkoittaa, että M t on deterministinen vektorin (B 0,..., B t ) funktio. Tämä toteutuu selvästi. Kolmas voidaan todistaa käyttämällä ehdollisen odotusarvon ominaisuuksia [Leskelä 2015, Lause 6.3] saadaan E{M t+1 B 0,..., B t } = E{M t + (2B t+1 1) B 0,..., B t } (lineaarisuus) = E{M t B 0,..., B t } + E{(2B t+1 1) B 0,..., B t } (tunnetun arvon ulosveto) = M t + E{(2B t+1 1) B 0,..., B t } (r-ttoman informaation poisto) = M t + E{(2B t+1 1)} = M t. Edellä todistettiin martingaaliominaisuus jonon B suhteen. Muistetaan kuitekin [Leskelä 2015, Lause 6.9], että tästä seuraa, että M on martingaali myös itsensä suhteen. b) Epäsymmetrinen satunnaiskävely tiedetään Markov-ketjuksi. Se ei ole matringaali, koska kolmas martingaaliominaisuus ei päde. Todistetaan tämä samanlaisella laskulla kuin edellä. Ensin, M t+1 = M t + (2B t+1 1), jossa B t+1 Ber(p), p 1/2 on riippumaton prosessin historiasta. Identtisellä laskulla saadaan =... E{M t+1 B 0,..., B t } = M t + E{(2B t+1 1)} = M t + 2p 1 M t. Tarkemmin sanottuna havaitaan, että prosessi on ylimartingaali, kun p < 1/2 (eli satunnaiskävely ajautuu alaspäin) ja alimartingaali, kun p > 1/2 (SK ajautuu ylöspäin). c) Muistetaan, että reilulla uhkapelillä panostaen tarkoitetaan seuraavaa: satunnaismuuttujat X i ovat samoin jakautuneita ja riippumattomia ja kuvaavat jakojen tuloksia, eli menetetäänkö panos tai kuinka moninkertaisena se saadaan takaisin. Peli on reilu, kun E(X i ) = 0. P i Z on i:nnen jaon panos ja P i X i on siis i:nnen jaon voitto/tappio. Seuraava panos P t+1 määräytyy pelin historiasta X 1,..., X t jonkin deterministisen funktion kautta kaikilla t, eli on olemassa jokin panostusstrategia. Pelaajan varallisuus t jaon jälkeen on M t = t P ix i. Kiinnitetään historiasta riippuva strategia: P t+1 = 1 + I[jako t voitettiin]. Oletetaan X i Z, jotta prosessi olisi kokonaisluvuilla. Tällöin M on martingaali jonon X suhteen; 2 / 6

3 kaksi ensimmäistä ominaisutta ovat ilmeisiä. Kolmas saadaan E{M t+1 X 1,..., X t } = E{P t+1 X t+1 + M t X 1,..., X t } (lineaarisuus) = E{M t X 1,..., X t } + E{P t+1 X t+1 X 1,..., X t } (tunnetun arvon ulosveto) = M t + P t+1 E{X t+1 X 1,..., X t } (r-ttoman informaation poisto) = M t + P t+1 E{X t+1 } = M t. Prosessi M ei ole Markov (paitsi jos X i on deterministisesti nolla, eli panosta ei ole). Olkoon x > 0 jokin mahdollinen X i :n arvo. Verrataan tilaan x saapumista kahta eri reittiä: yhdellä voitolla 0 x tai kahdella voitolla ja tappioputkella 0 x 3x 3x 2 3x 3... x. (Huomaa, että molemmat reitit ovat mahdollisia.) Nyt seuraava tila on ensimmäisessä tapauksessa muotoa x + 2X i ja toisessa x + X i, eli seuraavan tilan jakauma ei riipu pelkästään nykytilasta. d) Ei Markov: jos viimeisin kortti oli kolmonen, tn nostaa seuraavaksi kakkonen riippuu aiempien kakkosten määrästä. Ei martingaali: jos ensimmäinen nostettu kortti ykkönen, seuraavan kortin odotusarvo tälle ehdollistettuna yli yksi. Kotitehtävät (palautettava kirjallisina pe klo 10:15 mennessä) 6A2 Keskitetty satunnaiskulku. Satunnaisjono (S 0, S 1,... ) määritellään rekursiivisesti kaavalla S 0 = x 0 ja S t = S t 1 + X t, t 1, missä x 0 R ja X 1, X 2,... ovat riippumattomia ja samoin jakautuneita odotusarvonaan m. (a) Todista, että kaavan S t = S t mt määrittelemä keskitetty satunnaiskulku ( S t ) t Z+ on informaatiojonon (x 0, X 1, X 2,... ) suhteen martingaali. Ratkaisu. Tarkistetaan martingaalien ominaisuudet, Ensimmäinen seuraa, koska E S t < t S t σ(x 0,..., X t ) E{ S t+1 X 0,..., X t } = S t. S t = x 0 + S t x 0 + X i mt X i + m t E S t x 0 + m t + E X i = x 0 + t( m + E X 1 ), 3 / 6

4 ja E X 1 <, koska X 1 :llä on olemassa odotusarvo m. Toinen ominaisuus määräytyy suoraan kaavasta S t = x 0 + X i mt. Kolmanteen tarvitaan pieni lasku, johon käytetään jälleen ehdollisen odotusarvon perusominaisuuksia [Leskelä 2015, Lause 6.3]: E{ S t+1 X 0,..., X t } = E{ S t + X t+1 m X 0,..., X t } (tunnettu ulos) = S t + E{X t+1 m X 0,..., X t } (r-ton ehto pois) = S t + E{X t+1 m} = S t. (b) Onko keskitetty satunnaiskulku ( S t ) t Z+ martingaali itsensä suhteen? Ratkaisu. On. Tämä on sanottu suoraan luentomonisteen lauseessa [Leskelä 2015, Lause 6.9]. Vaihtoehtoisesti voidaan tarkistaa taas martingaalien ominaisuudet, E S t < t S t σ( S 0,..., S t ) E{ S t+1 S 0,..., S t } = S t. Ensimmäinen pätee suoraan edellisen kohdan laskulla. Toinen on triviaali. Kolmas saadaan edellisen kohdan laskulla, kun huomataan, että X t+1 on riippumaton keskitetym kävelyn polusta S 0,..., S t : E{ S t+1 S 0,..., S t } = E{ S t + X t+1 m S 0,..., S t } (tunnettu ulos) = S t + E{X t+1 m S 0,..., S t } (r-ton ehto pois) = S t + E{X t+1 m} = S t. 6A3 Valintahetket. Jos τ 1 ja τ 2 ovat informaatiojonon (X 0, X 1,... ) valintahetkiä, niin mitkä seuraavista ovat välttämättä myös valintahetkiä? Perustele vastauksesi huolellisesti nojautuen valintahetken määritelmään (luentomoniste, kappale 7.4). (a) T 1 = 3 4 / 6

5 Ratkaisu. Perustellaan, että T 1 = 3 on valintahetki. On siis osoitettava [Leskelä 2015, luvut 7.4. ja 6.1.2], että pysäytysajan indikaattorifunktio hetkellä t on jokin deterministinen funktio h t prosessin siihenastisista arvoista, I(T = t) = h t (X 0,..., X t ) Valitaan vektorin pituuden mittaava determistinen funktio h t (x 0, x 1..., x t ) = I(t = 3). (b) T 2 = τ Ratkaisu. On valintahetki, sillä valintahetken τ 1 nojalla kaikilla t 0. 1(T 2 = t) = 1(τ 1 = t 6) σ(x 0, X 1,..., X t 6 ) σ(x 0, X 1,..., X t ) (c) T 3 = max(τ 1 6, 0) Ratkaisu. Ei ole valintahetki: Olkoot esimerkiksi prosessimme X t nopan silmälukuja perättäisillä heitoilla eli X t Uni({1,..., 6}) riippumattomia ja samoin jakautuneita, ja τ 1 ensimmäisen kutosen pysäytys. Tällöin τ 1 on tosiaan pysäytysaika, koska se voidaan esittää deterministisenä fuktiona I(τ 1 = t) = I(X t = 6) I(max{X 0,... X t 1 } 5). Intuitiivinen perustelu on nyt, että helkellä 0 ei selvästikään välttämättä tiedetä nollan olevan valintahetken arvo. Formaalisti: tutkitaan nyt tapahtumaa T 3 = 0. Siis I(T 3 = 0) = I(τ 1 6) = 1 I(τ 1 > 6) = 1 I(X 0 5 &... & X 6 5) (r-ttomuus) = 1 I(X 0 5)I(X 1 5 &... & X 6 5). Vastaoletetaan nyt, että tämä voitaisiin esittää deterministisenä funktiona satunnaismuuttujasta X 0, 1 I(X 0 5)I(X 1 5 &... & X 6 5) = f(x 0 ). Nyt siis erityisesti jos X 0 5, voidaan ratkaista tästä I(X 1 5 &... & X 6 5) pelkästään X 0 :n funktiona. Näin ollen pelkästään X 0 :n arvon perusteella tiedettäisiin, tapahtuuko (epätriviaali) tapahtuma {X 1 5 &... & X 6 5}. Tämä rikkoo oletusta nopanheiton arvojen riippumattomuudesta. (d) T 4 = min(τ 1, τ 2 ) Ratkaisu. Perustellaan, että T 4 = min{τ 1, τ 2 } on valintahetki. Tässä on helpointa käyttää lauseen [Leskelä 2015, Lause 7.5] mukaista valintahetken karakterisaatiota: 5 / 6

6 indikaattorifunktio I(t τ) on ennakoitava, eli I(t τ) σ(x 0, X 1,..., X t 1 ). Valintahetkien τ 1 ja τ 2 nojalla I(t T 4 ) = I(t τ 1, t τ 2 ) = I(t τ 1 )I(t τ 2 ) σ(x 0, X 1,..., X t 1 ) kaikilla t 0, joten T 4 on valintahetki. (e) T 5 = max(τ 1, τ 2 ) Ratkaisu. Näytetään, että myös T 5 = max{τ 1, τ 2 } on valintahetki. Käytetään taas lauseen [Leskelä 2015, Lause 7.5] karakterisaatiota. (Tapa 1.) Nyt I(t T 5 ) = I(max{τ 1, τ 2 } t) = I(τ 1 t tai τ 2 t) = max(i(τ 1 t), I(τ 2 t)) σ(x 0, X 1,..., X t 1 ) (Tapa 2.) Lauseen [Leskelä 2015, Lause 7.5] mukaan siis T on valintahetki, jos ja vain jos I(T < t) = 1 I(T t) σ(x 0, X 1,..., X t 1 ) kaikilla t 0. Nyt valintahetkien τ 1 ja τ 2 nojalla I(T 5 < t) = I(τ 1 < t, τ 2 < t) = I(τ 1 < t)i(τ 2 < t) σ(x 0, X 1,..., X t 1 ) kaikilla t 0, joten T 5 on valintahetki (f) T 6 = τ 1 + τ 2. Ratkaisu. Näytetään, että T 6 = τ 1 + τ 2 on valintahetki. I(T 6 = t) = t 1 =0 I(τ 1 = t 1 ) }{{} σ(x 0,...X t1 ) I(τ 2 = t t 1 ) }{{} σ(x 0,...X t t1 ) }{{} σ(x 0,...,X max{t1,t t 1 }) σ(x 0,...,X t) 6 / 6