Stokastiikka. Sisältö. Dario Gasbarra 28. lokakuuta Esitiedot edellisistä todennäköisyys- ja mittateorian kursseista 1

Transkriptio

1 Stokastiikka Dario Gasbarra 28. lokakuuta 2010 Sisältö 1 Esitiedot edellisistä todennäköisyys- ja mittateorian kursseista 1 2 Todennäköisyys äärettömissä tulo-avaruuksissa: satunnais-jonot ja stokastiset prosessit Kolmogorovin laajennuslause Tehtävät Mitanvaihto kaava odotusarvolle Lebesguen hajotelma Harjoitukset Stokastinen konvergenssi 12 5 Satunnaismuuttujen L 1 P konvergenssi L p avaruudet Epäyhtälöt Funktionaalianalyysin peruskäsitteiden pika-sanasto 27 8 Projektio L 2 P avaruudessa 28 9 Ehdollinen odotusarvo Ehdollinen odotusarvo Radon-Nykodim derivaattana Mitä voidaan sanoa kun E P X =? Ehdollisen odotusarvon ominaisuudet Säännöllinen ehdollinen todennäköisyys ja ytimet Ehdollisen odotusarvon laskenta P -riippumattomuuden oletuksen nojalla Ehdollisen odotusarvon laskenta mitan-vaihdon avulla: Bayesin kaava Ehdollisen odotusarvon laskenta tuloavaruudessa

2 16 Ehdollistaminen nollamittaisiin tapahtumiin: varoitus Martingaalit Doobin Martingaali-konvergenssi lause Tasaisesti integroituvat martingaaalit Martingaalin takaperäinen konvergenssi Vaihdettavuus ja De Finettin lause 50 2

3 1 Esitiedot edellisistä todennäköisyys- ja mittateorian kursseista 1. Charatheodoryn laajennus lause 2. Dynkinin lause todennäköisyyden laajennuksen yksikäsitteisyydestä 3. Odotusarvojen monotonisen konvergenssin lause 4. Tulo avaruudet, Fubinin lause ja riippumattomuus 5. Borel-Cantellin lemmat 6. Mitan-vaihto kaava odotusarvolle : Radon-Nykodim lause todistetaan myöhemmin täällä kurssilla 2 Todennäköisyys äärettömissä tulo-avaruuksissa: satunnais-jonot ja stokastiset prosessit Jatkossa työskentelemme todennäköisyysavaruudessa, F, P joka on tarpeeksi rikas sisältämään P -rippumattomien satunnaismuuttujen jonoja X n ω : n N. Haluamme varmistaa ensin että selläinen on olemassa. Esimerkiksi jono P -riippumattomia kolikon heittoja X i ω : i N joilla P X i = 1 = 1 P X i = 0 = p i. Sille äärellinen tuloavaruus n = {0, 1} n varustettuna tulomitalla P n := P 1 P n ei riitä. 2.1 Kolmogorovin laajennuslause Vaikka tässä kurssissa todennäköisyysmittojen jonon tulomitan olemassaolo tuloavaruudessa riittäisi meille hyvin pitkälle, todistamme saman tien Kolmogorovin laajennuslausetta, joka koskee mielivaltaisia tuloavaruuksia, eikä rajoitu tulomittoihin. Todistuksessa ei käytetä muuta kun Caratheodoryn laajennuslauseetta ja pientä kompaktisuus-argumenttia. Vaikka jatkossa me esitämme aina kun on mahdollista probabilistista todistusta, tässä vaiheessa emme voi välttää kokonaan analyyttisia argumentteja. Määritelmä 2.1. Todennäköisyysavaruudella, F satunnaisprosessi on satunnaismuuttujen perhe X t : t T jossa T on mielivaltainen indeksijoukko, ja X t ω R d. Esimerkiksi T {N, R +, Q +, Z, R, Q} voisi olla aikaparametri, diskreetti tai jatkuva. Määritelmä 2.2. Äärellisulotteisten todennäköisyysmittojen perhe R:ssa on P t1,...,t n : BR n [0, 1], n N, t 1,..., t n T on yhteensopiva, jos 1

4 1. 2. P t1,...,t n A 1 A n = P tπ1,...t Atπ1 πn A tπn n N, A 1,... A n BR, t 1,..., t n T, permutaatiolle π P t1,...,t n A 1 A n = P t1,...,t n,t n+1 A 1 A n R Korostamme että seuraavassa lauseessa indeksijoukko T on mielivaltainen. Teoreema 2.1. Daniell-Kolmogorov,1933 Olkoon P t : t T n yhteensopiva perhe äärellisulotteisista todennäköisyysjakaumoista R:ssa, indeksijoukolla T. On olemassa yksikäsitteinen todennäköisyysmitta P tuloavaruudella = R T varustettuna tulo-topologian virittämällä sylinterien σ-algebralla σc, jolla n N, t 1,..., t n N, B n BR n, } P {ω R T : ω t1,..., ω tn B n = P t1,...,t n B n 2.1 n=1 Sen lisäksi kanoniset kuvaukset ω X t ω := ω t kun ω = R T muodostuvat stokastinen prosessi X t ω : t T jolla on annetut äärellis-ulotteiset jakaumat } P {ω : X t1 ω,..., X tn ω B n = P t1,...,t n B n 2.2 Todistus Tuloavaruuden = R T jäsenet ovat kuvaukset t ω t R. σc on pienin σ-algebra jolla kaikille t T kanooniset kuvaukset ω X t ω = ω t ovat, σc R, BR mitallisia. Määritellään algebra C joka sisältää sylinterit } C = {ω R T : ω t1,..., ω tn B n jossa n N, t 1,..., t n N, B n BR n. Kaava 2.1 määrittelee kuvauksen P : C [0, 1]. Yhteensopivuuden oletuksesta seuraa että PC on hyvin määritelty, siis ei riipu sylinterin C:n esityksestä. Koska kahdelle sylintereille löytyy esityksiä yhteisellä indeksijoukolla, ja koska äärellis-ulotteiset jakaumat ovat todennäköisyydet, ei ole vaikea osoittaa että kuvaus P : C [0, 1] on äärellisesti additiivinen. 2

5 Kun osoitamme että P on myös σ-additiivinen C algebrassa, Charatheodoryn laajennuslause astuu voimaan ja P voidaan laajentaa yksikäsitteisesti σ- additiiviseksi todennäköisyysmitaksi joka on määritelty σ-algebrassa σc. Eli jää osoitettavaksi väite: jos {C n : n N} C on sylinterien jono jolla seuraa lim n PC n = 0. C n C n+1 n, ja C n =, Vastaoletuksella C n C n+1 ja PC n ε n jollekin ε > 0, näytämme että C n. n N Valitsemalla sopivasti sylinterien esityksiä ja mahdollisesti toistaamalla sylintereita jonossa, voidaan aina rakentaa indeksijonoa t n T ja sylinterijono {D n : n N} jolla on esitys } D n = {ω R T : ω t1,..., ω tn A n n N jossa D n D n+1 n, A n BR n, A n R A n+1 n, ja kaikille m N on olemassa n jolla D n = C m. Seuraa että PD n ε > 0 n ja n N C n = n N D n. Koska P t1,...,t n on todennäköisyysmitta R n :ssa ja siksi σ-additiivinen, ja A n on Borel mitallinen, on olemassa suljettu joukko F n A n katso tehtävä 1 jolla P t1,...,t n A n \ F n < ε2 n. Valitsemalla tarpeeksi suurta origo-keskeistä palloa B0, r n, löytyy myös kompakti K n = F n B0, r n A n jolla edelleen P t1,...,t n A n \ K n = PD n \ G n < ε2 n jossa } G n := {ω R T : ω t1,..., ω tn K n Koska nämä eivät välttämättä muodosta vähenevää jonoa, otamme leikkaukset jossa G n = n m=1 G m = { } ω R T : ω t1,..., ω tn K n K n := K n K n 1 R K 1 R n 1 K n 3

6 ovat kompakteja kompakti ja sulijetun joukon leikkaus on kompakti. Seuraa G n G n+1, ja K n R K n+1. Tästä seuraa P t1,...,t n K n = PG n = PD n PD n \ G n = n P t1,...,t n A n P t1,...,t n A n \ K m R m n m=1 n P t1,...,t n A n P t1,...,t n A m \ K m R m n m=1 koska A m R n m A n kun n m n = PD n P D m \ G m PD n m=1 n PD m \ G m ε m=1 n ε2 m > ε 2 > 0 jossa käytettiin vastaoletusta PD n > ε. Siksi n, x n 1..., x n n K n. Koska jono G n ei kasva, seuraa että xn 1 K 1 R K 1 on kompakti, siksi on olemassa suppeneva alijono xn l 1 x 1 K 1. Myös alijono x n l 1, x n l 2 K 2, ja on olemassa suppeneva alijonon alijono jolla on raja x 1, x 2 K 2 R 2. Induktiivisesti löytyy jono x n jolla x 1,..., x n K n R n n. Joukot { } D = ω R T : ω tn = x n n G n D n = C n n N n N n N m=1 eivät ole tyhjiä Seuraavaksi näytämme että Kolmogoroviin lause on voimassa silloin kun prosessi X t ω saa arvot hyvin yleisemmässa avaruudessa. Määritelmä 2.3. Borelin avaruus S, S on todennäköisyys avaruus joka on kuvattavissa mitallisen bijektion kautta jolla on myös mitallinen käänteiskuvaus johonkin [0, 1], B[0, 1]-avaruuten mitaaliseen joukkoon. Seuraus 2.1. Kolmogorovin laajennuslause soveltuu myös tuloavaruuteen S T kun S, S on Borelin avaruus esimerkiksi R d, mielivaltaisella indeksijoukolla T. Todistus Olkoon f : S B B[0, 1] mitallinen bijektio, ja P t1,...,t n : n N, t i T on yhteensopivien äärellisulotteinen jakaumien perhe Borel avaruudessa S. n N, B 1,..., B n B[0, 1] Q t1,...,t n B 1 B n := P t1,...,t n f 1 B 1 f 1 B n 4

7 jossa mitallisuudesta seuraa f 1 B i S, määrittelee yhteensopiva äärellisulotteisten todennäköisyysjakaumien perhe R:ssa, koska n-ulotteiset suorakulmaiset joukot muodostuvat Dynkinin d-luokan joka virittää koko tulo σ-algebra BR n. Kolmogorovin laajennuksen perusversio 2.1 soveltuu, on olemassa todennaköisyysmitta P ja stokastinen prosessi Y t ω : t T kanonisessa avaruudessa = R T jolla PY t1 ω B 1,..., Y tn ω B n = Q t1,...,t n B 1 B n = P t1,...,t n f 1 B 1 f 1 B n Seuraa tästä X t ω := f 1 Y t ω, on stokastinen prosessi joka saa arvot Borel avaruudessa S, S ja PX t1 ω S 1,..., X tn ω S n = PY t1 ω fs 1,..., Y tn ω fs n = Q t1,...,t n fs 1 fs n = P t1,...,t n S 1 S n Tehtävä 2.1. Separoituva metrinen avaruus S, d varustettuna Borelin σ-algebralla metrisen avaruuden avoimien joukkojen virittämä on Borelin avaruus. Todistuksen linja ei viety loppuun asti : Metrinen avaruus on separoituva kun on olemassa numeroituva jono {y n } n N joka on tiheä S:ssa metrisen topologian suhteen, eli x S on olemassa alijono {y nk } k N jolla dy nk, x 0. Tämän alijonon kautta voidaan koodata jokaisen pisteen x S osoiteetta yksikäsitteisesti binäärijonolla. Kyseinen kuvaus voidaan rakentaa seuraavasti: olkoon n k := argmin 1 m<2 k{dy m, x} jossa käytetään {y n } jonon järjestystä silloin kun minimi ei ole yksikäsitteinen. Selvästi y nk x. Koska n k 2 k, sen binääri kehitelmä n k = k 1 m=0 η k m 2 m, η k m {0, 1} voidaan koodata sanalla η k = η k 0,..., ηk k 1 {0, 1}k. Yhdistämällä toisen perään sanat η k, k N saadaan binääri jonoa joka vastaa taas jonkun luvun ux [0, 1] binääri-kehitelmä. Kuvaus x ux on injektiivinen, ja ei ole vaikea osoittaa että se on mitallinen, ja sen käänteiskuvaus u 1 : us S on myös mitallinen, silloin kun S, d varustetaan Borel σ- algebralla BS. Huomataan että A k,l := {x S : n k x = l} BS, kuvautuu johonkin dyadisten välien yhdisteseen joka kuluu σ-algebraan B[0, 1]. Dyadiset välit l2 k, l + 12 k ], k N, 0 l < 2 k virittävät B[0, 1]. Jää osoitettavaksi että σa k,l, k N, 0 l < 2 k = BS Esimerkki 2.1. R d Q d on Borel avaruus. Kolmogorovin laajennus soveltuu myös vektoriavoisille prosesseille. 5

8 2.2 Tehtävät 1. Osoita: jos B BR, ε > 0 ja P todennäköisyysmittoja avaruudessa R, BR, on olemassa olemassa avoin joukko U ja suljettu joukko F jolla F B U, ja P U \ F < ε. Vihje Olkoon A kokoelma joukoista joilla on kyseinen ominaisuus. Osoita että A on σ-algebra joka sisältää suljetut joukot, ja siksi sisältää kaikki Borelin joukot. Käytä σ-additiivisuutta! 2. Olkoon S, S Borelin avaruus, ja Kx, dy a todennäköisyys-ydin, joka on kuvaus K : S S : [0, 1], jolla a x S kuvaus A Kx, A on todennäköisyysmitta. b A S, kuvaus x Kx, A on mitallinen. Olkoon x S. Soveltakaa Kolmogorovin lajennuslausetta osoittamalla että on olemassa todennäköisyysmitta P x jono avaruudessa = S N ja stokastinen prosessi X t ω = ω t, t N joilla kaikille n, A 1,..., A n S, P x X 0 ω A 0, X 1 ω A 1,..., X n ω A n = 1 A0 x Kx n 1, dx n Kx n 2, dx n 1... Kx, dx 1 A 1 A n 1 A n Olkoon πdx todennäköisyysmitta S, S. Osoite että on olemassa todennäköisyysmitta P π jonojen avaruudessa = S N ja satunnaismuuttujen jono joilla X t ω = ω t, t N satises for all n, A 0, A 1,..., A n S, P π X 0 ω A 0, X 1 ω A 1,..., X n ω A n = A 0 A 1 A n 1 A n Kx n 1, dx n Kx n 2, dx n 1... Kx 0, dx 1 πdx 0 X t ω : t N kutsutaan Markovin prosessiksi alkujakaumalla πdx ja siirtymäytimellä Kx, dy. Olkoon K n x, dy := P x X n dy, n N 2.3 Osoita että K n x, dy n N ovat todennäköisyys-ytimiä jotka toteuttavat Chapmanin-Kolmogorovin yhtälö: m, n N K n+m x, dy = K n x, dzp m z, dy 2.4 S 6

9 3 Mitanvaihto kaava odotusarvolle Käytämme seuraavat pikanotaatioita silloin kun selvää että on kyse satunnaismuuttujasta eikä tapahtumasta: Olkoon Xω satunnaismuuttuja. Jos X on F-mitallinen merkitään X F, tai X L 0, F. Jos X F ja Xω 0 ω merkitään X F +. Jos X F ja Xω 0 P -m.v. merkitään X L 0 +, F. Kun n Xω = x i 1 Ai ω i=1 jossa x i R ja A i F, sanotaan että X on yksinkertainen satunnaismuuttuja ja merkitsemme X YF. Merkisten myös YF + = YF F +. Todennäköisyys avaruudessa, F, P, olkoon satunnaismuuttuja Zω 0 P -melkein varmasti jolla 0 < E P Z <, josta seuraa myös P {ω : Zω > 0} > 0. Määritellään uusi todennäköisyysmitta Q : F [0, 1] QA := E P Z1 A E P Z A F Q on todennäköisyysmitta: Selvästi on additiivinen ja Q = 1. Osoitamme että on myös σ-additiivinen: kun A n, eli A n A n+1 ja n A n =, myös Zω1 An ω Zω P -melkein varmasti. Monotonisen konvergenssin lauseesta?? seuraa QA n E P Z = E P Z1An EP Z = QE P Z = QA n 1 Voidaan myös käyttää normalisoitua muuttujaa Zω := Zω E P Z jolla E P Z = 1, ja kirjoittaa QA = E P Z1A. Teoreema 3.1. A F P A = 0 = QA = 0. Sanotaan että Q on absoluuttisesti jatkuva P :n suhteen, ja merkitään Q P. Tod. kun P A = 0, Zω1 A ω = 0 P -melkein varmasti. Teoreema 3.2. Kun X F +, eli Xω 0 P -m.v. ja F-mitallinen, E Q X = E P XZ E P Z, ja X L 1, F, Q jos ja vain jos XZ L 1, F, P. Tod. Kun Xω YF +, väite seuraa suoraan määritelmästä ja odotusarvon lineaarisuudesta. Kun X F + on olemassa jono {X n } YF + jolle 0 X n ω Xω ω. Soveltamalla Monotonisen konvergenssin lauseen kaksi kertaa Q mitan alla ja P mitan alla, seuraa että E Q X n E Q X ja E Q X n = E P X n Z E P Z E P XZ E P Z 7

10 Esimerkki 3.1. Ehdollinen todennäköisyys Olkoon B F jolla P B > 0, ja suoritamme mitan vaihdon satunnaismuuttujalla Zω = P B 1 1 B ω, saadaan P A B := E P Z1 A = E P 1 A 1 B P B = P A B P B, A F Kuvaus P B : A F P A B [0, 1] on todennäköisyysmitta, joka kutsutaan ehdolliseksi todennäköysyydeksi ehdolla B tapahtuman. Hajotelmasta P A B = P BP A B = P AP B A on paljon hyötyä monimutkaisten tapahtumien todennäköisyyksien laskemisessa. Satunnaismuuttujan X L 1 P ehdollinen odotusarvo ehdolla B tapahtuman on E P X B := E P X1 B P B Huomaamme että tässä vaiheessa ehto P B > 0 on välttämätön. Miten ehdollisen odotusarvon käsite yleistyy P -nolla mittaisille tapahtumille B? Vastaus esitetään kurssin loppupuolella. Olemme rakentaneet mitan Q P satunnaismuuttujan Z L 1 P avulla. Tämä tulos kääntyy toisinpäin, kun Q P on olemassa 0 Zω L 1 P jolle mitanvaihto kaava QA = E P Z1 A on voimassa. Teoreema 3.3. Radon-Nikodym lause Todennäköisyysavaruudessa, F olkoon P, Q todennäköisyysmittoja yleisemmin P voisi olla σ-äärellinen mitta, joilla QA = 0 aina kun A F ja P A = 0 merkintä: Q F P. Silloin on olemassa satunnaismuuttuja 0 Zω L 1, F, P jolle E P Z = 1 ja QA = E P Z1 A A F Zω on yksikäsitteinen vailla P -nolla joukkoja. Merkitään Zω = dq dp ω, joka kutsutaan uskottavuus-osamääräksi engl. likelihood ratio tai Radon-Nikodym derivaataksi. R-N lause todistetaan kurssin loppupuolella martingaalien avulla. Mitanvaihto-kaava saa muotoa E Q X = XωQdω = Xω dq ω P dω dp Määritelmä 3.1. Todennäköisyysavaruudessa, F todennäköisyysmitat P ja P ovat singulaarisia merkintä: P P, kun on olemassa A F jolla P A = 0 ja P A = 1. 8

11 Esimerkki 3.2. Todennäköisyys avaruudessa, F, P olkoon F = σx jossa Xω on standardi-gaussinen satunnaismuuttuja jolla EX = 0, EX 2 = 1, eli P X dx = 1 exp x2 dx 2π 2 Olkoon P toinen todennäköisyysmitta jolla Laskemme uskottavuusosamäärät P X i dx = 1 exp x µ2 dx 2π 2 Z ω = dp dp ω ja Zω = dp dp ω = 1 Z ω R-N lauseesta seuraa että Z ω on σx mitallinen, siksi on olemassa Borel mitallinen kuvaus z : R R + jolla Z ω = z Xω tehtävä 1. Silloin, kaikille Borel mitallisille funktioille fx 0 josta seuraa 1 2π R fx exp = E P fxz X = 1 2π Koska E P Z = 1, seuraa 3.1 Lebesguen hajotelma x µ2 dx = EP fx = E P fxz 2 R z x = exp µx 1 2 µ2, fxz x exp x2 dx 2 Z ω = exp µxω 1 2 µ2 E P expµx = exp 1 2 µ2 Olkoon P, P todennäköisyysmittoja todennäköisyysavaruudessa, F, joilla ei välttämättä P P tai P P. Q := 1 2 P + P on todennäköisyysmitta jolla selvästi P Q ja P Q σ-algebrassa F. R-N lauseesta 3.3 seuraa että uskottavuusosamäärät ζω := dp dq ω ja ζ ω := dp dq ω, ovat olemassa, ei-negatiivisiä ja F-mitallisia. Huomataan että koska ω ζω + ζ ω = 2dP 2dP dp + P ω + dp + P ω = 2 dp + P dp + P ω = 2 9

12 ja ζω 0, ζ ω 0 seuraa ζω 2, ζ ω 2 Q m.v., ja Q {ω : ζω = 0} {ω : ζ ω = 0} = 0. Määritellään ω Zω = dp ζω ω := dp ζ ω ja Z ω = dp dp ω := ζ ω ζω = 1 Zω jossa 0/0 saa mielivaltainen arvo, esimerkiksi 0. Mitan-vaihto kaavan yleistys on E P X = E P XZ + E P X1ζ = 0 kun X F +. Todistus E P X = E P X{1ζ > 0 + 1ζ = 0} = EQ Xζ 1ζ > 0 + E P X1ζ = 0 = E Q X ζ ζ1ζ > 0 + E P X1ζ = 0 = EQ XZ ζ + E P X1ζ = 0 ζ jossa Siis = E P XZ + E P X1ζ = 0 = EP XZ + E P X P dω := 1ζω = 0P dω, P dω = Z ωp dω + 1ζω = 0P dω = Z ωp dω + P dω P ja P ovat singulaarisia, koska joukolle A := {ω : ζω = 0} pätee P A = 0 ja P A = P Koska P + E P Z = P ζ = 0 + E P Z = 1, P on todennäköisyysmitta jos ja vain jos P P, silloin P = P. Myös E P Z 1 ja E P Z = 1 jos ja vain jos P P, silloin P = Harjoitukset 1. Olkoon Xω satunnaismuuttuja todennäkösyysavaruudessa, F, ja olkoon Zω σx-mitallinen satunnaismuuttujal. Osoita että on olemassa Borel mitallinen kuvaus x R zx R jolla Zω = zxω. 2. Todennäköisyys avaruudessa, F, P olkoon X 1 ω,..., X n ω P -rippumattomia ja samoin-jakautuneita standardi-gaussisia satunnaismuuttujat joilla P X i dx = 1 exp x2 dx i = 1,..., n 2π 2 Olkoon P toinen todennäköisyysmitta jolla X 1 ω,..., X n ω ovat P - rippumattomia ja gaussisia samoinjakautuneita, jossa P X i dx = 1 exp x µ2 dx i = 1,..., n 2π 2 10

13 Kun F = σx 1,..., X n laske uskottavuusosamäärät Z ω = dp dp ω ja Zω = dp dp ω 3. Todennäköisyys avaruudessa, F, P, olkoon X t ω : t N R-arvoinen Markov prosessi jolla on alkujakauma ja siirtymäydin Kx, dy. P X 0 dx = πdx Olkoon P toinen jakauma jonka suhteen X t ω : t N on myös Markov, alkujakaumalla P X 0 dx = π dx ja siirtymäydimellä K x, dy. Oleta: π π ja x R K x, Kx, Kun F n = σx 1,..., X n, laske R-N derivaatta Z n ω = dp Fn dp Fn ω jossa P Fn on todennäiköisyys P rajoitettuna σ-algebraan F n, ja R-N lause sovelletaan todennäköisyysavaruudessa, F n, P, josta seuraa että Z n ω pitää olla F n -mitallinen. 4. Olkoon X 0 ω N, P X 0 ω = k = πk k N, ja X t ω = X t 1ω k=0 Y t,k ω = 1k X t 1 ωy t,k ω k=0 jossa s.m. X 0, Y t,k ω : t, k N ovat P -riippumattomia ja P Y t,i = k = pk k N t, i N Prosessi X t : t N on diskreettiaikainen haarautumisprosessi, alkujakaumalla πk ja jälkikasvun jakaumalla pk. Osoita että X t : t N on Markov prosessi, siirtymäytimellä Kl, m = P X t = m X t 1 = l Olkoon P toinen todennäköisyys jolla X t on haarautumisprosessi alkujakaumalla π k ja jälkikasvun jakaumalla p k, siirtymäytimellä K l, m = P X t = m X t 1 = l. Oletamme πk = 0 = π k = 0 ja pk = 0 = p k = 0 Olkoon F n = σx 1,..., X n. Laske R-N derivaatta Z n ω = dp Fn dp Fn ω 11

14 4 Stokastinen konvergenssi Lemma 4.1. Ensimmäinen Borel-Cantellin lemma. n=1 P A n < = P lim sup A n = P {ω : ω An äärettömästi monille n:lle } = 0 n Lemma 4.2. Fatou lemma Kun X n ω 0 P -melkein varmasti n N, 0 E P lim inf X n lim inf E P Xn n n Tämä seuraa myös kun X n ω Zω n N P -melkein varmasti, jossa E P Z < +. Määritelmä 4.1. Olkoon Xω, X n ω, n N satunnaismuuttujat. Sanotaan että jono X n suppenee stokastisesti tai todennäköisyyden mielessä kohti X:aan, merkintä:x n P X kun jokaiselle ε > 0 P { ω : X n ω Xω ε } 0, kun n. Stokastinen konvergenssi on heikompi kuin melkein varma konvergenssi: Lause Kun lim X nω = Xω P -melkein varmasti, myös X n n X. P 2. Jos X n P X stokastisesti, on olemassa deterministinen alijono {nk : k N} jolla lim k X nkω = Xω P -melkein varmasti, 3. X n P X jos ja vain jos kaikille alijonoille {nk} on olemassa alijonon deterministinen alijono {nk l } jolla X nkl ω Xω P -melkein varmasti kun l. Tod. Voidaan olettaa että Xω = 0, muuten otetaan Xω. X n ω = X n ω 1. X n ω 0 P -m.v. jos ja vain jos P {ω : X k ω < n 1 } = 1 n m k m n N, P lim inf {ω : X kω < n 1 } = 1 k Fatou lemmasta n 1 = P lim inf kω < n 1 } lim inf {ω : X k ω < n 1 } = 1 k k 0 = lim sup P k {ω : X k ω > n 1 } = lim P k {ω : X k ω > n 1 } 12

15 2. Stokastisesta konvergenssista seuraa että on olemassa jono k n jolla P {ω : X l ω > n 1 } < 2 n, l k n Koska n=1 P {ω : X kn ω > n 1 } < 2 n = 1 2 < n=1 Borel-Cantelli lemmasta 4.1 seuraa 0 = P lim sup{ω : X kn ω > n 1 } n P lim sup{ω : X kn ω > N 1 } n = 0 n N, josta seuraa 1 = P lim inf{ω : X kn ω N 1 } n N X kn ω 0 P -melkein varmasti. 3. Olkoon Xω = 0 ja tehdään vastaoletus että X n ei suppenisi stokastisesti kohti nollaan: on olemassa ε > 0 ja jono nk kun k jolla P X nk > ε ε > 0 k Tästä tulee ristiriita koska oletetusti olisi olemassa alijono nk l jolla X nkl ω 0 P -melkein varmasti ja siksi myös stokastisesti, siksi saadaan ristiriita 0 < ε P X nkl > ε 0 kun l Esimerkki 4.1. Näytämme että stokastinen konvergenssi on aidosti heikompi kuin melkein varmaa konvergenssia: Olkoon = 0, 1] varustettu Borel σ- algebralla F = B0, 1] tasaisella todennäköisyydella, siis P 0, t] = t, kun t 0, 1]. Määritellään satunnaismuuttujen jono X n,k ω = 1 k2 n,k+12 n ]ω k = 0, 1,..., 2 n 1 jossa indeksit voidaan järjestää seuraavaksi: n, k m, h jos ja vain jos n > m tai n = m ja k h. Seuraa että ω 0, 1] kun n, k järjsteyksen mukaisesti, lim inf X n,kω = 0 lim n,k sup n,k X n,k ω = 1, ja P {ω : X n,k > 1/2} = P k2 n, k + 12 n ] = 2 n 0 kun n. Tehtävä 4.1. Etsi jonolle X n,k ω, n N, 0 k 2 n aliljono X nl,kl : l N jolla X nl,kl ω 0 P -m.v. kun l. 13

16 Teoreema 4.1. Stokastinen konvergenssin topologia on metrinen. P X n X dx, Xn 0, jossa X Y dx, Y = dx Y, 0 = E P 1 + X Y dx, Y = dx Y, 0 = E P 1 X Y Olkoon X n P X = 0. ε > 0, X n 1 + X n X n 1 + X n 1 X n > ε + ε1 X n ε 1 X n > ε + ε, dx n, 0 P X n > ε + ε < 2ε kun n on tarpeeksi suuri. Toisinpäin, koska kuvaus fx = x/1 + x on aidosti kasvava f x = 1 + x 2, ε > 0, ε 1 + ε 1 X n > ε X n 1 + X n 1 X n > ε X n 1 + X n ε 1 + ε P X n > ε d X n, 0 0 kun n Näytämme että dx, Y on etäisyys, se täyttää kolmion epäyhtälön: X Y X Z + Z Y X Z 1 + X Y 1 + X Z + Z Y 1 + X Z + Z Y 1 + Z Y tai kun otetaan odotusarvo seuraa dx, Y dx, Z + dz, Y 5 Satunnaismuuttujen L 1 P konvergenssi. Olkoon = 0, 1] todennäköisyysavaruus joka on varustettu Borel σ-algebralla F = B0, 1] ja todennäköisyydella P jolla P 0, t] = t, kun t 0, 1] P on tasainen jakauma, ja satunnaismuuttujen jono X n ω = n1 0,n 1 ]ω, n N. Koska X n ω = 0 kun ω > n 1 seuraa että ω lim n X nω = 0. Kuitenkin E P X n = np 0, n 1 ] = n n 1 = 1 n. Väite lim n E P X n = E P lim n X n yleisesti ei pidä paikansa ilman lisää oletuksia. Määritelmä 5.1. Merkitään L 0, F, P = { R-arvoset satunnaismuuttujat todennäköisyysavaruudessa, F, P } jossa tarvittaessa identioidaan X ja Y kun Xω = Y ω P -melkein varmasti. 14

17 jossa Kun 0 < p <,määritellään L p = L p, F, P = { X L 0, F, P jolla X p < } X p = { E P X p } 1/p Sanomme että X n L p X suppenee L p -normissa kun E P X n X p 0 kun n. Määritellään myös X = P -esssup { Xω } := inf { y R : Xω y P -melkein varmasti } L = L, F, P = { X L 0, F, P jolla X < } eli satunnaismuuttuja Xω L P jos ja vain jos on olemassa deterministinen K < jolle Xω K P -melkein varmasti. eli s.m. on olennaisesti rajoitettu P -mitan suhteen. Osoitamme myöhemmin että L p, F, P on Banachin avaruus eli vektori avaruus jolla on täydellinen normi kaikille 0 < p +, ja L 2, F, P on Hilbertin avaruus skalaaritulolla X, Y := E P XY. Teoreema 5.1. Olkoon 0 < p, ja lim n X n p = 0. Seuraa että X n P 0. Tod. Kun 0 < p < +, väite seuraa Chebychevin epäyhtälöstä : kun ε > 0, ε p P X n > ε E P X n p 0 kun n. Kun p = +, K N n jolla P {ω : X n ω K 1 } = 1 kun n n josta seuraa että { P ω : Xn ω K 1} = P { ω : X n ω 0 } = 1 K m n>m siis X n 0 P -melkein varmasti ja myös stokastisesti Huomautus: Koska E P X E P Y = E P X Y = E P X Y + E P X Y E P X Y + + E P X Y = E P X Y kun X n L 1 P X seuraa E P X n E P X. 15

18 Käsittelemme ensin L 1 -konvergenssia. Olemme huomanneet että ehdoista X n ω Xω P -melkein varmasti ja X, X n L 1 P ei seuraa että EX n L EX, eikä myöskään X 1 n X. Siihen tarvitaan sen lisäksi seuraava kompaktisuusehto: Määritelmä 5.2. Olkoon satunnaismuuttujen kokoelma C L 1, F, P. Satunnaismuuttujen kokoelma C on tasaisesti integroituva P -mitan suhteen, kun lim sup E P X 1 X > K = Xω P dω 0 kun K K X C {ω: Xω >K} Lemma 5.1. Aärellinen satunnaismuuttujen joukko C = {X 1, X 2,..., X M } L 1, F, P, M N on tasaisesti integroituva, eli ε > 0 on olemassa K jolla sup E P Xm 1 X m > K < ε 1 m M Tod. harjoitustehtävä. Vihje: olkoon ensin M = 1, C = {X}, ja X n ω := Xω1 Xω K X n?xω ja monotonisen konvergenssi lauseesta seuraa E P X n E P X Lemma 5.2. X L 1, F, P, jos ja vain jos ε > 0 on olemassa δ, jolla kun A F, Riittavuuden todistus. ω, P A < δ = E P X 1A < ε Y K ω := Xω 1 Xω K Xω ja lauseesta 5.1 seuraa että E P X E P Y K = {ω: Xω >K} Xω P dω < ε kun K on tarpeeksi suuri jotta P {ω : Xω > K} < δ. Tästä seuraa että E P X E P Y K + ε K + ε < Välttämättömyyden todistus. Tehdään vastaoletus: on olemassa ε > 0 ja tapahtumien jono {A n : n N} F jolla P A n < 2 n = E P X 1An ε > 0 Olkoon A = lim sup A n. Koska n P A n n n 2 n = 1 < 16

19 seuraa ensimmäisesta Borel Cantelli lemmasta 4.1 että P A = 0. Olkoon B n = A k. Määritelmästä seuraa A n B n A, eli k n Xω 1 An ω Xω 1 Bn ω Xω 1 A ω ω jossa kaikki ylläolevat satunnaismuuttujat ovat integroituvia koska X L 1 P. Seuraa väitteen riittavuuden osasta että koska P A = 0 0 < ε E P X 1 An E P X 1 Bn E P X 1 A = 0 Teoreema 5.2. L 1 P -konvergenssin karakterisaatio Olkoon satunnaismyuuttujat {X n : n N} L 1, F, P, n N ja X L 0, F Silloin P X ja satunnaismuuttujen jono {Xn : n N} on tasaisesti integroituva, X n jos ja vain jos X n L 1 X L 1 P, eli P Tod. Kun X n X lauseesta 4.1 seuraa että on olemassa deterministinen indeksien alijono nk jolle X nk ω Xω P -melkein varmasti. Soveltamaalla Fatoun lemmaa 4.2 E P X = E P lim inf k X nk lim inf E P X nk < k koska satunnaismuuttujat {X n : n N} ovat tasaisesti integroituvia, siis X L 1 P. Olkoon K N ja määritellään kuvaus K kun x > K g K x = x kun x K K kun x < K ja satunnaismuuttujat X n K ω = g K X n ω, X K ω = g K Xω. Lemmasta 5.1 ja tasaisen integroituvuuden oletuksesta seuraa että ε > 0 on olemassa K jolla koska sup n sup n E P X X K < ε ja E P X n X K n < ε n, E P X n X n K = sup n {ω: X nω >K} Osoitamme ensin että { Xω P dω KP X n > K } {ω: X nω >K} Xω P dω 0 kun K. E P X K X K n 0 kun K. Koska g K x g K y < x y, seuraa X K n P X n K X K > ε ε < 3 3K 17 P X K. On olemassa n jolla kun n n,

20 josta seuraa E P X n K X K = E P X n K X K 1 +E P X K X K 2K P n X K 1 X n K X K > ε 3 Kolmioepäyhtälön avulla, kun n n X K n X K ε 3 + ε 3 2K ε 3K + ε 3 = ε n X K > ε 3 kun n n E P X n X E P X n X n K + E P X n K X K + E P X K X 3ε Toisinpäin, kun E P X n X 0, seuraa kts. lause 5.1 että X n P X. Olkoon ε > 0, ja N N jolla E P X X n < ε 2 kun n N. Lemmasta 5.2 δ > 0 jolla A F jolla P A < δ seuraa max n N E P X n 1 A < ε ja E P X 1 A < ε 2. Koska E P X n E P X + E P X n X jossa oletetusti E P X n X 0, seuraa että on olemassa K > 0 jolla Chebychevin epäyhtälöstä seuraa Kun n N, sup E P X n < Kδ <. n P X n > K K 1 E P X n < δ n N. E P Xn 1 X n > K E P X 1 Xn > K + E X X n < ε Kun n N myös P X n > K < δ ja E P Xn 1 X n > K < ε eli tämä on voimassa kaikille n N kun K on tarpeeksi suuri, siis {X n : n N} on tasaisesti integroituva Osoittaakseen jonon {X n } n N tasaisen integroituvuuden, riittää että on olemassa Y L 1 P joka dominoi koko jonon P -melkein varmasti: Seuraus 5.1. Dominoidun konvergenssin lause Olkoon X n P X jossa Xn ω Y ω P -melkein varmasti jollekin 0 Y L 1, F, P. Silloin E P X n E P X E P X n X 0 kun n 18

21 Voidaan osoittaa että tasainen integroituvuus vastaa kompaktisuuden ehtoa L 1 P avaruudessa varustettuna heikolla topologialla. Tämä ei päde vahvemmalle L 1 -normin topologialle. Teoreema 5.3. Dunford-Pettisin lause Satunnaismuuttujen joukko C L 1, F, P on tasaisesti integroituva P -mitan suhteen jos ja vain jos on pre-kompakti L 1 P avaruuden heikossa topologiassa, eli kaikille jonolle {X n : n N} C on olemassa indeksien jono {nk : k N} ja s.m. X L 1 P joille lim E P Xnk X1 A = 0 A F k Huomautus Tästä ei seura alijonon vahvempi L 1 -konvergenssi E P X nk X 0. On myös hyvää tietää seuraavan tasaisen integroituvuuten karakterisaation Lause 5.1. C L 1 P on tasaisesti integroituva jos ja vain jos sup E P X < ja ε > 0 δ : P A < δ = sup E P X 1A < ε X C X C Tod. Harjoitustehtävä. Huomautus 5.1. Kun C L 1 P on tasaisesti integroituva, seuraa että sup X C E P X <. Kuitenkin pallo B 1 = {X L 1 P : E P X 1} ei ole tasaisesti integroituva: olkoon {A n : n N} F jolle P A n = n 1, ja olkoon X n ω = n 1 An ω. Selvästi X n B 1 n, ja kaikille K > 0 sup E P Xn 1 X n > K = sup E P X n = 1 n n>k Sovellus: odotusarvon derivointi parametrin suhteen Lemma 5.3. Olkoon X i : i, F i R, BR i = 1, 2 reaaliarvoisia satunnaismuuttujia eri todennäköisyysavaruuksissa. Silloin tulo Xω 1, ω 2 = X 1 ω 1 X 2 ω 2 on satunnaismuttuja tuloavaruudessa 1 2, F 1 F 2. Tod. Olkoon X i ω i 0 ω i i, i = 1, 2 yleisemmin voidaan ensin hajottaa X i = X + i X i. Kun t 0 { ω1, ω 2 : X 1 ω 1 X 2 ω 2 t } = { ω 1 : X 1 ω 1 t } { } ω 2 : X 2 ω 2 q q ja Dynkinin lemmasta?? seuraa 0<q Q {ω 1, ω 2 : X 1 ω 1 X 2 ω 2 B } F 1 F 2 B BR Lause 5.2. Olkoon, F, P todennäköisyysavaruus jossa {Y t, ω : t [a, b]} L 1, F, P on tasaisesti integroituva satunnaismuuttujen joukko, a < b R. Oletamme sen lisäksi Kaikille ω, kuvaus t Y t, ω on jatkuva. F 1 F 2, 19

22 Kaikille t [a, b] kuvaus ω Y t, ω on F-mitallinen. Tästä seuraa 1. kuvaus t, ω Y t, ω on B[a, b] F BR mitallinen. 2. kuvaus t E P Y t on jatkuva. 3. Olkoon Xt, ω := t a Y s, ωds, t [a, b]. Silloin kaikissa t a, b on olemassa jatkuva derivaatta d dt E d P Xt = EP Y t = EP dt Xt Tod. Määritellään tuloavaruudessa [a, b] satunnaismuuttujen jono Y N t, ω = N 1 k=0 Y a + b a kn, ω 1 a + b a k N + 1 < t a + b ak, N N N Lemma 5.3 nojalla seuraa Y N on B[a, b] F-mitallinen, ja jatkuvuudesta seuraa lim Y N t, ω = Y t, ω ω, N siksi Y t, ω on myös B[a, b] F-mitallinen. Koska lim s t Y s ω = Y t ω ja tasaisen integroituvuuden oletuksesta, seuraa E P Y t E P Y s E P Y t Y s 0 kun s t. Koska {Y t : t [a, b]} on tasaisesti integroituva, seuraa sup E P Yt < + t [a,b] ja siksi Y t, ω L 1 [a, b], B[a, b] F, dt P dω. Fubinin lause soveltuu E P X t = E P t a Y sds = Y s, ω ds P dω = [a,b] t a E P Y sds ja koska kuvaus t E P Y t on jatkuva, analyysin keskiarvon lauseesta lim 1{ E P X t+ E P X t } 0 = lim 0 1 t+ t E P Y sds = E P Y t 20

23 Esimerkki 5.1. Olkoon satunnaismuuttuja Xω R, jolle on olemassa a < 0 < b jolle m X t := E P exptx <, t [a, b]. Olkoon a < ε < 0 < ε < b. Koska x expεx expbx kun x x joka on yhtälön x /logx = b ε ratkaisu, seuraa E P X + expεx x expεx + E P expbx < + Vastaavasti, koska x expεx exp ax kun x x joka ratkaisee x /logx = a + ε, E P X exp εx x expεx + E P exp ax < +. Seuraa { } Xω exptxω Xω expεxω + exp εxω L 1 P t [ ε, ε] ja kokoelma { } Xω exptxω : t [ ε, ε] L 1 P on tasaisesti integroituva, d d dt m Xt = E P dt exptx eritysesti kun t = 0 = E P X exptx d dt m X0 = E P X. t ε, ε Koska eskponentiaali funktio kasvaa polynoomien nopeammin, n N seuraa satunnaismuuttujien joukon { } X n ω exptxω : t [ ε, ε] L 1 P tasainen integroituvuus, ja d n d n dt n m Xt = E P dt n exptx = E P X n exptx t ε, ε eritysesti kun t = 0 d n m X dt n 0 = E P X n. Kuvaus m X t = E P exptx kutsutaan momentti-generoiva funktioksi. Esimerkki 5.2. Esscherin muunnos. Olkoon Θ = {m X t = E P exptx < }. Kun t Θ määritellään mitanvaihtokaavan kautta todennäköisyysmitta P t A = E P exptx1a, A F. m X t 21

24 Kun on olemassa ε > 0 jolle [t ε, t + ε] Θ, seuraa E P tx n = E P X n exptx = dn m X m X t dx n t 1 m X t, erityisesti E P tx = d dt logm Xt Tod. Kuten tapauksessa t = 0. 6 L p avaruudet 6.1 Epäyhtälöt Määritelmä 6.1. Kuvaus g : R d R on konveksi kun g px + 1 py pgx + 1 pgy x, y R d, p [0, 1] Lause 6.1. Olkoon g : R R konveksi funktio. Silloin g on jatkuva, ja jokaisessa pisteessä on olemassa derivaatat oikealta ja vasemmalta g gr gt t = lim g + gr gt t = lim r t r t r t r t ja g ± s g ± t kun s t. Tod. kun t s r, gs gt s t gr gt r t koska kun p = r s/r t [0, 1], s = pt + 1 pr, konveksisuudesta Tästä seuraa että jokaiselle t, jono gs gr gt gr p gt + n 1 gtn n N ei kasva ja siksi monotoninen raja on olemassa. Koska oikea ja vasen derivaatat ± gt ovat olemassa, gt on jatkuva jokaisessa t R. Konveksisuudesta seuraa myös gs gt s t gr gs r s kun t s r, siksi + gt gr kun t < r Huomautus 6.1. Koska derivaatat ovat ei-väheneviä, 1. Joukko D := { } t : + gt > gt on korkeintaan numeroituva. 22

25 2. jokaiselle t R, δ [ gt, + gt] gs = gt + s t ± grdr gt + s tδ s Seuraa myös että g on konveksi jos ja vain jos on absoluttisesti jatkuva Lebesgue mitan suhteen ja Radon-Nikodymin-derivaatta dg dx x on eivähenevä. Lause 6.2. Jensenin epäyhtälö Olkoon Xω R satunnaismuuttuja jolla E P X < ja g : R R konveksikuvaus. Silloin g E P X E P gx R. Koska g on konveksi, sen oikea ja vasen derivaatat pisteessa µ = E P X ovat olemassa. Kaikille δ [ gµ, + gµ] gxω ge P X + δ { Xω E P Xω } ja väite seuraa ottaamalla odotusarvon Huomautus Huomataan että Jensenin epäyhtälö on voimassa myös silloin kun integroidaan positiivisen mitan νdx suhteen vaikka olisi νr = +. Siis kun g on konveksi, x νdx < = g xνdx gxνdx R R R mutta on mahdollista että x νdx = ja R R gx νdx < Lemma 6.1. Kun 1 p < r, L p, F, P L r, F, P. Tod. Olkoon X L r P. Kun r =, Xω p X p P -melkein varmasti ja väite seuraa. Kun r <, olkoon Y n ω = n Xω p L r/p P. Koska 0 Y n ω n seuraa Y n ω L 1 P. Kuvaus g : R + R + jolla x gx = x r/p on konveksi. Jensenin epäyhtälöstä seuraa: E P Yn r/p E P Y n r/p Monotonisen konvergenssi lauseesta, koska 0 Y n ω Xω p ω seuraa E P X r E P X p r/p. Emme olisi voineet soveltaa Jensenin epäyhtälöä suoraan satunnaismuuttujalle Xω p koska apriori oli epäselvää kuuluuko L r/p P avaruuteen. Siksi käytettiin kätkettyja muuttujia {Y n } 23

26 Huomautus 6.2. Tässä on olemmaista että P on todennäköisyysmitta tai äärellinen mitta, koska silloin kun ν = L, F, ν L 1, F, ν, ja pelkään kätkäisemällä ei saadan integroituvia satunnaismuuttujia. Väite ei päde L p, F, ν avaruuksille silloin kun ν =. Kun ν < määritellään P A = νa/ν josta seuraa { } 1/p { Xω p νdω ν r p/rp Xω r νdω } 1/r siis L p, F, ν L r, F, ν myös tässä tapauksessa. Tämä epäyhtälö ei kerro meille mitään kun ν =. Lause 6.3. Cauchy Schwartzin epäyhtälö, p = 2 Olkoon Xω, Y ω L 2, F, P silloin 1. tulo XωY ω L 1, F, P ja XY 1 = E P XY E P X 2 E P Y 2 = X 2 Y 2 jossa yhtäsuuruisuus on voimassa jos ja vain jos Y ω = cxω P m.v. jollekin c R. Kun E P XY = 0 sanomme että satunnaismuuttujat ovat ortogonaaliisia. 2. Kolmion epäyhtälö on voimassa: X + Y 2 X 2 + Y 2 1. Tod. Olkoon X n ω = n Xω, Y n ω = n Y ω koska 0 X n ω, Y n ω n ω, seuraa X n ωy n ω L 1 P. t R, 0 tx n ω + Y n ω 2 = t 2 X n ω 2 + Y n ω 2 + 2tX n ωy n ω Ottaamalla odotusarvoa joka on olemassa ainakin katkaistetuille satunnaismuuttujille, seuraa että toisen asteen yhtälöllä t 2 E P X n 2 + 2tE P X n Y n + EY 2 n = 0 on korkeintaan yksi reaaliratkaisu, josta seuraa Koska E P X n Y n 2 EX 2 ney 2 n 0 0 X n ωy n ω XωY ω ω seuraa monotonisen konvergenssin lauseesta E P XY 2 EX 2 EY

27 2. Tod. E P X + Y 2 = E P X 2 + E P Y 2 + 2E P XY E P X 2 + E P Y 2 + 2E P XY E P X 2 + E P Y E P X 2 { EP E P Y 2 = X E P Y } 2 Lause 6.4. Seuraavat identiteettit ovat voimassa L 2 P avaruudessa Kun X, Y L 2 P, X + Y X Y 2 2= 2 X Y 2 2 Suunnikkaan identiteetti E P XY = 1 X + Y X Y 2 2 Polarisaation identiteetti Todistus: harjoitustehtävä. Huomautus Voidaan myös osoittaa että kun normi x toteuttaa suunnikkaan identiteetti, on olemassa skalaari tulo x, y jolla x 2 = x, x. Jensenin epäyhtälön avulla Cauchy-Schwarz epäyhtälö yleistyy L p, F, µ avaruuksiin, jossa 1 < p < ja µ on yleinen positiivinen mitta. Huomataan myös että kun X L 1 µ, Y L µ, koska XωY ω Xω Y seuraa suoraan että tulo XY L 1 µ. Lause 6.5. Olkoon X L p, F, µ ja Y L q, F, µ, 1 p <= jossa q = p/p 1 on konjugattieksponentti joka toteuttaa q 1 + p 1 = 1. Silloin { } 1/p { XωY ω µdω = X Lp µ Y Lp µ Hölderin epäyhtälö. Kun X, Y L p, F, µ, 1 P Minkowskin epäyhtälö. Xω p µdω X + Y Lp µ X Lp µ + Y Lp µ Xω q µdω } 1/q Tod. Hölder Olkoon 1 < p <. Tietenkin voidaan olettaa Xω 0 Y ω 0 ja E P X p > 0 muuten Xω = 0 P -m.v. ja epäyhtälö seuraa. Määritellään satunnaismuuttuja ja todennäköisyysmitta Ỹ ω := Y ω 1Xω > 0 0 Xω p 1 P dω = Xωp µdω X Lp µ 25

28 Jensenin epäyhtälöstä E ep Ỹ q E ep Ỹ q kaikille q 1 erityisesti kun q = p/p 1 { X pq L p µ X p L p µ jossa qp 1 p = 0. Seuraa jossa 1 1/qp = 1. p Y ω Xω 1Xω > 0 Xω p 1 X p L p µ { } q Y ω Xω p 1Xω > 0 Xω p 1 { } q Y ωxωµdω } q µdω X p µdω L p µ Y ω q Xω qp 1 p µdω { } 1/q Y ωxωµdω Y ω q µdω X 1 1/qp L p µ Tod. Minkowski Huomataan ensin että x, y 0, x + y p 2 maxx, y p 2 p x p + y p. Siksi X, Y L p, F, µ, myös X + Y L p µ. Seuraa Hölderin epäyhtälöstä X + Y p dµ X X + Y p 1 dµ + Tästä seuraa X L p µ + Y L µ X + Y p 1 p L q µ = X L p µ + Y L p µ X + Y L p µ p/q X + Y 1 1/qp L p µ X L p µ + Y L p µ Y X + Y p 1 dµ jossa 1 1/qp = 1 Lause p, L p, F, P on täydellinen : jos {X n ω} L p, F, P on Cauchy jono, eli ε > 0 N ε jolle X n X m Lp P < ε kun n, m N ε, on olemassa Xω L p P jolle lim n X n X L p P Tod. Tapaus jossa p = jää harjoitustehtäväksi. Olkoon p < ja {X n } L p Cauchy jono. On olemassa jono k n jolla X r X s p 2 n r, s k n 26

29 Kun p 1 ja r, s k n Jensenin epäyhtälöstä Siksi asettamalla X k0 ω = 0, E P X r X s E P X r X s p 1/p 2 n X kn ω = n X km ω X km 1 ω m=1 on teleskoppisen summan esitys jossa E P ja siksi P -melkein varmasti ja sarja m=1 X km X km 1 < X km ω X km 1 ω < m=1 Xkm ω X ω km 1 m=1 suppenee absoluttisesti. Jotta Xω olisi määritelty kaikille ω:lle, olkoon Xω = lim sup X kn ω. n Seuraa että Xω on satunnaismuuttuja ja X kn ω Xω P -melkein varmasti. Kun r > k n ja t > n E P X r X kt p 2 np Fatou lemmasta, koska 0 X r ω X kt ω p, E P X r X p = E P lim inf t Tästä seuraa X L p ja X r L p X kun r X r X kt p lim inf E P X r X kt p 2 np t 7 Funktionaalianalyysin peruskäsitteiden pikasanasto 1. Topologinen avaruus: E, T jossa topologia T 2 E on kaikkien avointen joukkojen kokoelma. Topologia an suljettu äärellisten leikkausten suhteen ja mielivaltaisten yhdistelmien suhteen. Avoimen joukon komplementti sanotaan suljetuksi. Olkoon {x n : n N} E. Sanotaan että x n x topologiassa T jos U T jolle x U, n U jolle x n U n n U. 27

30 2. d : E E [0, + ] on metriikka jos de, e = 0 jos ja vain jos e = e de, e = de, e symmetrisyys de, e de, e + de, e kolmion epäyhtälö 3. Topologinen avaruus E, T on metrinen jos on olemassa metriikka etäisyys d : E E [0, + ], jonka suhteen avoimet pallot generoivat topologian T :n, eli: Be, r = {e : de, e < r} T e E, r > 0 ja kaikille x U, x E, U T on olemassa r > 0 jolle x Be, r U. Metrisessa avaruudessa, {x n : n N} E on Cauchy jono kun ε > 0 on olemassa n ε jolle dx n, x m < ε kun n, m n ε. Sanotaan että metrinen avaruus E, d on täydellinen jos kaikille Cauchy jonoille {x n } on olemassa rajaarvo x E. 4. Olkoon E reaali-vektoriavaruus, eli kun λ R, x, y E, myös λx E, x + y E. Kuvaus : E [0, + on normi kun i x = 0 R x = 0 E ii λx = λ x iii x + y x + y. Kaikki normatut vektoriavaruudet ovat metriset, metriikalla dx, y := x y, joka generoi normi-konvergenssin topologian. Samalla avaruudella voi olla useita käyttökelpoisia topologioita. 5. esi-hilbertin avaruus on normi-avaruus jossa normi on peräisin skalaaritulosta, jossa x 2 := x, x. Reaaliarvoinen skalaaritulo on symmetrinen x, y = y, x, bilineaarinen λx + λ x, y = λ x, y + λ x, y, ja positiivinen x, x 0, jolla x, x = Täydellinen normiavaruus on Banachin avaruus ja täydellinen esi-hilbertin avaruus on Hilbertin avaruus. 8 Projektio L 2 P avaruudessa Lause 8.1. Olkoon H L 2, F, P aliavaruus joka on suljettu, eli jos {X n } H ja on olemassa X L 2 P jolla X n X L 2 P 0, seuraa että X L 2 P. Kaikille Xω L 2, F, P on olemassa ortogonaalinen projektio H-aliavaruuteen Y ω = Π H Xω H jolla E P X Y 2 = := inf W H E P X W 2 E P X Y W = 0 W H 28

31 Projektio Y on P -melkein varmasti yksikäsitteinen. Huomautus 8.1. Muistetaan että euklidisessa avaruudessa R d on määritelty vektoreiden skalaari tulo d d X, Y R d = XωY ω = d XωY ωp {ω} = E P XY d ω=1 ω=1 jossa P ω = 1/d on tasainen todennäköisyys äärellisessä avaruudessa = {1,..., d}. Sanomme että vektorit X, Y R d ovat kohtisuoria merkintä X R d Y, kun X, Y R d = 0. Tämä geometrinen käsite yleistyy abstraktissa todennäköisyysavaruudessa, F kun varustetaan L 2, F, P skalaaritulolla X, Y L 2 P = E P XY = XωY ωp dω ja tulkitaan satunnais-muuttujat Xω : ω ääretönulotteisinä vektoreina. Satunnais-muuttujat X, Y L 2 P ovat kohtisuoria merkintä X P Y, kun E P XY = 0. Tod. Koska 0 H, E P X 2 <, ja on olemassa jono Y n : n N H jolla X Y n 2. Olkoon ε > 0 ja n jolla kun n n Suunnikkaan yhtälöstä seuraa E P X Y n 2 < + ε 2 Y m Y n /2 2 2= X Y m X Y n X Y m Y n /2 2 2 jossa Y n Y m /2 H, ja seuraa Kun n, m n X Y n Y m /2 2 Y m Y n / ε Siksi Y n H on Cauchy jono L 2 P :ssa. Koska L 2 P on täydellinen on olemassa Y L 2 L P jolla Y 2 n Y, ja koska H on suljettu aliavaruus seuraa Y H. Olkoon W H \ {0}. t R, Y + tw H X Y 2 2 X Y tw 2 2= X Y 2 2 +t 2 W 2 2 2tE P X Y W t 2 W 2 2 2tE P X Y W 0 t 0 josta seuraa E P X Y W = 0. Jos Ỹ ω H on myös projektio, ottamalla W = Y Ỹ H 0 = E P XW E P XW = E P Y W E P Ỹ W = E P Y Ỹ W = E P Y Ỹ 2 josta seuraa Y ω = Ỹ ω P -m.v. Lemma 8.1. L 2 -projektio on lineaarinen operaattori: kun X, Z L 2 P,a R ja H on suljettu aliavaruus, Π H X + Z = Π H X + Π H Z, Π H ax = aπ H X 29

32 9 Ehdollinen odotusarvo Olkoon G F ali-σ-algebra. Silloin L p, G, P L p, F, P, 0 p, ja kun p > 0, L p, G, P on suljettu aliavaruus. Tod. Olkoon {X n : n N} L p, G, P ja X L p, F, P joilla E P X n X p P 0, Seuraa että X = X n X ja on olemassa alijono jolla {n k } : X nk ω Xω P m.v.. Olkoon Xω := lim inf k X nk ω L p, G, P. Seuraa että X n L P X ja siksi Xω = Xω P -m.v. Kun X L 2, F, P ja H = L 2, G, P seuraa projektio lauseesta 8.1 että on olemassa ortogonaalinen projektio Y ω = E P X Gω := Π L 2,G,P X ω joka kutsutaan ehdolliseksi odotusarvoksi jolla Y L 2, G, P E P XW = E P Y W W L 2, G, P Lemma 9.1. Ehdollinen odotusarvo on positiivinen operaattori: Olkoon 0 Xω L, F, P, G F ali-σ-algebra. Silloin Y ω = E P X Gω 0 P -m.v. Tod. Koska L P L 2 P ehdollinen odotusarvo Y ω on olemassa L 2 - projektiona. Olkoon A = {ω : Y ω < 0} G. Koska 1 A ω L P L 2 P, 0 E P X1 A = E P Y 1 A = E P Y 1Y < 0 = E P Y 0 ja väite seuraa. Ehdollisen odotusarvon määritelmä laajennetaan L 1, F, P avaruuteen: Teoreema 9.1. Kolmogorovin määritelmä Kun X L 1, F, P, ja G F on ali-σ-algebra, on olemassa ehdollinen odotusarvo Y ω = E P X Gω L 1, G, P jolla Y L 1, G, P ja E P X1 A = E P Y 1 A A G Ehdollinen odotusarvo on P -m.v. yksikäsitteinen. Tod. Voidaan olettaa että Xω 0 ω, muuten käytämme ensin hajotelmaa Xω = Xω + Xω ja sitten määrittelemme E P X + Gω = E P X + Gω E P X Gω Olkoon 0 X n ω = Xω n Xω kun n. Koska X n L seuraa että X n L 2, F, P ja projektio lauseesta seuraa että on olemassa Y n L 2, G, P jolla E P X n 1 A = E P Y n 1 A A G 30

33 Seuraa lemmasta 9.1 että Y n ω 0 P -m.v. Kun n m X n ω X m ω 0 josta seuraa Y n ω Y m ω = E P X n Gω E P X m Gω = E P X n X m Gω 0 P -m.v. Olkoon Y ω = lim sup n Y n ω. Seuraa että Y n ω Y ω P -m.v. ja monotonisen konvergenssin lauseesta, A G E P X1 A = lim n E P X n 1 A = lim n E P Y n 1 A = E P Y 1 A Jos Ỹ ω L1, G, P toteuttaa Kolmogorovin määritelmää, koska A = {ω : Y ω > Ỹ ω} G, 0 E P Y Ỹ 1 A = E P X1 A E P X1 A = 0 seuraa että Y ω Ỹ ω P -m.v., samoin seuraa että Y ω Ỹ ω ja siksi Y ω = Ỹ ω P -m.v. Tehtävä 9.1. Osoita että 9.1 pätee jos ja vain jos E P XW = E P Y W W L, G, P Tehtävä 9.2. Olkoon G = σa 1,..., A n F äärellisesti generoitu ali σ- algebra, jossa {A 1,..., A n } on :n F-mitallinen ositus, A i F, n i=1 A i =, A i A j = kun i j. Olkoon Xω L 1, F, P. Silloin E P X Gω = n i=1 E P X1 Ai 1 Ai ω := P A i n E P X A i 1 Ai ω 9.1 jossa E P X A = E P X1 A /P A on elementaarinen ehdollinen odotusarvo, joka saa mielivaltainen arvo esimerkiksi 0 silloin kun P A = 0. Osoita että 9.1 toteuttaa Kolmogorovin ehdollilsen odotuarvon määritelmän. Huom: Kolmogorovin ehdollinen odotusarvo σ-algebran ehdolla E P X Gω on satunnaismuuttuja, kun elementaarinen odotusarvo tapahtuman ehdolla E P X A on vakio joka on hyvin määritelty vain silloin kun P A > Ehdollinen odotusarvo Radon-Nykodim derivaattana i=1 Olkoon X L 1, F, P Määritellään merkkinen mitta µ X A = E P X1 A A F Huomataan että µ X A = 0 silloin kun A F ja P A = 0, eli µ P σ- algebrassa F, ja Xω = dµ X dp ω on vastaava Radon-Nikodymin derivaatta. Olkoon G F ali σ-algebra. Erityisesti µ P σ-algebrassa G. Radon- Nikodymin lauseesta seuraa että on olemassa R-N derivaatta Y ω := dµ X G dp G ω 31

34 jossa Y ω L 1, G, P joka toteuttaa mitanvaihtokaavaa E P X1 A = µ X A = E P Y 1 A A G Kolmogorovin määritelmästä seuraa että Y ω = E P X Gω. Siis ehdollisen odotusarvon olemassa olo seuraa R-N lauseesta. Kuitenkin, koska emme ole vielä todistaneet R-N lauseetta käytimme L 2 -projektiota. 11 Mitä voidaan sanoa kun E P X =? Olkoon 0 Xω L 0, F, P mutta E P X =. Myös tässä tapauksessa monotonisen konvergenssilauseen kautta seuraa että on olemassa ehdollinen odotusarvo Y ω = E P X Gω [0, + ] joka on G-mitallinen joka totetuttaa A G. E P X1 A = E P Y 1 A [0, + ] Toki Y ω voi saada myös arvoa +, joka tapauksessa E P Y = E P X =. Yleisemmin olkoon Xω = Xω + Xω, jossa E P X =. Silloin ehdollinen odotusarvo E P X Gω := E P X + Gω E P X + Gω [, + ] on hyvin määritelty vain joukon U := { ω : E P X + Gω = E P X Gω = + } ulkopuolella. Kun käy hyvin joskus P U = Ehdollisen odotusarvon ominaisuudet 1. Monotoninen konvergenssi : 0 X n ω Xω = 0 E P X n Gω E P X Gω P m.v. 2. E P EP X G = E P X 3. Kun H G F, E P X Hω = E P EP X G H ω P m.v. 4. Jos Y L 1, G, P, ja X, XY L 1, F, P, seuraa E P Y X Gω = Y ωe P X Gω 5. jos σ-algebra H on P -riippumaton σ-algebrasta σx G, E P X G H = E P X G Tod. G G, H H, seuraa E P X1 G 1 H = E P X1 G P H = E P EP X G1 G P H = EP EP X G1 G 1 H ja väite seuraa koska G H = σg H : G G, H H. 32

35 13 Säännöllinen ehdollinen todennäköisyys ja ytimet Tapahtuman A F ehdollinen todennäköisyys ehdolla G σ-algebra on luonnollisesti P A G ω = EP 1A G ω joka on yksikäsitteinen modulo P -nolla mittaisia joukkoja. Koska ehdollinen odotusarvo on ei-negatiivinen operaattori, seuraa P A G ω [0, 1] P -melkein varmasti. Voidaanko sanoa että P -melkein varmasti, kuvaus A P A G ω [0, 1] on todennäköisyysmitta? Olkoon {A n } F tapatuhmien jono jolla A n. Seuraa ehdollisen odotusarvon monotonisen konvergenssin lauseesta että on olemassa joukko N jolla P N = 0 P A n Gω 0 ω N c 13.1 Tämä joukko voi toki riippua {A n } F jonosta, ja kun yleisesti jonojen määrä on ylinumeroituva, ei mikään takaa että löytyy sellainen P -nolla mittainen joukko N jossa 13.1 pätee samaan aikaan kaikille tapahtumien jonoille joilla A n. Siis ehdollinen todennäköisyys ei ole automaattisesti P -melkein varmasti σ- additiivinen. Määritelmä Olkoon, F ja, F todennäköisyysavaruudet. Kuvaus K : F [0, 1] on, F, F todennäköisyys ydin kun kaikille kiinnitetyillle ω kuvaus Kω, : F [0, 1] jossa à Kω, à on todennäköisyysmitta. kaikille kiinnitetyillle tapahtumille à F kuvaus K, à : [0, 1] jossa ω Kω, à on F-mitallinen. Määritelmä Olkoon = ja F F, G F. Ehdollisella todennäköisyydellä Ã, ω P à Gω jossa à F on säännöllinen versio jos on olemassa, G, F todennäköisyys-ydin Kω, Ã, joka on G-mitallinen ω:n suhteen, ja E P X Gω = X ωkω, d ω e kaikille X L 1, F, P Huomautus määritelmässä esintyy ali-σ algebra F F koska joskus ehdollisen todennäköisyyden säännöllinen versio on olemassa vain jollekin pienelle σ-algebralle eikä alkuperäiselle σ-algebralle F. Esimerkki: F = σx jossa X on F-mitallinen reaali-arvoinen satunnaismuuttuja. Määritelmä Todennäköisyysavaruus, F on Borel jos on olemassa mitallinen bijektio f :, F [0, 1], B[0, 1] jossa käänteiskuvaus f 1 on myös mitallinen. 33

36 Teoreema Olkoon, F, P todennäköisyyskolmikko. Olkoon X :, F, F mitallinen kuvaus, jossa, F on Borelin avaruus, ja G F ali σ-algebra On olemassa, G, F todennäköisyys ydin K, joka on ehdollisen todennäköisyyden säännöllinen versio: P melkein varmasti, P X D Gω := E P 1X D Gω = Kω, D kaikille D F Todistus sivutetaan, katso Kallenbergin kirjasta Foundations of Modern Probability, Thm 6.3, 6.4. Huomautus Meidän onneksi R d, BR d on Borel avaruus, siis satunnaisvektorin ehdollisella todennäköisyydella on aina säännöllinen versio. 14 Ehdollisen odotusarvon laskenta P -riippumattomuuden oletuksen nojalla Lause Todennäköisyysavaruudella, F, olkoon G F ali σ-algebra, Y ω G-mitallinen satunnaismuuttuja, joka saa arvot mitallisessa avaruudessa S, S, ja olkoon Xω S, S riippumaton G σ-algebrasta. Olkoon f : S S R rajoitettu ja Borel-mitallinen kuvaus. Silloin ehdollisella odotusarvolla on integraali-esitys E P fx, Y G ω = EP fx, y y=y = fx, Y ωp X dx 14.1 ω jossa P X B = P {ω : Xω B}. Tod. Olkoon V := { f : S S R Borel mitalliset ja rajoitetut funktiot joille pätee 14.1 } Osoitamme ensi että V on monotoninen luokka. Ehdollisen odotusarvon määritelmästä seuraa 14.1 on voimassa funktiolle fx, y jos ja vain jos G G { } E P fx, Y 1G = fx, Y ωp X dx 1 G ωp dω es Selvästi V on vektori avaruus koska odotusarvo on lineaarinen. Jos {f n x, y : n N} V ja 0 f n x, y fx, y jossa fx, y on rajoitettu, seuraa monotonisen konvergenssin lauseesta että fx, y V. Monotonisen luokan lauseesta seuraa että jos I V on π-luokka, V sisältää kaikki rajoitettu σi mitalliset funktiot. Väite on osoitettu kun näytämme että 14.1 pätee funktiolle fx, y = 1 B x1 D y: G G riippumattomuudesta seuraa E P 1B X1 D Y 1 G = PX BP {Y D} G { } = 1 B X ωp d ω 1 D Y ω1 G ωp dω = { } 1 B X ω1 D Y ωp d ω 1 G ωp dω = { f X ω, Y ω } P d ω 1 G ωp dω 34 es

37 joka tarkoittaa 1 B x1 D y V. 15 Ehdollisen odotusarvon laskenta mitan-vaihdon avulla: Bayesin kaava Lemma Ehdollinen odotusarvon on itse-adjungoitu operaattori, eli kun X L 1, F, P, G F on ali σ-algebra, A F E P X EP 1 A G = E P EP X G E P 1 A G = E P EP X G 1 A Tod. Suoraan ehdollisen odotusarvon ominaisuuksista. Olemme esittäneet kaksi tapausta jossa osaamme laskea ehdollisia odotusarvoja: silloin kun σ-algebralla G on numeroituva määrä atomeja, ja riippumattomuuden nojalla lauseessa Yleisemmin voidaan joskus paluattaa ehdollisen odotusarvon laskeminen lauseen 14.1 tilanteeseen mitan-vaihdon avulla. Ensin esitämme mitanvaihtokaavan ehdolliselle odotusarvolle: Teoreema Abstrakti Bayesin kaava. Todennäköisyysavaruudella, F, olkoon G F ja P F Q todennäköisyysmitat joilla QA = 0 = P A = 0 kun A F. Radon-Nikodym lauseesta seuraa että on olemassa Radon-Nikodym derivaatta eli satunnaismuuttuja 0 Zω := dp dq ω L1, F, Q jolle odotusarvon mitanvaihtokaava on voimassa: E P X = E Q XZ X L 1, F, P Silloin ehdolliselle odotusarvolle pätee Bayesin kaava: E P X G ω = E Q XZ G ω E Q Z G L 1, G, P ω Tod. Olkoon G G. Mitanvaihto kaavasta odotusarvolle ja ehdollisen odotusarvon määritelmästä seuraa E P X1G = EQ ZX1G = EQ EQ ZX1 G G = E Q EQ ZX G1 G EQ Z G = E Q E Q Z G E QZX G1 G = E Q Z E QZX G E Q Z G 1 EQ ZX G G = E P E Q Z G 1 G Esimerkki Perinteinen Bayesin kaava Todennäköisyysavaruudella, F, olkoon ja Xω R d, Y ω R m satunnaismuuttujia joilla F = σx, Y, G = σy. Olkoon P F Q todennäköisyysmitat joilla X Q Y ja olkoon 0 Zω := zxω, Y ω = dp dq ω L1, F, Q 35