STOKASTISET PROSESSIT Keijo Ruohonen 199
SISÄLTÖLUETTELO Kirjallisuutta Esipuhe 1 I TODENNÄKÖISYYSLASKENNAN KERTAUSTA JA LISÄYSTÄ 1 1 Todennäköisyyskenttä 1 2 Satunnaismuuttuja ja satunnaisvektori 2 3 Kertymäfunktio 4 4 Ekskursio: Deltafunktio 7 5 Tiheysfunktio 9 6 Yhteisjakauma ja reunajakauma 11 7 Ehdollinen jakauma 12 8 Riippumattomuus 13 9 Satunnaismuuttujien funktiot 17 1 Satunnaisvektorien funktiot 19 11 Odotusarvo 26 12 Satunnaismatriisi ja sen odotusarvo 28 13 Keskineliö ja varianssi 33 14 Kovarianssi Korrelointi Ortogonaalisuus 39 15 Toisen kertaluvun stokastiikka 4 II STOKASTISET PROSESSIT 4 1 Peruskäsitteitä 44 2 Klassisia esimerkkejä 51 3 Stationäärisyys Autokorrelaatiofunktio Ristikorrelaatiofunktio 54 4 Raja-arvot Jatkuvuus Integraali Derivaatta 59 5 Ergodisuus Estimointi 65 III STOKASTISEN PROSESSIN TEHOSPEKTRI 65 1 Ekskursio: Fourier'n muunnos 67 2 Tehospektri 71 3 Tehospektrin estimointi 73 4 Keskineliön laskeminen tehospektristä 76 IV LINEAARISEN SYSTEEMIN STOKASTINEN VASTE 76 1 Ekskursio: Lineaarinen systeemi 77 2 Analyysi aikatasossa 8 3 Analyysi taajuustasossa 84 4 Suotimet 88 111 harjoitustehtävää 19 Hakemisto
KIRJALLISUUTTA AUMALA, O & IHALAINEN, H & JOKINEN, H & KORTELAINEN, J: Mittaussignaalien käsittely TTKK Opintomoniste 169 (-93) BENDAT & PIERSOL: Random Data: Analysis and Measurement Procedures Wiley ( 86) GARDNER, WA: Introduction to Random Processes with Applications to Signals and Systems McGraw-Hill (-9) LARSON & SHUBERT: Probabilistic Models in Engineering Sciences Vols I & II Wiley ( 89) MELSA & SAGE: An Introduction to Probability and Stochastic Processes Prentice Hall ( 73) PAPOULIS: Probability, Random Variables, and Stochastic Processes McGraw-Hill (-84) PAPOULIS: Probability & Statistics Prentice-Hall (-9) PEEBLES, PZ: Probability, Random Variables and Random Signal Principles McGraw-Hill (-87) SCHUSS, Z: Theory and Applications of Stochastic Differential Equations Wiley (-8) VIRTANEN: Stokastiset prosessit rakenteiden mekaniikassa TTKK Opintomoniste 53 ( 8) WONG: Introduction to Random Processes Springer-Verlag ( 83) Esipuhe Käsillä oleva moniste TTKK:n matematiikan kurssin Stokastiset prosessit luentorunko Moniste on tarkoitus täydentää luennoilla esimerkein sekä lisäyksin Toisaalta se sisältää paljon aineistoa (todistuksia, kaavoja, jms), joka voidaan luennoilla sivuuttaa Mainittu kurssi on tarkoitettu tukemaan lähinnä signaalien käsittelyyn, stokastiseen säätöön sekä rakenteiden stokastiikkaan liittyviä kursseja Itseopiskelijalle suositellaan monisteen ohella käytettäväksi jotain runsaasti esimerkkejä sisältävää kirjaa (esim LARSON & SHUBERT tai PAPOULIS)
I TODENNÄKÖISYYSLASKENNAN KERTAUSTA JA LISÄYSTÄ 1 Todennäköisyyskenttä Formaalisesti todennäköisyyskenttä on kolmikko (Ω,S,P), jossa Ω on ns perusjoukko eli otosavaruus, S on (eräistä) Ω:n osajoukoista muodostuva joukko (matemaattisesti sen on oltava struktuuriltaan ns σ algebra) ja P on ns todennäköisyysfunktio, joka liittää kuhunkin S:n alkioon sen todennäköisyyden (luku väliltä [,1] tai prosenttiluku väliltä [%,1%]) Ω:n alkiot ovat ns alkeistapaukset ja S:n alkiot ovat ns tapauksia 2 Satunnaismuuttuja ja satunnaisvektori Satunnaismuuttuja (sm lyhyesti) on funktio x, joka kuvaa alkeistapaukset reaaliluvuiksi A Ω x Ä x = x(a) Tällöin x:n pitää olla sellainen, että {A x(a) α} = merklyh {x α} on tapaus (eli S:n alkio) jokaiselle luvulle α Vastaavasti n ulotteinen satunnaisvektori on vektoriarvoinen funktio x, joka kuvaa alkeistapaukset Á n :n vektoreiksi A Ω x Ä n x (A) Sopimus: Ellei toisin mainita, ovat vektorit pystyvektoreita ja lyhennysmerkintänä käytetään alaviivaa, siis 1
x = x 1 x 2 x n, α = α 1 α 2 α n, jne Edelleen x:n pitää olla sellainen, että {A x 1 (A) α 1,, x n (A) α n } = merklyh { x α } on tapaus jokaiselle Á n :n vektorille α Huom! Jatkossa käytetään paljolti kurssin Matematiikka 4 merkintöjä Tietyt muutokset ovat kuitenkin paikallaan, esimerkiksi p tiheysfunktion merkintänä f:n sijasta (stokastisten prosessien yhteydessä f merkitsee usein taajuutta), jne Jatkossa unohdetaan paljolti taustalla oleva todennäköisyyskenttä ja käytetään vain satunnaismuuttujia ja vektoreita Tällöin eräs perustyökalu on kertymäfunktio 3 Kertymäfunktio Satunnaismuuttujan x kertymäfunktio (kf) on F x (α) = P{x α} Vastaavasti satunnaisvektorin x kertymäfunktio on F x (α 1,,α n ) = P{ x α } = merklyh F x ( α ) Ominaisuuksia: 1) lim α 2) lim α F x (α) = merklyh F x () = 1 F x (α) = merklyh F x ( ) = 2
3) lim α 1 α n F x ( α ) = merklyh lim α F x ( α ) = merklyh F x ( ) = 1 4) lim α k F x ( α ) =merk F x (α 1,,α k 1,,α k+1,,α n ) = (k = 1,, n) 5) F x (α) on kasvava, ts α β F x (α) F x (β) Samoin F x ( α ) on kasvava, ts α β F x ( α ) F x ( β ) 6) F x (α) on oikealta jatkuva, ts lim F x (α) = merklyh F x (β+) = F x (β) α β+ Samoin F x ( α ) on ylhäältä jatkuva, ts lim F x ( α ) = merklyh lim α 1 β 1 + α β+ α n β n + F x ( α ) = merklyh F x ( β +) = F x ( β ) 7) P{α < x β} = F x (β) F x (α) Satunnaismuuttuja x on jatkuva, jos a) F x (α) on jatkuva α:n funktio ja b) F x (α) on derivoituva paitsi mahdollisesti tietyssä äärellisessä tai numeroituvasti äärettömässä määrässä pisteitä Jatkuvalle satunnaismuuttujalle x on P{x = α} = jokaiselle luvulle α Sm x on diskreetti, jos F x (α) on porrasfunktio, ts jotain muodoista k i=1 b i s(α β i ), i=1 b i s(α β i ) 1 i= b i s(α β i ) tai i= b i s(α β i ), missä b i :t ovat lukuja väliltä (, 1], β i :t eri reaalilukuja ja s(α) on yksikköaskelfunktio 1, kun α s(α) =, kun α < 3
F x ( α) 1 s( α ) α β-2 β-1 β β β 1 2 α (Tavallisesti β i :t indeksoidaan suuruusjärjestykseen, kuten yo kuviossa) Diskreetille satunnaismuuttujalle x on P{x = β i } = b i ja P{x = β} = muissa pisteissä β Sm x on sekajakautunut, jos a) F x (α) on jatkuvan funktion ja porrasfunktion summa ja b) F x (α) on derivoituva paitsi mahdollisesti tietyssä äärellisessä tai numeroituvasti äärettömässä määrässä pisteitä Huom! Lisäksi on muitakin jakautumatyyppejä, joita tarvitaan hyvin harvoin Vastaavanlaiset määritelmät voidaan esittää satunnaisvektoreille Toinen satunnaismuuttujien ja vektoreiden käsittelyn perustyökalu on tiheysfunktio Ennen siihen menoa tehdään pieni 4 Ekskursio: Deltafunktio Deltafunktiota δ(α) käytetään seuraavassa formaalisessa merkinnässä: b a f(α)δ(α)dα = f(), jos on integrointivälillä, muuten Tässä oletetaan, että a b Integrointiväli voi olla myös ääretön Merkinnän etu on se, että integraalin sisään saadaan tavaraa, joka ei sinne normaalisti kuulu Näin käsittely ja notaatio yksinkertaistuu ja yhte- 4
näistyy Jotta deltafunktiomerkintä olisi käyttökelpoinen, sovitaan vielä, että b b 1) (f(α)δ(α) + g(α)) dα = a a b f(α)δ(α)dα + a g(α)dα ( yhteenlasku) b 2) a f(α)δ(α β)dα = f(β), jos β on integrointivälillä, muuten b β = f(β+α)δ(α)dα ( translaatio) a β a 3) b f(α)δ(α)dα = f(α)δ(α)dα (a b; rajojen vaihto) b a Huom! On melko ilmeistä, ettei mikään tavallinen funktio voi käydä yo deltafunktioksi Tässä kurssissa deltafunktio onkin vain merkinnällinen apuväline (Matemaattisesti toki voidaan upottaa "tavalliset" funktiot laajempaan luokkaan, ns yleistettyihin funktioihin, joihin myös deltafunktio kuuluu) Ilmeisesti b b 1 δ(α)dα = merk δ(α)dα = s(b), joten deltafunktio on yksikköaskelfunktion formaalinen derivaatta Samoin d s(α β) = δ(α β) dα Väite: Jos f(α) on (kylliksi) derivoituva, niin b a b f(α)δ(α β)dα = / a b f(α)s(α β) - a df(α) dα s(α β)dα ( osittaisintegrointi), kun β min(a,b) Todistus Rajoitutaan tapaukseen, missä a < b ja β = (muut samoin) Kolme tapausta: 1) on integrointivälillä Silloin a < ja 5
b op = f(b) df(α) dα dα = f() = vp b 2) < a Silloin op = / a b f(α) / a f(α) = = vp b 3) b < Silloin op = / a Jos β on integrointivälillä, niin b a dα = = vp q mutta b a β a f(α)δ(α β)dα = f(β), b f(α)δ(α β)dα + f(α)δ(α β)dα = 2f(β) β Kaava b β = b + a a β ei siis aina päde deltafunktiomerkinnälle (Se pätee, jos β ei ole integroin-tivälillä tai f(β) = ) Tästä syystä määritelläänkin joskus b a δ(α)dα = 1 2, jos a < b ja a = tai b = Silloin nimittäin ko kaava pätee Vastaavasti voidaan määritellä monen muuttujan deltafunktio δ( α ) 6
5 Tiheysfunktio Satunnaismuuttujan x tiheysfunktioksi (tf) sanotaan sellaista funktiota p x (α), että p x (α) ja β p x (α)dα = F x (β) jokaiselle luvulle β Jatkuvalle satunnaismuuttujalle x valitaan yleensä p x (α) = df x(α) dα pisteissä, joissa F x (α) on derivoituva Jos sallitaan deltafunktiomerkintä, saadaan myös diskreeteille (ja sekajakautuneille) satunnaismuuttujille tf Esimerkiksi, jos k F x (α) = i=1 b i s(α β i ), niin p x (α) = df x(α) dα k = i=1 b i d dα k s(α β i) = i=1 b i δ(α β i ) Deltafunktioiden summaa käsitellään merkinnällisesti tavalliseen tapaan, vaikka summattavia olisi ääretönkin määrä, ts integroinnin ja summauksen järjestys voidaan vaihtaa Siis esimerkiksi, jos p x (α) = i=1 b i δ(α β i ), niin β p x (α)dα = i=1 β b i δ(α β i )dα = i=1 b i s(β β i ) = F x (β) Sekajakautuneen satunnaismuuttujan tf on tavallisen funktion ja deltafunktioiden summa Satunnaisvektorin x tiheysfunktioksi sanotaan sellaista funktiota p x ( α ), et-tä p x ( α ) ja 7
β 1 β 2 dα 1 β n dα 2 β p x (α 1,,α n )dα n = merklyh p x ( α )d α = F x ( β ) Pisteissä, joissa osittaisderivaatat ovat olemassa, valitaan yleensä p x ( α ) = n F x (α 1,,α n ) α n α 2 α 1 Tällöin nimittäin (iterointi) = merklyh n F x (α) α β 1 dα 1 β n 1 β n dα n 1 n F x (α) α n α n 1 α 1 dα n β 1 = β n 1 dα 1 β n / n 1 F x (α) α n 1 α 1 dα n 1 β 1 = β 1 = β n 1 dα 1 dα 1 n 1 α n 1 α 1 F x (α 1,,α n 1,β n ) β n 1 n 1 n 1 α n 1 α 1 F x (α 1,,α n 1, ) dα n 1 α n 1 α 1 F x (α 1,,α n 1,β n )dα n 1 sama temppu β 1 = = F x (α α 1,β 2,,β n ) dα 1 1 β 1 = / F x (α 1,β 2,,β n ) = F x ( β ) F x (,β 2,,β n ) = F x ( β ) Ominaisuuksia: 1) p x ( α ), p x (α) 2) p x ( α )d α = 1, p x (α)dα = 1 8
γ 3) P{β < x γ} = F x (γ) F x (β) = p x (α)dα β 4) p x ( α ) voi olla määrittelemätön joissakin pisteissä (mahdollisesti äärettömän monessa), kunhan P{ α p x ( α ) on määrittelemätön} = Erityisesti, jos x:llä on jatkuva jakauma, voidaan p x ( α ) jättää määrittelemättä äärellisessä tai numeroituvasti äärettömässä määrässä pisteitä (Vastaava pätee tietysti erikoisesti satunnaismuuttujan tiheysfunktiolle) 5) Vastaten ominaisuutta 3), voidaan osoittaa, että jokaiselle (mitalliselle) Á n :n osajoukolle A P{ x A} = A p x ( α )d α (integraali on n kertainen) 6 Yhteisjakauma ja reunajakauma x1 Satunnaisvektorin x = xn kertymäfunktion (vast tiheysfunktion) sanotaan olevan sen komponenttien x 1,,x n yhteisjakauman kf (vast tf) Täs-tä syystä merkitään usein ja F x ( α ) = F x1 xn (α 1,,α n ) p x ( α ) = p x1 xn (α 1,,α n ) x1 Vastaavasti, jos merkitään y = xk ja z = xk+1 xn, niin x:n kertymäfunktion (vast tiheysfunktion) sanotaan olevan y:n ja z:n yhteisjakauman kf (vast tf), ja merkitään F x ( α ) = F yz ( β, γ ) sekä 9
p x ( α ) = p yz ( β, γ ), missä β = α1 αk, γ = αk+1 αn Jne (Idea tuli kai selväksi) x1 Satunnaisvektorin x = joistakin komponenteista muodostettu vekto- xn ri on ilmeisesti myös satunnaisvektori (Erityisesti x:n komponentit ovat satunnaismuuttujia) Tarkastellaan esimerkkinä (olettaen, että n 3) Ilmeisesti F x1 x 3 (α 1,α 3 ) = P{x 1 α 1, x 3 α 3 } satunnaisvektoria x 1 x 3 = P{x 1 α 1, x 2 <, x 3 α 3, x 4 <,, x n < } = lim F x ( α ) = F x (α 1,,α 3,,,) α 2 α 4 α n x 1 x :n jakauma on (eräs) x:n jakauman ns reunajakauma eli marginaalijakauma ja sen kf saadaan F x ( α ):sta raja arvoilla α 2, α 4,, α n 3 Reunajakauman tf saadaan seuraavasti Ominaisuuden 5) nojalla β 1 F x1 x 3 (β 1,β 3 ) = dα 1 β 3 dα 2 dα 3 dα 4 p x ( α )dα n β 1 = β 3 dα 1 dα 2 dα 4 p x ( α )dα n dα 3 Näin ollen reunajakauman tf on p x1 x 3 (α 1,α 3 ) = dα 2 dα 4 p x ( α )dα n, 1
ts se saadaan p x ( α ):sta integroimalla pois α 2,α 4,,α n (ns reunakomponentit) Yleisesti, jos ajatellaan x:n jakaumaa y:n ja z:n jakaumien yhteisjakaumana, on F y ( β ) = F yz ( β, ), p y ( β ) = p yz ( β, γ )d γ 7 Ehdollinen jakauma Tarkastellaan satunnaisvektorin x jakaumaa yhteisjakaumana, ts F x ( α ) = F yz ( β, γ ) Usein kiinnostavat vain tietyt z:n arvot Jos rajoitutaan vain sellaisiin perusjoukon alkioihin, että z saa tietyn kiinteän arvon γ, puhutaan y:n jakaumasta ehdolla z = γ Ehdollinen kf on tällöin F y γ ( β γ ) = P{ y β z = γ } ja ehdollinen tf p y γ ( β γ ) (merkintä) Jotta ehdollinen jakauma olisi olemassa, on p z ( γ ):n oltava määritelty ja > (ts ei saa ehdollistaa mahdottomalla tapauksella) Johdetaan p y γ ( β γ ) jatkuvan x:n jakauman tapauksessa (olettaen, että p z ( γ ) > ) Olkoon δ vektori, jonka komponentit ovat positiivisia ja jonka dimensio on sama kuin z:n Silloin P{ y β γ z γ + δ } = δ = δk+1 δn = P{y β, γ z γ + δ} P{ γ z γ + δ } P{y β, γ z γ + δ} δ k+1 δ n P{ γ z γ + δ } δ k+1 δ n 11
= δ γ +δ γ β - β p x1 x n (α 1,,α n )dα 1 dα k dα k+1 dα n γ + δ γ δ k+1 δ n p z (α k+1,,α n )dα k+1 dα n δ k+1 δ n p x (α 1,,α k,γ)dα 1 dα k p z ( γ ) = F y γ ( β γ ), joten p y γ ( β γ ) = p yz(β,γ) p z ( γ ) Raja arvo saadaan käyttäen osoittajassa ja nimittäjässä iteroiden tuttua kaavaa a+h a lim h f(x)dx h = f(a) 8 Riippumattomuus Satunnaisvektorit x 1,, x m ovat riippumattomat, jos (1) F x 1 x m ( α 1,, α m ) = F x 1 ( α 1 ) F x m ( α m ) (sanoin: x 1 :n,, x m :n yhteisjakauman kf on x 1 :n,, x m :n kertymäfunktioiden tulo) Ellei (1) pidä paikkaansa, ovat x 1,, x m riippuvat Ehdon (1) kanssa ekvivalentti ehto on p x 1 x m ( α 1,, α m ) = p x 1 ( α 1 ) p x m ( α m ) Tämä seuraa välittömästi siitä, että β 1 F x 1 x m ( β 1,, β m ) = 12 d α 1 β m p x 1 x m ( α 1,, α m )dα m
ja β 1 F x 1 ( β 1 ) F x m ( β m ) = p x 1 ( α 1)d α 1 β m p x m ( α m)d α m iterointi = β 1 β m p d α 1 x 1 ( α 1 ) p x m ( α m )d α m 9 Satunnaismuuttujien funktiot Satunnaismuuttujaa x ei aina tarvita sellaisenaan, vaan kuvattuna jollakin funktiolla f Silloin myös y = f(x) on sm (edellyttäen, että f on mitallinen): Ω x f A Ä x = x(a) Ä y = f(x(a)) Pisteissä, joissa p x (α) =, f voi olla määrittelemätön Kuinka saadaan p y (β), kun p x (α) ja f tunnetaan? Katsotaan eri tapauksia: x on diskreetti: Tällöin p x (α) on muotoa p x (α) = i b i δ(α β i ), missä b i = P{x = β i } Mahdolliset y:n arvot ovat arvot f(β i ) (muiden todennäköisyys on ) Mikäli γ j on mahdollinen y:n arvo, on erill tapaukset P{y = γ j } = P{x = β k } = b k = merk c j, missä summataan sellaiset b k :t, että f(β k ) = γ j Näin ollen 13
p y (γ) = j c j δ(γ γ j ) x on jatkuva: Rajoitutaan tässä tapaukseen, jossa f:n määrittelyalue voidaan jakaa väleihin I i, joilla f on derivoituva ja joko aidosti kasvava, aidosti vähenevä tai vakioarvoinen (Muitakin tapauksia on, mutta ne ovat harvinaisia) Välejä I i on äärellinen tai numeroituvasti ääretön määrä, joten voimme olettaa ne avoimiksi ja jättää päätepisteet käsittelemättä Nyt F y (β) = P{y β} = P{f(x) β} ja erill tapaukset = i p y (β) = df y(β) dβ = P{f(x) β, x I i } = merk df (i) y (β ) dβ i Riittää siis etsiä p (i) y (β) :t Kolme tapausta: = merk i i p (i) y (β) F (i) y (β) a) f on aidosti kasvava välillä I i, jonka alaraja on a ja yläraja b (mahdollisesti äärettömiä) Koska f on aidosti kasvava, ovat raja arvot lim α a+ f(α) = merk f(a+), lim α b f(α) = merk f(b ) olemassa (ainakin äärettöminä) Ilmeisesti, jos β f(a+), niin F (i) y (β) = P{f(x) β, a < x < b} Vastaavasti, jos β f(b ), niin = P{f(x) β, f(a+) < f(x) < f(b ), a < x < b} = F (i) y (β) = P{f(x) β, f(a+) < f(x) < f(b ), a < x < b} = P{f(a+) < f(x) < f( b), a < x < b} = vakio Siis (derivoidaan) 14
p (i) y (β) =, jos β f(a+) tai β f(b ) Muussa tapauksessa f(a+) < β < f(b ) eli a < f 1 (β) < b (f 1 on olemassa välillä I i ) ja Derivoimalla saadaan F (i) y (β) = P{f(x) β, a < x < b} = P{x f 1 (β), a < x < b} = P{a < x f 1 (β)} = F x (f 1 (β)) F x (a) p (i) y (β) = d dβ F x(f 1 (β)) = p x (f 1 (β)) df 1 (β) dβ = p x (f 1 (β)) 1 f (f 1 (β)) Koska f (α) > välillä a < α < b, voidaan siis kirjoittaa p (i) y (β) = p x(f 1 (β)) df 1 (β) dβ, jos f(a+) < β < f(b ) Itseisarvo on mukana mukavuussyistä (ks b) kohta) b) f on aidosti vähenevä välillä I i, jonka alaraja on a ja yläraja b (mahdollisesti äärettömiä) Jos β f(b ), niin Jos taas β f(a+), niin Siis F (i) y (β) = P{f(x) β, a < x < b} = P{f(x) β, f(b ) < f(x) < f(a+), a < x < b} = F (i) y (β) = P{f(x) β, f(b ) < f(x) < f(a+), a < x < b} = P{f(b ) < f(x) < f(a+), a < x < b} = vakio p (i) y (β) =, jos β f(b ) tai β f(a+) 15
Muussa tapauksessa f(b ) < β < f(a+) eli a < f 1 (β) < b (f 1 on olemassa välillä I i ) ja F (i) y (β) = P{f(x) β, a < x < b} = P{x f 1 (β), a< x < b} = P{f 1 erill tap (β) x < b} = P{x = f 1 (β)} + P{f 1 (β) < x < b} = P{f 1 erill tap (β) < x < b} + P{x = b} = P{f 1 (β) < x b} Derivoidaan puolittain: = F x (b) F x (f 1 (β)) p (i) y (β) = d dβ F x(f 1 (β)) = p x (f 1 (β)) df 1 (β) dβ = p x (f 1 (β)) 1 f (f 1 (β)) Koska f (x) < välillä a < x < b, voidaan kirjoittaa (samoin kuin a)-kohdassa!) p (i) y (β) = p x(f 1 (β)) df 1 (β) dβ, jos f(b ) < β < f(a+) c) f saa vakioarvon c välillä I i Silloin F (i) y (β) = P{f(x) β, x I i} = P{c β, x I i } =, jos β < c P{x I i }, jos β c = P{x I i }s(β c) Jos merkitään p i = P{x I i }, niin derivoiden saadaan p (i) y (β) = p iδ(β c) x on sekajakautunut: Yhdistetään diskreetin ja jatkuvan tapauksen menettelyt 16
1 Satunnaisvektorien funktiot Tarkastellaan ensin funktiota f:á n Á n (Matemaattisesti kyseessä on oltava ns mitallinen funktio) Jos x on sv, niin samoin on y = f( x): Ω x Ä n f Ä n A x(a) y= f(x ( A) ) Pisteissä, joissa p x ( α ) =, f voi olla määrittelemätön Tarkastellaan vain tapausta, jossa x on jatkuva Edelleen rajoitutaan tapaukseen, jossa f:n määrittelyalue Á n :ssä voidaan jakaa osa-alueisiin A i, joissa f on jatkuvasti derivoituva ja joko f saa vakioarvon tai f:n käänteisfunktio on olemassa ja sen Jacobin determinantti f 1 α 1 f 1 α 2 f 2 α 1 f 2 α 2 f 1 α n f 2 α n f n f n f n α 1 α 2 α n = merk lyh D f on Tässä merkitään f = f 1 Koska myös Df on jatkuva alueessa A i, f n on se vm tapauksessa koko alueessa samanmerkkinen (sillä merkinvaihto käy aina nollan kautta) Jos D f on alueessa A i, on f 1 oletuksen mukaan olemassa ko alueessa ja D f 1 pisteessä β on 1 D f pisteessä f 1 ( β ), ts D f 1 ( β ) = 1 D f( f 1 ( β )) Huom! Jos f on vakioarvoinen alueessa A i, on tietysti D f = ko alueessa Df voi olla = A i :ssä muustakin syystä (ts jos sen komponenteilla on 17
mutkikkaampi funktionaalinen riippuvuus) Nämä tapaukset sivuutetaan harvinaisina ja hankalina Osa alueita A i on äärellinen tai numeroituvasti ääretön määrä Nyt F y ( β ) = P{ y β } = P{ f( x) β } erill tap = i josta derivoimalla puolittain saadaan P{f( x) β, x A i } = merk i F (i) y ( β ), p y ( β ) = n F y (β) = β F (i) y (β) β = merk p (i) y ( β ) i i Samaan tapaan kuin edellisessä pykälässä voidaan osoittaa, että a) jos D f on alueessa A i, niin ja p (i) y ( β ) =, jos β ei ole f(a i):ssa p (i) y ( β ) = p x ( f 1 ( β )) D f 1 ( β ) = p x ( f 1 ( β )) 1 Df(f 1 ( β )), jos β f(a i); tässä f(a i ) tarkoittaa aluetta, joksi f kuvaa alueen A i : n Ä f Än A i f( Ai ) f b) jos f saa vakioarvon c alueessa A i, niin p (i) y ( β ) = p iδ( β c), missä p i = P{ x A i } ja deltafunktio on n muuttujainen 18
Edellä f:n määrittelyavaruuden ja kuva-avaruuden dimensio on sama (=n) Jos funktio on muotoa f:á n Á m, missä m < n, menetellään seuraavasti: Lisätään f:n komponentteihin f 1,,f m loput komponentit f m+1,, f n mikäli mahdollista siten, että g = f 1 f n on edellä olevaa muotoa, etsitään satunnaisvektorin g( x) tf ja siitä edelleen (reunajakauma) f( x):n tf Menettely onnistuu, jos f:n komponenttien välillä ei ole alunperin mitään mutkikasta funktionaalista riippuvuutta (vrt huomautus s 17) Lisättävien komponenttien f m+1,,f n valinta ei ole yhdentekevä, vaan vaikuttaa ratkaisevasti käytännön laskujen vaikeuteen Funktion f:á n Á m, missä m > n, tapaus on harvinainen ja hankala 11 Odotusarvo Satunnaisvektorin x odotusarvo eli keskiarvo on vektori missä E( x) = e i = e 1 e n, α i p x ( α )d α (i=1,, n) - Lyhyesti merkitään E( x) = - α p x ( α )d α ( Sääntö: Vektoriarvoinen funktio integroidaan komponenteittain) Muita odotusarvon merkintöjä: E( x) = µ x = m( x) 19
Satunnaismuuttujalle x on E(x) = µ x = m(x) = - αp x (α)dα Huom! Kaikille jakaumille E( x) ei ole lainkaan olemassa Esimerkiksi, jos p x (α) = 1 π(1 + α 2 ) (ns Cauchyn jakauma), niin - αp x (α)dα = - αdα π(1 + α 2 ) hajaantuu Diskreetille satunnaismuuttujalle x tf on muotoa p x (α) = b i δ(α β i ) ja i E(x) = - αp x (α)dα = i - b i αδ(α β i )dα = i b i β i (jos summa on äärellinen tai ääretön suppeneva) LAUSE 1 Jos satunnaisvektorin x jakauma on jatkuva ja pisteen a suhteen symmetrinen, ts p x ( a+ α ) = p x ( a α ) niin E( x) = a (mikäli olemassa) Todistus Oletetaan, että E( x) on olemassa Silloin E( x) = α p x ( α )d α = ( a + α a) p x ( α )d α - - = ap x ( α )d α + ( α a) p x ( α )d α - = a - - p x ( α )d α + ( α a) p x ( α )d α = a + ( α - a) p x ( α )d α - 2 -
Tehdään integraaliin muunnos β = α a Integrointialue on edelleen koko Á n ja muunnoksen Jacobin determinantti on 1 1 1 = 1 Siis E( x) = a + β p x ( a+ β ) symm 1d β = a + β p x ( a β )d β - - Tehdään integraaliin muunnos γ = a β, joka säilyttää integrointialueen Á n :nä ja jonka Jacobin determinantti on 1 1 1 = ( 1) n Saadaan E( x) = a + - = a + - ( a γ ) p x ( γ ) ( 1) n d γ ap x ( γ )d γ - γ p x ( γ )d γ = 2 a E( x) LAUSE 2 Jos x on satunnaisvektori ja f (mitallinen) funktio, niin E( f( x)) = - f( α )p x ( α )d α ja kaavan vp on olemassa täsmälleen silloin kun sen op on olemassa, (Huom! Jos p x ( α ) =, voi f( α ) olla määrittelemätön) Todistus Näytetään tulos vain tapauksessa, jossa x on sm ja f skalaariarvoinen (Yleisen tapauksen todistus on samantapainen, mutta huomattavasti hankalampi) Merkitään y = f(x) 21
1) x on diskreetti Tällöin ja p x (α) = i b i δ(α β i ) (ks 9) Nyt p y (γ) = i c j δ(γ γ j ) s 2 E(y) = j s 13 c j γ j = j b k γ j = i = - = - b i f(β i ) = b i f(α)δ(α β i )dα i - b i f(α)δ(α β i ) dα i f(α) b i δ(α β i ) i dα = f(α)p x (α)dα - 2) x on jatkuva Rajoitutaan tapaukseen, jonkalaista käsiteltiin 9:ssä Nyt E(y) = Kolme tapausta: - = i s 14 βp y (β)dβ = - βp (i) y (β) dβ β - i p (i) y (β ) dβ a) f on välillä I i = (a,b) aidosti kasvava Silloin - βp (i) s 15 y (β) dβ = s 15 = α=f 1 (β) = β=f(α) a f(b ) βp (i) y (β) dβ f(a+) f(b ) f(a+) βp x (f 1 (β)) df 1 (β) dβ dβ b f(α)p x (α)dα = merk f(α)p x (α)dα I i 22
b) f on aidosti vähenevä välillä I i = (a,b) Silloin - βp (i) s 15 y (β) dβ = f(a+) f(b ) s 16 f(a+) = f(b ) βp (i) y (β) dβ βp x (f 1 (β)) df 1 (β) dβ dβ α=f 1 (β) = β=f(α) a b f(α)p x (α)dα b = a f(α)p x (α)dα = merk I i f(α)p x (α)dα c) f saa vakioarvon c välillä I i = (a,b) Silloin - βp (i) s 16 y (β) dβ = βp i δ(β c)dβ = cp i - = cp{x I i } = cp{a < x < b} = cp{a < x < b} + cp{x = b} = c(p{a < x < b} + P{x = b}) erilltap = b = a b cp{a < x b} = c b cp x (α)dα = a a p x (α)dα f(α)p x (α)dα = merk I i f(α)p x (α)dα Kaiken kaikkiaan E(y) = f(α)p x (α)dα i I i Koska f voi olla määrittelemätön vain pisteissä α, joissa p x (α) =, on E(y) = - f(α)p x (α)dα 3) x on sekajakautunut Yhdistetään tapauksien 1) ja 2) menettelyt 23
LAUSE 3 Jos x:n jakauma on satunnaisvektorien x 1,, x m yhteisjakauma ja x = x 1 x m, niin E ( x) on olemassa täsmälleen silloin, kun kaikki odotusarvot E ( x 1 ),,E( x m ) ovat olemassa ja tällöin E( x) = E(x 1 ) E( x m ) Todistus Jaetaan α samalla tavoin osiin kuin x: α = α 1 α m Silloin α p x ( α )d α = α 1 p x (α)dα α m p x ( α )d α = α 1 dα 2 p x (α)dα m - dα 1 - - 24 α m d α 1 p x ( α )d α m 1 - d α m - -
reunajak = α 1 p x1 (α 1 )dα 1 - α m p x m ( α m )d α m -, josta lause seuraa Satunnaismuuttujan x sanotaan olevan vakio c, jos p x (α) = δ(α c) Satunnaisvektori x on vakiovektori c, jos sen komponentit x 1,,x n ovat vakiot c 1,,c n ( c:n komponentit) LAUSE 4 Jos x on vakiovektori c, niin E( x) = c, merkitään E( c) = c Todistus Lauseen 3 nojalla riittää osoittaa tulos x:n komponenteille ja - α i p xi (α i )dα i = - α i δ(α i c i )dα i = c i (i = 1,,n) LAUSE 5 Odotusarvo on lineaarinen, ts 1) jos c on vakio ja E( x) olemassa, niin E(c x) on olemassa ja E(c x) = ce( x); 2) jos x ja y ovat samandimensioiset satunnaisvektorit, joilla on yhteisjakauma, ja E ( x) sekä E ( y) ovat olemassa, niin E ( x + y) on myös olemassa ja E( x + y) = E( x) + E( y) 25
Todistus 1) Ilmeisesti - c α p x ( α )d α = c - α p x ( α )d α = E( x), joten (Lause 2) E(c x) on olemassa ja on = ce( x) 2) Ilmeisesti - d α - = ( α + β ) p xy ( α, β )d β - d α α p xy ( α, β )d α + - - d α β p xy ( α, β )d β - L3 = E( x) + E( y), joten (Lause 2) E( x+ y) on olemassa ja on = E( x) + E( y) LAUSE 6 Jos A on m n matriisi ja x sv, jonka odotusarvo E ( x) on olemassa, niin E(A x) on myös olemassa ja E(A x) = AE( x) Todistus Ilmeisesti - A α p x ( α )d α = A - α p x ( α )d α = AE( x), joten (Lause 2) E(A x) on olemassa ja on = AE( x) 12 Satunnaismatriisi ja sen odotusarvo Satunnaismuuttujista voidaan muodostaa satunnaisvektorien lisäksi myös satunnaismatriiseja eli satunnaistaulukoita Käsitteenä satunnaismatriisi on olennaisesti sama kuin satunnaisvektori (sen alkiot voitaisiin myös järjestää pystyvektoriksi) 26
Jos X on nffim satunnaismatriisi X = x 11 x 1m x 21 x 2m x n1 x nm, on sen odotusarvo E(x 11 ) E(x 1m ) E(x 21 ) E(x 2m ) E(x n1 ) E(x nm ) = merk lyh E(X), mikäli kaikki odotusarvot E(x ij ) ovat olemassa Määritelmä on sopusoinnussa edellisen kanssa, sillä myös satunnaisvektorin odotusarvo voidaan muodostaa komponenteittain (Lause 3) Käyttäen edellisen pykälän tuloksia voidaan helposti todistaa seuraavat laskukaavat: (1) E(A) = A, jos A on vakiomatriisi (2) E(cX) = ce(x), jos c on skalaarivakio (3) E(AX) = AE(X), jos A on vakiomatriisi (4) E(XB) = E(X)B, jos B on vakiomatriisi (5) E(X + Y) = E(X) + E(Y) (6) E(X T ) = E(X) T (7) trace E(X) = E(trace X) (Näihin pitäisi lisätä vielä olemassaoloa koskevat toteamukset Lienevät kuitenkin aika ilmeisiä) 27
13 Keskineliö ja varianssi Satunnaismuuttujan x keskineliö on - α 2 p x (α)dα L2 = E(x 2 ) = merk P x, mikäli olemassa Jos E(x) = µ x on olemassa, niin x:n varianssi on - (α µ x ) 2 p x (α)dα L2 = E((x µ x ) 2 ) = merk V x, mikäli olemassa Muita x:n varianssin merkintöjä ovat mm D 2 x, var(x), σ2 x Jos V x on olemassa, niin x:n keskihajonta on V x = merk σ x = D x Diskreetin satunnaismuuttujan x tf on muotoa jolloin p x (α) = i b i δ(α β i ), ja P x = i V x = i b i β 2 i b i (β i µ x ) 2, mikäli olemassa (vrt s 2) LAUSE 7 Jos P x on olemassa, niin 1) myös µ x on olemassa, 2) myös V x on olemassa ja V x = P x µ 2 x Todistus 1) Katsotaan ensin diskreetin x:n tapausta, jolloin tf on muotoa 28
p x (α) = i b i δ(α β i ) Mikäli summaus on äärellinen (ts mahdollisia x:n arvoja on vain äärellinen määrä), on asia selvä, sillä µ x on joka tapauksessa olemassa Jos taas summaus on ääretön, saadaan ääretön sarja Sarja suppenee itseisesti, sillä b i = 1 ja b i β 2 i = P x i i suppenevat, jolloin myös sarja i suppenee, ja (b i + b i β 2 i ) b i β i = b i β i b i + b i β 2 i (majoranttiperiaate) Siis myös sarja b i β i = µ x i suppenee Todistus tapauksessa, jossa x on jatkuva, on samantapainen Integraalit - p x (α)dα = 1 ja - α 2 p x (α)dα = P x suppenevat, joten myös (1 + α 2) p x (α)dα suppenee Toisaalta - αp x (α) = α p x (α) (1 + α 2 )p x (α), joten - αp x (α)dα suppenee itseisesti ja siis myös tavallisesti Sekajakauman tapaus on yhdistelmä edellisistä 2) Jos P x on olemassa, niin samoin on µ x (kohta 1)) Silloin P x µ 2 x = E(x2 ) 2µ x E(x) + µ 2 L4 x = E(x 2 ) 2µ x E(x) + E(µ 2 x ) 29
L5 = E(x 2 ) + E( 2µ x x) + E(µ 2 x ) L5 = kahdesti = E((x µ x ) 2 ) E(x 2 2µ x x + µ 2 x ) Huomaa myös kaava V x = P x µx Huom! P x ei ole aina olemassa, vaikka µ x olisikin Esimerkiksi jos p x (α) = 2/α3, kun α 1, kun α < 1 niin E(x) = α 2 α 3 dα = / 2 1 1 α = 2, mutta α 2 2 2 α 3 dα = dα hajaantuu Myöskään V x ei ole tällöin olemassa (muutoinhan P x saataisiin α 1 1 kaavasta P x = V x + µ 2 x ) Satunnaisvektorin x keskineliö on nffin satunnaismatriisin x x T odotusarvo E( x x T ) = merk P x (jos olemassa) Kun sovitaan, että matriisi integroidaan alkioittain, voidaan kirjoittaa, P x = E( x x T ) = - α α T p x ( α )d α Huomaa, että x x T ja α α T ovat muotoa pystyvektoriffivaakavektori, siis nffinmatriiseja Alkioittain: ( x x T ) ij = x i x j = ( x x T ) ji, ( α α T ) ij = α i α j = ( α α T ) ji ja (E( x x T )) ij = E(x i x j ) = (E( x x T )) ji Matriisit x x T, α α T ja E( x x T ) ovat siis symmetrisiä ja (E( x x T )) ii = E(x 2 i ) = P x i, ts P x :n lävistäjäalkiot ovat x:n komponenttien keskineliöt Edelleen 3
trace P x = P x1 + + P xn = E(x 2 1 + + x2 n ) = E(trace( x x T )) = E( x 2), ts P x :n jälki on x:n normin keskineliö Jos E( x) = µ x on olemassa, niin satunnaisvektorin x varianssi on satunnaismatriisin ( x µ x )( x µ x ) T odotusarvo E(( x µ x )( x µ x ) T ) = ( α µ x )( α µ x ) T p x ( α )d α = merk V x, mikäli olemassa Ilmeisesti V x = P x µ x - Varianssi on symmetrinen nffin-matriisi V x :n lävistäjäalkiot ovat x:n komponenttien varianssit Edelleen trace V x = E(trace(( x µ x )( x µ x ) T )) = E( x µ x 2) = V x1 + + V xn LAUSE 8 Jos P x on olemassa, niin 1) myös µ x on olemassa, 2) myös V x on olemassa ja V x = P x µ x µ x T Todistus 1) Jos P x on olemassa, niin erityisesti lävistäjäalkiot P x1,,p xn ovat olemassa ja siis myös µ x1,,µ xn (Lause 7) Näin ollen edelleen µ x = µ x1 µ xn on olemassa (Lause 3) 2) Jos P x on olemassa, niin samoin on µ x (kohta 1)) ja (ks s 27) P x µ x µ T x = E( x xt ) 2µ x E( x) T + µ x µ T x 31
(1) = E( x x T ) 2µ x E( x) T + E(µ x µ T x ) (6) = E( x x T ) 2µ x E( x T ) + E(µ x µ T x ) (3) = E( x x T ) + E( 2µ x x T ) + E(µ x µ T x ) (5) = kahdesti E( x x T 2µ x x T + µ x µ T x ) = E(( x µ x )( x T µ T x )) = E(( x µ x )( x µ x ) T ) LAUSE 9 P x ja V x ovat positiivisemidefiniittejä matriiseja Todistus Tarkastellaan P x :ää (V x samoin) Näytetään, että mielivaltaiselle vektorille c Ensiksi c T P x c c T P x c = c T E( x x T ) c s 27 = E( c T x x T c) = E(( c x) 2 ) Toisaalta ( c x) 2 on sm, jonka tf on = negatiivisille arvoille, joten sen odotusarvo on Huom! Usein V x :ää kutsutaan kovarianssimatriisiksi, ks s 34 TSEBYSHEVIN EPÄYHTÄLÖ Jos ε >, niin P{ x µ x ε} trace V x ε 2 Todistus Lasketaan ja arvioidaan: s 9 P{ x µ x ε} = 5) α µ x ε p x ( α )d α 32
= 1 ε 2 ε 2 p x ( α )d α 1 ε 2 α µ x 2p x ( α )d α α µ x ε α µ x ε 1 ε 2 - α µ x 2p x ( α )d α = 1 ε 2 E( x µ x 2) = 1 ε 2 trace V x Satunnaismuuttujalle Tsebyshevin epäyhtälö on P{ x µ x ε} V x ε 2 ja sen todistus diskreetille ja sekajakautuneelle satunnaismuuttujalle on analoginen eo todistuksen kanssa 14 Kovarianssi Korrelointi Ortogonaalisuus Satunnaismuuttujien x ja y ns tulomomentti on dα αβp xy (α,β)dβ L2 = E(xy) = merk P xy (mikäli olemassa) Tulomomentti esiintyy jo satunnaisvektorin x keskineliössä: (P x ) ij = E(x i x j ) = P xi x j (ks s 3) ( Sovitaan, että P xx = P x ) Jos E(x) = µ x ja E(y) = µ y ovat olemassa, satunnaismuuttujien x ja y kovarianssi on dα (α µ x )(β µ y ) p xy (α,β)dβ L2 = E((x µx )(y µ y )) = merk cov(x,y) = V xy (mikäli olemassa) Huom! cov(x,y) = P x µx,y µ y 33
LAUSE 1 Jos P x ja P y ovat olemassa, niin samoin on P xy Vastaavasti, jos V x ja V y ovat olemassa, niin samoin on cov(x,y) Todistus Epäyhtälöstä seuraa, että Koska integraali α 2 + β 2 2 αβ = ( α β ) 2 αβ 1 2 α2 + 1 2 β2 1 dα ( 2 α2 + 1 2 β2 ) p xy (α,β)dβ = 1 2 P x + 1 2 P y suppenee, on se integraalin dα αβ p xy (α,β)dβ majorantti ja jälkimmäinenkin integraali suppenee P xy :n määrittelevä integraali suppenee siis itseisesti ja näin ollen myös tavallisesti cov(x,y):lle todistus on analoginen SEURAUS 1) Jos P x1,,p xn ovat olemassa, niin samoin on P x 2) Jos V x1,,v xn ovat olemassa, niin samoin on V x Huom! Satunnaisvektorin x varianssin V x alkiot ovat x:n komponenttien kovariansseja: (V x ) ij = cov(x i,x j ) (ks s 32) Juuri tästä syystä satunnaisvektorin varianssia kutsutaan usein sen kovarianssimatriisiksi Sopimus: cov(x,x) = V x Satunnaisvektorien x ja y (eivät välttämättä samandimensioisia) tulomomentti on satunnaismatriisin x y T odotusarvo E( x y T ) = d α α β T p xy ( α, β )d β = merk P xy, mikäli olemassa Huomaa, että jos x on n ulotteinen ja y on m ulotteinen, niin x y T, α β T ja P xy ovat nffim matriiseja Alkioittain: 34
ja ( x y T ) ij = x i y j, ( α β T ) ij = α i β j (P xy ) ij = E(x i y j ) = P xi y j Sovitaan, että P xx = P x Jos E ( x) = µ x ja E ( y) = µ y ovat olemassa, niin x:n ja y:n kovarianssi on satunnaismatriisin ( x µ x )( y µ y ) T odotusarvo E(( x µ x )( y µ y ) T ) = d α ( α µ x )( β µ y ) T p xy ( α, β )dβ = merk cov( x, y) = V xy, jos olemassa cov( x, y) on nffim matriisi, jonka (ij) alkio on (cov( x, y)) ij = cov(x i,y j ) Ilmeisesti cov( x, y) = P x µ x, y µ y LAUSE 11 Jos P x ja P y ovat olemassa, niin samoin on P xy Vastaavasti, jos V x ja V y ovat olemassa, niin samoin on cov( x, y) Todistus Seuraa suoraan Lauseesta 1 LAUSE 12 1) P T xy = P yx ja cov( x, y) T = cov( y, x) 2) Jos x ja y ovat samandimensioiset, niin ja trace P xy = E( x y) = trace P yx trace cov( x, y) = E(( x µ x ) ( y µ y )) = trace cov( y, x) Todistus Tarkastellaan vain tulomomenttia (kovarianssi vastaavasti) 1) P T xy = E( x y T ) T = E(( x y T ) T ) = E( y x T ) = P yx 2) Yleisesti trace(ab) = trace(ba), jos AB ja BA ovat neliömatriiseja, joten trace P xy = trace E( x y T ) = E(trace( x y T )) = E(trace( y T x)) = E(trace( y x)) = E( x y) 35
SCHWARZIN EPÄYHTÄLÖ Jos x ja y ovat samandimensioiset ja P x ja P y olemassa, niin ovat (trace P xy ) 2 (trace P x )(trace P y ) Vastaavasti, jos V x ja V y ovat olemassa, niin (trace cov( x, y)) 2 (trace V x )(tracev y ) Huom! Lauseen 12 ja sivulla 31 olevien kaavojen mukaan saadaan toinen esitysmuoto Schwarzin epäyhtälölle: (E( x y)) 2 E( x 2)E( y 2) ja vastaavasti (E(( x µ x ) ( y µ y ))) 2 E( x µ x 2)E( y µ y 2) Todistus Tarkastellaan vain tulomomenttia (kovarianssi vastaavasti) Jos P x ja P y ovat olemassa, niin samoin ovat E( x 2) = P x1 + + P xn, ja E( y 2) = P y1 + + P yn E( x y) = P x1 y 1 + + P xn y n (Lause 1) Jokaiselle luvun λ arvolle on näin ollen E( x 2) - 2λE( x y) + λ 2 E( y 2) = E( x x) - 2λE( x y) + λ 2 E( y y) L5 = E( x x 2λ x y + λ 2 y y) = E(( x λ y) ( x λ y)) = E( x λ y 2) myös olemassa ja lisäksi (sillä satunnaismuuttujan x λ y 2 tf on = muuttujan negatiivisilla arvoilla) Siis diskriminantti on, ts ( 2E( x y)) 2 4E( x 2)E( y 2) 36
Satunnaismuuttujille x ja y Schwarzin epäyhtälö on P 2 xy P xp y ja vastaavasti cov(x,y) 2 V x V y LAUSE 13 Jos P xy, µ x ja µ y ovat olemassa, niin myös cov( x, y) on olemassa ja Todistus Ks s 27: cov( x, y) = P xy µ y µ T y P xy µ x µ T y = E( x y T ) µ x E( y) T E( x)µ T y + µ x µ T y (1) = (6) = (3) = (2) = (4) (5) = E( x y T ) µ x E( y) T E( x)µ T y + E(µ x µ T y ) E( x y T ) µ x E( y T ) E( x)µ T y + E(µ x µ T y ) E( x y T ) + E( µ x y T ) E( x)µ T y + E(µ x µ T y ) E( x y T ) + E( µ x y T ) + E( xµ T y ) + E(µ x µ T y ) E( x y T µ x y T xµ T y + µ x µ T y ) = E(( x µ x )( y T µ T y )) = E(( x µ x )( y µ y ) T ) = cov( x, y) Satunnaisvektorit x ja y ovat korreloimattomat, jos E ( x), E ( y) ja P xy ovat olemassa ja cov( x, y) = O (nollamatriisi) eli P xy = E( x)e( y) T (ks Lause 13) Muussa tapauksessa x ja y korreloivat (tai E ( x), E ( y) ja P xy eivät kaikki ole olemassa) 37
LAUSE 14 Jos x ja y ovat riippumattomat, niin ne ovat myös korreloimattomat, mikäli E( x), E( y) ja P xy ovat olemassa Todistus Jos x ja y ovat riippumattomat, niin (ks 8) p xy ( α, β ) = p x ( α )p y ( β ) Jos taas E( x), E( y) ja P xy ovat olemassa, on P xy = d α α β T p xy ( α, β )d β riippum = d α α β T p x ( α )p y ( β )d β = d α ( α p x ( α ))( β p y ( β )) T d β iter = α p x ( α )d α β T p y ( β )d β = E( x)e( y) T LAUSE 15 1) Jos x ja y ovat samandimensioiset ja P x sekä P y ovat olemassa, niin P x + y on myös olemassa ja P x + y = P x + P y + P xy + P yx 2) Vastaavasti, jos x ja y ovat samandimensioiset ja V x sekä V y ovat olemassa, niin V x + y on myös olemassa ja V x + y = V x + V y + cov( x, y) + cov( y, x) Todistus 1) Jos P x ja P y ovat olemassa, niin samoin ovat P xy ja P yx (Lause 11) Silloin 2) Kuten 1) P x + P y + P xy + P yx = E( x x T ) + E( y y T ) + E( x y T ) + E( y x T ) = E( x x T + x y T + y x T + y y T ) = E(( x + y)( x T + y T )) = E(( x + y)( x + y) T ) = P x + y 38
SEURAUS Jos x ja y ovat samandimensioiset ja korreloimattomat (erityisesti riippumattomat) ja V x sekä V y ovat olemassa, niin myös V x + y on olemassa ja V x + y = V x + V y Samandimensioiset satunnaisvektorit x ja y ovat ortogonaaliset eli kohtisuorassa toisiaan vastaan, jos E( x y) =, merkitään x y LAUSE 16 Jos x ja y ovat samandimensioiset korreloimattomat satunnaisvektorit ja E( x) E( y), niin x y Todistus E ( x y) L12 korreloim = trace P xy = trace(e( x)e( y) T ) = * trace(e( y) T E( x)) = E( y) T E( x) = E( x) E( y) = 15 Toisen kertaluvun stokastiikka Toisen kertaluvun stokastiikalla tarkoitetaan todennäköisyyslaskennan ja tilastomatematiikan menetelmiä, joissa käytetään satunnaismuuttujista ja vektoreista vain niiden odotusarvoja, keskineliöitä, variansseja, tulomomentteja ja kovariansseja Riippumattomuuden korvaa heikompi käsite korreloimattomuus Jatkossa rajoitutaan melkeinpä pelkästään 2 kertaluvun stokastiikkaan, johon liittyvät tilastolliset suureet oletetaan olemassaoleviksi (keskineliöt ja varianssit toisinaan äärettöminä) * trace(ab) = trace(ba), jos AB ja BA ovat neliömatriiseja 39
II STOKASTISET PROSESSIT 1 Peruskäsitteitä Stokastinen prosessi (lyhyesti sp) on indeksoitu satunnaismuuttujien tai vektorien kokoelma x(t), t I tai x(t), t I Indeksin eli parametrin t arvot saadaan indeksijoukosta I Tavallisimmat indeksijoukot ovat a) I = {, 2, 1,,1,2, } ( kokonaisluvut) b) I = {,1,2, } ( luonnolliset luvut) c) I = {,1,,n} d) I = Á ( reaaliluvut) e) I = Á + ( ei-negatiiviset reaaliluvut) f) I = (a,b) (tai jokin muu väli) Tapauksissa a), b) ja c) sanotaan stokastisen prosessin olevan diskreetti eli ns aikasarja, tapauksissa d), e) ja f) taas jatkuva Indeksi t on usein aikaparametri (tästä nimi aikasarja) Huomaa, että tapauksen c) aikasarja skalaarisessa tapauksessa on itse asiassa satunnaisvektori (ja vektoraalisessa tapauksessa satunnaismatriisi) Jos sp on indeksoitu satunnaismuuttujien kokoelma, sanotaan sen olevan skalaarinen t skalaariarvoinen Jos taas sp on indeksoitu satunnaisvektorien kokoelma, sanotaan sen olevan vektoraalinen t vektoriarvoinen Sp x(t) on jatkuva amplitudinen (vast diskreettiamplitudinen), jos kaikki satunnaismuuttujat x(t), t I, ovat jatkuvia (vast diskreettejä) (Vastaavasti vektoritapauksessa) Huom! Aikasarjoja merkitään yleensä alaindeksejä käyttäen Siis esim merkitään x(t), t {,1,,n} x, x 1,, x n Myös jatkuvalle stokastiselle prosessille käytetään alaindeksimerkintää (eo merkinnän lisäksi) ts x(t) merkitään x t, jne 4
Usein satunnaismuuttujat x(t), t I, tulevat samasta todennäköisyyskentästä, mutta tämä ei ole välttämätöntä Stokastisen prosessin x(t) stokastiikan hallitsemiseksi tulee tuntea satunnaismuuttujien x(t 1 ),,x(t n ) yhteisjakaumasta tarvittavan paljon, kun t 1,,t n ovat mielivaltaisia indeksin arvoja ja n = 1,2, Usein riittää n = 2 ja P x(t1 )x(t 2 ) ja E(x(t)) (ja nämäkin ehkä vain tietyille indeksien t 1,t 2 ja t arvoille) Vastaava pätee vektoriarvoisillekin stokastisille prosesseille Merkinnät ovat samat kuin Luvussa I, mutta niihin lisätään indeksi t Luettelo: 1) kertymäfunktio: F x(t) (α;t), F x (t)( α ;t) 2) tiheysfunktio: p x(t) (α;t), p x (t)( α ;t) 3) yhteisjakauman kf ja tf: esimerkiksi F x (t 1 ) x (t 2 )( α 1, α 2 ;t 1,t 2 ), p x (t 1 ) x (t 2 )( α 1, α 2 ;t 1,t 2 ) 4) ehdollisen jakauman tf: esimerkiksi p x(t1 ) α 2 (α 1 ;t 1 α 2 ;t 2 ) = p x(t1 )x(t 2 )(α 1,α 2 ;t 1,t 2 ) p x(t2 )(α 2 ;t 2 ) 5) odotusarvo: E( x(t)) = α p x (t)( α ;t)d α = µ x (t) = merk µ x (t) (t:n vektoriarvoinen funktio) E(x(t)) = αp x(t) (α;t)dα = µ x(t) = merk µ x (t) (t:n tavallinen funktio) 6) keskineliö: P x (t) = E( x(t) x(t) T ) = merk P x (t) (matriisiarvoinen t:n funktio) P x(t) = E(x(t) 2 ) = merk P x (t) (t:n funktio) 41
7) varianssi: V x (t) = E(( x(t) µ x (t))( x(t) µ x (t)) T ) = merk V x (t) (matriisiarvoinen t:n funktio) V x(t) = E((x(t) µ x (t)) 2 ) = merk V x (t) (t:n funktio) Verrattaessa saman stokastisen prosessin x(t) eri indeksin arvoja (ajanhetkiä) tai kahta stokastista prosessia eri ajanhetkinä syntyy uusia käsitteitä Nämä ovat: 8) autokorrelaatio: E( x(t) x(τ) T ) = d α α β T p x (t) x (τ)( α, β ;t,τ)d β = P x (t) x (τ) = merk P x (t,τ) (matriisiarvoinen t:n ja τ:n funktio, huomaa että P x (t,t) = P x (t)) E(x(t)x(τ)) = dα αβp x(t) x (τ) (α,β;t,τ)dβ = P x(t)x(τ) = merk P x (t,τ) (t:n ja τ:n funktio; huomaa, että P x (t,t) = P x (t)) 9) autokovarianssi: E(( x(t) µ x (t))( x(τ) µ x (τ)) T ) = d α ( α µ x (t))( β µ x (τ)) T p x (t) x (τ)( α, β ;t,τ)d β = cov( x(t), x(τ)) = merk V x (t,τ) ( L13 = P x (t,τ) µ x (t)µ x (τ) T ) (t:n ja τ:n matriisiarvoinen funktio; huomaa, että V x (t,t) = V x (t) ja V x (t,τ) = P x (t) µ x (t), x (τ) µ x (τ) ) 42
E((x(t) µ x (t))(x(τ) µ x (τ))) = dα (α µx (t))(β µ x (τ)) p x(t)x(τ) (α,β;t,τ)dβ = cov(x(t),x(τ)) = merk V x (t,τ) ( = P x (t,τ) µ x (t)µ x (τ) ) (t:n ja τ:n funktio; huomaa, että V x (t,t) = V x (t) ja V x (t,τ) = P x(t) µx (t),x(τ) µ x (τ)) 1) ristikorrelaatio: E( x(t) y(τ) T ) = d α α β T p x (t) y (τ)( α, β ;t,τ)d β = P x (t) y (τ) = merk P xy (t,τ) (matriisiarvoinen t:n ja τ:n funktio; huomaa, että P xx (t,τ) = P x (t,τ) ja erityisesti P xy (t,t) = P x (t) y (τ) = merk P xy (t)) E(x(t)y(τ)) = dα αβp x(t)y(τ) (α,β;t,τ)dβ = P x(t)y(τ) = merk P xy (t,τ) (t:n ja τ:n funktio; huomaa, että P xx (t,τ) = P x (t,τ) ja erityisesti P xy (t,t) = P x(t)y(t) = merk P xy (t)) 11) ristikovarianssi: E(( x(t) µ x (t))( y(τ) µ y (τ)) T ) = d α ( α µ x (t))( β µ y (τ)) T p x (t) y (τ)(α,β;t,τ)d β = cov( x(t), y(τ)) = merk V xy (t,τ) ( = L13 P xy (t,τ) µ x (t)µ y (τ) T ) 43
(t:n ja τ:n matriisiarvoinen funktio; huomaa, että V xx (t,τ) = V x (t,τ), V xy (t,τ) = P x (t) µ x (t), y (τ) ja erityisesti V xy (t,t) = cov( x(t), y(t)) = merk V xy (t)) E((x(t) µ x (t))(y(τ) µ y (τ))) = dα (α µx (t))(β µ y (τ)) p x(t)y(τ) (α,β;t,τ)dβ = cov(x(t),y(τ)) = merk V xy (t,τ) ( L13 = P xy (t,τ) µ x (t)µ y (τ) ) (t:n ja τ:n funktio; huomaa, että V xx (t,τ) = V x (t,τ), V xy (t,τ) = P x(t) µx (t),y(τ) µ y (τ) ja erityisesti V xy (t,t) = cov(x(t),y(t)) = merk V xy (t)) Autokorrelaatio ja ristikorrelaatio näyttelevät ratkaisevaa osaa stokastisten prosessien 2 kertaluvun stokastiikassa (Vaihtoehtoisesti voitaisiin käyttää autokovarianssia ja ristikovarianssia, kuten usein tehdään) Huom! Ihan mitkä tahansa funktiot eivät kelpaa yo funktioiksi, vaikka ne päällisin puolin näyttäisivät sopivilta Stokastisen prosessin x(t) stokastiikka katsotaan täysin määrätyksi, jos tf p x (t 1 ) x( t n )( α 1,, α n ;t 1,,t n ) tunnetaan kaikille t 1 :n,,t n :n arvoille, olipa n = 1,2, mitä tahansa Vastaavasti skalaariarvoiselle prosessille 2 Klassisia esimerkkejä Poisson prosessi: Poisson prosessi on jatkuva diskreettiamplitudinen sp x(t), jonka indeksijoukko on Á + x(t):n mahdolliset arvot ovat,1,2, Edelleen 44
1) P{x(t 2 ) x(t 1 ) = k} = (λ(t 2 t 1 )) k e λ(t 2 t1) k!, kun t 2 t 1 ja k =,1, (vrt Poisson jakauma); λ > on parametri; 2) x(t 2 ) x(t 1 ),x(t 4 ) x(t 3 ),,x(t 2n ) x(t 2n 1 ) ovat riippumattomat, mikäli välit (t 1,t 2 ),(t 3,t 4 ),,(t 2n 1,t 2n ) eivät leikkaa; 3) x() = (x() on siis vakio) Ehdot 1), 2) ja 3) määräävät prosessin x(t) stokastiikan täysin: Jos t 1 < < t n ja k 1 k 2 k n, niin P{x(t 1 ) = k 1,x(t 2 ) = k 2,,x(t n ) = k n } ehto 3) = P{x(t1 ) x() = k 1,x(t 2 ) x(t 1 ) = k 2 k 1,, ehto 2) = x(t n ) x(t n 1 ) = k n k n 1 } P{x(t 1 ) x() = k 1 }P{x(t 2 ) x(t 1 ) = k 2 k 1 } P{x(t n ) x(t n 1 ) = k n k n 1 } ehto 1) (λt 1 ) k1 e λt 1 = k 1! (λ(t 2 t 1 )) k 2 k1 e λ(t 2 t1) (k 2 k 1 )! (λ(t n t n 1 )) k n kn 1 e λ(t n tn 1) (k n k n 1 )! Huomaa, että ehdosta 1) seuraa, että P{x(t 2 ) x(t 1 ) = k} =, jos t 2 t 1 ja k <, ts x(t) on ei vähenevä prosessi Etsitään tf, odotusarvo, keskineliö ja varianssi: p x(t) (α;t) = k= (λt) k e λt k! δ(α k) ehto 1) (sillä P{x(t) = k} = P{x(t) x() = k}), 45
µ x (t) = k (λt)k e λt (λt) k! = k e λt (k 1)! k= k=1 = λte λt (λt) k 1 (k 1)! = λte λt (λt) k k! k=1 k= = λt, P x (t) = k= = k= = k=2 k 2 (λt)k e λt k! k(k 1) (λt)k e λt k! (λt) k e λt (k 2)! + k= + λt = (λt) 2 + λt, k (λt)k e λt k! V x (t) = P x (t) µ x (t) 2 = λt Lasketaan vielä P x (t,τ) ja V x (t,τ): Oletetaan ensin, että τ t Silloin P x (t,τ) = E(x(t)x(τ)) = E(x(t)(x(τ) x(t) + x(t))) = E((x(t) x())(x(τ) x(t))) + P x (t) ehto 2) = Lause 14 E(x(t) x())e(x(τ) x(t)) + P x (t) = µ x (t)(µ x (τ) µ x (t)) + P x (t) = λt(λτ λt) + (λt) 2 + λt = λ 2 tτ + λt = λt(1 + λτ) Näin ollen yleisesti λt(1 + λτ), jos τ t P x (t,τ) = λτ(1 + λt), jos τ t Edelleen Lause 13 V x (t,τ) = Px (t,τ) µ x (t)µ x (τ) = λmin(t,τ) 46
Satunnaiskulku: Satunnaiskulku on diskreetti diskreettiamplitudinen sp x(t), jonka indeksijoukko on I = {,T,2T,3T, }, missä T > on vakio (Yhtä hyvin voisi olla I = {,1,2, }, mutta seuraavaa esimerkkiä ajatellen valitaan näin) Edelleen 1) x() = ja 2) x(nt) = x 1 + + x n, missä x 1,,x n ovat riippumattomia satunnaismuuttujia, joiden tf on p xi (α) = 1 2 δ(α s) + 1 2 δ(α+s) (binomijakauma; s > on vakio) Ehdot 1) ja 2) määräävät prosessin x(t) täysin: Jos t 1 < t 2 < < t m, niin P{x(t 1 ) = k 1,x(t 2 ) = k 2,,x(t m ) = k m } = P{x(t 1 ) - x() = k 1,x(t 2 ) x(t 1 ) = k 2 k 1,, x(t m ) x(t m 1 ) = k m k m 1 } Toisaalta, jos t i = n i T, t i+1 = n i+1 T ja t i+2 = n i+2 T, niin n i < n i+1 < n i+2 ja sekä x(t i+1 ) x(t i ) = x ni +1 + + x ni+1 x(t i+2 ) x(t i+1 ) = x ni+1 +1 + + x ni+2 Siis x(t 1 ),x(t 2 ) x(t 1 ),,x(t m ) x(t m 1 ) ovat riippumattomat, sillä x 1,,x nm ovat riippumattomat eikä erotuksissa x(t i+1 ) x(t i ) ole yhteisiä yhteenlaskettavia Näin ollen P{x(t 1 ) x() = k 1,x(t 2 ) x(t 1 ) = k 2 k 1,, x(t m ) x(t m 1 ) = k m k m 1 } = P{x(t 1 ) x() = k 1 }P{x(t 2 ) x(t 1 ) = k 2 k 1 } P{x(t m ) x(t m 1 ) = k m k m 1 } ja tulossa esiintyvät todennäköisyydet saadaan binomijakaumasta 47
Etsitään tf, odotusarvo, keskineliö ja varianssi: P{x(nT) = rs} = P{Satunnaismuuttujista x 1,,x n saa n+r 2 kpl arvon s} = n n+r 2 n+r 1 2 2 1 n 2 n+r 2 = n n+r 2 2 n (r = n, n + 2,,n) n p x(nt) (α;nt) = ' n n+r 2 r= n 2 n δ(α rs) (Pilkku sigmassa tarkoittaa, että summausindeksi kasvaa 2:n välein) ehto 2) µ x (nt) = E(x 1 + + x n ) = E(x 1 ) + + E(x n ) = ehto 2) V x (nt) = V x1 + +x n = L15 Seur V x1 + + V xn ehto 2) = n( 1 2 ( s) 2 + 1 2 s2 ) = ns 2 P x (nt) = V x (nt) + µ x (nt) 2 = ns 2 Edellisen sivun riippumattomuustuloksen nojalla saadaan (ks s 46) P x (t,τ) = µ x (t)(µ x (τ) - µ x (t)) + P x (t) = P x (t), kun τ t Siis P x (nt,mt) = V x (nt,mt) = s 2 min(n,m) Keskeisen raja arvolauseen (ks Matematiikka 4) mukaan satunnaismuuttujalla x(nt) µ x (nt) V x (nt) = x(nt) s n on suurilla n:n arvoilla asymptoottisesti standardinormaalijakauma, ts tällöin 48
F x(nt) (rs;nt) = P{x(nT) rs} = P x(nt) s n r n 1 2π r/ n e β2/2 dβ Brownin liike: Annetaan satunnaiskulussa T, s, n, r siten, että s 2 T = α (vakio), nt = t (vakio) ja rs = w (vakio) Silloin s n = αt ja r/ n = w/ αt ja P x(nt) s n rn = P x(nt) w αt αt = P{x(t) w} 1 2π w/ αt w e β2/2 γ=β αt 1 dβ = 2π αt e γ2 2αt dγ Yleisemmin voitaisiin valita ajanhetket t 1 ja t 2, missä t 2 > t 1, ja valita n 1 sekä n 2 siten, että n 1 T on mahdollisimman lähellä t 1 :tä ja n 2 T mahdollisimman lähellä t 2 :ta (jos t 1 /t 2 ei ole rationaaliluku, eivät molemmat voi osua tarkasti kohdalleen) Jälleen annetaan T, s, r siten, että s 2 T = α, rs = w Silloin n 1 ja n 2 ja n 1 T t 1 sekä n 2 T t 2 Näin ollen ja s n 2 n 1 = s T n 2 T n 1 T = α n 2 T n 1 T α(t 2 t 1 ) P x(n 2 T) x(n 1 T) s n 2 n 1 w s n 2 n 1 1 2π w/ α(t 2 -t 1 ) e β2 /2 dβ 49
γ=β α(t 2 t 1 ) 1 = 2π α(t 2 t1) w γ 2 2α(t 2 t 1 ) e dγ Vieläkin yleisemmin voitaisiin ottaa tarkasteltavaksi ajanhetket jne t 1 < t 2 < < t m Rajalla T, s (jolloin s2 T = α) saadaan sp x(t), jolle x(t 1 ),x(t 2 ) x(t 1 ),,x(t m ) x(t m 1 ) ovat riippumattomia, normaalisti jakautuneita satunnaismuuttujia, joiden odotusarvot ovat = ja varianssit järjestyksessä αt 1,α(t 2 t 1 ),,α(t m t m 1 ) (Riippumattomuus seuraa suoraan satunnaiskulun vastaavasta ominaisuudesta, ks s 47) Sp x(t) on ns Brownin liike Koska satunnaismuuttujien x(t 1 ),x(t 2 ) x(t 1 ),,x(t m ) x(t m 1 ) yhteisjakauma tiedetään, kun t 1 < t 2 < < t m ja niistä saadaan x(t 1 ), x(t 2 ),,x(t m ) lineaarimuunnoksella x(t 2) = (x(t 2 ) x(t 1 )) + x(t 1 ) x(t 3 ) = (x(t 3 ) x(t 2 )) + x(t 2 ) = (x(t 3 ) x(t 2 )) + (x(t 2 ) x(t 1 )) + x(t 1 ) x(t m ) = (x(t m ) x(t m 1 )) + (x(t m 1 ) x(t m 2 )) + + (x(t 2 ) x(t 1 )) + x(t 1 ) on x(t):n stokastiikka täysin määrätty Satunnaismuuttujien x(t 1 ),,x(t m ) yhteisjakauma on tällöin ns m ulotteinen normaalijakauma (ks Matematiikka 4), ts Brownin liike on eräs ns Gaussin prosessi Huom! x() on vakio, joka voidaan tulkita rajatapaukseksi normaalijakautuneesta satunnaismuuttujasta Brownin liikkeen indeksijoukko on Á + Ilmeisesti µ x (t) =, P x (t) = V x (t) = αt 5
Brownin liikkeen autokorrelaatio lasketaan samalla tavoin kuin eo prosesseille: P x (t,τ) = P x (min(t,τ)) = αmin(t,τ) Huomaa, että eo raja arvon otossa satunnaiskulussa kuljettu matka ns = t α T Brownin liikkeestä otettu näytefunktio ei näin ollen voi olla derivoituva,vaikka se raja arvoprosessin luonteesta johtuen onkin jatkuva Satunnaiskulku ja siitä raja arvona saatava Brownin liike voidaan yleistää mielivaltaisen moniulotteisiksi vektoraaliprosesseiksi 3 Stationäärisyys Autokorrelaatiofunktio Ristikorrelaatiofunktio Sp x(t) on n:ttä kertalukua stationäärinen, jos satunnaisvektorien x(t 1 +τ),, x(t n +τ) yhteisjakauma on sama kuin satunnaisvektorien x(t 1 ),, x(t n ), oli-vatpa t 1,,t n ja τ mitä tahansa (kunhan pysytään indeksijoukossa) Huom! Jos x(t n ) on n:ttä kertalukua stationäärinen (ja n 2), niin se on myös n 1:ttä kertalukua stationäärinen (Valitaan yo määritelmässä vaikkapa t 1 = t 2 ) Sp x(t) (aidosti) stationäärinen, jos se on n:ttä kertalukua stationäärinen kaikille n:n arvoille n = 1,2, Sp x(t) on keskiarvostationäärinen, jos µ x (t) on olemassa ja on t:n suhteen vakio, merkitään µ x (t) = µ x Sp x(t) on korrelaatiostationäärinen, jos P x (t,τ) on olemassa ja riippuu t:stä ja τ:stä vain niiden erotuksen t τ kautta x(t) on kovarianssistationäärinen, jos V x (t,τ) on olemassa ja riippuu t:stä ja τ:sta vain niiden erotuksen t τ kautta Sp x(t) on heikosti stationäärinen eli laajassa mielessä stationäärinen, jos se on sekä keskiarvostationäärinen että korrelaatiostationäärinen 51