Luento Otosavaruus, tapahtuma. Otosavaruus (sample space) on kaikkien mahdollisten alkeistapahtumien (sample) ω joukko.

Transkriptio

1 Luento 0 odennäöisyyslasentaa Otosavaruus, tapahtuma ja todennäöisyys Ehdollinen todennäöisyys, tilastollinen riippumattomuus, Bayesin teoreema, oonaistodennäöisyys Odotusarvo, varianssi, momentti Stoastiset prosessit Stationäärisyys ja ergodisuus Otosavaruus, tapahtuma Otosavaruus (sample space) on aiien mahdollisten aleistapahtumien (sample) ω jouo. Esim.. Nopanheitto Ω= {,,3, 4,5, 6} Esim.. Lähetyspusurissa olevien paettien luumäärä Ω = { 0,,,... } = Esim. 3. Puhelinestoaia Ω = { x x> 0} apahtumat A, BC,,... (events) ovat otosavaruuden mitallisia osajouoja ABC,,,... Ω Mahdoton tapahtuma esitetään tyhjällä jouolla Varma tapahtuma esitetään oo otosavaruudella Ω Esim.. Nopan silmäluu on seitsemän A = Esim.. Pusurissa ei ole paetteja A = { 0} Esim. 3. Puhelu estää oreintaan 0 s { 0 0} A= x < x< Ω

2 Otosavaruus, tapahtuma Yhdiste (union) A B Leiaus (intersection) A B c Komplementti (complement) A = { ω Ωω A} apahtumat ovat toisensa poissulevia (disjoint), jos A B = Kooelma { B i } tapahtumia muodostaa tapahtuman ositusen (partition), jos Bi B j = Bj = A j A B B B3 B4 Ω Ω A A B B c A Ω A B odennäöisyys apahtuman todennäöisyys on sitä vastaavan jouon mitta Pr : I [ 0,], missä Ion aiien tapahtumien yhdiste. i) Pr Ω = { } = { A B} = { A} + { B} { A B} ii) Pr 0 iii) Pr Pr Pr Pr c { A } = { Ω A} = { Ω} { A} = { A} = { Bj} A= Bj Bi Bj = iv) Pr Pr \ Pr Pr Pr iv) Pr A Pr,, Ehdollinen todennäöisyys j { A B} Pr{ B} Pr Pr AB = Pr AB Pr B = Pr BA Pr A j

3 odennäöisyys Koonaistodennäöisyys Oloon { B i } otosavaruuden Ω ositus ällöin { Bi A} on tapahtuman A ositus: A = A Bj ja j Pr A = Pr A B Ω j j Ehdollisen todennäöisyyden lauseeesta saadaan Pr{ A Bj} Pr{ ABj} = Pr B { j} B B Pr A Bj = Pr A Bj Pr Bj B3 B4 Koonaistodennäöisyys voidaan siis irjoittaa muotoon Pr{ A} = Pr{ ABj} Pr{ Bj} j A Bayesin aava Oloon { B i } otosavaruuden Ω ositus; tällöin Pr{ A Bi} Pr{ ABi} = Pr{ Bi} Pr{ A B} Pr Pr i ABi { Bi} Pr{ Bi A} = Pr{ Bi A} = Pr{ A} Pr A Bj Pr Bj j Pr{ A} Pr{ A Bj} Pr{ Bj} = j a priori todennäöisyys a posteriori todennäöisyys Pr Pr { A Bi } { Bi A}

4 ilastollinen riippumattomuus Määritelmä: A ja B ovat riippumattomia (independent), jos Pr A B = Pr A Pr B Oloon A ja Bbe riippumattomia tapahtumia, tällöin Pr{ A B} Pr{ A} Pr{ B} Pr{ AB} = = = Pr{ A} Pr{ B} Pr{ B} Pr{ A B} Pr{ A} Pr{ B} Pr{ BA} = = = Pr{ B} Pr{ A} Pr{ A} Esimeri. Binäärinen siirtoanava Valitaan lähetettävä bitti satunnaisesti Pr{ lähetettävä bitti on } = Pr{ lähetettävä bitti on 0} = q Bittivirhetodennäöisyys Pr{ bittivirhe} = p 0 -p p 0 p -p Oiein ja virheellisesti lähetettyjen bittien todennäöisyydet Pr vastaanotetaan lähetty 0 = Pr bittivirhe = p Pr vastaanotetaan lähetty = Pr bittivirhe = p Kuina hyvin voimme luottaa vastaanottimeen? Pr{ lähetetty vastaanotettu } =?

5 Esimeri. Binäärinen siirtoanava Sovelletaan Bayesin aavaa Pr{ vastaanotettu lähetetty } Pr{ lähetetty } = Pr{ vastaanotettu lähetetty } Pr{ lähetetty } + Pr{ vastaanotettu lähetetty 0} Pr{ lähetetty 0} Pr lähetetty vastaanotettu ( ) p q = p q+ p( q) Jos molemmat bitit yhtätodennäöisiä Pr lähetettävä bitti on = Pr lähetettävä bitti on 0 = q = 0.5 Pr lähetetty vastaanotettu = Pr vastaanotettu lähetetty = p Jos bitti 0 on asiertaa niin todennäöinen uin Pr lähetettävä bitti on = q = / 3 Pr{ lähetetty vastaanotettu } = p + p Satunaismuttujat Disreetti satunnaismuuttuja X voi saada vain arvoja jota uuluvat numeroituvaan Esim. X { 0,,,..., } Jatuva satunnaismuuttuja X voi saada saada arvoja ei numeroituvasta jouosta. PX Esim. ( x) X x 0< x< Kertymäfuntio PX ( x) = Pr{ X x} iheysfuntio (jaauma) 0 d p( x) = PX ( x) p( x) dx odennäöisyys x Pr( x X x ) = p( x) dx x 0 0 5

6 Pistejaauma Pistejaauma on tapa esittää disreetti jaauma δ p( x) = Pr X = x x x X P x px = δ ( x) + δ ( x ) 0 0 Esim. Nopan heiton pistejaauma 6 6 p( x) = Pr X = x x = x 6 δ δ = = unnusluuja Odotusarvo (expected value) Jatuvalle jaaumalle μ X = E { X} = xp( x) dx Pistejaaumalle (disreeteille satunnaisluvuille) X Varianssi (variance) Jatuvalle jaaumalle Pistejaaumalle { X} xpr{ X x} μ = E = = x Ω σ X = var X = E X E X = x E X p( x) dx σ X = var = E = Pr = x Ω X X E X X E X X x 6

7 unnusluuja Kesihajonta (standard deviation) σ = Kovarianssi (covariance) Korrelaatioerroin (correlation coeffisient) ρ Momentti (moment) m xy X X = = var{ X} cov( XY, ) = E{ ( X E{ X} )( Y EY )} {( X { X} )( Y { Y} )} ( X { X} ) ( Y Y ) E E E { } { } E E E E E{ X } Bernolli-jaauma Kuvaa ysittäistä satunnaisoetta, jona tulosena on onnistumenen todennäöisyydellä p tai epäonnistuminen todennäöisyydellä -p. Pistetodennäöisyydet Pr{ X = } = p, Pr{ X = 0} = p Odotusarvo E X = Pr X = + 0Pr X = 0 = p { X} = ( X { X} ) var E E { X } ( { X} ) p( p) = E E =

8 Binomijaauma Onnistumisien luumäärä n:ssä perättäisessä toisistaan riippumattomissa oeessa. X 0,,,..., n Pistetodennäöisyydet n Pr{ X = } = p ( p) Kertymäfuntio n n Pr X = p p = 0 Odotusarvo n E X = Pr X = = np = 0 Varianssi p var{ X} = p n n n n! Binomiteijä = ( n )!! (binomial coefficient) n! = i i... in Kertoma (factorial) Poisson-jaauma arastellaan Binomijaaumaa un n asvaa rajatta Oloon 0.9 a=0.5 a a= p =, 0< a< n 0.8 n ällöin n! a a 0.4 Pr{ X = } = l ( n )!! n n n ( n + )( n + )... n a a a a a, e = n n! n n! Kosa ( n )( n ) n n n a a e n n = n n n Cumulative PDF

9 Poisson jaauma Oletusarvo E a X = X = = e! Pr = 0 =! (! ) = i = = 0!. momentti a a a a a a E X = e = e = ae +!!! a a a a a a a = ae = ae = ae = a Varianssi ae e a a E{ ( { }) } E E{ } e a e x x = = 0! = 0 = = a a a a a a = ae ( + ) = ae e + = a a + = 0! = 0! = 0! X E X = X X = a a+ a = a Maclaurin sarja Poisson jaauma Esimeri. Uusia puheluita saapuu puhelinvaihteeseen Poisson jaautuneesti intensiteetillä λ puhelua minuutissa. Rataise ahden perättäisen saapuvan puhelun aiaeron jaauma. Ajassa t saapuu puhelua todennäöisyydellä ( λt) λt Pr { X = t ; } = e! Saapumisaiojen ero on pienempi uin t, jos ajassa t saapuu vähintään ysi pyhelu Pr{ t} = Pr{ X = 0; t} = e λt Jaauma saadaan derivoimalla: d t pt () = Pr{ t} =λe λ dt

10 Esponenttijaauma Jaauma p x = x λe λ Kertymäfuntio x 0 0 x < 0 λx Pr X x = e, x 0 p(x) λ= λ= λ=/ x Muistittomuus Pr, Pr > + > = ( X x y X x) { > + } { > } λ( x+ y) { X > x+ y X > x} Pr{ X > x} Pr X x y e λ y = = = e = Pr X > y λx Pr X x e Jaauma asajaauma a x b px = b a, 0 muutoin a< b Odotusarvo b x b a ( b a)( b+ a) E{ X} = dx = = = ( b + a) b a b a b a a b 3 3 x b a ( b a)( b + ab+ a ) E{ X } = dx = = = b a 3 b a 3 b a 3 b + ab + a a ( b a) 4 3 var{ X} = ( b a) ( b + ab+ a ) ( b + ab+ b ) =

11 Kvantisointivirhe arastellaan signaalin A/D-muunnosta äyttäen tasavälistä vantisointia Kun vantisointitasojen luumäärä on riittävän suuri, voidaan atsoa että signaalin on Δx suuruisella välillä tasan jaautunut riippumatta siitä, miä on oo signaalin todennäöisyysjaauma. Kvantisointivirhe y ε=y-x on tasajaautunut välille (0,Δx) E{ε}= Δx/ var{ε}= Δx / x Δ x erminen ohina metalli johtimissa Johtuu varautuneiden partielien (eletronien) satunnaisesta liieestä johtavassa aineessa. Oloon lämpötila Kelviniä ja johtimen resistanssi R Ohmia, tällöin eletronien liie saa aiaan Normaalijaautuneen jännitteen jona u esiarvo on 0V ja varianssi on lämpötila π E u = R.9 0 R Bolzmannin vaio 3h h Planin vaio neliövolttia

12 Normaalijaauma N( μ, σ ) Jaauma p( x) = e πσ ( x μ ) σ Odotusarvo E{ X} = μ Varianssi var{ X} = σ Kertymäfuntio x ( x μ ) σ Pr{ X x} = e dx πσ p(x) σ = σ = σ = x Satunnaisluujen summa arastellaan ahden satunnaisluvun summaa Y = X + X joiden ertymäfuntiot ja todennäöisyystiheydet ovat Pr { X x} = Px ( x) Pr { X x} = Px ( x) d d P x( x ) = p x( x ) P x( x ) = p x( x ) dx dx Rataistaan ensin ehdollinen todennäöisyys Pr Y y X = x = Pr X y x = F( y x ) Koonaistodennäöisyys saadaan integroimalla :n jaauman yli { Y y} = Px y x px x dx Pr iheysfuntio saadaan tästä derivoimalla d Py( y) = Pr { Y y} = px ( y x) px( x) dx dy X Konvoluutio integraali

13 Keseinen raja-arvo lause (Central limit theorem) Oloon X,X,,X N jouo riippumattomia satunnaissuureita. Satunnaissuure X i :n todennäöisyystiheys p i (x) voi olla mielivaltainen unhan sen odotusarvo μ i ja varianssi σ i ovat rajoitettuja. Summa N X i μ i Z N = i= σ i lähestyy N(0,) jaaumaa un N. limn Pr Z N < x =Φ( x) x t Φ ( x) = e dt π Keseinen raja-arvo lause arastellaan N tasajaautuneen U(0,) muuttujan summan todennäöisyystiheyttä N= N= N= N=

14 Normalisoitu Normaalijaauma auluoista löytyy y N(0,) t Φ ( y) = e dt π Yleisestä tapausesta päästään tähän muuttuhjan vaihdolla x μ y = σ Usein tarvitaan häntätodennäöisyyttä (tail probability) y Q( y) = Pr{ Y > y} = Pr{ Y y} = e dy π y Normalisoitu Normaalijaauma 0 0 y Q( x) = e dy π x Q(x) x 8 4

15 Komplesinen normaalijaauma arasellaan satunnaissuuretta i z = x+ iy = re φ xy, ~ N( 0, σ ) * Satunnaissuure u = zz = x + y on exponenttijaautunut pu exp, 0 σ σ u = u Satunnaissuure r = z = x + y on Rayleigh-jaautunut r pr () = exp r, 0 r σ σ Satunnaissuure φ on tasajaautunut p( φ) =, 0 φ π π y r θ x Log-normaalijaauma Oloon X normaalijaautunut satunnaismuuttuja, tällöin X Y = e α, α > 0 on log-normaalijaautunut. Eli, Y:n logaritmi on normaali jaautunut. α X Pr{ e < y} = Pr X < ln y = PX ln y α α 0.7 py( y) = px ln y, y > α y α p(x) x

16 Jaauma a ab px =, b> 0, x> b a x + a muoto parametri (shape parameter) b saalaus parametri (scale parameter) Kertymä b Pr{ X < x} = x, x b Odotusarvo ab a > E{ X} = a a Varianssi ab a > var{ X} = ( a ) ( a ) a Pareto-jaauma a b= b=5 Pareto-jaauma on ns. pasuhäntäinen (heavy tailed) jaauma. a= a= a=3 Yhteisjaauma Oloon X ja X satunnaismuuttujia. odennäöisyyttä tapahtumalle X < x meritään Pr { X < x, X < x} X < x Kertymäfuntio (, ) = Pr { <, < } P x x X x X x Yhteisjaauma p x, x = P x, x x x odennäöisyys x x Pr x < X < x, x < X < x = p( x, x ) dx dx 0 0 x0 x0 Yleistäminen N:lle muuttujalle on triviaalia

17 Ehdollinen todennäöisyys Ehdollinen todennäöisyys Pr { x0 < X < x, x0 < X < x} Pr{ x0 < X < x x0 < X < x} = Pr{ x < X < x } = x x x0 x0 x x0 (, ) p x x dxdx p x dx Ehdollinen jaauma px ( x) = Pr X < x X < x = x x x (, ) 0 p x x dx p x dx Yhteisjaauma Esimeri: -dimensioinen Gaussinen jaauma p( x, x ) = exp + ( ρ ) ( x η) ρ( x η)( x η) ( x η) σ σ σ σ πσσ ρ x η (, ) p x x = c { x } = η { x } = η {( x ) } {( x ) } E, E E η = σ, E η = σ {} E x η x η = ρ σ σ { = x} E x x η x Jos ρ = 0, niin satunnaismuuttujat ovat riippumattomia. Jos ρ =, niin x = ax + b, a, b

18 Stoastiset prosessit Stoastinen prosessi on jouo satunnaismuuttujia { Xt (, ω), t, ω Ω}, jota indesoi reaaliarvoinen parametri t (yleensä aia) Indesijouoa t utsutaan prosessin parametriavaruudesi. Joainen ysittäinen satunnaismuuttuja on uvaus otosavaruudesta reaali- (tai omplesi-) tasoon. Aleistapausta ω vastaavaa parametrisoitua jouoa utsutaan satunnaisluvun X() t realisaatiosi/trajetorisi/polusi. Usein äytetään laisaa notatiota ja samaistetaan stoastinen prosessi sen realisaatioon Stoastiset prosessit ila-avaruus (state-space) on X() t :n mahdollisten luujen jouo. (vrt. satunnaisluvun otosavaruus) ila-avaruus on disreetti, jos tilojen luumäärä on rajallinen tai numeroituva Disreettitilainen/Disreettiaiainen prosessi/sevenssi/etju(chain) { X( t )}, t { t0, t, t,... } ila-avaruus on jatuva, jos aiaindesi uuluu einumeroituvaan jatuvaan jouoon Jatuvatilainen/Jatuva-aiainen prosessi X(), t t (0, ]

19 Stoastiset prosessit ilastolliset ominaisuudet ovat ajan funtioita Kertymäfuntio P xt ; = Pr X( t) x X iheysfuntio d px x; t = PX x; t dx Odotusarvo Autoorrelaatio Ristiorrelaatio Stoastiset prosessit η x () t = E X() t = xp( x,) t dx * φ xx ( t, t ) = E X( t ) X ( t ) = x x p x, x, t, t dxdx * φ xy ( t, t ) = E X( t ) Y ( t ) = xyp x, y; t, t dxdy Autoovarianssi * Cxx( t, t) = E{ ( X( t) E{ X( t) })( X( t) E{ X( t) }) } = φxx ( t, t) ηx ( t) ηx ( t) Ristiovarianssi * Cxy ( t, t) = E{ ( X( t) E{ X( t) })( Y( t) E{ Y( t) }) } = φxy ( t, t) ηx ( t) ηy ( t)

20 Stationaariset prosessit Kasi stoastista eivät orreloi, jos * * φ ( t, t ) = E X( t ) Y ( t ) = E X( t ) E Y ( t ) = η ( t) η ( t) xy x y Cov ( t, t xy ) = 0 Kasi stoasista prosessia ovat ortogonaalisia, jos φ xy ( t, t) = 0 Jos stoastisten prosessien välillä on lineaarinen riippuvuussuhde yt () = axt () + b φ ( t, t ) = aφ ( t, t ) + bη ( t ) xy xx x ρ Cov ( t, t ) xy = = φxx ( t, t) φyy ( t, t) Korrelaatioerroin Poisson prosessi arastellaan saapumis prosessia, jossa asiaaita saapuu intensiteetillä λ siten, että aiavälissä (0,t) saapuu asiaasta todennäöisyydellä ( λt) λt Pr { Xt = } = e! Saapuneiden asiaaiden oonaismäärä Xt () on stoastinen prosessi X (0) = 0 x() t. ja. momentit ( λt) λt ηx() t = E{ X() t } = e = λt = 0 ( λt)! λt λ = 0! { } = λ ( ) E X t X t t t λ E X () t = e = t + t a+ η x () t

21 Poisson prosessi Autoorrelaatio φ ( ) = E ( X( t) X(0) ) + E{ X( t) X(0) } E{ X( t) X( t) } xx ( t, t) = E Xt ( ) Xt ( ) = E Xt ( ) X(0) Xt ( ) X(0) + Xt ( ) Xt ( ), t t = λ t + λ t + λ t λ t t = λ t + λ t t Muuttuja Xt ( ) Xt ( ) on riippumaton Xt ( ) Xt ( 0) :sta. t 0 Xt Xt 0 t Xt Xt t N-dimensioiset stoastiset prosessit Yhteisjaauma ja ertymäfuntio p xt ; = p x, x,..., x ; t, t,..., t ( n n) ( xt ; ) = Pr {,,..., } P X t x X t x X t x X n n..., x [... ] X= X t X t X tn = x x x t = [ t t... t ] Jos X t :t riippumattomia, niin n n ( xt ; ) = (, ) X( xt ; ) = Pr{ } p p x t P X t x = = Jos satunnaissevenssi on stationaarinen P ( x;t + τ ) = P ( x;t) X X n n

22 Stationaariset prosessit Stationaarisuus (wide sense stationarity): ilastolliset ominaisuudet ajasta riippumattomia. mx = E{ x() t } = xp( x) dx * φ ( t, t ) = φ ( τ) = E x( t) x ( t τ) = x x p x, x ; τ dxdx, t t = τ xx xx Ergodisuus: ilastolliset ominaisuudet voidaan määrttää ysittäisestä realisaatiosta. => Aiaesiarvo vastaa oletusarvoa. lim x( tdt ) = E{ xt } = mx Riippumattomuus (independency): * var { X( t) }, t = t E {( X( t) E { X( t) })( X( t) E { X( t) }) } = 0, t t Stoastisen prosessin tiheysfuntio saadaan eri ajan hetille määriteltyjen todennäöisyystiheysien tulona Valoinen ohina arastellaan stationaarista normaalijaautunutta prosessia. ällöin x () t p( x() t ) = e σ πσ φ x ( t) + x ( t) * σ xx ( t, t) = E{ x( t) x ( t) } = x( t) x( t) e dx( t ) dx( t), τ = t t πσ x ( t) + x ( t+ τ ) * σ φxx ( τ) E{ x( t) x ( t τ) } x( t) x( t τ) e dx( t ) dx( t τ) πσ = = + = τ 0 = σ τ = 0 N(0, σ ) σ δ τ τ

23 Valoinen ohina Johtuu varautuneiden partielien (eletronien) satunnaisesta liieestä johtavassa aineessa. Oloon lämpötila Kelviniä ja johtimen resistanssi R Ohmia, tällöin eletronien liie saa aiaan Normaalijaautuneen jännitteen jona u esiarvo on 0V ja varianssi on lämpötila π E u = R.9 0 R Bolzmannin vaio 3h h Planin vaio neliövolttia Stoastiset prosessit Esimeri: Valoisen ohinan aiaesiarvo t xt () = ztdt () t t E { xt } = E { zt } dt 0 = t t t+ τ φxx( τ) = E { x( txt ) ( + τ) } = E { zt zt } dtdt t t + τ t t+ τ = ( t t) dtdt σδ t t + τ ( τ ) σ σ τ < = dt = t { t, t} { t + τ, t+ τ} 0 muutoin φ xx τ σ t τ τ t + τ t + τ t 3

24 Sylostationäärinen prosessi Prosessi on sylostationäärinen jos sen autoorrelaatiofuntio on periodinen φ ( t+ τ +, t+ ) = φ ( t+ τ, t) xx jasonaia Kesimääräinen autoorrelaatio φxx( τ) = φxx ( t+ τ, t) dt xx Stoastiset prosessit Esimeri: arastellaan binäärisevenssiä { bn, n =,,..., }, jossa arvot 0 ja ovat yhtä todennäöisiä ja niiden arvot ovat toisistaan riippumattomia. Pr{ bn = } = Pr{ bn = 0} = 0.5 Määritellään uvaus bitistä "jännitetasosi" In = bn E{ In} = Pr i { bn = 0} + Pr i { bn = } = 0 = 0 φ II = E{ InIn+ } =

25 Sylostationäärinen prosessi Esimeri. Jono satunnaisia toisistaan rippumattomia bittejä Pr{ I = } = Pr{ I = } = 0 l E{ IIl} = = l x() t = I g( t ) x() t = gt () = 0 0 t muutoin t τ ( + ) t φxx ( tt, + τ) = E{ xtxt ( + τ) } =, t ( + ) 0 muutoin φxx ( tt, + τ ) t t + τ t = t = + t = + τ Sylostationäärinen prosessi Periodiselle signaalille pätee φ ( τ ) = φ ( t+ τ, t) dt = φ ( t+ τ, t) dt xx xx xx 0 φxx ( tt, + τ ) t = 0 t = t = φxx ( tt, + τ ) τ τ

26 Sylostationäärinen prosessi Systemaattinen tapa x() t = I g( t ) = φxx (, tt+ τ) = E{ xtxt () ( + τ) } = E IIgt l ( gt ) ( l) = l= = E I I g( t ) g( t+ τ l) = l= l = E I I g( t ) g( t+ τ ( + m) ) = m= + m = φ ( mgt ) ( gt ) ( + τ ( + m ) ) = m= II Sylostationäärinen prosessi Määritellään pulssin autoorrelaatio * gg = g( tg ) ( t+ ) dt Kesimääräinen autoorrelaatio φxx ( τ) = φxx ( t+ τ, t) dt = = φii ( m) g( t) g( t+ τ m) dt m= = = φ ( m) φ ( τ m) m= II φ τ τ gg Konvoluutio