Luento Otosavaruus, tapahtuma. Otosavaruus (sample space) on kaikkien mahdollisten alkeistapahtumien (sample) ω joukko.

Samankaltaiset tiedostot
Luento Otosavaruus, tapahtuma. Otosavaruus (sample space) on kaikkien mahdollisten alkeistapahtumien (sample) ω joukko.

Olkoot X ja Y riippumattomia satunnaismuuttujia, joiden odotusarvot, varianssit ja kovarianssi ovat

Todennäköisyysjakaumat 1/5 Sisältö ESITIEDOT: todennäköisyyslaskenta, määrätty integraali

4. Todennäköisyyslaskennan kertausta

STOKASTISET DIFFERENTIAALIYHTÄLÖT 7

Tehtävä 2 Todista luennoilla annettu kaava: jos lukujen n ja m alkulukuesitykset. ja m = k=1

Luento 2. S Signaalit ja järjestelmät 5 op TKK Tietoliikenne Laboratorio 1. Jean Baptiste Joseph Fourier ( )

Sattuman matematiikkaa III

V. POTENSSISARJAT. V.1. Abelin lause ja potenssisarjan suppenemisväli. a k (x x 0 ) k M

Inversio-ongelmien laskennallinen peruskurssi Luento 7

[ ] [ 2 [ ] [ ] ( ) [ ] Tehtävä 1. ( ) ( ) ( ) ( ) ( ) ( ) 2( ) = 1. E v k 1( ) R E[ v k v k ] E e k e k e k e k. e k e k e k e k.

MS-A0402 Diskreetin matematiikan perusteet Esimerkkejä ym., osa I

3. Markovin prosessit ja vahva Markovin ominaisuus

MS-A0402 Diskreetin matematiikan perusteet

JOHDATUS LUKUTEORIAAN (syksy 2017) HARJOITUS 1, MALLIRATKAISUT

Todennäköisyyslaskenta IIa, syys lokakuu 2019 / Hytönen 1. laskuharjoitus, ratkaisuehdotukset

M 2 M = sup E M 2 t. E X t = lim. niin martingaalikonvergenssilauseen oletukset ovat voimassa, eli löydämme satunnaismuuttujan M, joka toteuttaa ehdon

Luento 11. Stationaariset prosessit

Vakuutusmatematiikan sovellukset klo 9-15

Otosavaruus ja todennäköisyys Otosavaruus Ë on joukko, jonka alkiot ovat kokeen tulokset Tapahtuma on otosavaruuden osajoukko

Johdatus todennäköisyyslaskentaan Momenttiemäfunktio ja karakteristinen funktio. TKK (c) Ilkka Mellin (2005) 1

P (X B) = f X (x)dx. xf X (x)dx. g(x)f X (x)dx.

TODENNÄKÖISYYSLASKUN KERTAUS Peruskäsitteitä

Mat Sovellettu todennäköisyyslasku A. Moniulotteiset jakaumat. Avainsanat:

Ilkka Mellin Todennäköisyyslaskenta. Osa 2: Satunnaismuuttujat ja todennäköisyysjakaumat. Momenttiemäfunktio ja karakteristinen funktio

Todennäköisyyden ominaisuuksia

2 Taylor-polynomit ja -sarjat

4.0.2 Kuinka hyvä ennuste on?

Eksponentti- ja logaritmiyhtälö

MS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi

Nämä ovat siis minimivaatimukset, enemmänkin saa ja suositellaan

Johdatus lukuteoriaan Harjoitus 1 syksy 2008 Eemeli Blåsten. Ratkaisuehdotelma

1. YKSISUUNTAINEN VARIANSSIANALYYSI: AINEISTON ESITYSMUODOT

Suodatus ja näytteistys, kertaus

Luento 11. Stationaariset prosessit

MS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi

Johdatus todennäköisyyslaskentaan Satunnaismuuttujien muunnokset ja niiden jakaumat. TKK (c) Ilkka Mellin (2004) 1

Satunnaismuuttujien muunnokset ja niiden jakaumat

Kurssilla esitetään lyhyt katsaus niihin todennäköisyyden ja satunnaisprosessien peruskäsitteisiin ja -ominaisuuksiin, joita tarvitaan digitaalisten

8. Muita stokastisia malleja 8.1 Epölineaariset mallit ARCH ja GARCH

Johda jakauman momenttiemäfunktio ja sen avulla jakauman odotusarvo ja varianssi.

funktiojono. Funktiosarja f k a k (x x 0 ) k

Todennäköisyyslaskun kertaus. Heliövaara 1

IV. TASAINEN SUPPENEMINEN. f(x) = lim. jokaista ε > 0 ja x A kohti n ε,x N s.e. n n

BINÄÄRISET TIEDONSIIRTOMENETELMÄT TÄRKEIMPIEN ASIOIDEN KERTAUS A Tietoliikennetekniikka II Osa 11 Kari Kärkkäinen Syksy 2015

Ylioppilastutkintolautakunta S tudentexamensnämnden

3. laskuharjoituskierros, vko 6, ratkaisut

Moniulotteiset satunnaismuuttujat ja jakaumat

Todennäköisyyslaskun kertaus. Vilkkumaa / Kuusinen 1

MS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi

TAMPEREEN YLIOPISTO Pro gradu -tutkielma. Hannu Pajula. Stirlingin luvuista

Joulukuun vaativammat valmennustehtävät ratkaisut

Todennäköisyyslaskennan ja tilastotieteen peruskurssi Esimerkkikokoelma 3

HY, MTO / Matemaattisten tieteiden kandiohjelma Tilastollinen päättely II, kevät 2018 Harjoitus 6A Ratkaisuehdotuksia.

MAT Todennäköisyyslaskenta Tentti / Kimmo Vattulainen

Moniulotteisia todennäköisyysjakaumia

4.1. Olkoon X mielivaltainen positiivinen satunnaismuuttuja, jonka odotusarvo on

Sovellettu todennäköisyyslaskenta B

Ilkka Mellin Todennäköisyyslaskenta Osa 3: Todennäköisyysjakaumia Moniulotteisia todennäköisyysjakaumia

Talousmatematiikan perusteet, L2 Kertaus Aiheet

Talousmatematiikan perusteet, L2 Kertaus Aiheet

Olkoon R S otosavaruuksien R ja S karteesinen tulo: Satunnaismuuttujien X ja Y järjestetty pari (X, Y) määrittelee kaksiulotteisen satunnaismuuttujan:

SYMBOLIVIRHETODENNÄKÖISYYDESTÄ BITTIVIRHETODENNÄKÖISYYTEEN

3. Teoriaharjoitukset

Odotusarvo. Odotusarvon ominaisuuksia Satunnaismuuttujien ominaisuuksia 61

30A02000 Tilastotieteen perusteet

(1 + i) + JA. t=1. t=1. (1 + i) n (1 + i) n. = H + k (1 + i)n 1 i(1 + i) n + JA

III. SARJATEORIAN ALKEITA. III.1. Sarjan suppeneminen. x k = x 1 + x 2 + x ,

DEE Lineaariset järjestelmät Harjoitus 2, ratkaisuehdotukset. Johdanto differenssiyhtälöiden ratkaisemiseen

Tilastomatematiikka Kevät 2008

2 exp( 2u), kun u > 0 f U (u) = v = 3 + u 3v + uv = u. f V (v) dv = f U (u) du du f V (v) = f U (u) dv = f U (h(v)) h (v) = f U 1 v (1 v) 2

J1 (II.6.9) J2 (X.5.5) MATRIISILASKENTA(TFM) MALLIT AV 6

4.3 Erillisten joukkojen yhdisteet

(b) Tarkista integroimalla, että kyseessä on todella tiheysfunktio.

Sovellettu todennäköisyyslaskenta B

Harjoitus 2: Matlab - Statistical Toolbox

Matematiikan tukikurssi

Moniulotteisia todennäköisyysjakaumia. Moniulotteisia todennäköisyysjakaumia. Moniulotteisia todennäköisyysjakaumia: Mitä opimme?

Johdatus todennäköisyyslaskentaan Moniulotteiset satunnaismuuttujat ja todennäköisyysjakaumat. TKK (c) Ilkka Mellin (2005) 1

Lisää Diskreettejä jakaumia Lisää Jatkuvia jakaumia Normaalijakaumasta johdettuja jakaumia

MS-A0503 Todennäköisyyslaskennan ja tilastotieteen peruskurssi

ABHELSINKI UNIVERSITY OF TECHNOLOGY

JATKUVAT JAKAUMAT Laplace-muunnos (Laplace-Stieltjes-muunnos)

ABTEKNILLINEN KORKEAKOULU

5. Stokastiset prosessit (1)

Projektin arvon aleneminen

Luku 10. Bayesläiset estimaattorit Bayesläiset piste-estimaatit. Lasse Leskelä Aalto-yliopisto 18. lokakuuta 2017

MS-A0502 Todennäköisyyslaskennan ja tilastotieteen peruskurssi

Johdatus todennäköisyyslaskentaan Moniulotteisia todennäköisyysjakaumia. TKK (c) Ilkka Mellin (2005) 1

Ilkka Mellin Todennäköisyyslaskenta Osa 2: Satunnaismuuttujat ja todennäköisyysjakaumat Moniulotteiset satunnaismuuttujat ja jakaumat

Satunnaismuuttujat Satunnaismuuttuja kuvaa kokeen tuloksen reaaliakselille Satunnaismuuttuja on siis funktio X(s) joka saa reaalisia arvoja Koe s

MS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi

Ilkka Mellin Todennäköisyyslaskenta Osa 3: Todennäköisyysjakaumia Jatkuvia jakaumia

9 Lukumäärien laskemisesta

Tässä luvussa mietimme, kuinka paljon aineistossa on tarpeellista tietoa Sivuamme kysymyksiä:

Missä mennään. systeemi. identifiointi. mallikandidaatti. validointi. malli. (fysikaalinen) mallintaminen. mallin mallin käyttötarkoitus, reunaehdot

Todennäköisyyslaskenta IIa, syys lokakuu 2019 / Hytönen 3. laskuharjoitus, ratkaisuehdotukset

ELEC-C7230 Tietoliikenteen siirtomenetelmät

V ar(m n ) = V ar(x i ).

Poisson-prosessien ominaisuuksia ja esimerkkilaskuja

Transkriptio:

Luento odennäöisyyslasentaa Otosavaruus, tapahtuma ja todennäöisyys Ehdollinen todennäöisyys, tilastollinen riippumattomuus, Bayesin teoreema, oonaistodennäöisyys Odotusarvo, varianssi, momentti Stoastiset prosessit Stationäärisyys ja ergodisuus 4..7 Otosavaruus, tapahtuma Otosavaruus (sample space) on aiien mahdollisten aleistapahtumien (sample) ω jouo. Esim.. Nopanheitto Ω= {,,3, 4,5, 6} Esim.. Lähetyspusurissa olevien paettien luumäärä Ω = {,,,... } = Esim. 3. Puhelinestoaia Ω = { > } apahtumat A, BC,,... (events) ovat otosavaruuden mitallisia osajouoja ABC,,,... Ω Mahdoton tapahtuma esitetään tyhjällä jouolla Varma tapahtuma esitetään oo otosavaruudella Ω Esim.. Nopan silmäluu on seitsemän A = Esim.. Pusurissa ei ole paetteja A = { } Esim. 3. Puhelu estää oreintaan s { } A= < < 4..7 Ω

Otosavaruus, tapahtuma Yhdiste (union) A B Leiaus (intersection) A B c Komplementti (complement) A = { ω Ωω A} apahtumat ovat toisensa poissulevia (disjoint), jos A B = Kooelma { B i } tapahtumia muodostaa tapahtuman ositusen (partition), jos Bi B j = Bj = A j A B B B3 B4 Ω Ω A A B B c A Ω A B 4..7 3 odennäöisyys apahtuman todennäöisyys on sitä vastaavan jouon mitta Pr : I [,], missä Ion aiien tapahtumien yhdiste. i) Pr Ω = { } = { A B} = { A} + { B} { A B} ii) Pr iii) Pr Pr Pr Pr c { A } = { Ω A} = { Ω} { A} = { A} = { Bj} A= Bj Bi Bj = iv) Pr Pr \ Pr Pr Pr iv) Pr A Pr,, Ehdollinen todennäöisyys j { A B} Pr{ B} Pr Pr AB = Pr AB Pr B = Pr BA Pr A j 4..7 4

odennäöisyys Koonaistodennäöisyys Oloon { B i } otosavaruuden Ω ositus ällöin { Bi A} on tapahtuman A ositus: A = A Bj ja Pr A = Pr j A B Ω j j Ehdollisen todennäöisyyden lauseeesta saadaan Pr{ A Bj} Pr{ ABj} = Pr B { j} B B Pr A Bj = Pr A Bj Pr Bj B3 B4 Koonaistodennäöisyys voidaan siis irjoittaa muotoon Pr{ A} = Pr{ ABj} Pr{ Bj} j 4..7 5 A Bayesin aava Oloon B otosavaruuden Ω ositus; tällöin i { A Bi} Pr{ Bi} { A Bi} Pr Pr{ ABi} = Pr Pr Pr{ Bi A} = Pr{ Bi A} = Pr A Pr A B Pr B j Pr{ A} = Pr{ A Bj} Pr{ Bj} j { ABi} Pr{ Bi} { j} { j} a priori todennäöisyys a posteriori todennäöisyys Pr Pr { A Bi } { Bi A} 4..7 6 3

ilastollinen riippumattomuus Määritelmä: A ja B ovat riippumattomia (independent), jos Pr A B = Pr A Pr B Oloon A ja Briippumattomia tapahtumia, tällöin Pr{ A B} Pr{ A} Pr{ B} Pr{ AB} = = = Pr{ A} Pr{ B} Pr{ B} Pr{ A B} Pr{ A} Pr{ B} Pr{ BA} = = = Pr{ B} Pr{ A} Pr{ A} 4..7 7 Esimeri. Binäärinen siirtoanava Valitaan lähetettävä bitti satunnaisesti Pr{ lähetettävä bitti on } = Pr{ lähetettävä bitti on } = q Bittivirhetodennäöisyys Pr{ bittivirhe} = p -p p p -p Oiein ja virheellisesti lähetettyjen bittien todennäöisyydet Pr vastaanotetaan lähetty = Pr bittivirhe = p Pr vastaanotetaan lähetty = Pr bittivirhe = p Kuina hyvin voimme luottaa vastaanottimeen? Pr{ lähetetty vastaanotettu } =? 4..7 8 4

Esimeri. Binäärinen siirtoanava Sovelletaan Bayesin aavaa Pr{ vastaanotettu lähetetty } Pr{ lähetetty } = Pr{ vastaanotettu lähetetty } Pr{ lähetetty } + Pr{ vastaanotettu lähetetty } Pr{ lähetetty } Pr lähetetty vastaanotettu ( ) ( ) p q = p q+ p( q) Jos molemmat bitit yhtätodennäöisiä Pr lähetettävä bitti on = Pr lähetettävä bitti on = q =.5 Pr lähetetty vastaanotettu = Pr vastaanotettu lähetetty = p Jos bitti on asi ertaa niin todennäöinen uin Pr lähetettävä bitti on = q = / 3 Pr{ lähetetty vastaanotettu } = p + p 4..7 9 Satunnaismuuttujat Disreetti satunnaismuuttuja voi saada vain arvoja jota uuluvat numeroituvaan jouoon {,,,... } =Ω Oloon p todennäöisyys, että saa arvon Pr{= }= p Kertymäfuntio (cumulative probability function, cdf) { } = < F ( ) Pr p, + l l= F ( ) 3 4..7 5

Satunnaismuuttujat Jatuva satunnaismuuttuja voi saada arvoja ei numeroituvasta jouosta. Esim. < < =Ω Kertymäfuntio { } F( ) Pr = f( ) d odennäöisyystiheys f ( ) f ( ) F ( ) 4..7 Satunnaismuuttujat Seatyypin satunnaismuuttuja sisältää seä jatuvia, että disreettejä arvoja. Esim. =Y+Z, Y jatuva ja Z disreetti Pr Y = = p, Pr Y = = p z < Pr{ Z z} = z z z > F ( ) = Pr{ } p 3 4..7 d f ( ) = F( ) d p 3 6

Kertymäfuntion on F ( ) Pr{ } Positiivinen ja rajattu F ( ) Ei-vähenevä y F() F() y Raja-arvot F ( ) = F ( = ) Kertymäfuntio odennäöisyys Pr = F F ( ) ( ) = f ( ) d Pistetodennäöisyys { = } = ε { F F( ε) } Pr lim ( ) Jatuvan satunnaismuuttujan tapausessa ysittäisen arvon todennäöisyys on differentiaalisen pieni. Disreetin satunnaismuuttujan tapausessa todennäöisyys on nollasta poieava un,,,... =Ω 4..7 3 Prosenttipiste Satunnaismuuttujan prosenttipiste (percentile) on pienin u siten, että u = Pr = F ( ), u u u Eli, u saadaan ertymäfuntion äänteisfuntion avulla = F ( u) u.8647.9 4.5 4.8 3.5.7 3 F().6.5.4 F - (u).5.3.5...5 4 6.5 u.8647 4..7 4 7

odennäöisyys tiheys odennäöisyys tiheys F ( +Δ) F( Δ) d f ( ) = lim Δ = f( ) Δ d Ominaisuusia f ( ) f ( ) d= f ( ) d= F ( ) f ( d ) = F ( ) F ( ) 4..7 5 Pistejaauma Pistejaauma on disreetin satunnaismuuttujan todennäöisyystiheys (probability density function, pdf) d f ( ) = F( ) = Pr{ = } δ ( ) d ( ) F f ( ) = δ ( ) + δ ( ) Esim. Nopan heiton pistejaauma 6 6 f ( ) = Pr{ = } δ ( ) = δ ( ) 6 = = 4..7 6 8

Frevenssi, empiirinen cdf ehdään oe n ertaa ja havaitaan arvot n Arvoa o vastaa todennäöisyys /n Oloon n niiden /n havaintojen määrä jota ovat Empiirinen umulatiivinen tiheysfuntio n F ( ) = Pr F( ) n n n Oloon Δn niiden näytteiden määrä joille pätee, +Δtällöin Δn f ( ) Δ n F - (u ).5.5.5 3 3.5 4 4.5 4..7 7...3.4.5.6.7.8.9.4..8.6.4. 4.5 4 3.5 3.5.5.5 CDF: F() Emirical CDF: F n () Quatlet äyrä u u unnusluuja Odotusarvo (epected value) Jatuvalle jaaumalle μ = E { } = p( ) d Pistejaaumalle (disreeteille satunnaisluvuille) Varianssi (variance) Jatuvalle jaaumalle Pistejaaumalle { } Pr{ } μ = E = = Ω σ = var = E E = E p( ) d σ = var = E = Pr = 4..7 Ω 8 E E 9

unnusluuja Kesihajonta (standard deviation) σ = Kovarianssi (covariance) Korrelaatioerroin (correlation coefficient) ρ Momentti (moment) m y = = var{ } {( { } )( Y { Y} )} ( { } ) ( Y Y ) E E E { } { } E E E E E{ } {( )( )} * * cov( Y, ) = E E Y EY 4..7 9 Bernolli-jaauma Kuvaa ysittäistä satunnaisoetta, jona tulosena on onnistumenen todennäöisyydellä p tai epäonnistuminen todennäöisyydellä -p. Pistetodennäöisyydet Pr{ = } = p, Pr{ = } = p Odotusarvo E = Pr = + Pr = = p { } = ( { } ) var E E { } ( { } ) p( p) = E E = 4..7

Binomijaauma Onnistumisien luumäärä n:ssä perättäisessä toisistaan riippumattomissa oeessa.,,,..., n Pistetodennäöisyydet n Pr{ = } = p ( p) Kertymäfuntio n n Pr = p p = Odotusarvo n E = Pr = = np = Varianssi p var{ } = p n ( ) ( ) n n n! Binomiteijä = ( n )!! (binomial coefficient) n! = i i... in Kertoma (factorial) 4..7 Poisson-jaauma arastellaan Binomijaaumaa un n asvaa rajatta Oloon.9 a=.5 a a= p =, < a< n.8 n ällöin n! a a.4 Pr{ = } = l ( n )!! n n n ( n + )( n + )... n a a a a a, e = n n! n n! Kosa ( n )( n ) n n n ( ) a a e n 4..7 n + +... +... +... = n n n Cumulative PDF.7.6.5.3 3 4 5 6 7 8 9

Poisson jaauma Oletusarvo E a = = = e! Pr = = ( )! (! ) = i = =!. momentti a a a a a a E = e = e = ae +!!! a a a a a a a = ae = ae = ae = a Varianssi ae e a a E{ ( { }) } E E{ } ( ) e a e = =! ( ) = = = ( ) a a a a a a = ae ( + ) = ae e + = a a + =! =! =! ( ) E = = a a+ a = a Maclaurin sarja 4..7 3 Poisson jaauma Esimeri. Uusia puheluita saapuu puhelinvaihteeseen Poisson jaautuneesti intensiteetillä λ puhelua minuutissa. Rataise ahden perättäisen saapuvan puhelun aiaeron jaauma. Ajassa t saapuu puhelua todennäöisyydellä ( λt) λt Pr { = t ; } = e! Saapumisaiojen ero on pienempi uin t, jos ajassa t saapuu vähintään ysi puhelu t F () t Pr{ t} = Pr{ = ; t} = e λ Jaauma saadaan derivoimalla: d f () t = Pr{ t} =λe λ t dt 4..7 4

Jaauma λe f ( ) λ = < Esponenttijaauma Kertymäfuntio λ F ( ) Pr = e, ( ) Muistittomuus Pr, Pr > + > = ( y ) { > + } { > } λ( + y) { > + y > } Pr{ > } Pr y e λ y = = = e = Pr > y λ Pr e p().8.6.4..8.6.4. 3 4 5 6 7 8 9 λ= λ= λ=/ 4..7 5 Jaauma asajaauma a b p ( ) = b a, muutoin a< b Odotusarvo b b a ( b a)( b+ a) E{ } = d = = = ( b + a) b a b a b a a b 3 3 b a ( b a)( b + ab+ a ) E{ } = d = = = b a 3 b a 3 b a 3 b + ab + a ( ) a ( b a) 4 3 var{ } = ( b a) ( b + ab+ a ) ( b + ab+ b ) = 4..7 6 3

Kvantisointi arastellaan M bittistä tasavälistä analogia digitaali A/D muunninta. Kvantisointitasojen määrä on M Oletetaan, että signaalin (t) amplitudi on rajoitettu välille [-A,A]. ällöin vantisointi voidaan esittää funtiona Q M [] M A + QM [ ] = A M = floor( ) Pyöristys alaspäin Kvantisointitasojen väli on A A Δ = = M M Δ 4..7 7 Kvantisointi Jos signaaliarvot ovat tasajaautuneita välille [-,], niin vantisointi virhe e on tasajaautunut välille E Δ, Δ Q M [] M=4.8.6.4. -. -.4 -.6 Kvantisointi virheen pdf fe () e =, Δ e Δ Δ Kvantisointi virheen varianssi Δ E e Δ σ = de= Δ ( Δ) - - -.8 -.6 -.4 -...4.6.8 -.6 4..7 8 Quantization error -.8.8.6.4. -. -.4 -.8 - -.8 -.6 -.4 -...4.6.8 4

Kvantisointi Kvantisointia voidaan mallittaa tasajaautuneena additiivisena ohinana e y Σ y Signaali ohina-suhde vantisointilohon ulostulossa sinimuotoiselle signaalille, jona amplitudi on A A P 3 M SNR = = = = σ e ( Δ) A M 3 log ( SNR) = log + M log ( ).76 db + 6.6 db/bitti 4..7 9 Normaalijaauma N( μ, σ ) Jaauma p( ) = e πσ ( μ ) σ Odotusarvo E{ } = μ Varianssi var{ } = σ Kertymäfuntio ( μ ) σ Pr{ } = e d πσ p().4.35.3.5..5..5 σ = σ = σ = 4 - -8-6 -4-4 6 8 4..7 3 5

erminen ohina metalli johtimissa Johtuu varautuneiden partielien (eletronien) satunnaisesta liieestä johtavassa aineessa. Oloon lämpötila Kelviniä ja johtimen resistanssi R Ohmia, tällöin eletronien liie saa aiaan Normaalijaautuneen jännitteen jona u esiarvo on V ja varianssi on lämpötila ( ) π E u = R.9 R Bolzmannin vaio 3h h Planin vaio neliövolttia. 4..7 3 Satunnaisluujen summa arastellaan ahden satunnaisluvun summaa Y = + joiden ertymäfuntiot ja todennäöisyystiheydet ovat Pr { } = F ( ) Pr { } = F ( ) d d F ( ) = f ( ) F ( ) = f ( ) d d Rataistaan ensin ehdollinen todennäöisyys Pr Y y = = Pr y = F( y ) Koonaistodennäöisyys saadaan integroimalla :n jaauman yli { Y y} = F y f d Pr ( ) ( ) iheysfuntio saadaan tästä derivoimalla d Fy( y) = Pr { Y y} = f ( y ) f( ) d dy 4..7 3 Konvoluutio integraali 6

Keseinen raja-arvo lause (Central limit theorem) Oloon,,, N jouo riippumattomia satunnaissuureita. Satunnaissuure i :n todennäöisyystiheys f i () voi olla mielivaltainen unhan sen odotusarvo μ i ja varianssi σ i ovat rajoitettuja. Summa N i μ i Z N = i= σ i lähestyy N(,) jaaumaa un N. limn Pr Z N < =Φ( ) t Φ ( ) = e dt π 4..7 33 Keseinen raja-arvo lause arastellaan N tasajaautuneen U(,) muuttujan summan todennäöisyystiheyttä.9.8.7.6 N= N= N=3.5.4 N=8.3.. 3 4 5 6 7 8 4..7 34 7

Normalisoitu Normaalijaauma auluoista löytyy N(,) y t Φ ( y) = e dt π Yleisestä tapausesta päästään tähän muuttujan vaihdolla μ y = σ Usein tarvitaan häntätodennäöisyyttä (tail probability) y Q( y) = Pr{ Y > y} = Pr{ Y y} = e dy π y 4..7 35 Normalisoitu Normaalijaauma y Q( ) = e dy π - - -3 Q() -4-5 -6-7.5.5.5 3 3.5 4 4.5 5 4..7 36 8

Komplesinen normaalijaauma arasellaan satunnaissuuretta i z = + iy = re φ y, ~ N(, σ ) * Satunnaissuure u = zz = + y on eponenttijaautunut pu ( ) ep, σ σ u = u Satunnaissuure r = z = + y on Rayleigh-jaautunut r pr () = ep r, r σ σ Satunnaissuure φ on tasajaautunut p( φ) =, φ π π y r θ 4..7 37 Log-normaalijaauma Oloon normaalijaautunut satunnaismuuttuja, tällöin Y = e α, α > on log-normaalijaautunut. Eli, Y:n logaritmi on normaali jaautunut. α Pr{ e < y} = Pr < ln y = P ln y α α.7 py( y) = p ln y, y >.6 α y α.5.4 p().3.. 3 4 5 6 7 8 9 4..7 38 9

Jaauma a ab p ( ) =, b>, > b a + a muoto parametri (shape parameter) b saalaus parametri (scale parameter) Kertymä b Pr{ < } =, b Odotusarvo ab a > E{ } = a a Varianssi ab a > var{ } = ( a ) ( a ) a Pareto-jaauma a 3 4 5 6 7 8 9 4..7 39 3.5.5.5 b= b=5 Pareto-jaauma on ns. pasuhäntäinen (heavy tailed) jaauma. a= a= a=3 Yhteisjaauma Oloon ja satunnaismuuttujia. odennäöisyyttä tapahtumalle < meritään Pr { <, < } < Kertymäfuntio (, ) = Pr { <, < } F Yhteisjaauma f, = F, ( ) ( ) odennäöisyys Pr < <, < < = f (, ) d d Yleistäminen N:lle muuttujalle on triviaalia. 4..7 4

Ehdollinen todennäöisyys Ehdollinen todennäöisyys Pr { < <, < < } Pr{ < < < < } = Pr{ < < } = f (, ) f dd ( ) d Ehdollinen jaauma f( ) = Pr < < = f (, ) f d ( ) d 4..7 4 Yhteisjaauma Jos satunnaismuuttujat ja Y ovat rippumattomia, niin FY,, y Pr, Y = Pr Pr Y = F Fy ( ) ( ) ( ) fy, (, y) Pr {, Y } = Pr{ } Pr{ Y } = f ( ) fy( ) y y Ehdollinen todennäöisyys Pr {, Y } Pr{ } Pr{ Y } Pr{ Y y} = = = Pr Pr Y y Y y Kovarianssi cov( Y, ) = E ( E{ } )( Y EY ) { * } {( * ) } {( )} = E E E Y E Y = 4..7 4

Yhteisjaauma Esimeri: -dimensioinen Gaussinen jaauma p(, ) = ep + ( ρ ) ( η) ρ( η)( η) ( η) σ σ σ σ πσσ ρ η (, ) p = c { } = η { } = η {( ) } {( ) } E, E E η = σ, E η = σ {( )( )} E η η = ρ σ σ { = } E η Jos ρ =, niin satunnaismuuttujat ovat riippumattomia. Jos ρ =, niin = a + b, a, b 4..7 43 Stoastiset prosessit Stoastinen prosessi on jouo satunnaismuuttujia { t (, ω), t, ω Ω}, jota indesoi reaaliarvoinen parametri t (yleensä aia) Indesijouoa t utsutaan prosessin parametriavaruudesi. Joainen ysittäinen satunnaismuuttuja on uvaus otosavaruudesta reaali- (tai omplesi-) tasoon. Aleistapausta ω vastaavaa parametrisoitua jouoa utsutaan satunnaisluvun () t realisaatiosi/trajetorisi/polusi. Usein äytetään laisaa notaatiota ja samaistetaan stoastinen prosessi sen realisaatioon. 4..7 44

Stoastiset prosessit ila-avaruus (state-space) on () t :n mahdollisten luujen jouo. (vrt. satunnaisluvun otosavaruus) ila-avaruus on disreetti, jos tilojen luumäärä on rajallinen tai numeroituva Disreettitilainen/Disreettiaiainen prosessi/sevenssi/etju(chain) { ( t )}, t { t, t, t,... } ila-avaruus on jatuva, jos aiaindesi uuluu einumeroituvaan jatuvaan jouoon Jatuvatilainen/Jatuva-aiainen prosessi (), t t (, ] 4..7 45 Stoastiset prosessit ilastolliset ominaisuudet ovat ajan funtioita Kertymäfuntio F ; t = Pr ( t) ( ) iheysfuntio d f t ; = F t ; d ( ) ( ) 4..7 46 3

Odotusarvo Autoorrelaatio Ristiorrelaatio Stoastiset prosessit η() t = E () t = f(,) t d * ( ) φ ( t, t ) = E ( t ) ( t ) = f,, t, t d d, * Y ( ) φy ( t, t ) = E ( t ) Y ( t ) = yf, y; t, t ddy, Autoovarianssi * C( t, t) = E{ ( ( t) E{ ( t) })( ( t) E{ ( t) }) } = φ ( t, t) η ( t) η ( t) Ristiovarianssi * Cy ( t, t) = E{ ( ( t) E{ ( t) })( Y( t) E{ Y( t) }) } = φy ( t, t) η ( t) ηy ( t) 4..7 47 Stoastiset prosessit Kasi stoastista eivät orreloi, jos * * φ ( t, t ) = E ( t ) Y ( t ) = E ( t ) E Y ( t ) = η ( t) η ( t) y y Cov ( t, t y ) = Kasi stoastista prosessia ovat ortogonaalisia, jos φ y ( t, t) = Jos stoastisten prosessien välillä on lineaarinen riippuvuussuhde yt () = at () + b φ ( t, t ) = aφ ( t, t ) + bη ( t ) y ρ Cov ( t, t ) = = Korrelaatioerroin y ( t, t) φ( t, t) φyy ( t, t) 4..7 48 4

Poisson prosessi arastellaan saapumisprosessia, jossa asiaaita saapuu intensiteetillä λ siten, että aiavälissä (,t) saapuu asiaasta todennäöisyydellä ( λt) λt Pr { t ( ) = } = e! Saapuneiden asiaaiden oonaismäärä t () on stoastinen prosessi () = () t. ja. momentit ( λt) λt η() t = E{ () t } = e = λt = ( λt)! λt λ =! { ( ) ( )} = λ ( ) E t t t t λ ( ) E () t = e = t + t a+ η () t 4..7 49 Poisson prosessi Autoorrelaatio φ ( )(( ) ( )) = E ( ( t) () ) + E{ ( t) () } E{ ( t) ( t) } ( ) ( ) ( t, t) = E t ( ) t ( ) = E t ( ) () t ( ) () + t ( ) t ( ), t t = λ t + λ t + λ t λ t t = λ t + λ t t Muuttuja t ( ) t ( ) on riippumaton t ( ) t ( ) :sta. t t ( ) t ( ) t t ( ) t ( ) t 4..7 5 5

N-dimensioiset stoastiset prosessit Yhteisjaauma ja ertymäfuntio f t ; = p,,..., ; t, t,..., t ( ) ( n n) ( t ; ) = Pr { ( ), ( ),..., ( ) } F t t t n n ( ) ( )... ( ), [... ] = t t tn = t = [ t t... t ] ( ) Jos t :t riippumattomia, niin n n ( t ; ) = (, ) ( t ; ) = Pr{ ( ) } f p t F t = = Jos satunnaissevenssi on stationaarinen F ( ;t + τ ) = F ( ;t) n n 4..7 5 Stationaariset prosessit Stationaarisuus (wide sense stationarity): ilastolliset ominaisuudet ajasta riippumattomia. m = E{ () t } = p( ) d * * φ ( t, t ) = E ( t ) ( t + τ) = E ( t) ( t+ τ) = φ ( τ), t t = τ Ergodisuus: ilastolliset ominaisuudet voidaan määrttää ysittäisestä realisaatiosta. => Aiaesiarvo vastaa oletusarvoa. lim ( tdt ) = E{ t ( )} = m Riippumattomuus (independency): * var { ( t) }, t = t E {( ( t) E { ( t) })( ( t) E { ( t) }) } =, t t Stoastisen prosessin tiheysfuntio saadaan eri ajan hetille määriteltyjen todennäöisyystiheysien tulona. 4..7 5 6

Stationääriset prosessit Stationäärisen ergodisen stoastisen signaalin esimääräinen teho * lim t ( ) dt= E{ t ( ) ( t) } = φ() 4..7 53 Valoinen ohina arastellaan stationaarista normaalijaautunutta prosessia. ällöin () t p( () t ) = e σ πσ φ ( t) + ( t) * σ ( t, t) = E{ ( t) ( t) } = ( t) ( t) e d( t ) d( t), τ = t t πσ ( t) + ( t+ τ ) * σ φ ( τ) E{ ( t) ( t τ) } ( t) ( t τ) e d( t ) d( t τ) πσ = = + = + + τ = σ τ = Kohinan esimääräinen teho P= E () t = φ () = σ N(, σ ) 4..7 54 ( ) σ δ τ τ 7

Stoastiset prosessit Esimeri: Valoisen ohinan aiaesiarvo t ( ) t () = ztdt () zt ()~ N, σ t t E { t ( )} = E { zt ( )} dt = t t t+ τ φ( τ) = E { ( tt ) ( + τ) } = E { zt ( ) zt ( )} dtdt t t + τ t t+ τ = ( t t) dtdt σδ t t + τ ( τ ) σ σ τ < = dt = t { t, t} { t + τ, t+ τ} muutoin φ ( ) τ 4..7 55 σ t τ τ t + τ t + τ t Sylostationäärinen prosessi Prosessi on sylostationäärinen jos sen autoorrelaatiofuntio on periodinen φ ( t+ τ +, t+ ) = φ ( t+ τ, t) jasonaia Kesimääräinen autoorrelaatio Kesimääräinen teho φ ( τ) = φ ( t+ τ, t) dt P = φ () 4..7 56 8

Sylostationäärinen prosessi Esimeri: arastellaan binäärisevenssiä { bn, n =,,..., }, jossa arvot ja ovat yhtä todennäöisiä ja niiden arvot ovat toisistaan riippumattomia. Pr{ bn = } = Pr{ bn = } =.5 Määritellään uvaus bitistä "jännitetasosi" In = bn E{ In} = Pr i { bn = } + Pr i { bn = } = = φ II ( ) = E{ InIn+ } = 4..7 57 Sylostationäärinen prosessi Esimeri. Jono satunnaisia toisistaan rippumattomia bittejä Pr{ I = } = Pr{ I = } = l E{ IIl} = = l () t = I g( t ) () t = gt () = t muutoin 4..7 τ 58 t τ ( + ) t φ ( tt, + τ) = E{ tt ( ) ( + τ) } =, t ( + ) muutoin φ ( tt, + τ ) t t + τ t = t = + t = + ( ) 9

Sylostationäärinen prosessi Periodiselle signaalille pätee φ ( τ ) = φ ( t+ τ, t) dt = φ ( t+ τ, t) dt φ ( tt, + τ ) t = t = t = φ ( tt, + τ ) τ τ 4..7 59 Sylostationäärinen prosessi Systemaattinen tapa () t = I g( t ) = φ (, tt+ τ) = E{ tt () ( + τ) } = E IIgt l ( gt ) ( l) = l= = E I I g( t ) g( t+ τ l) = l= l = E I I g( t ) g( t+ τ ( + m) ) = m= + m = φ ( mgt ) ( gt ) ( + τ ( + m ) ) = m= II 4..7 6 3

Sylostationäärinen prosessi Määritellään pulssin autoorrelaatio * gg ( ) = g( tg ) ( t+ ) dt Kesimääräinen autoorrelaatio φ ( τ) = φ ( t+ τ, t) dt = = φii ( m) g( t) g( t+ τ m) dt m= = = φ ( m) φ ( τ m) m= II φ τ τ gg Konvoluutio 4..7 6 3