4. Todennäköisyyslaskennan kertausta

luento04.ppt S-38.1145 - Liikenneteorian perusteet - Kevät 2006 1

Sisältö eruskäsitteet Diskreetit satunnaismuuttujat Diskreetit jakaumat lkm-jakaumat Jatkuvat satunnaismuuttujat Jatkuvat jakaumat aikajakaumat Muut satunnaismuuttujat 2

Otosavaruus, alkeistapaus, tapahtuma Otosavaruus Ω sample space on kaikkien mahdollisten alkeistapausten ω sample muodostama joukko, ω Ω Esim. 0. Rahanheitto: Ω {H,T} Esim. 1. Nopanheitto: Ω {1,2,3,4,5,6} Esim. 2. siakkaiden lkm jonossa: Ω {0,1,2,...} Esim. 3. siakkaan palveluaika esim. minuutteina: Ω { R > 0} Tapahtumat,B,C,... events ovat otosavaruuden Ω mitallisia osajoukkoja,,b,c,... Ω Esim. 1. Nopanheitossa parillinen luku : {2,4,6} Esim. 2. Jono tyhjä : {0} Esim. 3. siakkaan palvelu kestää yli 3 minuuttia : { R > 3.0} Merkitään :llä kaikkien tapahtumien joukkoa, Varma tapahtuma: otosavaruus Ω itse Mahdoton tapahtuma: tyhjä joukko 3

Tapahtumien yhdistely Yhdiste union tai B : B {ω Ω ω tai ω B} Leikkaus intersection ja B : B {ω Ω ω ja ω B} Komplementti complement ei : c {ω Ω ω } Tapahtumat ja B ovat toistensa poissulkevia disjoint, jos B Kokoelma tapahtumia {B 1, B 2, } muodostaa tapahtuman osituksen partition, jos i B i B j kaikilla i j ii i B i B 1 Esim. 1. Nopanheitossa parittomat ja parilliset luvut osittavat koko otosavaruuden: B 1 {1,3,5} ja B 2 {2,4,6} B 2 B 3 4

Todennäköisyys Tapahtuman todennäköisyyttä tn, probability merkitään :lla, [0,1] Todennäköisyysmitta on siis ns. joukkofunktio, : [0,1] Ominaisuuksia: i 0 1 ii 0 iii Ω 1 iv c 1 v B + B B vi B B + B B vii kokoelma {B i } on tapahtuman ositus Σ i B i viii B B 5

6 4. Todennäköisyyslaskennan kertausta Ehdollinen todennäköisyys Oletetaan, että tapahtumalle B: B > 0 Määr. Tapahtuman ehdollinen todennäköisyys conditional probability ehdolla B on Seuraus: B B B B B B B

Kokonaistodennäköisyyden kaava Olkoon kokoelma {B i } otosavaruuden Ω ositus Tällöin kokoelma { B i } on tapahtuman ositus, joten kts. kalvo 5 vii Oletaan lisäksi, että B i > 0 kaikilla i. Tällöin kts. kalvo 6 i Bi i Bi Bi Tätä kutsutaan kokonaistodennäköisyyden kaavaksi B 1 B 3 Ω B 2 B4 7

8 4. Todennäköisyyslaskennan kertausta Bayesin kaava Olkoon kokoelma {B i } otosavaruuden Ω ositus Oletetaan, että > 0 ja B i > 0 kaikilla i. Tällöin kts. kalvo 6 Näin ollen, kokonaistodennäköisyyden kaavan nojalla kts. kalvo 7, Tätä kutsutaan Bayesin kaavaksi tn:iäb i kutsutaan tapahtumien B i a priori todennäköisyyksiksi tn:iäb i taas sanotaan tapahtumien B i a posteriori todennäköisyyksiksi ehdolla, että tapahtuma tapahtui B B B i i i i B j j j i i B B B B B i

9 4. Todennäköisyyslaskennan kertausta Tilastollinen riippumattomuus Määr. Tapahtumat ja B ovat riippumattomia independent, jos Seuraus: Vastaavasti: B B B B B B B B B B B

Satunnaismuuttujat Määr. Reaaliarvoinen satunnaismuuttuja sm, random variable on mitallinen kuvaus otosavaruudesta Ω reaalilukujen joukkoon R, : Ω R jokaiseen alkeistapaukseen ω Ω liitetään reaaliluku ω Mitallisuus measurability tarkoittaa, että kaikki tyyppiä { }: { ω Ω ω } Ω olevat otosavaruuden joukot kuuluvat tapahtumien joukkoon, ts. { } Tapahtuman todennäköisyys on siten { } 10

Esimerkki Rahaa heitetään kolme kertaa peräkkäin Otosavaruus: Ω { ω1, ω2, ω3 ω i {H,T}, i 1,2,3} Olkoon satunnaismuuttuja, joka kertoo klaavojen T tails lkm:n näissä kolmessa heitossa: ω HHH HHT HTH THH HTT THT TTH TTT ω 0 1 1 1 2 2 2 3 11

Tapahtuman indikaattori Olkoon mielivaltainen tapahtuma Määr. Satunnaismuuttujaa 1, joka määritellään kaavalla 1 1, ω 0, ω ω sanotaan tapahtuman indikaattoriksi indicator Selvästikin: {1 {1 1} 0} c 1 12

Kertymäfunktio Määr. Sm:n kertymäfunktio kf, cumulative distribution function on kuvaus F : R [0,1], joka määritellään kaavalla F { } Kf määrää täydellisesti ko. sm:n jakauman distribution so. tn:t { B}, missä B Rja { B} Ominaisuuksia: i F on kasvava ii F on oikealta jatkuva iii F 0 iv F 1 0 F 13 1

14 4. Todennäköisyyslaskennan kertausta Satunnaismuuttujien tilastollinen riippumattomuus Määr. Sm:t ja Y ovat riippumattomia, jos kaikilla ja y Määr. Sm:t 1,, n ovat täydellisesti riippumattomia, jos kaikilla i ja i } { } { }, { y Y y Y } { } { },..., { 1 1 1 1 n n n n L

Riippumattomien satunnaismuuttujien maksimi ja minimi Olkoot sm:t 1,, n täydellisesti riippumattomia Merkitään ma : ma{ 1,, n }. Tällöin ma { 1 } {, K, n } { 1 } L { } Merkitään min : min{ 1,, n }. Tällöin min n { > } { 1 >, K, n > } { 1 > } L { n > } 15

Diskreetit satunnaismuuttujat Määr. Joukkoa R sanotaan diskreetiksi discrete, jos se on äärellinen, { 1,, n }, tai numeroituvasti ääretön, { 1, 2, }. Määr. Sm on diskreetti, jos on olemassa sellainen diskreetti joukko S R, että Seuraus: { } 0 kaikilla S { S } 1 { } 0 kaikilla S Joukkoa S sanotaan sm:n arvojoukoksi 17

18 4. Todennäköisyyslaskennan kertausta istetodennäköisyysfunktio Olkoon sm diskreetti Sm:n jakauman määräävät pistetodennäköisyydet p i, Määr. Sm:n pistetodennäköisyysfunktio ptnf, probability mass function p : R [0,1] määritellään kaavalla Kf on tässä tapauksessa seuraava porrasfunktio: i i i S p }, { : 0,, } { : i i S S p p i i i p F : } {

Esimerkki p F 1 1 1 2 3 4 1 2 3 4 pistetodennäköisyysfunktio ptnf kertymäfunktio kf S { 1, 2, 3, 4 } 19

Diskreettien satunnaismuuttujien riippumattomuus Diskreetit sm:t ja Y ovat riippumattomia, jos ja vain jos kaikilla i S ja y j S Y { i, Y y j} { i} { Y y j} 20

Odotusarvo Määr. Sm:n odotusarvo mean, epectation määritellään kaavalla µ : E[ ]: { } p S S i p i i Huom. 1. Odotusarvo on hyvin määritelty vain, jos Σ i p i i < Huom. 2. Jos i 0 ja Σ i p i i, niin voidaan merkitä E[] Ominaisuuksia: i c R E[c] ce[] ii E[ + Y] E[] + E[Y] iii ja Y riippumattomia E[Y] E[]E[Y] 21

Varianssi Määr. Sm:n varianssi variance määritellään kaavalla σ 2 : D 2 [ ]: Var[ ]: E[ E[ ] 2 ] Kätevä kaava todista!: D 2 2 [ ] E[ ] E[ ] 2 Ominaisuuksia: i c R D 2 [c] c 2 D 2 [] ii ja Y riippumattomia D 2 [ + Y] D 2 [] + D 2 [Y] 22

Kovarianssi Määr. Sm:ien ja Y välinen kovarianssi covariance määr. kaavalla σ 2 Y : Cov[, Y ]: E[ E[ ] Y E[ Y ]] Kätevä kaava todista!: Cov[, Y ] E[ Y ] E[ ] E[ Y ] Ominaisuuksia: i Cov[,] Var[] ii Cov[,Y] Cov[Y,] iii Cov[+Y,Z] Cov[,Z] + Cov[Y,Z] iv ja Y riippumattomia Cov[,Y] 0 23

Muita jakaumaan liittyviä tunnuslukuja Määr. Sm:n hajonta standard deviation: σ : D [ ]: D 2 [ ] Määr. Sm:n variaatiokerroin coefficient of variation: c : C[ ]: D[ ] E[ ] Määr. Sm:n k:s momentti moment, k 1,2,...: µ k k : E[ ] 24

25 4. Todennäköisyyslaskennan kertausta Riippumattomien satunnaismuuttujien keskiarvo Olkoot sm:t 1,, n riippumattomia ja samoin jakautuneita IID odotusarvonaan µ ja varianssinaan σ 2 Merkitään näiden sm:ien keskiarvoa sample mean seuraavasti: Tällöin todista! n i i n n 1 1 : n n n n n D D E σ σ µ ] [ ] [ ] [ 2 2

Suurten lukujen laki SLL Olkoot sm:t 1,, n riippumattomia ja samoin jakautuneita IID odotusarvonaan µ ja varianssinaan σ 2 Heikko suurten lukujen laki: kaikilla ε > 0 { µ > ε} n Vahva suurten lukujen laki: todennäköisyydellä 1 0 n µ Seuraus: Suurilla n:n arvoilla n µ 26

Bernoulli-jakauma Bernoulli p, p 0,1 kuvaa yksittäistä satunnaiskoetta, jonka tuloksena joko onnistuminen 1 tai epäonnistuminen 0; vrt. rahanheitto onnistuminen tn:llä p ja epäonnistuminen tn:llä 1 p rvojoukko: S {0,1} istetodennöisyydet: { 0} 1 p, { 1} p Odotusarvo: E[] 1 p 0 + p 1 p Toinen momentti: E[ 2 ] 1 p 0 2 + p 1 2 p Varianssi: D 2 [] E[ 2 ] E[] 2 p p 2 p1 p 28

Binomijakauma Bin n, p, n {1,2,...}, p 0,1 onnistumisten lkm n:ssä perättäisessä ja toisistaan riippumattomassa satunnaiskokeessa; 1 + + n missä i Bernoullip n satunnaiskokeiden lkm p onnistumisen tn yksittäisessä satunnaiskokeessa rvojoukko: S {0,1,,n} istetodennäköisyydet: { n i n i p 1 p i} Odotusarvo: E[] E[ 1 ] + + E[ n ] np i n n! i! n i! n! n n 1 L2 1 Varianssi: D 2 [] D 2 [ 1 ] + + D 2 [ n ] np1 p riippumattomuus! i 29

Geometrinen jakauma Geom p, p 0,1 peräkkäisten onnistumisten lkm ennen ensimmäistä epäonnistumista sarjassa peräkkäisiä ja toisistaan riippumattomia satunnaiskokeita p onnistumisen tn yksittäisessä satunnaiskokeessa rvojoukko: S {0,1, } istetodennäköisyydet: { i} p 1 p Odotusarvo: E[] i ip i 1 p p/1 p Toinen momentti: E[ 2 ] i i 2 p i 1 p 2p/1 p 2 + p/1 p Varianssi: D 2 [] E[ 2 ] E[] 2 p/1 p 2 i 30

Geometrisen jakauman unohtavaisuusominaisuus Geometrisella jakaumalla on ns. unohtavaisuusominaisuus memoryless property: kaikilla i,j {0,1,...} Todista! { i + j i} { j} Ohje: Todista ensin, että { i} p i 31

Geometrisesti jakautuneiden satunnaismuuttujien minimi Olkoot sm:t 1 Geomp 1 ja 2 Geomp 2 riippumattomia Tällöin min : min{ 1, 2} Geom p1 p2 ja { min i } 1 pi 1 p p 1 2, i {1,2} Todista! Ohje: Kts. kalvo 15 32

oisson-jakauma oisson a, a > 0 binomijakauman rajatapaus, kun n ja p 0 siten, että np a rvojoukko: S {0,1, } istetodennäköisyydet: { i} a i a e i! Odotusarvo: E[] a Toinen momentti: E[ 1] a 2 E[ 2 ] a 2 + a Varianssi: D 2 [] E[ 2 ] E[] 2 a 33

Esimerkki Oletetaan, että paikalliskeskukseen on kytkettynä 200 tilaajaa yksittäisen tilaajan ominaisliikenne on 0.01 erlangia tilaajat toimivat toisistaan riippumattomasti Tällöin käynnissäolevien puhelujen lkm Bin200,0.01 Vastaava oisson-approksimaatio: oisson2.0 istetodennäköisyyksien vertailua: 0 1 2 3 4 5 Bin200,0.01.1326.2679.2693.1795.0893.0354 oisson2.0.1353.2701.2701.1804.0902.0361 34

oisson-jakauman ominaisuuksia i Summa: Olkoot sm:t 1 oissona 1 ja 2 oissona 2 riippumattomia. Tällöin 1 + 2 oisson a1 + a2 ii Satunnaisotanta: Olkoon oissona alkioiden lkm jossakin satunnaisen kokoisessa joukossa. Valitaan näistä alkioista satunnainen osajoukko jokainen yksittäinen alkio otetaan mukaan tn:llä p, jonka kokoa merkitään Y:llä. Tällöin Y oisson pa iii Satunnaislajittelu: Olkoot sm:t ja Y kuten yllä ii. Merk. Z Y. Tällöin Y ja Z ovat riippumattomia ehdolla, että :ä ei tunneta, Z oisson1 p a 35

Jatkuvat satunnaismuutujat Määr. Sm on jatkuva continuous, jos on olemassa sellainen integroituva funktio f : R R +, että kaikilla Rpätee F Funktiota f sanotaan sm:n tiheysfunktioksi tf, probability density function Joukkoa S, missä f > 0, sanotaan sm:n arvojoukoksi Ominaisuuksia: : { i { } 0 kaikilla R ii {a < < b} {a b} a b f d iii { } f d } iv { R} - f d S f d 1 f y dy 37

Esimerkki f F 1 1 2 3 1 2 3 tiheysfunktio tf kertymäfunktio kf S 1, 3 38

Odotusarvo ja muita jakaumaan liittyviä tunnuslukuja Määr. Sm:n odotusarvo mean määritellään kaavalla µ : E[ ]: f d Huom. 1. Odotusarvo on hyvin määritelty vain, jos - f d < Huom. 2. Jos S R + ja 0 f, niin voidaan merkitä E[] Jatkuvan sm:n odotusarvolla on samat ominaisuudet kuin diskreetin sm:n odotusarvolla kts. kalvo 21 Muut jakaumaan liittyvät tunnusluvut varianssi, kovarianssi,... määritellään odotusarvon avulla täsmälleen samoin kuin diskreetin sm:n tapauksessa Näin ollen myös näiden tunnuslukujen ominaisuudet säilyvät kts. kalvot 22-24 39

Tasajakauma U a, b, a < b jatkuva vastine nopanheitolle kaikki arvot yhtä todennäköisiä rvojoukko: S a,b Tiheysfunktio tf: Kertymäfunktio kf: F f 1, a, b b a a b a : { }, a, b Odotusarvo: E[] b a /b a d a + b/2 Toinen momentti: E[ 2 ] b a 2 /b a d a 2 + ab + b 2 /3 Varianssi: D 2 [] E[ 2 ] E[] 2 b a 2 /12 41

Eksponenttijakauma Ep λ, λ > 0 geometrisen jakauman jatkuva vastine epäonnistuminen tn:llä λdt { t,t+h] > t} λh + oh, missä oh/h 0, kun h 0 rvojoukko: S 0, Tiheysfunktio tf: Kertymäfunktio kf: F f λ λe, > : { } 1 e, > 0 λ 0 Odotusarvo: E[] 0 λ ep λ d 1/λ Toinen momentti: E[ 2 ] 0 λ 2 ep λ d 2/λ 2 Varianssi: D 2 [] E[ 2 ] E[] 2 1/λ 2 42

Eksponenttijakauman unohtavaisuusominaisuus Eksponenttijakaumalla on ns. unohtavaisuusominaisuus memoryless property: kaikilla,y 0, Todista! Ohje: Todista ensin, että { > } e λ Sovellus: { > + y > } { > y} Oletetaan, että puhelujen pitoajat ovat eksponentiaalisesti jakautuneita odotusarvonaan h minuuttia. Tarkastellaan puhelua, joka on jo kestänyt ajan minuuttia. Unohtavaisuusominaisuuden nojalla tällä ei ole mitään merkitystä puhelun jäljellä olevan keston kannalta: keskimäärin tällainen puhelu kestää vielä h minuuttia siis + h minuuttia kaikenkaikkiaan! 43

Eksponentiaalisesti jakautuneiden satunnaismuuttujien minimi Olkoot sm:t 1 Epλ 1 ja 2 Epλ 2 riippumattomia. Tällöin ja min : min{ 1, 2} Ep λ 1 + λ2 { min i } λi λ1 + λ2, i {1,2} Todista! Ohje: Kts. kalvo 15 44

Normeerattu normaalijakauma N0,1 riippumattomien ja samoin jakautuneiden odotusarvona 0 ja varianssina 1 sm:ien normeeratun summan rajatapaus kts. kalvo 48 rvojoukko: S, Tiheysfunktio tf: f ϕ : 1 2π e 2 1 2 Kertymäfunktio kf: F Odotusarvo: E[] 0 tf symmetrinen! Varianssi: D 2 [] 1 : { } Φ : ϕ y dy 45

Normaalijakauma N µ, σ 2, µ R, σ > 0 jos µ/σ N0,1 rvojoukko: S, Tiheysfunktio tf: Kertymäfunktio kf: f : F ' 1 σ ϕ µ σ F : { } { µ µ } µ Φ Odotusarvo: E[] µ+σe[ µ/σ] µ tf symmetr. µ:n suhteen Varianssi: D 2 [] σ 2 D 2 [ µ/σ] σ 2 σ σ σ 46

Normaalijakauman ominaisuuksia i Lineaarimuunos: Olk. Nµ,σ 2 ja α,β R. Tällöin Y : α + β N αµ + β, α 2 σ 2 ii Summa: Olkoot sm:t 1 Nµ 1,σ 2 1 ja 2 Nµ 2,σ 2 2 riippumattomia. Tällöin 2 2 1 + 2 N µ 1 + µ 2, σ1 + σ 2 iii Otoskeskiarvo: Olkoot sm:t i Nµ,σ 2, i 1, n, riippumattomia ja samoin jakautuneita IID noudattaen normaalijakaumaa. Tällöin niiden keskiarvolle vrt. kalvo 25 pätee n 2 : 1 N, 1 n i µ n σ n i 1 47

Keskeinen raja-arvolause KRL Olkoot sm:t 1,, n riippumattomia ja samoin jakautuneita IID odotusarvonaan µ ja varianssinaan σ 2 ja lisäksi kolmas momentti olemassa Keskeinen raja-arvolause: σ 1 / n n µ i.d. N0,1 Seuraus: Suurilla n:n arvoilla n N µ, n 1 σ 2 48

Muita satunnaismuuttujia uhtaasti diskreettien ja jatkuvien sm:ien lisäksi on olemassa näiden sekamuotoja Esimerkki: Merk. W:llä asiakkaan odotusaikaa M/M/1 jonossa. Sm:n W jakaumalla on ns. atomi nollassa ts. {W 0} 1 ρ>0, mutta muuten jakauma on jatkuva F W 1 1 ρ 0 0 50

Sanastoa otosavaruus sample space tapahtuma event todennäköisyys probability ehdollinen tn conditional probability riippumattomuus independence satunnaismuuttuja random variable indikaattori indicator jakauma distribution kertymäfunktio cumulative distribution function diskreetti discrete pistetodennäköisyysfunktio probability mass function odotusarvo mean value epectation varianssi variance kovarianssi covariance hajonta standard deviation variaatiokerroin coefficient of variation suurten lukujen laki law of large numbers jatkuva continuous tiheysfunktio probability density function unohtavaisuusominaisuus memoryless property keskeinen raja-arvolause central limit theorem 51

THE END 52