DISKREETIT JAKAUMAT Generoiva funktio (z-muunnos)

Transkriptio

1 J. Virtamo Jonoteoria / Diskreetit jakaumat 1 DISKREETIT JAKAUMAT Generoiva funktio (z-muunnos) Määritelmä Olkoon X diskreetti sm, jonka arvot ovat ei-negatiivisia kokonaislukuja, X {0, 1, 2,...}. Merkitään tämän pistetodennäköisyyksiä p i :llä p i = P{X = i} X:n generoiva funktio G(z) (tai G X (z); myös X(z) tai ˆX(z)) G(z) = i=0 p i z i = E[z X ] Kokoaa kätevästi yhteen arvot {p 0, p 1,...}; z on kirjanpitomuuttuja Monissa tapauksissa G(z) kyetään laskemaan (yksinkertainen analyyttinen lauseke) Kun G(z) on annettu, siitä kyetään takaperin päättelemään arvot {p 0, p 1,...} Eräät jakaumille suoritettavat operaatiot vastaavat paljon yksinkertaisempia operaatioita generoiville funktioille Usein yksinkertaistaa rekursiivisten yhtälöiden ratkaisemista

2 J. Virtamo Jonoteoria / Diskreetit jakaumat 2 Käänteismuunnos Tehtävänä on päätellä todennäköiyydet p i, kun G(z) on annettu. Kolme eri keinoa 1. Kehittämällä G(z) potenssisarjaksi, josta p i identifioidaan potenssin z i kertoimena. Kerroin voidaan laskea myös mekaanisesti p i = 1 d i G(z) i! dz i z=0 = 1 i! G(i) (0) 2. Tarkastelemalla: hajoitetaan G(z) osiin, joiden käänteismuunnokset tunnetaan; esim. osamurtokehitelmä 3. Kompleksitason (polku)integraalina p i = 1 2πi G(z) polku dz zi+1 origon ympäri (valitaan siten, että G(z):n navat jäävät polun ulkopuolelle)

3 J. Virtamo Jonoteoria / Diskreetit jakaumat 3 Esim. 1 G(z) = 1 1 z 2 = 1 + z2 + z 4 + p i = 1 kun i parillinen 0 kun i pariton Esim. 2 G(z) = 2 (1 z)(2 z) = 2 1 z 2 2 z = 2 1 z 1 1 z/2 Koska A 1 az vastaa jonoa A ai päätellään p i = 2 (1) i 1 ( 1 2 )i = 2 ( 1 2 )i

4 J. Virtamo Jonoteoria / Diskreetit jakaumat 4 Jakauman momenttien laskeminen G(z):n avulla Koska p i :t edustavat todennäköisyysjakaumaa, niiden summa on 1 ja G(1) = G (0) (1) = i=1 Derivoimalla todetaan G (1) (z) = d dz E[zX ] = E[Xz X 1 ] G (1) (1) = E[X] Jatkamalla samoin saadaan p i 1 i = 1 G (i) (1) = E[X(X 1) (X i + 1)] = F i missä F i on i:s kertomamomentti.

5 J. Virtamo Jonoteoria / Diskreetit jakaumat 5 Kertomamomenttien ja tavallisten (origo)momenttien suhde Kertomamomenttien F i = E[X(X 1) (X i + 1)] ja tavallisten (origo)momenttien M i = E[X i ] ja välillä vallitsevat lineaariset relaatiot: F 1 = M 1 M 1 = F 1 F 2 = M 2 M 1 M 2 = F 2 + F 1 F 3 = M 3 3M 2 + 2M 1. M 3 = F 3 + 3F 2 + F 1. Esimerkiksi F 2 = G (2) (1) = E[X(X 1)] = E[X 2 ] E[X] M 2 = E[X 2 ] = F 2 + F 1 = G (2) (1) + G (1) (1) V[X] = M 2 M1 2 = G(2) (1) + G (1) (1) (G (1) (1)) 2 = G (2) (1) + G (1) (1)(1 G (1) (1))

6 J. Virtamo Jonoteoria / Diskreetit jakaumat 6 Momenttien laskeminen suoraan Momentit voidaan laskea generoivasta funktiosta myös suoraan (ilman kertomamomentteja) seuraavasti: d dz G(z) z=1 = E[Xz X 1 ] z=1 = E[X] d dz z d dz G(z) z=1 = E[X 2 z X 1 ] z=1 = E[X 2 ] Yleisesti E[X i ] = d dz (z d dz )i 1 G(z) z=1 = (z d dz )i G(z) z=1

7 J. Virtamo Jonoteoria / Diskreetit jakaumat 7 Riippumattomien sm:ien summan generoiva funktio Olkoot X ja Y riippumattomia satunnaismuuttujia. Tällöin G X+Y (z) = E[z X+Y ] = E[z X z Y ] = E[z X ]E[z Y ] riippumattomuus = G X (z)g Y (z) G X+Y (z) = G X (z)g Y (z) Alkuperäisillä diskreeteillä jakaumilla p i = P{X = i} q j = P{Y = j} ilmaistuna summaa vastaa konvoluutio p q P{X + Y = k} = (p q) k = k i=0 p i q k i Kahden jakauman konvoluutiona saadun jakauman generoiva funktio on siten alkuperäisten jakaumien generoivien funktioiden tulo.

8 J. Virtamo Jonoteoria / Diskreetit jakaumat 8 Yhdistetty jakauma (compound distribution) ja sen generoiva funktio Olkoon Y riippumattomien, samoin jakautuneiden (i.i.d.) satunnaismuuttujien X i summa Y = X 1 + X 2 + X N missä N itse on ei-negatiivinen kokonaislukuarvoiden satunnaismuuttuja. Merkitään G X (z) G N (z) Halutaan laskea G Y (z) muuttujien X i yhteinen generoiva funktio N:n generoiva funktio G Y (z) = E[z Y ] = E[E [ z Y N ] ] = E[E [ z X 1+ X N N ] ] = E[E [ z X 1 z X N N ] ] = E[G X (z) N ] = G N (G X (z)) G Y (z) = G N (G X (z))

9 J. Virtamo Jonoteoria / Diskreetit jakaumat 9 Bernoulli-jakauma X Bernoulli(p) Yksinkertainen koe, jossa on kaksi mahdollista lopputulosta: onnistuminen ja epäonnistuminen. Liitetään näihin sm X seuraavasti 1 kun koe onnistuu; todennäköisyys p X = 0 kun koe epäonnistuu; todennäköisyys q = 1 p Esim. 1. X kuvaa bittivirtaa liikennelähteestä, joka on joko päällä tai pois päältä. Generoiva funktio G(z) = p 0 z 0 + p 1 z 1 = q + pz E[X] = G (1) (1) = p V[X] = G (2) (1) + G (1) (1)(1 G (1) (1)) = p(1 p) = pq Esim. 2. ATM-kytkimen tuloporttiin saapuva soluvirta: aikalovessa (soluväli) on solu todennäköisyydellä p tai se on tyhjä todennäköisyydellä q.

10 J. Virtamo Jonoteoria / Diskreetit jakaumat 10 Binomijakauma X Bin(n, p) X on onnistumisten lukumäärä n kertaa toistetussa Bernoulli-kokeessa. X = n i=1 Y i missä Y i Bernoulli(p) ja Y i :t riippumattomia (i = 1,..., n) Generoiva funktio saadaan suoraan Bernoulli-muuttujan generoivasta funktiosta q + pz G(z) = (q + pz) n = n i=1 Identifioimalla z i :n kerroin p i = P{X = i} = n p i (1 p) n i z i i n p i (1 p) n i i E[X] = ne[y i ] = np V[X] = nv[y i ] = np(1 p) Rajamuoto kun λ = E[X] = np on annettu ja n : G(z) = (1 (1 z)p) n = (1 (1 z)λ/n) n e (z 1)λ joka on Poisson-jakautuneen satunnaismuuttujan generoiva funktio.

11 J. Virtamo Jonoteoria / Diskreetit jakaumat 11 Binomijakautuneiden sm:ien summan jakauma Olkoot X i :t (i = 1,..., k) binomijakautuneita samalla parametrilla p. Tällöin niiden summan jakauma on X X k Bin(n n k, p) koska summa edustaa onnistumisten lukumäärää toistetussa Bernoulli-kokeessa, jossa toistojen lukumäärä on n n k.

12 J. Virtamo Jonoteoria / Diskreetit jakaumat 12 Multinomijakauma Tarkastellaan n-kertaista toistokoetta, mutta nyt kukin koe voi päättyä k:hon (k 2) erilaiseen tulokseen. Näiden todennäköisyydet yksittäisessä kokeessa ovat p 1, p 2,..., p k ( k i=1 p i = 1). Olkoon tuloksen i esiintymien lkm toistokokeessa N i. Halutaan laskea yhteistapahtuman {N 1 = n 1,..., N k = n k } todennäköisyys p(n 1,..., n k ) = P{N 1 = n 1,..., N k = n k }. Määritellään monen muuttujan N 1,..., N k yhteisjakauman generoiva funktio G(z 1,..., z k ) = E[z N 1 1 z N k k ] = n 1 =0... n k =0 p(n 1,..., n k )z n 1 1 z n k k Yhden kokeen jälkeen yksi esiintymälukumääristä N i on 1 ja muut ovat nollia. Yhtä koetta vastaava generoiva funktio on siten p 1 z p k z k. Riippumattomien kokeiden tapauksessa n-kertaisen toistokokeen tuottamien esiintymälukumäärien gf on yksittäisten kokeiden generoivien funktioiden tulo eli (p 1 z p k z k ) n. z i -muuttujien potenssien kertoimista identifioidaan p(n 1,..., n k ) = n! n 1! n k! pn 1 1 p n k k kun n n k = n, 0 muulloin

13 J. Virtamo Jonoteoria / Diskreetit jakaumat 13 Geometrinen jakauma X Geom(p) X on toistetussa Bernoulli-kokeessa (onnistumistodennäköisyys p) ensimmäiseen onnistumiseen tarvittavien toistojen lukumäärä p i = P{X = i} = (1 p) i 1 p Generoiva funktio G(z) = p (1 p) i 1 z i = i=1 pz 1 (1 p)z Tämän avulla lasketaan odotusarvo ja varianssi: E[X] = G (1) = E[X 2 ] = G (1) + G (1) = 1 p p(1 (1 p)z) + p(1 p)z (1 (1 p)z) 2 V[X] = E[X 2 ] E[X] 2 = 1 p p 2 + 2(1 p) p 2 i = 1, 2,... Huom. joskus määritellään X 1 geometriseksi jakaumaksi (nollasta alkava geometrinen jakauma) z=1 = 1 p

14 J. Virtamo Jonoteoria / Diskreetit jakaumat 14 Geometrinen jakauma (jatkoa) Todennäköisyys että ensimmäiseen onnistumiseen tarvitaan yli n toistoa P{X > n} = i=n+1 p i = (1 p) n Geometrisen jakauman muistittomuus P{X > i + j X > i} = P{X > i + j X > i} P{X > i} = P{X > i + j} P{X > i} = (1 p)i+j (1 p) i = P{X > j} Jos epäonnistumisia on ollut jo i kpl, todennäköisyys sille, että ensimmäiseen onnistumiseen tarvitaan vielä yli j koetta lisää on sama kuin kokonaan uudessa toistokokeessa todennäköisyys sille, että ensimmäiseen onnistumiseen tarvitaan enemmän kuin j koetta. Näin tulee tietenkin ollakin, koska jo suoritetut kokeet eivät vaikuta jatkokokeisiin, jotka kaikki ovat riippumattomia.

15 J. Virtamo Jonoteoria / Diskreetit jakaumat 15 Negatiivinen binomijakauma X NBin(n, p) X on toistetussa Bernoulli-kokeessa tarvittavien toistojen lukumäärä, jotta saadaan n onnistumista. Jos X = i, niin (i 1):n ensimmäisen kokeen joukossa on täytynyt olla n 1 onnistumista ja kokeen i täytyy johtaa onnistumiseen: p i = P{X = i} = i 1 p n 1 (1 p) i n p = n 1 i 1 p n (1 p) i n n 1 kun i n 0 muulloin Ensimmäiseen onnistumiseen tarvittavien toistojen lkm Geom(p). Samoin tästä eteenpäin toiseen onnistumiseen jne, joten X = X X n missä X i Geom(p) (i.i.d.) Siten jakauman generoiva funktio on G(z) = ( pz 1 (1 p)z ) n Ylläolevat pistetodennäköisyydet voidaan päätellä myös tästä Keskiarvo ja varianssi ovat n-kertaiset geometrisen jakauman vastaaviin nähden E[X] = n p V[X] = n 1 p p 2

16 J. Virtamo Jonoteoria / Diskreetit jakaumat 16 Poisson-jakauma X Poisson(a) X on ei-negatiivinen kokonaislukuarvoinen sm, jonka pistetodennäköisyydet ovat p i = P{X = i} = ai i! e a i = 0, 1,... Generoiva funktio G(z) = p i z i = e a (za) i i! i=0 i=0 = e a e za G(z) = e (z 1)a Kuten aikaisemmin nähtiin, tämä generoiva funktio saadaan Bin(n, p)-jakautuneen sm:n generoivasta funktiosta rajamuotona, kun keskimääräinen onnistumisten lkm pidetään vakiona, np = a, ja n:n annetaan rajatta kasvaa. Vastaavasti X Poisson(λt) edustaa tapahtumien lukumäärää t:n pituisella välillä Poissonprosessista, jonka intensiteetti on λ: pienessä välissä dt tapahtuman todennäköisyys on λdt ( koe onnistuu ) kahden yhtäaikaisen tapahtuman todennäköisyys on O(λdt) tapahtumien lukumäärät yhteispisteettömissä väleissä ovat riippumattomia

17 J. Virtamo Jonoteoria / Diskreetit jakaumat 17 Poisson-jakauma (jatkoa) Poisson-jakaumaa noudattavat esimerkiksi Saapuvien puheluiden lkm tiettynä aikavälinä Käynnissä olevien puheluiden lukumäärä suuressa (estottomassa) johtoryhmässä Keskiarvo ja varianssi E[X] = G (1) = d dz e(z 1)a z=1 = a E[X 2 ] = G (1) + G (1) = a 2 + a V[X] = E[X 2 ] E[X] 2 = a 2 + a a 2 = a E[X] = a V[X] = a

18 J. Virtamo Jonoteoria / Diskreetit jakaumat 18 Poisson-jakauman ominaisuuksia 1. Poisson-jakautuneiden satunnaismuuttujien summa on Poisson-jakautunut. X = X 1 + X 2, missä X 1 Poisson(a 1 ), X 2 Poisson(a 2 ) X Poisson(a 1 + a 2 ) Todistus: G X1 (z) = e (z 1)a 1, G X2 (z) = e (z 1)a 2 G X (z) = G X1 (z)g X2 (z) = e (z 1)a 1e (z 1)a 2 = e (z 1)(a 1+a 2 ) 2. Jos joukon koko N on Poisson-jakautunut, N Poisson(a), ja siitä suoritetaan satunnaispoiminta todennäköisyydellä p (kukin alkio poimitaan tällä tn:llä), niin saadun joukon koko K Poisson(pa). Todistus: K noudattaa yhdistettyä jakaumaa K = X X N, G X (z) = (1 p) + pz, missä N Poisson(a) ja X i Bernoulli(p) G N (z) = e (z 1)a G K (z) = G N (G X (z)) = e (G X(z) 1)a = e [(1 p)+pz 1]a = e (z 1)pa

19 J. Virtamo Jonoteoria / Diskreetit jakaumat 19 Poisson-jakauman ominaisuuksia (jatkoa) 3. Jos joukon N Poisson(a) elementit lajitellaan satunnaisesti kahteen joukkoon 1 ja 2 todennäköisyyksillä p 1 ja p 2 = 1 p 1, niin joukkojen 1 ja 2 koot N 1 ja N 2 ovat riippumattomia ja jakautuneet kuten N 1 Poisson(p 1 a), N 2 Poisson(p 2 a) N ~ Poisson(a) p 1 p 2 N 1 N 2 Todistus: Kokonaistodennäköisyyden perusteella P{N 1 = n 1, N 2 = n 2 } = = n=0 P{N 1 = n 1, N 2 = n 2 N = n} P{N = n} }{{}}{{} multinomijakauma Poisson-jak. n! n 1!n 2! pn 1 1 p n 2 2 an = (p 1a) n 1 n 1! n! e a n=n1 = pn 1 1 p n 2 2 +n 2 n 1!n 2! a n 1+n 2 e a 1 {}}{ (p 1 + p 2 ) e p 1a (p 2a) n 2 e p2a = P{N 1 = n 1 } P{N 2 = n 2 } n 2! Yhteisjakauma on tulomuotoinen. N 1 ja N 2 ovat siten riippumattomia. Tulon tekijät ovat Poisson(p 1 a)- ja Poisson(p 2 a)-jakaumien pistetodennäköisyyksiä. Huom. Tulos yleistyy luonnollisella tavalla mille tahansa lukumäärälle lajittelujoukkoja.

20 J. Virtamo Jonoteoria / Diskreetit jakaumat 20 Kollektiivisten merkkien menetelmä (Dantzig) Edellä generoivan funktion muuttujaa z on käsitelty vain teknisenä apumuuttujana ( kirjanpitomuuttuja ). Ns. kollektiivisten merkkien menetelmässä muuttujalle z annetaan todennäköisyystulkinta. Tämä mahdollistaa joidenkin tulosten elegantin johtamisen yksinkertaisella päättelyllä. Olkoon N = 0, 1, 2,... ei-negatiivinen kokonaislukuarvoinen sm. ja G N (z) sen generoiva funktio: G N (z) = n=0 p n z n, p n = P{N = n} Tulkinta: Ajatellaan, että N edustaa jonkin joukon kokoa. Merkitään joukon kukin alkio muista riippumatta todennäköisyydellä 1 z ja siis jätetään ilman merkkiä todennäköisyydellä z. Tällöin G N (z) on tn sille, että koko joukossa ei ole merkkiä.

21 J. Virtamo Jonoteoria / Diskreetit jakaumat 21 Kollektiivisten merkkien menetelmä (jatkoa) Esimerkki: Yhdistetyn jakauman generoiva funktio Y = X X N, missä X 1 X 2 X N, yhteinen gen. funktio G X (z) N on sm., jonka generoiva funktio on G N (z) X 1 X N G Y (z) = P{joukon Y mikään elementti ei ole merkitty} = G N ( G X (z) ) }{{} tn. että yksittäinen aliryhmä ei ole merkitty }{{} tn. että mikään aliryhmä ei ole merkitty

22 J. Virtamo Jonoteoria / Diskreetit jakaumat 22 Todennäköisyyden vinoutus: pistetn:ien likim. laskenta Monia jakaumia voidaan kohtuullisella tarkkuudella approksimoida normaalijakaumalla, kun keskiarvoparametri on suuri. Esim. Poisson(a) N(a, a), kun a 1 Approksimaatio on yleensä tarkka lähellä jakauman keskiarvoa, mutta kaukana tästä suhteellinen virhe voi olla huomattava. m m i i Approksimaatiota voidaan merkittävästi parantaa todennäköisyyden vinoutusmenetelmällä (probability shift/tilt method). Tämä tarjoaa keinon laskea sellaisen jakauman pistetodennäköisyys (jakauman hännässä), jonka generoiva funktio tunnetaan.

23 J. Virtamo Jonoteoria / Diskreetit jakaumat 23 Todennäköisyyden vinoutus (jatkoa) Halutaan laskea sm:n X pistetodennäköisyys p i = P{X = i}, kun i E[X] (= m) Suoritetaan jakauman vinoutus ja tarkastellaan satunnaismuuttujaa X, jonka pistetodennäköisyydet ovat p i = p iz i G(z) Tämä on normitettu jakauma, koska G(z) = i p i z i. Vinoutetun jakauman momentit m (z) = E[X ] = 1 G(z) z d dz G(z) E[X 2 ] = 1 G(z) (z d dz )2 G(z) σ 2 (z) = V[X ] = E[X 2 ] E[X ] 2 m m i i

24 J. Virtamo Jonoteoria / Diskreetit jakaumat 24 Todennäköisyyden vinoutus (jatkoa) Valitaan erityisesti z = z siten, että m (z ) = i eli että vinoutetun jakauman keskiarvo sijaitsee kiinnostavassa pisteessä i. Soveltamalla nyt normaaliapproksimaatiota vinoutettuun jakaumaan saadaan p i 1 2πσ 2 Ratkaisemalla kääntäen p i aikaisemmasta relaatiosta saadaan haluttu approksimaatio p i G(z ) (z ) i 2πσ 2 (z ) missä z on yhtälön m (z ) = i ratkaisu Lausekkeen laskemiseksi tarvitsee ainoastaan tuntea X:n generoiva funktio. Menetelmä on erityisen käyttökelpoinen silloin, kun X on usean eri tavoin jakautuneen riippumattoman satunnaismuuttujan summa, joiden kunkin jakauma (ja generoiva funktio) tunnetaan. X:n jakauma on tällöin monimutkainen, mutta koska sen generoiva funktio tunnetaan (generoivien funktioiden tulo) ylläolevaa menetelmää voidaan soveltaa.

25 J. Virtamo Jonoteoria / Diskreetit jakaumat 25 Todennäköisyyden vinoutus (jatkoa) Esimerkki (sinänsä triviaali/epämielekäs) Poisson-jakauma p i = ai i! e a, G(z) = e (z 1)a p i = p iz i G(z) = (az)i e az Poisson(za)-jakauma, joten momentit saadaan välittömästi i! m (z) = az, σ 2 (z) = az Yhtälön m (z ) = i ratkaisu on z = i a p i e(i/a 1)a (i/a) i 2πi = a i 2πie i i ie a Havaitaan, että approksimaatio antaa miltei oikean Poisson-todennäköisyyden, mutta nimittäjässä i! on korvautunut tunnetulla Stirlingin approksimaatiollaan i! 2πie i i i.