MS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi

MS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi Viikko 2 Satunnaismuuttujat ja todennäköisyysjakaumat Lasse Leskelä, Heikki Seppälä Matematiikan ja systeemianalyysin laitos Perustieteiden korkeakoulu Aalto-yliopisto Syksy 2015

Sisältö Jatkuvat satunnaisluvut Odotusarvo ja varianssi Generoivat funktiot Satunnaisotanta Normaalijakauma

Jatkuva satunnaisluku Satunnaisluku X on jatkuva, jos sen jakauma voidaan esittää tiheysfunktion f (x) 0 avulla muodossa Pr(X A) = f (x) dx, A R. Tällöin tapahtuman {X = a} todennäköisyys on Pr(X = a) = Pr(X {a}) = f (x) dx = 0. Onko tämä paradoksi? {X = a} on tapahtuma, että X :n arvo on reaaliluku a äärettömän monen desimaalin tarkkuudella. Jos f (a) > 0 ja f on jatkuva pisteessä a, niin A {a} Pr(X (a δ, a + δ)) = mielivaltaisen pienellä δ > 0. a+δ a δ f (x) dx 2δf (a) > 0.

Jatkuva tasajakauma Satunnaisluku eli reaaliarvoinen satunnaismuuttuja X noudattaa välin (a, b) tasajakaumaa, jos sillä on tiheysfunktio f (x) = { 1 b a, jos x (a, b), 0, muuten. Esim Merkitään luvulla θ sitä kulmaa, johon rulettipyörä yhden pelikierroksen jälkeen asettuu suhteessa edelliseen tilaansa. Tällöin θ noudattaa välin (0, 2π) tasajakaumaa ja todennäköisyys, että θ (0, π) on Pr(θ (0, π)) = π 0 f (x) dx = π 0 1 2π dx = π 2π = 1 2.

Kertymäfunktio Satunnaisluvun X kertymäfunktio F (x) = Pr(X x) kertoo, millä todennäköisyydellä X on enintään x. Tapahtuman {a < X b} tn saadaan kertymäfunktiosta kaavalla Pr(a < X b) = Pr(X b) Pr(X a) = F (b) F (a). Jatkuvan satunnaisluvun kertymäfunktio on tiheysfunktion integraali F (x) = Pr(X (, x]) = x tiheysfunktio on kertymäfunktion derivaatta f (x) = F (x). f (t) dt,

Jatkuvan tasajakauman kertymäfunktio Satunnaisluku X noudattaa välin (a, b) tasajakaumaa, jos sillä on tiheysfunktio f (x) = { 1 b a, josx (a, b), 0, muuten. Lasketaan X :n kertymäfunktio: 0, kun x a, F (x) = Pr(X (a, x]) = x 1 x a a b a dt = b a, a < x < b, 1, x b.

Eksponenttijakauma Satunnaisluku X noudattaa eksponenttijakaumaa parametrinaan λ > 0, merkitään X Exp(λ), jos sillä on tiheysfunktio { λe λx, x > 0 f (x) = 0, muuten. X :n kertymäfunktio on { x F (x) = 0 λe λt dt = 1 e λx, x 0, 0, x < 0.

Odotusarvo Satunnaisluvun X odotusarvo E[X ] on ei-satunnainen luku, joka määräytyy X :n jakaumasta. Diskreetille satunnaisluvulle, jolla on pistetodennäköisyysfunktio f (x i ) ja arvojoukko {x 1, x 2,..., x n } tai {x 1, x 2, x 3,... }, E[X ] = i x i Pr(X = x i ) = i x i f (x i ). Jatkuvalle satunnaisluvulle, jolla on tiheysfunktio f (x), E[X ] = x f (x) dx. Huom Satunnaisluvulla X ei ole odotusarvoa, jos sen odotusarvon määritelmässä oleva summa tai integraali hajaantuu.

Esim. Nopan heitto Symmetrisen nopan tuottama silmäluku X noudattaa joukon {1,..., 6} tasajakaumaa ja X :n pistetodennäköisyysfunktio on Näin ollen X :n odotusarvo on f (k) = 1, k = 1,..., 6. 6 E[X ] = 6 k=1 kf (k) = 1 + + 6 6 = 3.5.

Esim. Eksponenttijakauma Jos X noudattaa eksponenttijakaumaa parametrinaan λ > 0, on sillä tiheysfunktio { λe λx, x > 0 f (x) = 0, muuten. Näin ollen X :n odotusarvo on x f (x) dx = xλe λx dx = 0 0 x( e λx ) = 0 0 + e λx dx 0 = ( 1λ ) e λx = 1 λ. 0 0 ( e λx ) dx

Odotusarvon tulkinta Satunnaisluvun X odotusarvo µ = E[X ] voidaan tulkita seuraavan tärkeän tuloksen avulla. Fakta (Suurten lukujen laki) Jos X 1, X 2, X 3,... ovat riippumattomia satunnaislukuja, jotka noudattavat samaa jakaumaa kuin X, niin todennäköisyydellä 1 1 n n X i µ, kun n. i=1

Esim. Noppapeli Noppapelissä voittaa kierroksella i silmäluvun X i verran euroja. Yhden kierroksen odotettu tuotto on E[X i ] = 3.5 EUR. Tuotto suurelta määrältä n kierroksia on suurten lukujen lain mukaan likimain ( ) n 1 n X i = X i n 3.5n. n i=1 i=1

Odotusarvon lineaarisuus Kaikille satunnaisluvuille X ja Y ja ei-satunnaisille a R pätee E[a] = a, E[aX ] = a E[X ], E[X + Y ] = E[X ] + E[Y ]. Yleisemmin: [ n ] E a i X i = i=1 n a i E[X i ]. Esim Noppapelissä voittaa kierroksella i silmäluvun X i verran euroja. Tällöin n:n kierroksen tuoton odotusarvo on E[ n i=1 X i] = n i=1 E[X i] = 3.5n euroa. i=1

Satunnaismuuttujan muunnoksen odotusarvo Jos g on deterministinen funktio satunnaismuuttujan X :n arvojoukosta reaaliluvuille, niin g(x ) on satunnaisluku, joka liittää satunnaisilmiön realisaatioon s luvun g(x (s)). Satunnaisluvun g(x ) odotusarvo määräytyy funktiosta g ja X :n jakaumasta. Diskreetille satunnaismuuttujalle X, jolla on pistetodennäköisyysfunktio f (x i ), E[g(X )] = i g(x i ) Pr(X = x i ) = i g(x i )f (x i ). Jatkuvalle satunnaisluvulle X, jolla on tiheysfunktio f (x), E[g(X )] = g(x) f (x) dx.

Esim. Nopan neliö Olkoon X symmetrisen nopan heiton silmäluku ja g(x) = x 2. Tällöin satunnaisluvun g(x ) = X 2 odotusarvo on 6 g(k)f (k) = k=1 6 k=1 k 2 1 6 = 12 + 2 2 + + 6 2 6 = 91 6 = 151 6

Varianssi ja keskihajonta Satunnaisluvun X varianssi on ei-satunnainen luku Var(X ) = E [ (X µ) 2], missä µ = E[X ]. Diskreetille satunnaismuuttujalle X, jolla on pistetodennäköisyysfunktio f (x i ), Var(X ) = i (x i µ) 2 Pr(X = x i ) = i (x i µ) 2 f (x i ). Jatkuvalle satunnaisluvulle X, jolla on tiheysfunktio f (x), Var(X ) = (x µ) 2 f (x) dx. Varianssi Var(X ) ja keskihajonta Var(X ) kuvastavat miten paljon X tyypillisesti poikkeaa odotusarvostaan.

Varianssin laskusääntöjä Satunnaisluvulle X, jolla on odotusarvo µ = E[X ], pätee Var(X ) = E [ X 2] µ 2, Var(aX ) = a 2 Var(X ), a R. Var(a) = 0. Var(a + X ) = Var(X ). Luku E [ X 2] on X :n toinen momentti. Jos X ja Y ovat tilastollisesti riippumattomat, pätee lisäksi Var(X + Y ) = Var(X ) + Var(Y ). Yleisemmin, jos X 1,..., X n ovat tilastollisesti riippumattomat, pätee ( n ) n Var a i X i = ai 2 Var(X i ). i=1 i=1

Esm. Noppapeli Pelataan 100 kierrosta noppapeliä. Mitkä ovat kertyneen tuoton Y = X 1 + + X 100 odotusarvo, varianssi ja keskihajonta? Koska µ = E[X i ] = 3.5 ja E [ Xi 2 ] = 15 1 6, on yhden kierroksen tuoton varianssi Var(X i ) = E [ Xi 2 ] µ 2 = 15 1 6 (3.5)2 2.92. Odotusarvon lineaarisuudesta E[Y ] = 100 3.5 = 350. Koska nopanheitot ovat tilastollisesti riippumattomia, on Y :n varianssi Var(Y ) = Var ( 100 ) 100 X i = Var(X i ) 292. i=1 i=1 Y :n keskihajonta on siis Var(Y ) 292 17.08.

Todennäköisyydet generoiva funktio Jos X : S N on ei-negatiivinen satunnainen kokonaisluku ja f sen ptnf, niin satunnaismuuttujan X todennäköisyydet generoiva funktio (tngf) määritellään asettamalla G X (t) = E[t X ] = t k f (k) k=0 kaikilla t R, joilla oikeanpuoleinen sarja suppenee.

Esim. Geometrisesti jakautunut satunnaismuuttuja Joukon 1, 2,... geometrisen jakauman onnistumis-tn:llä p (0, 1) määrää ptnf f (k) = (1 p) k 1 p, k = 1, 2,... Oletetaan, että f määrää satunnaismuuttujan X jakauman. Silloin satunnaismuuttujan X tngf on G X (t) = t k f (k) = k=0 t k (1 p) k 1 ( ) k p = pt t(1 p) k=1 k=0 Oikeanpuoleinen sarja suppenee, kun (1 p) t < 1 ja hajaantuu muulloin. Näin ollen G X (t) = pt 1 (1 p)t, t < 1 1 p.

Faktoja Todennäköisyydet generoivan funktion tarkasteluun tarvitaan seuraavia tuloksia, jotka todistetaan kurssilla MS-A0101 Differentiaali- ja integraalilaskenta 1. On olemassa sellainen R 0, että G X (t) suppenee aina kun t < R ja hajaantuu aina kun t > R. Kyseinen luku R on nimeltään sarjan G X (t) suppenemissäde. Funktiolla G X on kaikkien kertalukujen jatkuvat derivaatat välillä ( R, R) ja potenssisarjan G X (t) voi derivoida termeittäin mielivaltaisen monta kertaa aina kun t < R. G X (t):n derivaattaa vastaavalla sarjalla k=1 ktk 1 f (k) on sama suppenemissäde kuin G X (t):n potenssisarjalla.

Tng-funktio määrää jakauman Ei-negatiivisen satunnaisen kokonaisluvun X tngf G X on aina määritelty joukossa [ 1, 1] ja se määrää X :n jakauman f yksikäsitteisesti kaavalla f (k) = G (k) X (0), k = 0, 1, 2,..., k! missä G (k) X on funktion G X k:s derivaatta. Tämän todistaminen on yksinkertaista edellä mainittujen faktojen avulla (HT).

Olkoon X positiivinen kokonaislukuarvoinen kokonaisluku ja oletetaan, että sen tngf G X on määritelty pisteessä t 0 > 1. Silloin X :n odotusarvo ja varianssi ovat äärellisiä ja ne voidaan laskea kaavoilla E[X ] = G X (1) ja Var(X ) = G X (1) + G X (1) G X (1)2. Todistuksen idea: derivoimalla saadaan joten G X (t) = k=1 kt k 1 f (k) G X (1) = k=1 kf (k) = E[X ] G X (t) = k=2 k(k 1)t k 1 f (k), G X (1) = k=2(k 2 k)f (k) = E [ X 2 X ] = E [ X 2] E [ X ].

Esim. Geometrisesti jakautunut satunnaismuuttuja Olkoon X geometrista jakaumaa hyväksymistodennäköisyydellä p (0, 1) noudattava satunnainen kokonaisluku. Silloin X :n odotusarvo ja varianssi saadaan laskettua helposti tngf:n G X (t) = G X (t) = d dt niin pt 1 (1 p)t avulla: Merkitään q = 1 p. Koska pt 1 (1 p)t E[X ] = G X (1) = = p(1 qt) ( q)(pt) (1 qt) 2 = p (1 q) 2 = p (1 (1 p)) 2 = 1 p. Varianssin laskeminen jätetään harjoitustehtäväksi. p (1 qt) 2,

Momentit generoiva funktio Todennäköisyydet generoiva funktio voidaan määritellä ainoastaan satunnaisille positiivisille kokonaisluvuille, joka on erittäin rajoittava ehto. Myös jatkuville satunnaismuuttujeille voidaan kuitenkin määritellä momentit generoiva funktio, mgf M X (t) = E [ e tx ], kunhan oikeanpuoleinen odotusarvo on äärellinen.

Momentit generoiva funktio Mgf määrää jakauman yksikäsitteisesti, kuten tngf, ja sen avulla voidaan laskea funktion momentit: eksponenttifunktion sarjakehitelmästä saadaan M X (t) = 1 + t E[X ] + t2 E [ X 2] 2! + t3 E [ X 3] 3 +..., josta nähdään, että X :n momentit E [ X k] saadaan laskettua mgf:n derivaattojen avulla sijoittamalla t = 0: missä M (k) X E[X ] = M X (0) E [ X 2] = M X (0). E [ X 2] = M (k) X (0), on funktion M X k:s derivaatta.

Karakteristinen funktio Momentit generoivaa funktiotakaan ei voi määritellä satunnaismuuttujille, joiden momentit kasvavat nopeasti. Kaikille satunnaismuuttujille on kuitenkin olemassa karakterisitinen funktio ϕ X (t) = E [ e itx ], missä i on imaginaariyksikkö, i 2 = 1. Karakteristinen funktio määrää jakauman yksikäsitteisesti, kuten tngf, mutta sen käyttö vaatii kompeleksianalyysin tuntemusta.

Satunnaisluvut yhteenveto Diskreetti satunnaisluku Esim. diskreetti tasajakauma, binomijakauma Pistetodennäköisyysfunktio f (x i ) määrää jakauman Tiheysfunktiota ei ole olemassa Pr(X A) = E g(x ) = i i:x i A f (x i ) g(x i ) f (x i ) Jatkuva satunnaisluku Esim. välin tasajakauma, eksponenttijakauma Pistetodennäköisyysfunktio identtisesti nolla Tiheysfunktio f (x) määrää jakauman Pr(X A) = E g(x ) = A f (x) dx g(x) f (x) dx

Yksinkertainen satunnaisotanta Halutaan selvittää, kuinka moni perusjoukon S alkioista kuuluu osajoukooon A. Esim Miten moni tietyn valmistuserän tuotteista on viallisia? Kuinka moni suomalainen kantaa tietylle sairaudelle altistavaa geeniä? Kuinka suuri osuus suomalaisista seuraa Salattuja elämiä? Tutkitaan n satunnaisesti valittua perusjoukon alkioita, ja tehdään tämän pohjalta estimaatti osajoukon A todelliselle koolle.

Yhden alkion satunnaisotanta Poimitaan perusjoukosta S satunnaisesti yksi alkio. Kirjataan otannan tulos muodossa { 1, jos poimittu alkio A, X = 0, muuten. Fakta Diskreetti satunnaisluku X noudattaa Bernoulli-jakaumaa parametrinaan p = A S, pistetodennäköisyysfunktio on { 1 p, k = 0, f (k) = p, k = 1.

Bernoulli-jakauma f (k) = { 1 p, k = 0, p, k = 1. Bernoulli-jakauman ptnf, p = 0.3

Bernoulli-jakauman tunnusluvut X noudattaa Bernoulli-jakaumaa parametrinaan p, jos X :n arvojoukko on {0, 1} ja pistetodenäköisyysfunktio on { 1 p, k = 0, f (k) = Pr(X = k) = Lasketaan X :n odotusarvo ja varianssi: Var(X ) = µ = E(X ) = p, k = 1. 1 kf (k) = 0 f (0) + 1 f (1) = p. k=0 1 (k µ) 2 f (k) = (0 µ) 2 (1 p) + (1 µ) 2 p k=0 = p 2 (1 p) + (1 p) 2 p ( ) = p(1 p) p + (1 p) = p(1 p).

Satunnaisotanta palauttaen Poimitaan perusjoukosta S satunnaisesti yksi alkio, tutkitaan kuuluuko se joukkoon A ja palautetaan se perusjoukkoon. Toistetaan tämä n kertaa. X = Osajoukkoon A kuuluvien havaintojen lukumäärä Fakta Diskreetti satunnaisluku X noudattaa binomijakaumaa parametrein n ja p = A S ; pistetodennäköisyysfunktio on ( ) n f (k) = p k (1 p) n k, 0 k n. k

Binomijakauma f (k) = ( ) n p k (1 p) n k k Binomijakauman ptnf, n = 15, p = 0.3 Huom Kun n = 1, saadaan Bernoulli-jakauma parametrilla p.

Binomijakauman tunnusluvut Diskreetti satunnaisluku X noudattaa binomijakaumaa parametrein n ja p; pistetodennäköisyysfunktio on ( ) n f (k) = p k (1 p) n k, 0 k n. k Lasketaan X :n odotusarvo ja varianssi. Kirjoitetaan X = n k=1 θ k, missä θ 1, θ 2,... ovat riippumattomia ja Bernoulli-jakautuneita parametrinaan p. Tällöin E(X ) = n E(θ k ) = np. k=1 n Var(X ) = Var(θ k ) = np(1 p). k=1

Satunnaisotanta ilman palautusta Poimitaan perusjoukosta S satunnaisesti n:n alkion otos. Kuinka moni otoksen alkio kuuluu osajoukkoon A? X = Osajoukkoon A kuuluvien alkioiden lukumäärä otoksessa Fakta Diskreetti satunnaisluku X noudattaa hypergeometrista jakaumaa parametreinaan N, K, n, missä N = S ja K = A ; pistetodennäköisyysfunktio on ( K )( N K ) k n k f (k) = ( N, max(0, n + K N) k min(n, K), n) missä N = S ja K = A.

Hypergeometrinen jakauma f (k) = ( K )( N K ) k n k ( N n) Hypergeometrisen jakauman ptnf, N = 100, K = 30, n = 15

Hypergeometrinen jakauma vs. binomijakauma HGeom(N, K, n) Bin(n, K/N), kun otantasuhde n N on pieni, eli kun otoksen koko on pieni suhteessa perusjoukon kokoon. E(X ) = np Var(X ) = np(1 p) ( ) n f (k) = p k (1 p) n k k E(X ) = np Var(X ) = np (1 p) ( K )( N K ) k n k f (k) = ( N n) ( ) N n N 1

Satunnaisotanta Yhteenveto Perusjoukko kokoa N = S. Osajoukko kokoa K = A. Osajoukon A suhteellinen koko p = K N. Yhden alkion satunnaisotos Bernoulli-jakauma Ber(p) n:n alkion satunnaisotanta palauttaen Binomijakauma Bin(n, p) n:n alkion satunnaisotanta palauttamatta Hypergeometrinen jakauma HGeom(N, K, n). Jos otantasuhde n/n on pieni, pätee approksimaatio HGeom(N, K, n) Bin(n, p), jolloin satunnaisotantaa ilman palautusta voidaan analysoida kuten satunnaisotantaa palauttaen.

Binomijakauma suurilla n:n arvoilla Diskreetti satunnaisluku X noudattaa Bin(n, p)-jakamaa, missä n = 10000 ja p = 0.3. Mikä on tn, että X on suurempi kuin 5000? Laske Pr(X > 5000) = 10000 k=5001 ( 10000 k ) 0.3 k 0.7 10000 k. Kokeillaan R:llä: sum(dbinom(5001:10000,10000,0.3)) = 0

... Binomijakauma suurilla n:n arvoilla Ptnf välillä [0, 10000] n = 10000, p = 0.3. Odotusarvo µ = np = 3000 Keskihajonta σ = np(1 p) = 45.83 Ptnf välillä [2725, 3275] n = 10000, p = 0.3.

Normaalijakauma Jatkuva satunnaisluku X noudattaa normaalijakaumaa parametrein µ ja σ 2, merkitään X N(µ, σ 2 ), jos sillä on tiheysfunktio f (x) = 1 (x µ)2 e 2σ 2. 2πσ 2 Tällöin X :n odotusarvo on µ ja varianssi σ 2. Standardoidun normaalijakauman N(0, 1) tiheysfunktio on ja kertymäfunktio on Φ(z) = f (x) = 1 2π e x2 2. z 1 2π e x2 2 dx.

Normaaliapproksimaatio Fakta (Keskeinen raja-arvolause) Jos X 1, X 2, X 3,... ovat riippumattomia satunnaislukuja, jotka noudattavat samaa jakaumaa kuin X, jolla on odotusarvo µ ja varianssi σ 2, niin niin todennäköisyydellä 1 ( 1 n ( ) ) Xi µ Pr z Φ(z) kun n. n σ i=1 Merkitään Z N(0, 1): n i=1 X i nµ + nσz, kun n Bin(n, p) np + np(1 p)z, kun n on iso ja p ei liian lähellä nollaa tai ykköstä.

Normaalijakauman affiini muunnos Jos X on normaalijakautunut parametrein µ X ja σx 2, niin tällöin myös Y = a + bx on normaalijakautunut parametrein µ Y = E(a + bx ) = a + b E(X ) = a + bµ X σ 2 Y = Var(a + bx ) = Var(a) + Var(bX ) = b2 Var(X )

Normaalijakauman standardointi Jos X noudattaa N(µ, σ 2 )-jakaumaa, niin tällöin Z = X µ σ noudattaa standardoitua normaalijakaumaa N(0, 1) ja tapahtuman a < X < b todennäköisyys on ( a µ Pr(a < X < b) = Pr < X µ < b µ ) σ σ σ ( a µ = Pr < Z < b µ ) σ σ ( = Pr Z b µ ) ( Pr Z a µ ) σ σ ( ) ( ) b µ a µ = Φ Φ. σ σ

Ensi viikolla tutustumme satunnaisvektoreihin ja moniulotteisiin jakaumiin...

Aineistolähteet Luentokalvot pohjautuvat osittain kurssin edellisten vuosien (Ilkka Mellin, Milla Kibble, Juuso Liesiö) luentokalvoihin.