MS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi

MS-A050 Todennäköisyyslaskennan ja tilastotieteen peruskurssi B Satunnaismuuttujat ja todennäköisyysjakaumat Lasse Leskelä Matematiikan ja systeemianalyysin laitos Perustieteiden korkeakoulu Aalto-yliopisto Syksy 20, periodi I

Sisältö Diskreetit satunnaismuuttujat Jatkuvat jakaumat Jatkuvat satunnaisvektorit Sekoitetut jakaumat Ehdolliset jakaumat

Satunnaismuuttuja Satunnaismuuttuja on suure, jonka arvo määräytyy satunnaisilmiön realisaatiosta: Sattuma määrää satunnaisilmiön realisaation s S Realisaatio s määrää satunnaismuuttujan arvon X (s) Tapahtuma {X = a} := {s S : X (s) = a} Esim (Kaksi noppaa) Perusjoukon S = {(s, s 2 ) : s, s 2 =,..., } satunnaismuuttujia: Nopan silmäluku X (s) = s Nopan 2 silmäluku X 2 (s) = s 2 Silmälukujen maksimi M(s) = max{s, s 2 }

Satunnaismuuttuja: Tulkinta Satunnaismuuttuja X on suure, jonka arvo X (s) määräytyy satunnaisilmiön realisaatiosta s S: Yhteen satunnaisilmiöön liittyy useita satunnaismuuttujia. Realisaatio s S määrää niiden kaikkien arvot. Todennäköisyysteoriassa tutkitaan satunnaismuuttujien arvojen todennäköisyyksiä, kun satunnaisilmiötä kuvaava perusjoukon S todennäköisyysjakauma P tunnetaan. Tilastotieteessä pyritään havaittujen satunnaismuuttujien arvojen perusteella tekemään johtopäätöksiä perusjoukon S tuntemattomasta todennäköisyysjakaumasta P. Matemaattisesti (MS-E00 Probability theory): Satunnaismuuttuja on mitallinen kuvaus X : S S Tapahtuman {X B} todennäköisyys on luku P(A), missä A = X (B) on joukon B alkukuva

Eri tyyppisiä satunnaismuuttujia Satunnaismuuttujasta X : S S saatetaan käyttää nimitystä satunnaisluku, kun S R satunnaisvektori, kun S R n satunnaismatriisi, kun S R m n satunnaisverkko, kun S {n:n solmun verkot} stokastinen prosessi, kun S { ajan t funktiot t f (t)} Tällä kurssilla käsitellään lähes yksinomaan satunnaislukuja (eli reaaliarvoisia satunnaismuuttujia) ja R 2 :n satunnaisvektoreita. Satunnaismuuttuja on diskreetti, jos sen mahdolliset arvot voidaan listata äärelliseen tai äärettömään jonoon (x, x 2,... ).

Satunnaismuuttujan jakauma Satunnaismuuttujan X jakauma on taulukko tai funktio, josta voidaan määrittää X :n mahdolliset arvot ja niiden todennäköisyydet. Esim (Kaksi noppaa) Nopan silmäluvun X jakauma on k 2 4 5 P(X = k) eli lukujoukon {,..., } tasajakauma. Nopan 2 silmäluvulla X 2 on sama jakauma. = Satunnaismuuttujat X ja X 2 ovat samoin jakautuneita.

Esimerkki: Kahden nopan maksimin jakauma M = max(x, X 2 ), missä X ja X 2 ovat kahden nopan tulokset. P(M = k) = P(M k) P(M k ) = P(X k, X 2 k) P(X k, X 2 k ) = P(X k) P(X 2 k) P(X k ) P(X 2 k ) ( ) k 2 ( ) k 2 = = 2k Satunnaismuuttujan M jakauma: k 2 4 5 P(M = k) 5 7 9

Pistetodennäköisyysfunktio Kun satunnaismuuttujan arvojoukko on pieni, kannattaa jakauma esittää taulukkona. Esim (Kruunien lukumäärä 5:llä kolikonheitolla) k 0 2 4 5 P(X = k) 2 5 2 0 2 0 2 5 2 2 Suuren arvojoukon tapauksessa jakauma kannattaa esittää pistetodennäköisyysfunktion f X (k) := P(X = k) avulla. Esim (Kruunien lukumäärä n =5 000 000:lla kolikonheitolla) f X (k) = ( n k ) ( 2 ) k ( 2) n k, k = 0,,..., n. Tämä on binomijakauma parametreina n = 5 000 000 ja p = 2.

Satunnaismuuttujien yhteisjakauma Samaan satunnaisilmiöön liittyvien satunnaismuuttujien X ja Y yhteisjakauma on taulukko tai funktio, josta voidaan määrittää parin (X, Y ) mahdolliset arvot ja niiden todennäköisyydet. Esim (Kaksi noppaa) Noppien silmälukujen X ja X 2 yhteisjakauma on X 2 X 2 4 5 2 4 5 eli tulojoukon {,..., } {,..., } tasajakauma.

Ensimmäisen nopan ja noppien maksimin yhteisjakauma k < i = P(X = i, M = k) = 0 k = i = P(X = i, M = k) = P(X = i, X 2 i) = k k > i = P(X = i, M = k) = P(X = i, X 2 = k) = Satunnaismuuttujien X ja M yhteisjakauma: M X 2 4 5 2 0 2 0 0 4 0 0 0 4 5 0 0 0 0 5 0 0 0 0 0

Yhteisjakauman rivi- ja sarakesummat Rivi- ja sarakesummia kutsutaan yhteisjakauman reunajakaumiksi. M X 2 4 5 Yht 2 0 2 0 0 4 0 0 0 4 5 5 0 0 0 0 0 0 0 0 0 Yht 5 Rivisummista saadaan X :n jakauma Sarakesummista saadaan M:n jakauma 7 9

Silmälukujen yhteisjakauman reunajakaumat X 2 X 2 4 5 Yht 2 4 5 Yht Rivisummista saadaan X :n jakauma Sarakesummista saadaan X 2 :n jakauma

Satunnaismuuttujien riippuvuus ja riippumattomuus Satunnaismuuttujat X ja Y ovat stokastisesti riippumattomat, jos kaikilla A, B pätee P(X A, Y B) = P(X A) P(Y B). Esim (Kaksi noppaa) Noppien silmäluvut X ja X 2 ovat riippumattomat X ja M = max{x, X 2 } ovat riippuvat Huom X ja Y ovat riippumattomat täsmälleen silloin, kun P(Y B X A) = P(Y B) kaikilla A, B s.e. P(X A) > 0.

Yhteisjakauman pistetodennäköisyysfunktio Satunnaismuuttujien X ja Y yhteisjakauman pistetodennäköisyysfunktio on f X,Y (i, j) = P(X = i, Y = j). Fakta Jos X ja Y ovat riippumattomat, niin f X,Y (i, j) = f X (i)f Y (j). Esim (Kaksi noppaa) Noppien silmäluvut X ja X 2 ovat riippumattomat, ja molempien pistetodennäköisyysfunktio on f (i) =, i =,...,. = f X,X 2 (i, j) = f (i)f (j) =, i, j =,...,.

Esim. Satunnaisotanta Kuinka moni opiskelijoista katsoi viime to Salatut elämät? S = Kaikki opiskelijat, #S = A = Salkkarit katsoneet opiskelijat, #A =. (#A olisi käytännön tilanteessa tuntematon) Haastatellaan satunnaiset n = 2 opiskelijaa ja merkitään {, jos. haastateltu opiskelija A θ = 0, muuten θ 2 = {, jos 2. haastateltu opiskelija A 0, muuten Mikä on θ :n ja θ 2 :n yhteisjakauma? P(θ =, θ 2 = ) =?

Satunnaisotanta palauttaen ja ilman palautusta Palauttaen Ilman palautusta θ 2 θ 0 Yht 0 Yht θ 2 θ 0 Yht 0 7 79 79 Yht 79 2 79 Molemmissa tapauksissa saadaan samat reunajakaumat. Yhteisjakaumaan vaikuttaa, miten otanta suoritetaan.

Satunnaisotanta palauttaen ja ilman palautusta Palauttaen Ilman palautusta θ 2 θ 0 Yht 0 Yht f θ,θ 2 (i, j) = f θ (i)f θ2 (j) θ 2 θ 0 Yht 0 7 79 79 Yht 79 2 79 f θ,θ 2 (i, j) f θ (i)f θ2 (j) Molemmissa tapauksissa saadaan samat reunajakaumat. Satunnaisotannassa palauttaen ovat θ ja θ 2 riippumattomat. Satunnaisotannassa ilman palautusta θ ja θ 2 ovat riippuvat.

Ääretön arvojoukko Satunnaismuuttujan mahdollisten arvojen joukko voi olla ääretön. Esim (Kimblen alkuvaihe) N = nopanheittojen lukumäärä, kunnes saadaan kuutonen. P(N = k) = P(X,..., X k, X k = ) = P(X ) P(X k ) P(X k = ) ( = ) k ( ) Satunnaismuuttuja N noudattaa äärettömän arvojoukon {, 2,... } geometrista jakaumaa onnistumistodennäköisyytenä p =. Pistetodennäköisyysfunktio f N (k) = ( p) k p, k =, 2,...

Diskreetti satunnaismuuttuja Satunnaismuuttuja on diskreetti, jos sen arvojoukko voidaan numeroida äärellisenä tai äärettömänä listana (x, x 2,... ). Diskreetin satunnaismuuttujan X jakauma määräytyy pistetodennäköisyysfunktiosta kaavalla P(X B) = i B f X (i) ja diskreettien satunnaismuuttujien X ja Y yhteisjakauma kaavalla P((X, Y ) B) = f X,Y (i, j) (i,j) B

Kaikki tähän asti käsitellyt satunnaismuuttujat ovat olleet diskreettejä. Tuleeko mieleen muunlaisia satunnaismuuttujia?

Esimerkki: Metron odotusaika X = odotusaika (min) asemalla, jonne metroja saapuu 0 min välein. Mikä on satunnaismuuttujan X jakauma? P(2 X ) = 0 = 0. P(2.9 X ) = 0. 0 = 0.0 P(2.999999 X ) = 0.00000 0 = 0.000000 P(X = ) = 0 Vastaavasti päätelleen havaitaan, että satunnaismuuttujan X pistetodennäköisyysfunktio on P(X = t) = 0 kaikilla t. Menikö yo. päättelyssä jotain väärin? Ei mennyt. Koska X :n arvojoukko on jatkuva väli [0, 5], tarkoittaa {X = } tapahtumaa, että X :n arvo on äärettömän monen desimaalin tarkkuudella. Tällaisen tapahtuman todennäköisyys on nolla.

Esimerkki: Metron odotusaika X = odotusaika (min) asemalla, jonne metroja saapuu 0 min välein. Mikä on satunnaismuuttujan X jakauma? Koska P(X =t) = 0 kaikilla t, ei X :n jakaumaa voi määrittää pistetodennäköisyysfunktion avulla. Tarvitaan muita keinoja. missä P(a X b) = P(a < X b) F X (t) = = P(X b) P(X a) = F X (b) F X (a), 0, t 0, t 0, 0 < t < 0,, t 0. on odotusajan jakauman kertymäfunktio.

Kertymäfunktio Satunnaisluvun (eli reaaliarvoisen satunnaismuuttujan) jakauman kertymäfunktio on funktio F X (t) = P(X t). Fakta Kertymäfunktio määrää jakauman: funktion F X (t) avulla voidaan laskea kaikkien tapahtumien {X B} todennäköisyydet. Esim (Metron odotusaika) Millä todennäköisyydellä odotusaika osuu välille (, 2) tai (, 4)? P(X (, 2) tai X (, 4)) = P(X (, 2)) + P(X (, 4)) = (F X (2) F X ()) + (F X (4) F X ()) ( 2 = 0 ) ( 4 + 0 0 ) 0 = 0.2.

Jatkuva satunnaisluku Satunnaisluku X on jatkuva, jos sen jakauma voidaan esittää tiheysfunktion f (x) 0 avulla muodossa P(X A) = f (x) dx, A R. A Paradoksi? Jatkuvan satunnaisluvun tarkat arvot Tapahtuman {X = a} todennäköisyys on P(X = a) = P(a X a) = a a f (x) dx = 0. {X = a} on tapahtuma, että X :n arvo on reaaliluku a äärettömän monen desimaalin tarkkuudella. Jos f (a) > 0 ja f on jatkuva pisteessä a, niin P(X (a δ, a + δ)) = a+δ a δ f (x) dx 2δf (a) > 0 mielivaltaisen pienellä δ > 0. f(x) A x

Jatkuva tasajakauma f(x) Jatkuvan välin (a, b) tasajakauman tiheysfunktio on f (x) = { b a, jos x (a, b), 0, muuten. b - a a b x Esim Merkitään luvulla θ sitä kulmaa, johon rulettipyörä yhden pelikierroksen jälkeen asettuu suhteessa edelliseen tilaansa. Tällöin θ noudattaa välin (0, 2π) tasajakaumaa ja todennäköisyys, että θ (0, π) on P(θ (0, π)) = π 0 f (x) dx = π 0 2π dx = π 2π = 2.

Kertymäfunktio ja tiheysfunktio Jatkuvan satunnaisluvun kertymäfunktio on tiheysfunktion integraali F (x) = P(X x) = x tiheysfunktio on kertymäfunktion derivaatta f (x) = F (x) f (t) dt

Jatkuva tasajakauma Jatkuvan välin (a, b) tasajakauman tiheysfunktio on f(x) f (x) = { b a, x (a, b), 0, muuten. b - a a b x Integroimalla tiheysfunktiota = kertymäfunktio on 0, x a, F (x) = x a b a, a < x < b,, x b. a b F(x) x

Eksponenttijakauma Eksponenttijakauman parametrina λ > 0 tiheysfunktio on { λe λx, x > 0 f (x) = 0, x 0. Integroimalla tiheysfunktiota = kertymäfunktio on { 0, x 0, F (x) = e λx, x > 0. λ f(x) F(x) x x

Eksponenttijakauman muistittomuus F (t) = e λt, t 0 P ( X > s + t X > s ) = = P(X > s + t ja X > s) P(X > s) P(X > s + t) F (s + t) = P(X > s) F (s) = e λ(t+s) e λs = e λt = P(X > t) Siis P(X > s + t X > s) = P(X > t) kaikilla s, t 0. Tulkinta Huolimatta siitä, kuinka kauan bussia on jo odotettu, on tn että pitää odottaa vielä t min lisää sama kuin tn, että juuri pysäkille saapunut henkilö odottaa yli t min.

Satunnaisluvut yhteenveto Diskreetti satunnaisluku Esim. joukon {,..., } tasajakauma, binomijakauma Pistetodennäköisyysfunktio f (i) määrää jakauman Tiheysfunktiota ei ole olemassa P(X A) = i A f (i) Jatkuva satunnaisluku Esim. välin [0, 0] tasajakauma, eksp. jakauma Pistetodennäköisyysfunktio on identtisesti nolla Tiheysfunktio f (x) määrää jakauman P(X A) = f (x) dx A

Jatkuva satunnaisvektori Satunnaisvektori (X,..., X n ) on järjestetty lista samalla perusjoukolla määriteltyjä satunnaismuuttujia. Satunnaisvektori (X, X 2 ) R 2 on jatkuva, jos sen jakauma eli X :n ja X 2 :n yhteisjakauma voidaan esittää tiheysfunktion avulla muodossa P((X, X 2 ) B) = f X,X 2 (x, x 2 ) dx dx 2, B R 2. Esim (Pörssi) B Helsingin pörssin tilaa seuraavana pankkipäivänä voidaan mallintaa -ulotteisella satunnaisvektorilla (X,..., X ), missä X i on osakkeen i avauskurssi. Esim (Sää) Huomisaamun tuulen nopeuksia Ilmatieteen laitoksen havaintoasemilla voidaan mallintaa satunnaisvektorilla (X,..., X 20 ), missä X i on tuulen nopeus havaintoasemalla i.

Reunatiheysfunktiot Fakta Jatkuvan satunnaisvektorin (X, X 2 ) komponentit ovat jatkuvia satunnaislukuja, joiden tiheysfunktiot saadaan yhteisjakauman tiheysfunktiosta kaavoilla f X (x ) = f X2 (x 2 ) = f (x, x 2 ) dx 2, f (x, x 2 ) dx. Huom f X (x ) vastaa rivisummaa rivillä x f X2 (x 2 ) vastaa sarakesummaa sarakkeella x 2 Näitä kutsutaan yhteisjakauman reunatiheysfunktioiksi

Esim. Yksikköneliön tasajakauma Yksikköneliön (0, ) 2 tasajakaumaa noudattavan satunnaisvektorin (U, U 2 ) tiheysfunktio on {, kun x (0, ) ja x 2 (0, ), f U,U 2 (x, x 2 ) = 0, muuten. Yhteisjakauman reunatiheysfunktiot ovat {, kun x (0, ), f U (x ) = f U,U 2 (x, x 2 ) dx 2 = 0, muuten. f U2 (x 2 ) = f U,U 2 (x, x 2 ) dx = {, kun x 2 (0, ), 0, muuten. U ja U 2 noudattavat siis välin (0, ) tasajakaumaa.

Stokastinen riippuvuus ja riippumattomuus Palautetaan mieleen: X, Y ovat riippumattomat, jos kaikilla A, B pätee P(X A, Y B) = P(X A) P(Y B). Fakta Jatkuvan satunnaisvektorin (X, Y ) komponentit X ja Y ovat riippumattomat jos ja vain jos niillä on yhteistiheysfunktio, joka voidaan kirjoittaa muodossa f X,Y (x, y) = f X (x)f Y (y) kaikilla x, y.

Esim. Yksikköneliön tasajakauma Yksikköneliön (0, ) 2 tasajakaumaa noudattavan satunnaisvektorin (U, U 2 ) tiheysfunktio on {, kun x (0, ) ja x 2 (0, ), f U,U 2 (x, x 2 ) = 0, muuten, ja reunatiheysfunktiot ovat Koska f U (u) = f U2 (u) = ovat U ja U 2 riippumattomat. {, kun u (0, ), 0, muuten. f U,U 2 (x, x 2 ) = f U (x )f U2 (x 2 ),

Esimerkki: Metron odotusaika Y = odotusaika (min) asemalla, jonne metroja saapuu 0 min välein, ja jossa metrot pysähtyvät min ajan. Y :n jakauma =? X = aika (min) edellisen metron saapumisesta noudattaa välin [0, 0] tasajakaumaa. Kun t [0, 9], P(Y t) = P(Y = 0) + P(0 < Y t) = F Y (t) = = P(X ) + P(0 < 0 X < t). Onko Y :n jakauma diskreetti vai jatkuva? 0, t < 0, 0 + t 0, 0 t 9,, t > 9. Y saa arvoja jatkuvalla välillä [0, 9] = ei diskreetti P(Y = 0) > 0 = ei jatkuva

Esimerkki: Metron odotusaika Y = odotusaika (min) asemalla, jonne metroja saapuu 0 min välein, ja jossa metrot pysähtyvät min ajan. Kertymäfunktio voidaan kirjoittaa muodossa F Y (t) = 0 F Y 0 (t) + 9 0 F Y (t), missä F Y0 (t) = { 0, t < 0,, t 0, F Y (t) = 0, t < 0, t 9, 0 t < 9,, t 9, Y :n jakauma on diskreetin ja jatkuvan jakauman sekoitus: Y 0 on diskreetti sm, joka varmuudella saa arvon 0 (Y :n jakauma ehdolla, että metro on odottamassa asemalla) Y on jatkuva sm, joka noudattaa välin [0, 9] tasajakaumaa (Y :n jakauma ehdolla, että metroa joudutaan odottamaan)

Diskreettien satunnaismuuttujien ehdolliset jakaumat Jos diskreettien satunnaismuuttujien yhteisjakaumalla on pistetodennäköisyysfunktio f X,Y (x, y), niin P(Y = y X = x) = P(X = x, Y = y) P(X = x) = f X,Y (x, y). f X (x) Satunnaismuuttujan Y ehdollinen jakauma tapahtuman {X = x} sattuessa määräytyy siis pistetodennäköisyysfunktiosta y f Y X (y x) = f X,Y (x, y). f X (x)

Esim. Satunnaisotanta palauttaen Mikä on satunnaismuuttujan θ 2 ehdollinen jakauma tapahtuman {θ = 0} sattuessa? θ 2 θ 0 Yht 0 Yht f θ2 θ (0 0) = f θ2 θ ( 0) = =. =. Tässä tapauksessa θ 2 :n ehdollinen jakauma tapahtuman {θ = 0} sattuessa on sama kuin θ 2 :n ehdoton jakauma.

Esim. Satunnaisotanta ilman palautusta Mikä on satunnaismuuttujan θ 2 ehdollinen jakauma tapahtuman {θ = 0} sattuessa? θ 2 θ 0 Yht 0 7 79 79 Yht 79 2 79 f θ2 θ (0 0) = f θ2 θ ( 0) = 7 79 79 = 7 79. = 79. Tässä tapauksessa θ 2 :n ehdollinen jakauma tapahtuman {θ = 0} sattuessa on eri kuin θ 2 :n ehdoton jakauma.

Jatkuvan satunnaisvektorin ehdolliset jakaumat Jos jatkuvalla satunnaisvektorilla (X, Y ) on tiheysfunktio f X,Y, niin Y :n ehdollinen tiheysfunktio ehtomuuttujan X suhteen on f Y X (y x) = f X,Y (x, y). f X (x) Tulkinta: Valitaan pienenpieni ɛ > 0 ja merkitään {X x} = {x ɛ < X < x + ɛ}. Kun f X (x) > 0 ja f Y X on sopivassa mielessä jatkuva, niin x+ɛ x ɛ B P(Y B X x) = f X,Y (u, v) dv du x+ɛ x ɛ f X (u) du ( x+ɛ x ɛ B f Y X (v u) dv) f X (u) du = x+ɛ x ɛ f X (u) du f Y X (v x) dv. B

Seuraavalla kerralla puhutaan satunnaismuuttujien odotusarvoista...