M-0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi Viikko 1: Todennäköisyyslaskennan peruskäsitteet; Todennäköisyyden aksioomat; Todennäköisyyslaskennan peruslaskusäännöt; Kokonaistodennäköisyyden ja Bayesin kaavat Otosavaruus ja alkeistapahtumat Todennäköisyysmalliin kuuluu aina lkeistapahtumat: satunnaisilmiöt tulosvaihtoehdot, joita ei voida purkaa alkeellisimpiin tulosvaihtoehtoihin Otosavaruus: kaikkien alkeistapahtumien joukko Esim. Nopan heitto lkeistapahtumat: s 1 = 1, s 2 = 2, s 3 = 3, s 4 = 4, s 5 = 5, s 6 = 6 Otosavaruus: = 1,2,3,4,5,6} Esim. Tietokoneen vikaantuminen Otosavaruus = V,K, lkeistapahtumat: V = viallinen, K = kelvollinen Esim. Huomisen sademäärä x:0 xm Otosavaruus 2 Tapahtumat Tapahtuma on jokin otosavaruuden osajoukko Kun sanomme, että tapahtuma sattuu, tarkoitamme aina sitä, että jokin tapahtumaan kuuluva alkeistapahtuma s sattuu Esim. Nopan heitto: = 1,2,3,4,5,6} Tapahtuma = ilmäluku on parillinen = 2, 4, 6 Tapahtuma B = ilmäluku on suurempi kuin 4 = 5,6 Esim. Huomisen sademäärä = sataa alle 5mm = {x x 5} B = sataa yli 2 ja alle 5mm = {x 2< x 5} Otosavaruus, alkeistapahtumat ja tapahtumat: Esimerkki kahden nopan heitosta lkeistapahtuma: ilmälukupari (i,j), i=1,,6, j=1,,6 Otosavaruus: ilmälukuparien joukko (1,1), (1, 2), (1,3), (1, 4), (1, 5), (1,6), (2,1), (2,2), (2,3), (2,4), (2,5), (2,6), (3,1), (3,2), (3,3), (3,4), (3,5), (3,6), B (4,1), (4,2), (4,3), (4,4), (4,5), (4,6), (5,1), (5,2), (5,3), (5,4), (5,5), (5,6), (6,1), (6,2), (6,3), (6,4), (6,5), (6,6) Esimerkkejä tapahtumista: = Kummallakin nopalla sama silmäluku = (1,1), (2,2), (3,3), (4,4), (5,5), (6,6) B= ilmälukujen summa on 4 = {(1,3),(2,2),(3,1)} 3 4 Uusien tapahtumien muodostaminen Tapahtuman komplementtitapahtuma: c Mistä tahansa otosavaruuden tapahtumista voidaan muodostaa uusia tapahtumia Nämä uudet tapahtumat voidaan ilmaista sanoin tai kirjoittaa joukko-opin operaatioiden avulla Käytämme Venn-diagrammia kuvaamaan otosavaruuksia ja niihin liittyviä tapahtumia c = ei satu = ei- on niiden alkeistapahtumien joukko, jotka eivät kuulu joukkoon : c = s s c Tarkastellaan tapahtumista ja B johdettuja tapahtumia: Tapahtuma eisatu Tapahtuma tai B sattuu (eli tai B tai molemmat sattuu) Tapahtuma sattuu ja tapahtuma B sattuu Tapahtuma sattuu, mutta tapahtuma B ei satu Esim. Noppa ={1,2,3,4,5,6} = ilmäluku on suurempi kuin 3 = 4,5,6} c = ilmäluku ei ole suurempi kuin 3 = {1,2,3} 5 6 1
Tapahtumien ja B yhdiste: B Tapahtuma B = sattuu tai B sattuu tai molemmat sattuvat on niiden alkeistapahtumien joukko, jotka kuuluvat joukkoon tai joukkoon Btaimolempiin: B = s s tai s B Esim. Noppa ={1,2,3,4,5,6} = ilmäluku on suurempi kuin 3 = 4,5,6} B = ilmäluku on parillinen = 2,4,6 B = ilmäluku on suurempi kuin 3 tai parillinen = {2,4,5,6} Tapahtumien ja B leikkaus: B Tapahtuma B = ja B sattuvat on niiden alkeistapahtumien joukko, jotka kuuluvat joukkoon ja joukkoon B: B = s s ja s B Esim. Noppa ={1,2,3,4,5,6} = ilmäluku on suurempi kuin 3 = 4,5,6} B = ilmäluku on parillinen = 2,4,6 B = ilmäluku on suurempi kuin 3 ja parillinen = {4,6} 7 8 Tapahtumien ja B erotus: \B Toisensa poissulkevat tapahtumat Tapahtuma \B = sattuu, mutta B ei satu on niiden alkeistapahtumien joukko, jotka kuuluvat joukkoon, mutta eivät kuulu joukkoon B: \B=s s ja s B=B c Tapahtumat ja B ovat toisensa poissulkevia, jos ja B eivät voi sattua samanaikaisesti. Ne siis ovat otosavaruuden osajoukkoina pistevieraita: B = Esim. Noppa ={1,2,3,4,5,6} = ilmäluku on suurempi kuin 3 = 4,5,6} B = ilmäluku on parillinen = 2,4,6 \ B = ilmäluku on suurempi kuin 3, mutta ei parillinen = {5} Esim. Noppa ={1,2,3,4,5,6} = ilmäluku on suurempi kuin 5 = 6} B = ilmäluku on pariton = 1,3,5 B = ilmäluku on suurempi kuin 5 ja pariton = 9 10 Todennäköisyyden aksiomaattinen määrittely Todennäköisyys: mitta mahdollisuudelle että tapahtuma sattuu elvästi tapahtumat ja alkeistapahtumat täytyy olla hyvin määritelty Matemaattisesti kelvollisen yleisen määritelmän todennäköisyydelle esitti venäläinen matemaatikko. N. Kolmogorov 1930-luvun alussa. Kolmogorovin aksioomien mukaan todennäköisyyslaskenta on matemaattisen mittateorian osa Todennäköisyyden naiivit määritelmät (klassinen, empiirinen todennäköisyys) voidaan nähdä todennäköisyyden tulkintoina Todennäköisyys on Pr kuvaus otosavaruuden osajoukoilta reaaliluvuille, joka toteuttaa (i) Todennäköisyyden aksioomat Pr( ) 1 (ii) Jokaisen tapahtuman reaaliluku välillä [0,1]: 0Pr( ) 1 todennäköisyys Pr() on (iii) Jos ovat toisensa poissulkevia tapahtumia 1, 2, 3,... (eli, ), niin: i j i j Pr(...) Pr( ) Pr( ) Pr( )... 1 2 3 1 2 3 11 12 2
Klassinen todennäköisyyden määritelmä: lkeistapahtumat yhtä todennäköisiä Tapahtuman = s 1, s 2,, s n, johon kuuluu k alkeistapahtumaa, klassinen todennäköisyys on Pr = = Toteuttaa aksioomat (i)-(iii) Esim. Nopan tapahtuma = ilmäluku on suurempi kuin 4 Pr()=Pr({5,6})=2/6=0.333 Joukkojen kokojen ja laskemisessa tarvitaan usein kombinatoriikkaa (ks. Esimerkkikokoelma 1). Määritelmällä ei voida käsitellä tilanteita, joissa alkeistapahtumat eivät ole yhtä todennäköisiä ja/tai alkeistapahtumia on äärettömän monta Empiirinen todennäköisyyden määritelmä Toistetaan satunnaiskoetta n kertaa Kokeen olosuhteet säilyvät muuttumattomina koetoistosta toiseen. Tapahtuma sattuu koetoistojen aikana f kertaa. Oletetaan että tapahtuma suhteellinen frekvenssi f/n lähestyy (jossakin mielessä) jotakin kiinteätä lukua p koetoistojen lukumäärän n kasvaessa Tapahtuman empiirinen todennäköisyys on p 13 14 Ongelmat empiirisessä todennäköisyyden määritelmässä: uhteellisen frekvenssin määrääminen vaatii empiirisen kokeen toistamista Ei ole matemaattinen määritelmä Raja-arvon laskeminen vaatisi satunnaiskokeen toistamista äärettömän monta kertaa Mikään ei takaa, että määritelmässä esiintyvä frekvenssin rajaarvo on olemassa Ei voida käsitellä tilanteita, joissa havaintoja ei ole saatavilla Vrt. todennäköisyys että pääset läpi tästä kurssista Empiirinen todennäköisyys on pikemminkin tilastollisesti stabiilisti käyttäytyvän suhteellisen frekvenssin ominaisuus Todennäköisyyslaskennan peruslaskutoimitukset ja - säännöt Riippumatta todennäköisyyden tulkinnasta, käytämme Kolmogorovin aksioomista johdettuja laskusääntöjä Kaikkia todistuksia ei esitetä, mutta laskusäännöt tehdään ilmeisiksi Venn-diagrammien ja esimerkkien avulla ääntöjen avulla voidaan määrätä joidenkin tapahtumien todennäköisyyksistä joukko-opin operaatioiden avulla johdettujen uusien tapahtumien todennäköisyydet 15 16 Yhteenlaskusääntö toisensa poissulkeville tapahtumille Olkoot 1, 2,, k pareittain toisensa poissulkevia Eli i j =, kun i j Todennäköisyydet Pr( 1 ),, Pr( k ) 1 2 ksiooma (iii): Tapahtuman 1 tai 2 tai tai k sattuu todennäköisyys on Pr( 1 2 k ) = Pr( 1 ) + Pr( 2 ) + + Pr( k ) Esim. Eduskunnassa on n=200 kansanedustajaa, joista n DP =42 ja n Vas = 14 Todennäköisyys, että satunnaisesti valittu edustaja on sosialisti: Pr(osialisti) = Pr(DP) + Pr() = 42 200 + 14 200 = 56 200 =0.28 Mahdottoman tapahtuman todennäköisyys Tapahtuman todennäköisyys on Pr()=0 Todistus. ksiooma (iii) 1=Pr =Pr =Pr +Pr =Pr +1 Pr =0 ksiooma (i) ksiooma (i) Esim. atunnaisesti valittu kansanedustaedustaja on DP:n ja Kokoomuksen jäsen todennäköisyydellä Pr(DP Kok) = Pr()=0 17 18 3
Komplementtitapahtuman todennäköisyys Tapahtuman komplementtitapahtuma: c = ei satu = s s Todennäköisyys Pr( c ) = 1 Pr() Tod. ksioomien (i) ja (iii) mukaan 1=Pr =Pr =Pr +Pr Pr =1Pr Esim. Heitetään kahta kolikkoa yhtä aikaa: Pr( saadaan vähintään yksi kruuna )= Pr() =1-Pr( c ) =1-Pr(saadaan täsmälleen kaksi klaavaa )= =1-1/4=3/4 c Erotustapahtuman todennäköisyys Määritellään joukkojen ja B erotus \B = s s ja s B = B c Erotustapahtuma \B = sattuu, mutta B ei satu Todennäköisyys: Pr(\B) = Pr() Pr(B) Tod. elvästi =(\B) (B), joten aksiooman (iii) mukaan: Pr() = Pr(\B) + Pr(B Esim. atunnainen kortti 52:n kortin pakasta 13 patakorttia, joista 4 on kuvakortteja = kortti on pata, B = kortti on kuva \B = kortti on pata, mutta ei ole kuva P(\B)=Pr() Pr(B) = 13/52 4/52 = 9/52 19 20 Yleinen yhteenlaskusääntö tai B sattuu todennäköisyys on Pr(B) = Pr() + Pr(B) Pr(B) \B Tod. elvästi B=(\B) (B) (B\) ksiooman (iii) ja erotussäännön mukaan: Pr =Pr +Pr +Pr \) =Pr Pr +Pr +Pr Pr ) =Pr +Pr Pr Esim. Levikkitutkimus selvitti kuinka moni lukee eura ja pu-lehtiä: eura 20 % pu 16 % eura ja pu 1 % Todennäköisyys että ihminen lukee euraa tai pua on Pr(eura tai pu)=pr(eura)+pr(pu)-pr(eura ja pu) = 0.2 + 0.16-0.01 = 0.35 B\ Tapahtuman B sattumisesta seuraa tapahtuman sattuminen Oletetaan, että jos B sattuu, niin sattuu: B. Tällöin Pr() Pr(B) Tod. elvästi =B\B, joten aksiooma (iii): Pr() = Pr(B) + Pr(\B) Pr(B), sillä Pr(\B) 0 aksiooman (ii) perusteella. Huom! Pr(\B) = Pr() Pr(B), sillä B=B Esim. atunnainen kortti pakasta Jos kortti on pata se on myös musta Pr( kortti on musta ) = 26/52 13/52 =Pr( kortti on pata ) 21 22 Ehdollinen todennäköisyys Määritelmä: Tapahtuman ehdollinen todennäköisyys ehdolla, että tapahtuma B on sattunut (Pr(B) 0) on Pr( B) Pr( B) Pr( B) ja B sattuu B sattuu Esim. Heitetään kahta noppaa ={(i,j) i=1,,6,j=1, 6) = ilmälukujen summa on yli 10 B = Ensimmäisen nopan silmäluku on 6 Pr( 6,5, 6,6 ) Pr = Pr({ 6,1, 6,2, 6,3, 6,4, 6,5, 6,6 }) = 2 1/36 6 1/36 = 1 3 Ehdollinen todennäköisyys: Esimerkki Vuoden 2011 eduskunnan 200 kansanedustajasta 86 on naisia. atunnaisesti valittu edustaja on nainen todennäköisyydellä Pr(Nainen)=86/200=0.43 DP:lla on 42 kansanedustajaa, 15 miestä, 27 naista. Mikä on todennäköisyys, että satunnaisesti valittu edustaja, joka kuului DP:n ryhmään, oli nainen? Pr(Nainen ja DP) Pr(Nainen DP) Pr(DP) 27 / 200 27 0.643 0.43 Pr(Nainen) 42 / 200 42 Tieto siitä, että satunnaisesti valittu kansanedustaja oli DP:stä muutti todennäköisyyttä, että hän oli nainen. 23 24 4
Yleinen tulosääntö Mikä on leikkauksen 1 2 k = 1 ja 2 ja ja k sattuvat todennäköisyys? Ehdollisen todennäköisyyden määritelmästä Pr(B)= Pr(B )P() saadaan: Pr( 1 n )=Pr( n 1 n-1 )P( 1 n-1 ) Tätä käyttäen on helppoa todistaa yleinen tulosääntö: Pr( ) 1 2 k Pr( ) Pr( ) Pr( ) 1 2 1 3 1 2 Pr( k 12 k 1) Yleinen tulosääntö: Esimerkki Nostetaan korttipakasta peräkkäin 3 korttia. Korttipakassa on 52 korttia, joista 13 on patoja, Olkoon tapahtuma i = i. kortti on pata, i = 1, 2, 3. Mikä on todennäköisyys, että ne ovat kaikki patoja, eli 1 ja 2 ja 3 sattuvat? Pr( ) Pr( )Pr( )Pr( ) 1 2 3 1 2 1 3 1 2 13 12 11 33 52 51 50 2550 0.0129 Huom! Korttien nosto toteutettiin ilman takaisinpanoa. 25 26 Riippumattomuuden määritelmä Määritelmä: Tapahtumat ja B ovat riippumattomia jos Pr(B) = Pr()Pr(B) ymmetrinen ominaisuus: jos on riippumaton B:stä, niin B on riippumaton :sta anomme tavallisesti, että tapahtumat ja B ovat riippumattomia Esimerkkejä tilanteita joissa riippumattomuus on ilmeistä Heitetään toistuvasti kolikkoa heittojen tulokset eivät riipu aikaisemmin tehtyjen heittojen tuloksista Otanta takaisinpanolla: Nostetaan uurnasta toistuvasti arpalippuja niin, että nostettu lippu palautetaan uurnaan ja uurna sekoitetaan huolellisesti nostojen tulokset eivät riipu aikaisemmin tehtyjen nostojen tuloksista Riippumattomuuden yhtäpitävät ehdot Tapahtumat ja B ovat riippumattomia, jos ja vain jos mikä tahansa seuraavista yhtäpitävistä ehdoista pätee: (i) Pr( B) Pr( )Pr( B) (ii) Pr( B) Pr( ) (iii) Pr( B) Pr( B) Tod. ijoittamalla ehdollisen todennäköisyyden määritelmä kaavaan (ii) tai (iii) saadaan (i) Tulkinta: Jos Pr( BPr(), niin tieto siitä, että tapahtuma B on sattunut, sisältää informaatiota, jota voidaan käyttää hyväksi tapahtuman todennäköisyyttä määrättäessä (ii) ei päde, joten määritelmän mukaan tapahtumat ovat riippuvia 27 28 Riippumattomuus: Esimerkkejä Heitetään rahaa kaksi kertaa. Pr(Kruuna) = Pr(Klaava) =1/2 = aadaan kruuna 1. heitolla, B = aadaan kruuna 2. heitolla Voidaan olettaa, että ja B ovat riippumattomia, joten 1 1 1 Pr( jab) 0.25 2 2 4 Valitaan pakasta satunnainen kortti = kortti on pata, Pr() = 13/52 = 1/4 B = kortti on ässä, Pr(B) = 4/52 = 1/13 B = kortti on pataässä, Pr(B)=1/52 Ovatko tapahtumat ja B riippumattomia? Pr()*Pr(B)=1/4 * 1/13 = 1/52 = Pr(B) OVT! Riippumattomuuden seuraukset Jos tapahtumat ja B ovat riippumattomia, niin (i) Tapahtumat ja B c ovat riippumattomia. (ii) Tapahtumat c ja B ovat riippumattomia. (iii) Tapahtumat c ja B c ovat riippumattomia. Todistetaan (i) malliksi: Pr( B c ) = Pr( \ B) =Pr()Pr(B) (erotustapahtuma) =Pr() Pr()Pr(B) ( ja B riippumattomia) =Pr()[1 Pr(B)] =Pr()Pr(B c ) (komplementtitapahtuma) Riippumattomuus siis leviää komplementtitapahtumiin. 29 30 5
Useiden tapahtumien riippumattomuus Määritelmä: Tapahtumat 1, 2,, k ovat riippumattomia, jos Pr( ) Pr( ) Pr( ) Pr( ) i1 i2 im i1 i2 im pätee kaikille i1, i2,, im 1,2,, k Intuitiivisesti: Otetaan mikä tahansa osajoukko tapahtumista 1, 2,, k niin tulosääntö pätee niiden leikkauksen todennäköisyydelle Merkitään: 1, 2,, k Esim. Heitetään rahaa 10 kertaa: Pr(10 kruunaa) Pr(Kruuna 1.heitolla) Pr(Kruuna 10. heitolla) 1 1 1 1 2 2 10 2 1024 10 kappaletta 0.000977 Kokonaistodennäköisyyden kaava (1/2) B 1 B 2 Otosavaruuden osajoukot B 1, B 2,, B n muodostavat :n osituksen, jos B 3 B 4 (i) B i, i = 1, 2,, n (ii) B i B j =, i j B 5 (iii) = B 1 B 2 B n B 1 B 2 Joukolle indusoituu ositus (B 1 ), (B 2 ),, (B n ) siten että (i) (B i )(B j ) =, i j (ii) = (B 1 )(B 2 ) (B n ) B 2 B 3 B4 B 3 B 4 31 32 Kokonaistodennäköisyyden kaava (2/2) Yhteenlaskusääntö toisensa poissulkeville tapahtumille: n Pr( ) Pr( B ) (1) i1 Yleinen tulosääntö: Pr( B) Pr( B) Pr( B) i i i i (2) B 1 B 2 B 2 B 3 B4 ijoittamalla (2) (1) saadaan n B 3 B 4 Pr( ) Pr( Bi) Pr( Bi) i1 Käyttökelpoinen tapahtuman todennäköisyyttä määrättäessä, jos todennäköisyydet Pr(B i ) ja Pr(B i ) ovat tunnettuja. Ei ole hyötyä jos tapahtuma on riippumaton tapahtumista B 1,B 2,,B n Bayesin kaava Ehdollisen todennäköisyyden määritelmän mukaan: Pr = Pr ) = Pr Pr ) Pr) Pr) oveltamalla nimittäjään kokonaistodennäköisyyden kaavaa saadaan Pr = Pr Pr ) Pr ) Pr ) B 1 B 2 B 2 B 3 B4 B 3 B 4 Käyttökelpoinen sellaisissa tilanteissa, joissa todennäköisyydet Pr(B i ) ja Pr(B i ) ovat tunnettuja. Ei ole hyötyä jos tapahtuma on riippumaton tapahtumista B 1, B 2,, B n 33 34 Bayesin kaava: Kommentteja Pr = Pr Pr ) Pr) = Pr Pr ) Pr ) Pr ) Pr(B i ) kutsutaan priori-todennäköisyydeksi. prior (lat.), edeltävä, aikaisempi Käsityksemme tapahtuman B i todennäköisyydestä ennen kuin saamme tietää onko tapahtuma sattunut vai ei. Pr(B i ) kutsutaan posteriori-todennäköisyydeksi posterior (lat.), jälkeen tuleva, myöhempi Miten ennakkokäsitystämme tapahtuman B i todennäköisyydestä kannattaa korjata, kun saamme tietää, että tapahtuma on sattunut? Bayesin kaava ja kokonaistodennäköisyys: Esimerkki (1/3) Ruuvitehtaalla on kaksi konetta ja B, joilla tehdään samanlaisia ruuveja - ja B-koneen valmistamat ruuvit sekoitetaan ja pakataan laatikoihin suhteessa 3:5 Osa kummankin koneen valmistamista ruuveista on viallisia: 5 % -koneen valmistamista ruuveista on viallisia 8 % B-koneen valmistamista ruuveista on viallisia Valitaan laatikosta satunnaisesti 1 ruuvi tutkittavaksi: Mikä on todennäköisyys, että ruuvin on valmistanut -kone? Jos ruuvi osoittautuu vialliseksi, mikä on todennäköisyys, että sen on valmistanut -kone? 35 36 6
Bayesin kaava ja kokonaistodennäköisyys: Esimerkki (2/3) Tapahtumat ja tunnetut todennäköisyydet = Ruuvin on valmistanut -kone, Pr() = 3/8 B = Ruuvin on valmistanut B-kone, Pr(B) = 5/8 V = Ruuvi on viallinen, Pr(V)=0.05, Pr(VB) = 0.08 Tapahtumat ja B muodostavat otosavaruuden osituksen, joka indusoi osituksen tapahtumaan V Kokonaislodennäköisyyden kaavasta saadaan todennäköisyys, että satunnaisesti poimittu ruuvi on viallinen: Pr(V) = Pr()Pr(V) + Pr(B)Pr(VB) = (3/8)0.05 + (5/8)0.08 = 0.06875= 6.875 % V VB V B Bayesin kaava ja kokonaistodennäköisyys: Esimerkki (3/3) VB Tapahtumat ja tunnetut todennäköisyydet = Ruuvin on valmistanut -kone, Pr() = 3/8 V B = Ruuvin on valmistanut B-kone, Pr(B) = 5/8 V = Ruuvi on viallinen, Pr(V)=0.06875 Pr(V)=0.05, Pr(VB) = 0.08 Todennäköisyys että ruuvin on valmistanut -kone, jos ruuvi osoittautuu vialliseksi Pr( V) saadaan Bayesin kaavasta Pr = Pr Pr ) = Pr ) 0.05 3/8 0.27 0.06875 V B 37 38 7