Todennäköisyys Kurssilla esitetään lyhyt katsaus niihin todennäköisyyden ja satunnaisprosessien peruskäsitteisiin ja -ominaisuuksiin, joita tarvitaan digitaalisten tietoliikennejärjestelmien ymmärtämisessä Lisätietoja saa esim. oppikirjassa mainituista lähteistä Tämä osiokäsittelee todennäköisyyttä 27
Todennäköisyys On havaittu, että toistuvan tapahtuman keskiarvo lähestyy jotain vakioarvoa kun toistomääräkasvaa Todennäköisyysteoria käsittelee näitä keskiarvoja Tapahtuman A todennäköisyys P(A)voidaan ymmärtää seuraavasti: Toistetaan koe n kertaa ja havaitaan tapahtuma An A kertaa. Silloin, erittäin varmasti, tapahtumana suhteellinen frekvenssi n A /n on lähellä lukua P(A) n A /n, kun n on riittävän iso (1) Esim. 1: heitettäessä reilua kolikkoa 500 kertaa saadaan klaava n. 250 kertaa eli klaavan todennäköisyys P(klaava)= 1/2, joka vastaa havaintoa että kolikossa on kaksi puolta ja rahan heitossa molempien puolien esiintymistodennäköisyys on sama 28
Esim. 2: heitettäessä reilua noppaa 600 kertaa esiintyy yksittäinen silmäluku noin 100 kertaa eli P(yksittäisen silmäluvun todennäköisyys)= 1/6 Toisinpäin: jos tiedetään tapahtuman todennäköisyys, niin voidaan arvioida kuinka usein se esiintyy kokeessa Esim. Olkoon arvioitu bittivirhesuhde P b = 10 3.Tällöin jokaista lähetettyä tuhatta bittiä kohti tapahtuu yksi virhe P b 1000 = 10 3 1000 = 1. Jokaista miljoonaa bittiä kohti tapahtuu 1000 virhettä P b 1000000 = 10 3 10 6 = 1000 29
Joukko Joukko S koostuu alkioista s i,i=1,...,n eli ja S = {s 1,s 2,...,s n } (2) s S (3) Joukko S on usein jonkin suuremman joukon S 0 osa (osajoukko), mutta voi olla myös sama kuin joukko S 0 eli S S 0 (4) Joukon S 0 ne osat jotka eivät kuulu joukkoon S muodostavat joukon S komplementaarisen joukon eli komplementin S 30
S 0 S s 2 s 1 S Joukko S 0,osajoukkoS ja sen komplementti S 31
Joukkojen A ja B unionia merkitään A B ja se tarkoittaa molempien joukkojen kaikkien elementtien muodostamaa joukkoa eli S = A B = {s S : s A tai s B} (5) Joukkojen A ja B leikkausta merkitään A B ja se tarkoittaa joukkojen yhteisten elementtien muodostamaa joukkoa eli S = A B = {s S : s A ja s B} (6) Joukojen A ja B sanotaan olevan keskenään poissulkevia tai toisensa poissulkevia (mutually exclusive)jos niiden leikkaus on tyhjä joukko eli A B = 32
A B A B unioni A B on harmaa alue leikkaus A B on harmaa alue 33
Määritelmiä Näytepiste (otos)on kokeen yksittäinen tulos Näyteavaruus (otosavaruus) S on kaikkien mahdollisten näytepisteiden joukko Tapahtuma joko tapahtuu tai sitten ei kun koe suoritetaan Tapahtuma A on joukon S osajoukko (A S), joka sisältää ne joukon S alkiot joille tapahtuma tapahtuu Tapahtuma A tapahtuu jos ja vain jos kokeen ulostulo s on joukon A osa eli s A. 34
Todennäköisyysavaruus Näyteavaruus S on todennäköisyysavaruus jos ja vain jos jokaiseen tapahtumaan A kaikkien mahdollisten tapahtumien joukossa (Ω)on liitettävissä numero P(A)joka täyttää seuraavat aksioomat P ( i A i )= i 0 P(A) 1 (7a) P (A i ) jos ja vain jos A i A j =, i j =1, 2,... (7b) P (S)= 1 (ns. varma tapahtuma) (7c) Itse asiassa joukon Ω täytyy olla kenttä (field)eli joukkojen A Ω ja B Ω leikkaus, unioni ja komplementit kuuluvat myös joukkoon Ω. Tämä vaaditaan, jotta joukko-opin kaikki järkevät operaatiot olisivat käytettävissä 35
Yleisesti pätee P(A B) =P(A) +P(B) P(A B), kuten leikkausta esittävästä kuvasta helposti nähdään 36
Esimerkki Nopan tapauksessa todennäköisyyssavaruus Olkoon tapahtuma S = {1, 2, 3, 4, 5, 6} A = {2, 4} Silloin tapahtuman A komplementti Ā = {1, 3, 5, 6} Selvästi A S, Ā S, A Ā = S ja A Ā = S, sillä tyhjä joukko on jokaisen näyteavaruuden osa 37
Olkoot tapahtumat B = {1, 3, 6} ja C = {1, 2, 3} Tapahtumat A = {2, 4} ja B ovat keskenään poissulkevia eli niillä ei ole yhteisiä alkioita eli A B =. Havaitaan myös että A B S, B S ja A B = {1, 2, 3, 4, 6} S Tapahtumat B ja C eivät ole keskenään poissulkevia sillä B C = {1, 3}. Joukojen unioni B C = {1, 2, 3, 6} Reilun nopan tapauksessa jokaisen silmäluvun todennäköisyys on 1/6. Nyt P(A) = 2 6 = 1 3 P(A B) =P(A)+P(B) = 2 6 + 3 6 = 5 6 P(B C) =P(B)+P(C) P(B C) = 3 6 + 3 6 2 6 = 4 6 = 2 3 38
Yhteistodennäköisyys Joskus tarkastellaan usean tapahtuman muodostamaa kokonaisuutta Esim. kahden nopan heittoa tai kahta peräkkäistä heittoa Silloin näyteavaruus S A on yksittäisten näyteavaruuksien S Ai,i= 1,...,n karteesinen tulo eli S A = S A1 S A2 S An (8) Esimerkkejä: Kaksi noppaa n 1 ja n 2, joissa kokeissa tulokset n i (j),j = 1,...,6 Näyteavaruus sisältää 36 pistettä ( n 1 (l),n 2 (k) ) kuten (1,1), (1,2), (2,1), jne. Yhden pisteen todennäköisyys on 1/36 39
Kaksi kolikkoa, mahdollisia ulostuloja 4, (kruuna,kruuna), (kruuna,klaava), (klaava,kruuna), (klaava,klaava), jokaisen todennäköisyys 1/4 (jos järjestyksellä onväliä) Todennäköisyys että nopan ja rahan heitossa saadaan pari (kruunu,2)= 1 2 1 6 = 1 (avaruudessa 12 pistettä) 12 Olkoon kyse kaksoiskokeesta ja olkoot A i,i=1,...,nja B j,j= 1,...,m mahdolliset tapahtumat Silloin tapahtumien yhteistodennäköisyydelle pätee 0 P(A i,b j ) 1 (9) Jos tapahtumat B i ovat keskenään poissulkevia, niin m P(A i,b j )=P(A i,s B )=P(A i )(10) j=1 Tämä tarkoittaa sitä, että tapahtuma A i tapahtuu huolimatta siitä mitä tapahtuu S B :ssä 40
Mistä tämä johtuu? Tilanne on helpoin selittää seuraavan kuvan avulla. B 1 B 2 S A 1 B 3 A 1 B 4 B4 Selvästi A 1 =(A 1 B 1 ) (A 1 B 2 ) Koska B i :t keskenään poissulkevia, niin P(A 1 )=P(A 1,S B )=P(A 1 B 1 )+P(A 1 B 2 )+... =P(A 1,B 1 )+P(A 1,B 2 )+... 41
Jos kaikki mahdolliset tapahtumat A i ja B j ovat keskenään poissulkevia, niin n m P(A i,b j )= 1 (11) i=1 j=1 Tämä johtuu tietysti siitä, että kaikkien mahdollisten tapahtumien unioni kattaa koko todennäköisyysavaruuden 42
Ehdollinen todennäköisyys Tarkastellaan yhdistettyä koetta, jossa tapahtumien A ja B yhteistodennäköisyys on P(A, B) Oletaan että tapahtuma B on jo tapahtunut Nyt halutaan tietää mikä on tapahtuman A todennäköisyys Tätä kutsutaan ehdolliseksi todennäköisyydeksi Tapahtuman A ehdollinen todennäköisyys kun tapahtuma B on jo tapahtunut on (määritelmä) P(A, B) P(A B) = (12) P(B) olettaen että P(B) > 0 Ehdolliset todennäköisyydetkin täyttävät todennäköisyysaksioomat (7) 43
Ehdollisesta todennäköisyydestä (12)seuraa että P(A, B) =P(A B)P(B) =P(B A)P(A)(13) Yhden kokeen tapauksessa: Jos A B, niin A B = A ja P(A B) = P(A) P(B) Jos B A, niin A B = B ja (14) P(A B) = P(B) P(B) = 1 (15) 44
Olkoon todennäköisyysavaruus S A jaettu keskenään poissulkeviin joukkoihin (tapahtumiin) A i,elis = n i=1a i ja olkoon B jokin tapahtuma Silloin B = B S A = B (A 1 + A 2 + + A n )ja P(B) =P(B,A 1 )+ +P(B,A n ) Käyttämällä tähän ehdollista todennäköisyyttä (12)saadaan P(B) =P(B A 1 )P(A 1 )+ +P(B A n )P(A n )(16) joka tunnetaaan nimellä totaalinen todennäköisyysteoreema (total probability theorem) Yhtälöstä (13)seuraa, että P(A i B) =P(B A i ) P(A i) (17) P(B) 45
Käyttämällä tässä totaalista todennäköisyysteoreemaa (16)saadaan P(B A i )P(A i ) P(A i B) = (18) P(B A 1 )P(A 1 )+ +P(B A 1 )P(A n ) joka tunnetaan nimellä Bayesin teoreema (Bayes theorem) Käyttökelpoinen jos todennäköisyyttäp(a i B)ei tunneta, mutta P(B A i )tunnetaan Bayesin teoreemaa käytetään mm. kun DTS kurssilla johdetaan tiedonsiirtojärjestelmien suorituskykyjä 46
Esimerkkejä: Tarkastellaan nopan heittoa kahdesti ja halutaan tietää mikä on todennäköisyys että toisella heitolla (A)saadaan 2, kun ensimmäisellä heitolla (B)saatiin 1. Tällöin P(A B) = P(A, B) P(B) = 1 36 1 6 = 1 6 (19) Olkoot yhdessä nopanheitossa tapahtumat A = {1, 2, 3} ja B = {1, 3, 6}.Tällöin yhdistetty tapahtuma on A, B = {1, 3}. Halutaan tietää joukon A todennäköisyys kun B on tapahtunut. P(A B) = P(A, B) P(B) = 2 6 3 6 = 2 3 (20) 47
Tilastollinen riippumattomuus Tapahtumien tilastollinen riipumattomuus on tärkeä, usein käytetty käsite Se tarkoittaa sitä, että toisen tapahtuman tapahtumisella ei ole mitään tekemistä toisen tapahtuman kanssa Esim. kun heitetään reilua noppaa, niin seuraavan heiton silmäluku ei mitenkään riipu edellisestä silmäluvusta Määritelmä: Tapahtumat A ja B ovat tilastollisesti riippumattomia jos P(A, B) =P(A)P(B)(21) Yleisemmin: tapahtumat A 1,A 2,...,A n ovat riippumattomia jos P(A 1,...,A n )=P(A 1 ) P(A n ) Riippumattomien tapahtumien yhteistodennäköisyys on siis yksittäisten tapahtumien todennäköisyyksien tulo! 48
Esimerkkejä Mikä on todennäköisyys ettäperäkkäiset nopan heitot antavat tuloksen 1,2,3? Se on 1 1 1 6 6 6 = 1 =0, 005 216 Olkoon nopan heitossa tapahtuma A = {parilliset luvut} = {2, 4, 6}.Mikä on todennäköisyys että tapahtuma A tapahtuu kahdella peräkkäisellä heitolla? Tiedetään, että nopanheitot ovat riippumattomia, joten todennököisyys on P(A, A) =P(A)P(A) = 1 1 2 2 = 1 4. Sama tulos saadaan myös tarkastelemalla avaruutta (nopan heitto nopan heitto)jossa parillisia pareja (A A)on 9 36:sta mahdollisuudesta eli haluttu todennäköisyys on 9 36 = 1 4 49