Ilkka Mellin Todennäköisyyslaskenta Osa 1: Todennäköisyys ja sen laskusäännöt Kokonaistodennäköisyyden ja Bayesin kaavat TKK (c) Ilkka Mellin (2007) 1
Kokonaistodennäköisyys ja Bayesin kaava >> Kokonaistodennäköisyys ja Bayesin kaava: Johdanto Kokonaistodennäköisyyden kaava Bayesin kaava Kokonaistodennäköisyyden ja Bayesin kaavojen systeemiteoreettinen tulkinta TKK (c) Ilkka Mellin (2007) 2
Kokonaistodennäköisyys ja Bayesin kaava: Johdanto Esimerkki laadunvalvonnasta 1/10 Ruuvitehtaalla on kaksi konetta A ja B, joilla tehdään samanlaisia ruuveja. A- ja B-koneen valmistamat ruuvit sekoitetaan ja pakataan laatikoihin. Koska A-kone toimii hitaammin, laatikoihin tulee A- ja B-koneiden valmistamia ruuveja suhteessa 3:5. Osa kummankin koneen valmistamista ruuveista on viallisia: (i) (ii) 5 % A-koneen valmistamista ruuveista on viallisia. 8 % B-koneen valmistamista ruuveista on viallisia. TKK (c) Ilkka Mellin (2007) 3
Kokonaistodennäköisyys ja Bayesin kaava: Johdanto Esimerkki laadunvalvonnasta 2/10 Valitaan satunnaisesti laatikollinen ruuveja tutkittavaksi. Poimitaan valitusta laatikosta satunnaisesti 1 ruuvi tutkittavaksi. Kysymyksiä: (i) (ii) (iii) Mikä on todennäköisyys, että poimittu ruuvi on viallinen? Mikä on todennäköisyys, että ruuvin on valmistanut A-kone, jos ruuvi osoittautuu vialliseksi? Mikä on todennäköisyys, että ruuvin on valmistanut B-kone, jos ruuvi osoittautuu vialliseksi? TKK (c) Ilkka Mellin (2007) 4
Kokonaistodennäköisyys ja Bayesin kaava: Johdanto Esimerkki laadunvalvonnasta 3/10 Merkintöjä: Otosavaruus S muodostuu laatikollisesta ruuveja Tapahtuma A = Ruuvin on valmistanut A-kone Tapahtuma B = Ruuvin on valmistanut B-kone Tapahtuma V = Ruuvi on viallinen Seuraavat todennäköisyydet tunnetaan: Pr(A) = 3/8 Pr(V A) = 0.05 Pr(B) = 5/8 Pr(V B) = 0.08 Seuraavia todennäköisyyksiä kysytään: Pr(V) Pr(A V) Pr(B V) TKK (c) Ilkka Mellin (2007) 5
Kokonaistodennäköisyys ja Bayesin kaava: Johdanto Esimerkki laadunvalvonnasta 4/10 Tapahtumat A ja B muodostavat otosavaruuden S osituksen: (i) (ii) A ja B ovat epätyhjiä: A ja B A ja B ovat pistevieraita: A B = (iii) Joukkojen A ja B yhdisteenä saadaan perusjoukko S: S = A B TKK (c) Ilkka Mellin (2007) 6
Kokonaistodennäköisyys ja Bayesin kaava: Johdanto Esimerkki laadunvalvonnasta 5/10 Ositus S = A B indusoi osituksen tapahtumaan V, millä tarkoitetaan seuraavaa: (i) (ii) Jos V on epätyhjä eli V, ainakin toinen joukoista V A ja V B on epätyhjä: V A tai V B V A ja V B ovat pistevieraita: (V A) (V B) = koska A B = (iii) Joukkojen V A ja V B yhdisteenä saadaan joukko V: V = (V A) (V B) TKK (c) Ilkka Mellin (2007) 7
Kokonaistodennäköisyys ja Bayesin kaava: Johdanto Esimerkki laadunvalvonnasta 6/10 A B V A V B V S TKK (c) Ilkka Mellin (2007) 8
Kokonaistodennäköisyys ja Bayesin kaava: Johdanto Esimerkki laadunvalvonnasta 7/10 Toisensa poissulkevien tapahtumien yhteenlaskusäännön mukaan: Pr(V) = Pr(V A) + Pr(V B) (1) Yleisen tulosäännön mukaan: Pr(V A) = Pr(A)Pr(V A) (2) Pr(V B) = Pr(B)Pr(V B) (3) Sijoittamalla lausekkeet (2) ja (3) kaavaan (1) saadaan todennäköisyydeksi, että satunnaisesti poimittu ruuvi on viallinen: Pr(V) = Pr(A)Pr(V A) + Pr(B)Pr(V B) = (3/8) 0.05 + (5/8) 0.08 = 0.06875 = 6.875 % Todennäköisyyden Pr(V) lauseketta sanotaan kokonaistodennäköisyyden kaavaksi. TKK (c) Ilkka Mellin (2007) 9
Kokonaistodennäköisyys ja Bayesin kaava: Johdanto Esimerkki laadunvalvonnasta 8/10 Ehdollisen todennäköisyyden määritelmän perusteella Pr(A V) = Pr(V A)/Pr(V) (4) Pr(B V) = Pr(V B)/Pr(V) (5) Yleisen tulosäännön mukaan Pr(V A) = Pr(V A)Pr(A) (6) Pr(V B) = Pr(V B)Pr(B) (7) Edellä on todettu, että Pr(V) = Pr(A)Pr(V A) + Pr(B)Pr(V B) (8) TKK (c) Ilkka Mellin (2007) 10
Kokonaistodennäköisyys ja Bayesin kaava: Johdanto Esimerkki laadunvalvonnasta 9/10 Sijoittamalla lausekkeet (6) ja (8) kaavaan (4) saadaan ehdolliseksi todennäköisyydeksi Pr(A V): Pr( AV) Pr( V A) = Pr( V ) Pr( A)Pr( V A) = Pr( A)Pr( VA) + Pr( B)Pr( VB) 3 0.05 8 3 = = = 0.27 3 5 0.05 + 0.08 11 8 8 Ehdollisen todennäköisyyden Pr(A V) lauseketta sanotaan Bayesin kaavaksi. TKK (c) Ilkka Mellin (2007) 11
Kokonaistodennäköisyys ja Bayesin kaava: Johdanto Esimerkki laadunvalvonnasta 10/10 Sijoittamalla lausekkeet (7) ja (8) kaavaan (5) saadaan ehdolliseksi todennäköisyydeksi Pr(B V): Pr( BV) Pr( V B) = Pr( V ) Pr( B)Pr( V B) = Pr( A)Pr( VA) + Pr( B)Pr( VB) 5 0.08 8 8 = = = 0.73 3 5 0.05 + 0.08 11 8 8 Ehdollisen todennäköisyyden Pr(B V) lauseketta sanotaan Bayesin kaavaksi. TKK (c) Ilkka Mellin (2007) 12
Kokonaistodennäköisyys ja Bayesin kaava Kokonaistodennäköisyys ja Bayesin kaava: Johdanto >> Kokonaistodennäköisyyden kaava Bayesin kaava Kokonaistodennäköisyyden ja Bayesin kaavojen systeemiteoreettinen tulkinta TKK (c) Ilkka Mellin (2007) 13
Kokonaistodennäköisyyden kaava Otosavaruuden ositus Otosavaruuden S osajoukot B 1, B 2,, B n muodostavat otosavaruuden S osituksen toisensa poissulkeviin tapahtumiin, jos (i) B i, i = 1, 2,, n (ii) B i B j =, i j (iii) S = B 1 B 2 B n B 1 B 2 B 3 B 4 B 5 S TKK (c) Ilkka Mellin (2007) 14
Kokonaistodennäköisyyden kaava Otosavaruuden ositus: Kommentteja Otosavaruuden S ositus B 1, B 2,, B n muodostaa avaruuden S alkioiden luokkajaon, koska: (i) Joukot B 1, B 2,, B n ovat epätyhjiä. (ii) Joukot B 1, B 2,, B n ovat pareittain pistevieraita. (iii) S = B i Jos tapahtumat B 1, B 2,, B n muodostavat otosavaruuden S osituksen, täsmälleen yksi tapahtumista B 1, B 2,, B n sattuu aina, kun se satunnaisilmiö, jonka tulosvaihtoehtoja otosavaruus S kuvaa, esiintyy. TKK (c) Ilkka Mellin (2007) 15
Kokonaistodennäköisyyden kaava Otosavaruuden osituksen indusoima ositus Olkoon A S, A otosavaruuden S osajoukko. Olkoon B 1, B 2,, B n otosavaruuden S ositus. Ositus B 1, B 2,, B n indusoi osituksen joukkoon A: (A B i ) (A B j ) =, i j ja A = (A B 1 ) (A B 2 ) (A B n ) B 1 B 2 A B 2 A B 3 A B 4 B 3 B 4 A S TKK (c) Ilkka Mellin (2007) 16
Kokonaistodennäköisyyden kaava Kokonaistodennäköisyyden kaava: Määritelmä 1/2 Olkoon A S, A otosavaruuden S osajoukko. Olkoon B 1, B 2,, B n otosavaruuden S ositus. Olkoon (A B 1 ), (A B 2 ),, (A B n ) osituksen B 1, B 2,, B n indusoima ositus joukkoon A. Yhteenlaskusäännön perusteella n Pr( A) = Pr( A Bi ) (1) i= 1 B 1 B 2 A B 2 A B 3 A B 4 B 3 B 4 A S TKK (c) Ilkka Mellin (2007) 17
Kokonaistodennäköisyyden kaava Kokonaistodennäköisyyden kaava: Määritelmä 2/2 Yleisen tulosäännön perusteella Pr( A Bi) = Pr( Bi)Pr( A Bi) i = 1, 2,, n Sijoittamalla nämä lausekkeet kaavaan (1), saadaan kokonaistodennäköisyyden kaava n Pr( A) = Pr( Bi) Pr( A Bi) i= 1 B 1 B 2 A B 2 A B 3 A B 4 B 3 B 4 A S TKK (c) Ilkka Mellin (2007) 18
Kokonaistodennäköisyyden kaava Kokonaistodennäköisyyden kaava: Kommentteja Kokonaistodennäköisyyden kaava ilmaisee otosavaruuden S osajoukon A todennäköisyyden Pr(A) otosavaruuden S osituksen B 1, B 2,, B n määräämien todennäköisyyksien Pr(B i ) ja ehdollisten todennäköisyyksien Pr(A B i ) avulla. Kokonaistodennäköisyyden kaava on käyttökelpoinen sellaisissa tilanteissa, joissa todennäköisyydet Pr(B i ) ja ehdolliset todennäköisyydet Pr(A B i ) ovat tunnettuja. TKK (c) Ilkka Mellin (2007) 19
Kokonaistodennäköisyyden kaava Riippumattomuus ja kokonaistodennäköisyyden kaava Jos tapahtuma A on riippumaton jokaisesta tapahtumasta B 1, B 2,, B n, kokonaistodennäköisyyden kaavasta ei ole hyötyä tapahtuman A todennäköisyyttä määrättäessä. TKK (c) Ilkka Mellin (2007) 20
Kokonaistodennäköisyyden kaava Riippumattomuus ja kokonaistodennäköisyyden kaava: Perustelu Jos A B i, i = 1, 2,, n niin Tällöin koska Pr( A B ) = Pr( A) Pr( B ), i = 1,2, K, n n Pr( A) = Pr( A B ) = Pr( A) Pr( B ) n i= 1 i i i= 1 i= 1 n = Pr( A) Pr( B ) = Pr( A) Pr( B ) = 1 i i= 1 i i n i TKK (c) Ilkka Mellin (2007) 21
Kokonaistodennäköisyys ja Bayesin kaava Kokonaistodennäköisyys ja Bayesin kaava: Johdanto Kokonaistodennäköisyyden kaava >> Bayesin kaava Kokonaistodennäköisyyden ja Bayesin kaavojen systeemiteoreettinen tulkinta TKK (c) Ilkka Mellin (2007) 22
Bayesin kaava Bayesin kaava: Määritelmä 1/2 Olkoon A S, A otosavaruuden S osajoukko. Olkoon B 1, B 2,, B n otosavaruuden S ositus. Ehdollisen todennäköisyyden määritelmän mukaan Pr( A Bi ) Pr( Bi A) = Pr( A) = Pr( Bi) Pr( ABi) Pr( A) B 1 B 2 A B 2 A B 3 A B 4 B 3 B 4 A S TKK (c) Ilkka Mellin (2007) 23
Bayesin kaava Bayesin kaava: Määritelmä 2/2 Soveltamalla nimittäjään kokonaistodennäköisyyden kaavaa saadaan Bayesin kaava: Pr( Bi)Pr( ABi) Pr( Bi A) = n Pr( B )Pr( AB) i= 1 i i B 1 B 2 A B 2 A B 3 A B 4 B 3 B 4 A S TKK (c) Ilkka Mellin (2007) 24
Bayesin kaava Bayesin kaava: Kommentteja 1/3 Bayesin kaavan todennäköisyyttä Pr(B i ) kutsutaan tavallisesti priori-todennäköisyydeksi. prior (lat.), edeltävä, aikaisempi Todennäköisyyttä Pr(B i ) kutsutaan prioritodennäköisyydeksi, koska se kuvaa ennakkokäsitystä tapahtuman B i todennäköisyydestä, ennen kuin on saatu tietää, että tapahtuma A on sattunut. TKK (c) Ilkka Mellin (2007) 25
Bayesin kaava Bayesin kaava: Kommentteja 2/3 Bayesin kaavan todennäköisyyttä Pr(B i A) kutsutaan tavallisesti posteriori-todennäköisyydeksi. posterior (lat.), jälkeen tuleva, myöhempi Todennäköisyyttä Pr(B i A) kutsutaan posterioritodennäköisyydeksi, koska se kuvaa sitä miten ennakkokäsitystä tapahtuman B i todennäköisyydestä kannattaa muuttaa sen jälkeen, jos on saatu tietää, että tapahtuma A on sattunut. Posteriori-todennäköisyyttä Pr(B i A) kutsutaan usein käänteistodennäköisyydeksi, koska se on käänteinen tunnettuun todennäköisyyteen Pr(A B i ) nähden. TKK (c) Ilkka Mellin (2007) 26
Bayesin kaava Bayesin kaava: Kommentteja 3/3 Bayesin kaava kertoo miten ennakkokäsitystä tapahtuman B i todennäköisyydestä on järkevää korjata sen jälkeen, kun tapahtuma A on havaittu. Bayesin kaava kertoo miten tietoa tapahtuman A sattumisesta voidaan käyttää hyväksi tapahtuman B i todennäköisyyden arvioinnissa. Bayesin kaava on käyttökelpoinen sellaisissa tilanteissa, joissa todennäköisyydet Pr(B i ) ja ehdolliset todennäköisyydet Pr(A B i ) ovat tunnettuja. TKK (c) Ilkka Mellin (2007) 27
Bayesin kaava Riippumattomuus ja Bayesin kaava Jos tapahtuma A on riippumaton jokaisesta tapahtumasta B 1, B 2,, B n, tieto tapahtuman A sattumisesta ei muuta priori-todennäköisyyksiä Pr(B i ): Jos A B 1, B 2,, B n, niin Pr( B A) = Pr( B ), i = 1,2, K, n i i TKK (c) Ilkka Mellin (2007) 28
Kokonaistodennäköisyys ja Bayesin kaava Kokonaistodennäköisyys ja Bayesin kaava: Johdanto Kokonaistodennäköisyyden kaava Bayesin kaava >> Kokonaistodennäköisyyden ja Bayesin kaavojen systeemiteoreettinen tulkinta TKK (c) Ilkka Mellin (2007) 29
Kokonaistodennäköisyyden ja Bayesin kaavojen systeemiteoreettinen tulkinta Systeemiteoreettinen tulkinta kokonaistodennäköisyyden ja Bayesin kaavoille 1/4 Oletetaan, että systeemissä on alkutila L, välitilat B 1, B 2,, B n ja yksi sen lopputiloista on A. Oletetaan, että alkutilasta L voidaan päästä lopputilaan A vain käymällä jossakin välitiloista B 1, B 2,, B n. Olkoot Pr(B i ) = Pr(Käydään välitilassa B i ) Pr(A B i ) = Pr(Välitilasta B i päästään lopputilaan A) Pr(A) = Pr(Päästään lopputilaan A) Pr(B i A) = Pr(Lopputilaan A tullaan välitilan B i kautta) TKK (c) Ilkka Mellin (2007) 30
Kokonaistodennäköisyyden ja Bayesin kaavojen systeemiteoreettinen tulkinta Systeemiteoreettinen tulkinta kokonaistodennäköisyyden ja Bayesin kaavoille 2/4 Systeemiä voidaan havainnollistaa seuraavalla verkkodiagrammilla: L Pr(B 1 ) Pr(B i ) Pr(B n ) B 1 B i B n Huomaa, että kuvioon ei ole merkitty sitä, että välitiloista B 1, B 2,, B n voidaan päästä myös muihin tiloihin kuin lopputilaan A. M M Pr(A B 1 ) Pr(A B i ) Pr(A B n ) A TKK (c) Ilkka Mellin (2007) 31
Kokonaistodennäköisyyden ja Bayesin kaavojen systeemiteoreettinen tulkinta Systeemiteoreettinen tulkinta kokonaistodennäköisyyden ja Bayesin kaavoille 3/4 Kokonaistodennäköisyyden kaavan mukaan n Pr( A) = Pr( A B) = Pr( B)Pr( A B) i i i i= 1 i= 1 Pr(A) on todennäköisyys sille, että päästään lopputilaan A. Kokonaistodennäköisyyden kaavan mukaan todennäköisyys Pr(A) saadaan laskemalla yhteen alkutilasta L lopputilaan A välitilojen B i, i = 1, 2,, n kautta kulkevien reittien todennäköisyydet Pr(A B i ) = Pr(B i )Pr(A B i ) n TKK (c) Ilkka Mellin (2007) 32
Kokonaistodennäköisyyden ja Bayesin kaavojen systeemiteoreettinen tulkinta Systeemiteoreettinen tulkinta kokonaistodennäköisyyden ja Bayesin kaavoille 4/4 Bayesin kaavan mukaan Pr( A Bi) Pr( A Bi) Pr( Bi A) = = n Pr( A) Pr( A B) Pr(B i A) on siis ehdollinen todennäköisyys sille, että on käyty välitilassa B i, kun ehtotapahtumana on se, että on päästy lopputilaan A. i= 1 Pr( Bi)Pr( ABi) Pr( Bi)Pr( ABi) = = n Pr( A) Pr( B )Pr( AB) i= 1 i i i TKK (c) Ilkka Mellin (2007) 33