Johdatus todennäköisyyslaskentaan Kokonaistodennäköisyys ja Bayesin kaava TKK (c) Ilkka Mellin (2005) 1
Kokonaistodennäköisyys ja Bayesin kaava Kokonaistodennäköisyys ja Bayesin kaava: Johdanto Kokonaistodennäköisyyden kaava Bayesin kaava Kokonaistodennäköisyyden ja Bayesin kaavojen systeemiteoreettinen tulkinta TKK (c) Ilkka Mellin (2005) 2
Kokonaistodennäköisyys ja Bayesin kaava: Mitä opimme? Tarkastelemme tässä luvussa kahta hyödyllistä todennäköisyyslaskennan kaavaa, kokonaistodennäköisyyden kaavaa ja Bayesin kaavaa. Molemmille kaavoille esitetään todistus, mutta lisäksi kaavoja motivoidaan sovellusesimerkkien avulla. Bayesin kaavan yhteydessä määritellään ns. Bayeslaisessa tilastotieteessä keskeiset priori-todennäköisyyden ja posterioritodennäköisyyden käsitteet. Sekä kokonaistodennäköisyyden kaavalle että Bayesin kaavalle esitetään myös systeemiteoreettiset tulkinnat. TKK (c) Ilkka Mellin (2005) 3
Kokonaistodennäköisyys ja Bayesin kaava: Esitiedot Esitiedot: ks. seuraavia lukuja: Todennäköisyys ja sen määritteleminen Todennäköisyyden peruslaskusäännöt TKK (c) Ilkka Mellin (2005) 4
Kokonaistodennäköisyys ja Bayesin kaava >> Kokonaistodennäköisyys ja Bayesin kaava: Johdanto Kokonaistodennäköisyyden kaava Bayesin kaava Kokonaistodennäköisyyden ja Bayesin kaavojen systeemiteoreettinen tulkinta TKK (c) Ilkka Mellin (2005) 5
Kokonaistodennäköisyys ja Bayesin kaava: Johdanto Avainsanat Bayesin kaava Ehdollinen todennäköisyys Indusoitu ositus Kokonaistodennäköisyyden kaava Laadunvalvonta Ositus Toisensa poissulkevat tapahtumat Tulosääntö Yhteenlaskusääntö TKK (c) Ilkka Mellin (2005) 6
Kokonaistodennäköisyys ja Bayesin kaava: Johdanto Esimerkki laadunvalvonnasta 1/10 Ruuvitehtaalla on kaksi konetta A ja B, joilla tehdään samanlaisia ruuveja. A- ja B-koneen valmistamat ruuvit sekoitetaan ja pakataan laatikoihin. Koska A-kone toimii hitaammin, laatikoihin tulee A- ja B-koneiden valmistamia ruuveja suhteessa 3:5. Osa kummankin koneen valmistamista ruuveista on viallisia: (i) 5 % A-koneen valmistamista ruuveista on viallisia. (ii) 8 % B-koneen valmistamista ruuveista on viallisia. TKK (c) Ilkka Mellin (2005) 7
Kokonaistodennäköisyys ja Bayesin kaava: Johdanto Esimerkki laadunvalvonnasta 2/10 Valitaan satunnaisesti laatikollinen ruuveja tutkittavaksi. Poimitaan valitusta laatikosta satunnaisesti 1 ruuvi tutkittavaksi. Kysymyksiä: (i) Mikä on todennäköisyys, että poimittu ruuvi on viallinen? (ii) Mikä on todennäköisyys, että ruuvin on valmistanut A-kone, jos ruuvi osoittautuu vialliseksi? (iii) Mikä on todennäköisyys, että ruuvin on valmistanut B-kone, jos ruuvi osoittautuu vialliseksi? TKK (c) Ilkka Mellin (2005) 8
Kokonaistodennäköisyys ja Bayesin kaava: Johdanto Esimerkki laadunvalvonnasta 3/10 Merkintöjä: Otosavaruus S muodostuu laatikollisesta ruuveja Tapahtuma A = Ruuvin on valmistanut A-kone Tapahtuma B = Ruuvin on valmistanut B-kone Tapahtuma V = Ruuvi on viallinen Seuraavat todennäköisyydet tunnetaan: Pr(A) = 3/8 Pr(V A) = 0.05 Pr(B) = 5/8 Pr(V B) = 0.08 Seuraavia todennäköisyyksiä kysytään: Pr(V) Pr(A V) Pr(B V) TKK (c) Ilkka Mellin (2005) 9
Kokonaistodennäköisyys ja Bayesin kaava: Johdanto Esimerkki laadunvalvonnasta 4/10 Tapahtumat A ja B muodostavat otosavaruuden S osituksen: (i) A ja B ovat epätyhjiä: A ja B (ii) A ja B ovat pistevieraita: A B = (iii) Joukkojen A ja B yhdisteenä saadaan perusjoukko S: S = A B TKK (c) Ilkka Mellin (2005) 10
Kokonaistodennäköisyys ja Bayesin kaava: Johdanto Esimerkki laadunvalvonnasta 5/10 Ositus S = A B indusoi osituksen tapahtumaan V, millä tarkoitetaan seuraavaa: (i) Jos V on epätyhjä eli V, ainakin toinen joukoista V A ja V B on epätyhjä: V A tai V B (ii) V A ja V B ovat pistevieraita: (V A) (V B) = koska A B = (iii) Joukkojen V A ja V B yhdisteenä saadaan joukko V: V = (V A) (V B) TKK (c) Ilkka Mellin (2005) 11
Kokonaistodennäköisyys ja Bayesin kaava: Johdanto Esimerkki laadunvalvonnasta 6/10 A B V A V B V S TKK (c) Ilkka Mellin (2005) 12
Kokonaistodennäköisyys ja Bayesin kaava: Johdanto Esimerkki laadunvalvonnasta 7/10 Toisensa poissulkevien tapahtumien yhteenlaskusäännön mukaan: Pr(V) = Pr(V A) + Pr(V B) (1) Yleisen tulosäännön mukaan: Pr(V A) = Pr(A)Pr(V A) (2) Pr(V B) = Pr(B)Pr(V B) (3) Sijoittamalla lausekkeet (2) ja (3) kaavaan (1) saadaan todennäköisyydeksi, että satunnaisesti poimittu ruuvi on viallinen: Pr(V) = Pr(A)Pr(V A) + Pr(B)Pr(V B) = (3/8) 0.05 + (5/8) 0.08 = 0.06875 = 6.875 % Todennäköisyyden Pr(V) lauseketta sanotaan kokonaistodennäköisyyden kaavaksi. TKK (c) Ilkka Mellin (2005) 13
Kokonaistodennäköisyys ja Bayesin kaava: Johdanto Esimerkki laadunvalvonnasta 8/10 Ehdollisen todennäköisyyden määritelmän perusteella Pr(A V) = Pr(V A)/Pr(V) (4) Pr(B V) = Pr(V B)/Pr(V) (5) Yleisen tulosäännön mukaan Pr(V A) = Pr(V A)Pr(A) (6) Pr(V B) = Pr(V B)Pr(B) (7) Edellä on todettu, että Pr(V) = Pr(A)Pr(V A) + Pr(B)Pr(V B) (8) TKK (c) Ilkka Mellin (2005) 14
Kokonaistodennäköisyys ja Bayesin kaava: Johdanto Esimerkki laadunvalvonnasta 9/10 Sijoittamalla lausekkeet (6) ja (8) kaavaan (4) saadaan ehdolliseksi todennäköisyydeksi Pr(A V): Pr( AV) Pr( V A) = Pr( V ) Pr( A)Pr( V A) = Pr( A)Pr( VA) + Pr( B)Pr( VB) 3 0.05 8 3 = = = 0.27 3 5 0.05 + 0.08 11 8 8 Ehdollisen todennäköisyyden Pr(A V) lauseketta sanotaan Bayesin kaavaksi. TKK (c) Ilkka Mellin (2005) 15
Kokonaistodennäköisyys ja Bayesin kaava: Johdanto Esimerkki laadunvalvonnasta 10/10 Sijoittamalla lausekkeet (7) ja (8) kaavaan (5) saadaan ehdolliseksi todennäköisyydeksi Pr(B V): Pr( BV) Pr( V B) = Pr( V ) Pr( B)Pr( V B) = Pr( A)Pr( VA) + Pr( B)Pr( VB) 5 0.08 8 8 = = = 0.73 3 5 0.05 + 0.08 11 8 8 Ehdollisen todennäköisyyden Pr(B V) lauseketta sanotaan Bayesin kaavaksi. TKK (c) Ilkka Mellin (2005) 16
Kokonaistodennäköisyys ja Bayesin kaava Kokonaistodennäköisyys ja Bayesin kaava: Johdanto >> Kokonaistodennäköisyyden kaava Bayesin kaava Kokonaistodennäköisyyden ja Bayesin kaavojen systeemiteoreettinen tulkinta TKK (c) Ilkka Mellin (2005) 17
Kokonaistodennäköisyyden kaava Avainsanat Indusoitu ositus Kokonaistodennäköisyyden kaava Ositus Riippumattomuus Toisensa poissulkevat tapahtumat Tulosääntö Yhteenlaskusääntö TKK (c) Ilkka Mellin (2005) 18
Kokonaistodennäköisyyden kaava Otosavaruuden ositus Otosavaruuden S osajoukot B 1, B 2,, B n muodostavat otosavaruuden S osituksen toisensa poissulkeviin tapahtumiin, jos (i) B i, i = 1, 2,, n (ii) B i B j =, i j (iii) S = B 1 B 2 B n B 1 B 2 B 3 B 4 B 5 S TKK (c) Ilkka Mellin (2005) 19
Kokonaistodennäköisyyden kaava Otosavaruuden ositus: Kommentteja Otosavaruuden SositusB 1, B 2,, B n muodostaa avaruuden S alkioiden luokkajaon, koska: (i) Joukot B 1, B 2,, B n ovat epätyhjiä. (ii) Joukot B 1, B 2,, B n ovat pareittain pistevieraita. (iii) S = B i Jos tapahtumat B 1, B 2,, B n muodostavat otosavaruuden S osituksen, täsmälleen yksi tapahtumista B 1, B 2,, B n sattuu aina, kun se satunnaisilmiö, jonka tulosvaihtoehtoja otosavaruus S kuvaa, esiintyy. TKK (c) Ilkka Mellin (2005) 20
Kokonaistodennäköisyyden kaava Otosavaruuden osituksen indusoima ositus Olkoon A S, A otosavaruuden S osajoukko. Olkoon B 1, B 2,, B n otosavaruuden Sositus. Ositus B 1, B 2,, B n indusoi osituksen joukkoon A: (A B i ) (A B j ) =, i j ja A = (A B 1 ) (A B 2 ) (A B n ) B 1 B 2 A B 2 A B 3 A B 4 B 3 B 4 A S TKK (c) Ilkka Mellin (2005) 21
Kokonaistodennäköisyyden kaava Kokonaistodennäköisyyden kaava: Määritelmä 1/2 Olkoon A S, A otosavaruuden S osajoukko. Olkoon B 1, B 2,, B n otosavaruuden Sositus. Olkoon (A B 1 ), (A B 2 ),,(A B n ) osituksen B 1, B 2,, B n indusoima ositus joukkoon A. Yhteenlaskusäännön perusteella n Pr( A) = Pr( A Bi ) (1) i= 1 B 1 B 2 A B 2 A B 3 A B 4 B 3 B 4 A S TKK (c) Ilkka Mellin (2005) 22
Kokonaistodennäköisyyden kaava Kokonaistodennäköisyyden kaava: Määritelmä 2/2 Yleisen tulosäännön perusteella Pr( A Bi) = Pr( Bi)Pr( A Bi) i = 1, 2,, n Sijoittamalla nämä lausekkeet kaavaan (1), saadaan kokonaistodennäköisyyden kaava n Pr( A) = Pr( Bi) Pr( A Bi) i= 1 B 1 B 2 A B 2 A B 3 A B 4 B 3 B 4 A S TKK (c) Ilkka Mellin (2005) 23
Kokonaistodennäköisyyden kaava Kokonaistodennäköisyyden kaava: Kommentteja Kokonaistodennäköisyyden kaava ilmaisee otosavaruuden S osajoukon A todennäköisyyden Pr(A) otosavaruuden S osituksen B 1, B 2,, B n määräämien todennäköisyyksien Pr(B i ) ja ehdollisten todennäköisyyksien Pr(A B i ) avulla. Kokonaistodennäköisyyden kaava on käyttökelpoinen sellaisissa tilanteissa, joissa todennäköisyydet Pr(B i ) ja ehdolliset todennäköisyydet Pr(A B i ) ovat tunnettuja. TKK (c) Ilkka Mellin (2005) 24
Kokonaistodennäköisyyden kaava Riippumattomuus ja kokonaistodennäköisyyden kaava Jos tapahtuma A on riippumaton jokaisesta tapahtumasta B 1, B 2,, B n, kokonaistodennäköisyyden kaavasta ei ole hyötyä tapahtuman A todennäköisyyttä määrättäessä. TKK (c) Ilkka Mellin (2005) 25
Kokonaistodennäköisyyden kaava Riippumattomuus ja kokonaistodennäköisyyden kaava: Perustelu Jos A B i, i = 1, 2,, n niin Tällöin koska Pr( A B ) = Pr( A) Pr( B ), i = 1,2,, n n Pr( A) = Pr( A B ) = Pr( A) Pr( B ) n i= 1 i i i= 1 i= 1 n = Pr( A) Pr( B ) = Pr( A) Pr( B ) = 1 i i= 1 i i n i TKK (c) Ilkka Mellin (2005) 26
Kokonaistodennäköisyys ja Bayesin kaava Kokonaistodennäköisyys ja Bayesin kaava: Johdanto Kokonaistodennäköisyyden kaava >> Bayesin kaava Kokonaistodennäköisyyden ja Bayesin kaavojen systeemiteoreettinen tulkinta TKK (c) Ilkka Mellin (2005) 27
Bayesin kaava Avainsanat Bayesin kaava Ehdollinen todennäköisyys Indusoitu ositus Kokonaistodennäköisyyden kaava Käänteistodennäköisyys Ositus Posteriori-todennäköisyys Priori-todennäköisyys Riippumattomuus TKK (c) Ilkka Mellin (2005) 28
Bayesin kaava Bayesin kaava: Määritelmä 1/2 Olkoon A S, A otosavaruuden S osajoukko. Olkoon B 1, B 2,, B n otosavaruuden Sositus. Ehdollisen todennäköisyyden määritelmän mukaan Pr( B A) = i = Pr( A Bi ) Pr( A) Pr( Bi) Pr( ABi) Pr( A) B 1 B 2 A B 2 A B 3 A B 4 B 3 B 4 A S TKK (c) Ilkka Mellin (2005) 29
Bayesin kaava Bayesin kaava: Määritelmä 2/2 Soveltamalla nimittäjään kokonaistodennäköisyyden kaavaa saadaan Bayesin kaava: Pr( Bi)Pr( ABi) Pr( Bi A) = n Pr( B )Pr( AB) i= 1 i i B 1 B 2 A B 2 A B 3 A B 4 B 3 B 4 A S TKK (c) Ilkka Mellin (2005) 30
Bayesin kaava Bayesin kaava: Kommentteja 1/3 Bayesin kaavan todennäköisyyttä Pr(B i ) kutsutaan tavallisesti priori-todennäköisyydeksi. prior (lat.), edeltävä, aikaisempi Todennäköisyyttä Pr(B i ) kutsutaan prioritodennäköisyydeksi, koska se kuvaa ennakkokäsitystä tapahtuman B i todennäköisyydestä, ennen kuin on saatu tietää, että tapahtuma A on sattunut. TKK (c) Ilkka Mellin (2005) 31
Bayesin kaava Bayesin kaava: Kommentteja 2/3 Bayesin kaavan todennäköisyyttä Pr(B i A) kutsutaan tavallisesti posteriori-todennäköisyyksiksi. posterior (lat.), jälkeen tuleva, myöhempi Todennäköisyyttä Pr(B i A) kutsutaan posterioritodennäköisyydeksi, koska se kuvaa sitä miten ennakkokäsitystä tapahtuman B i todennäköisyydestä kannattaa muuttaa sen jälkeen, kun on saatu tietää, että tapahtuma A on sattunut. Posteriori-todennäköisyyttä Pr(B i A) kutsutaan usein käänteistodennäköisyydeksi, koska se on käänteinen tunnettuun todennäköisyyteen Pr(A B i ) nähden. TKK (c) Ilkka Mellin (2005) 32
Bayesin kaava Bayesin kaava: Kommentteja 3/3 Bayesin kaava kertoo miten ennakkokäsitystä tapahtuman B i todennäköisyydestä on järkevää korjata sen jälkeen, kun tapahtuma A on havaittu. Bayesin kaava kertoo miten tietoa tapahtuman A sattumisesta voidaan käyttää hyväksi tapahtuman B i todennäköisyyden arvioinnissa. Bayesin kaava on käyttökelpoinen sellaisissa tilanteissa, joissa todennäköisyydet Pr(B i ) ja ehdolliset todennäköisyydet Pr(A B i ) ovat tunnettuja. TKK (c) Ilkka Mellin (2005) 33
Bayesin kaava Riippumattomuus ja Bayesin kaava Jos tapahtuma A on riippumaton jokaisesta tapahtumasta B 1, B 2,, B n, tieto tapahtuman A sattumisesta ei muuta priori-todennäköisyyksiä Pr(B i ): Jos A B 1, B 2,, B n, niin Pr( B A) = Pr( B ), i = 1,2,, n i i TKK (c) Ilkka Mellin (2005) 34
Kokonaistodennäköisyys ja Bayesin kaava Kokonaistodennäköisyys ja Bayesin kaava: Johdanto Kokonaistodennäköisyyden kaava Bayesin kaava >> Kokonaistodennäköisyyden ja Bayesin kaavojen systeemiteoreettinen tulkinta TKK (c) Ilkka Mellin (2005) 35
Kokonaistodennäköisyyden ja Bayesin kaavojen systeemiteoreettinen tulkinta Avainsanat Alkutila Bayesin kaava Ehdollinen todennäköisyys Kokonaistodennäköisyyden kaava Lopputila Posteriori-todennäköisyys Priori-todennäköisyys Systeemi Verkkodiagrammi Välitila TKK (c) Ilkka Mellin (2005) 36
Kokonaistodennäköisyyden ja Bayesin kaavojen systeemiteoreettinen tulkinta Systeemiteoreettinen tulkinta kokonaistodennäköisyyden ja Bayesin kaavoille 1/4 Oletetaan, että systeemissä on alkutila L, välitilat B 1, B 2,, B n ja yksi sen lopputiloista on A. Oletetaan, että alkutilasta L voidaan päästä lopputilaan A vain käymällä jossakin välitiloista B 1, B 2,, B n. Olkoot Pr(B i ) = Pr(Käydään välitilassa B i ) Pr(A B i ) = Pr(Välitilasta B i päästään lopputilaan A) Pr(A) = Pr(Päästään lopputilaan A) Pr(B i A) = Pr(Lopputilaan A tullaan välitilan B i kautta) TKK (c) Ilkka Mellin (2005) 37
Kokonaistodennäköisyyden ja Bayesin kaavojen systeemiteoreettinen tulkinta Systeemiteoreettinen tulkinta kokonaistodennäköisyyden ja Bayesin kaavoille 2/4 Systeemiä voidaan havainnollistaa seuraavalla verkkodiagrammilla: L Pr(B 1 ) Pr(B i ) B 1 B i Pr(A B 1 ) Pr(A B i ) A Pr(B n ) Pr(A B n ) B n TKK (c) Ilkka Mellin (2005) 38
Kokonaistodennäköisyyden ja Bayesin kaavojen systeemiteoreettinen tulkinta Systeemiteoreettinen tulkinta kokonaistodennäköisyyden ja Bayesin kaavoille 3/4 Kokonaistodennäköisyyden kaavan mukaan n Pr( A) = Pr( A B) = Pr( B )Pr( A B) i i i i= 1 i= 1 Pr(A) on todennäköisyys sille, että päästään lopputilaan A. Kokonaistodennäköisyyden kaavan mukaan todennäköisyys Pr(A) saadaan laskemalla yhteen alkutilasta L lopputilaan A välitilojen B i, i = 1, 2,, n kautta kulkevien reittien todennäköisyydet Pr(A B i ) = Pr(B i )Pr(A B i ) n TKK (c) Ilkka Mellin (2005) 39
Kokonaistodennäköisyyden ja Bayesin kaavojen systeemiteoreettinen tulkinta Systeemiteoreettinen tulkinta kokonaistodennäköisyyden ja Bayesin kaavoille 4/4 Bayesin kaavan mukaan Pr( A Bi) Pr( A Bi) Pr( Bi A) = = n Pr( A) Pr( A B) Pr(B i A) on siis ehdollinen todennäköisyys sille, että on käyty välitilassa B i, kun ehtotapahtumana on se, että on päästy lopputilaan A. i= 1 Pr( Bi)Pr( ABi) Pr( Bi)Pr( ABi) = = n Pr( A) Pr( B )Pr( AB) i= 1 i i i TKK (c) Ilkka Mellin (2005) 40