Todennäköisyyslaskentaa

Transkriptio

1 Todennäköisyyslaskentaa 5. toukokuuta 2017 Sisältö 1 Johdanto 1 2 Äärellinen perusjoukko, kombinatoriikkaa Permutaatiot Variaatiot Kombinaatiot Otanta Otanta ilman takaisinpanoa Otanta takaisinpanolla Toistokoe, diskreetti todennäköisyysjakauma 8 5 Ehdollinen todennäköisyys 11 6 Jatkuvat todennäköisyysjakaumat Yksi satunnaismuuttuja Gaussin eli normaalijakauma Monta satunnaismuuttujaa Usean muuttujan Gaussin jakauma Keskeinen raja-arvolause Muuta hyödyllistä Satulapisteintegrointi Stirlingin approksimaatio Informaatio ja entropia Johdanto Peruskäsitteitä 1

2 Satunnaismuuttuja X, jonka mahdolliset arvot ovat alkeistapahtumia Kaikkien alkeistapahtumien joukko eli perusjoukko Ω: Tapahtumat E ovat Ω:n osajoukkoja, E Ω Todennäköisyysmitta P on tapahtumien funktio, Ω = {kaikki X: n mahdolliset arvot} (1.1 P (E [0, 1], (1.2 antaen kunkin tapahtuman todennäköisyyden. Normitus P (Ω = 1. Esimerkki 1.1 (Nopanheitto kerran Heitetään noppaa kerran, X = silmäluku (1.3 Ω = {1, 2, 3, 4, 5, 6} (1.4 Valitaan esimerkiksi E =tulos on 1 eli E = {1}. Tällöin P (E = 1 6. Esimerkki 1.2 (Nopanheitto 2 kertaa peräkkäin Huomaa, että nopanheitot ovat riippumattomia toisistaan. X = silmäluvut (1.5 Ω = {(1, 1, (1, 2,..., (1, 6, (2, 1,..., (2, 6,..., (6, 6} (1.6 Alkioita on siis 6 6 = 36 kappaletta. Valitaan esim. E 1 =2 samaa lukua peräkkäin eli E 1 = {(1, 1, (2, 2,..., (6, 6}. Tällöin P (E 1 = 6 36 = 1 6. Valitaan esim. E 2 =silmälukujen summa on 4= {(1, 3, (2, 2, (3, 1}. Tällöin P (E 2 = 3 = Määritellään todennäköisyyden käsitteet hieman muodollisemmin ottamalla käyttöön Kolmogorovin aksioomat. Määritelmä 1.1 (Todennäköisyysavaruus Todennäköisyysavaruus koostuu kolmikosta (Ω, F, P missä 1. Ω on joukko (alkeistapahtumat 2. F on kokoelma Ω:n osajoukkoja (tapahtumat joille pätee 1 F 1 F on niin kutsuttu sigma-algebra Ω:lla. 2

3 jos E F niin myös sen komplementti Ω \ E F jos Ω on äärellinen joukko, niin F = P(Ω {kaikkien Ω:n osajoukkojen joukko} ( potenssijoukko (1.7 jos Ω on ääretön joukko, niin: jos E n F n N, niin myös n N E n F ( P on funktio, P : F [0, 1], jolle pätee P (Ω = 1 jos Ω on äärellinen, niin P (E = ω E P (ω (ω on kokeen tulos jos Ω on ääretön, niin ( jos E n E m = n m, niin P E n = P (E n (1.9 n N Huom. P :n erityisiä ominaisuuksia ovat siis positiivisuus: P (E 0, E F n N additiivisuus: E 1 E 2 = P (E 1 E 2 = P (E 1 + P (E 2 normalisaatio: P (Ω = 1, ts. kaikkien mahdollisten tapahtumien todennäköisyyksien summa on 1 ( =100% Mistä tiedämme tapahtumien todennäköisyydet? Tähän on kaksi mahdollista tietä: 1. objektiivinen todennäköisyys: perustuu koetuloksiin tai tilastoihin. Jos jokin prosessi tapahtuu N kertaa ja tapahtuma E toteutuu niissä N E kertaa, niin P (E = lim N N E N. 2. subjektiivinen todennäköisyys: teoreettinen arvio, usein pohjautuen symmetriaan. Esim. nopan heiton tapauksessa, noppa on symmetrinen, joten on hyvä arvaus olettaa kaikkien silmälukujen olevan yhtä todennäköisiä. Teoreettinen arvio täytyy testata koetuloksia vasten. Esim. noppa voi osoittautua painotettu. Samoin esim. klassisessa fysiikassa kaasuhiukkasen nopeus voi olla suurempi kuin valonnopeus c, mutta kokeellisesti P (v > c = 0. 3

4 2 Äärellinen perusjoukko, kombinatoriikkaa Usein tiedämme että perusjoukko Ω jollekin prosessille tulee olemaan äärellinen, mutta aina ei ole triviaalia päätellä montako alkiota (alkeistapahtumaa Ω:ssa on. Samaten ei ole aina selvää mikä on jonkin tapahtuman E alkioiden lukumäärä. Olkoon n(ω ja n(e edellämainitut lukumäärät. Jos nämä osataan laskea, tapahtuman E todennäköisyys on 2 P (E = n(e n(ω. (2.1 Alkioiden lukumäärän selvittämiseksi opiskelemme vähän kombinatoriikkaa. 2.1 Permutaatiot Permutaatiot ovat erilaisia tapoja järjestää jonon n erilaista alkiota. Esim. montako erilaista tapaa on järjestää jonoon 3 ihmistä A, B ja C? 1. voidaan valita 3:lla tavalla (A, B, C n 1 = 3 2. voidaan valita 2:lla tavalla n 2 = 2 3. on viimeiseksi jäänyt n 3 = 1 Yhteensä n = n 1 n 2 n 3 = = 3! = 6 erilaista jonoa. Samaan tapaan k erilaista alkiota voidaan järjestää jonoon n = n 1 n 2 n k = k(k 1 1 = k! erilaisella tavalla. k:n alkion permutaatioita on siis k! kappaletta. 2.2 Variaatiot Variaatiot kertovat kuinka monta erilaista osajonoa on. Esim. 10:stä ihmisestä A, B, C,..., I, J kolme saapuu peräkkäin huoneeseen. Kuinka monta erilaista vaihtoehtoa tähän on? 1. ihminen on joku 10:stä n 1 = ihminen on joku 9:stä jäljelle jääneestä n 2 = 9 3. ihminen on joku 8:sta jäljelle jääneestä n 3 = 8 Jonoja on siis n = n 1 n 2 n 3 = = 720 kappaletta. Samaan tapaan: n:stä erilaisesta alkiosta voidaan muodostaa k:n alkion erilaista osajonoa n (n 1 (n 2 (n k + 1 = (n k! (n k (2.2 eri tavalla. 3 Näitä osajonoja kutsutaan variaatioiksi (n:n alkion k-variaatiot, k n. 2 Oletetaan tasainen jakauma, P (alkeistap. = 1 n(ω = vakio. 3 Huomaa, että tässä (n k on tuttu Pochhammerin symboli FyMMIIa:lta, ts. laskeva tulo. 4

5 2.3 Kombinaatiot Kombinaatiot kertovat kuinka monta osajoukkoa voidaan valita n:stä erilaisesta alkiosta. Esim. 4 ihmistä A, B, C, D kättelevät toisiaan. Montako kättelyä tapahtuu? Valitaan 4:stä kahden ihmisen osajoukkoja. Osajonoja olisi (4 2 = 4 3 = 12. Mutta osajoukkoja on vähemmän kuin jonoja, sillä nyt järjestyksellä ei ole väliä: AB&BA {A, B}, (2.3 ts. kaksi alkiota voidaan järjestää 2:lla tavalla. Osajoukkoja on siis 12 = 6 = Vastaavalla tavalla n alkioista voidaan valita k:n alkion osajoukko binomikertoimen ilmaisemalla ( n k = k!(n k! = n (n 1 (n k + 1 k! eri tavalla. Nämä ovat n:n alkion k-kombinaatiot. = k-osajonot tavat järjestää k alkiota Esimerkki 2.1 (Lottoesimerkkejä kombinatoriikasta Käykäämme lävitse muutama esimerkki lottoon liittyen. 1. Todennäköisyys saada 7 oikein Lotossa: Lottorivien lkm = 40:n numeron 7-osajoukot= ( 40 7 (voittosuhde. = (40 7 Todennäköisyys P (7 oikein = , = 0, o / oo 7! (2.4 40! = (40 7!7! 2. Montako lottoriviä joissa on 3 ja 8? (Huom. tn ei sama kuin 2 oikein.: Kiinnitetään 3 ja 8, lopuista 38 numeroista valitaan 5-osajoukko: ( 38 lkm = = ( Todennäköisyys saada tasan 2 oikein. Koneen pitää arpoa jotkut 2 numeroa kupongin 7:stä: ( 7 2 jotkut 5 numeroa jotka kupongin 7 (ettei tulisi enemmän kuin 2 oikein: ( 40 7 ( 5 = 33 5 Tällaisia rivejä on siis Kaikkia rivejä on n(tasan 2 oikein = n(e = n(ω = 5 ( 40 7 ( 7 2 ( 33 5 (2.6 (2.7

6 Siis todennäköisyys saada tasan 2 oikein: P (E = n(e n(ω = ( 7 ( ( 40 0, (2.8 7 Samalla tavalla esim. tasan 4 oikein: P (4 oikein = ( 7 ( ( 40 0, (2.9 7 Laskuharjoitukseksi jätettäköön loppujen todennäköisyyksien laskeminen, vastaukset löytyvät Veikkauksen sivuilta. 4 Esimerkki 2.2 (Korttipeliesimerkkejä Korttipakassa on 52 korttia (= Sekoitetaan korttipakkaa, erilaisia järjestyksiä on 52! Todennäköisyys saada 4 samaa pokerissa: Erilaisia 5:n kortin käsiä on ( 52 5 = n(ω Neljä samaa numeroa: numero voidaan valita 13 tavalla Viides kortti voi sen jälkeen olla mikä tahansa 52 4 = 48:sta 4:n saman käsiä on siis n(e = = Otanta P (4 samaa = P (E = n(e n(ω = 624 ( , = 0, 24 o / oo (2.10 Jatketaan kombinatoriikan peruskäsitteillä, seuraavaksi otannat takaisinpanolla ja ilman. 3.1 Otanta ilman takaisinpanoa Otannat liittyvät tilanteeseen, jossa valitaan osajoukko alkioita (otanta isommasta joukosta jossa N alkiota jakaantuvat kahteen lajiin. Esim. oletetaan, että N alkiota ovat palloja, joista K N kpl on mustia ja loput N K kpl ovat valkoisia. Valitaan sitten umpimähkään n palloa. Kysymme millä todennäköisyydellä niistä pallosta täsmälleen k on mustia. Tapahtuma on siis E n,k =n palloa, joista tasan k mustia. Lasketaan ensin n(e n,k eli kuinka monella tavalla ko. valinta voidaan tehdä: k mustaa voidaan valita K:sta ( K k tavalla (kombinaatiot. 4 Jos hyperlinkki ei toimi lukijalle, niin osoite on 6

7 n k valkoista voidaan valita N K valkoisesta ( N K n k tavalla Yhteensä siis n(e n,k = ( K k ( N K n k (3.1 eri tapaa. Perusjoukon Ω n taas muodostavat alkeistapahtumat, eli eri tavat valita n palloa N:stä, niitä on ( N n(ω n = (3.2 n erilaista. Eli todennäköisyys sille, että valitun n pallon joukossa on tasan k mustaa palloa on P (E n,k = n(e ( K ( N K n,k n(ω n = k n k ( N. (3.3 n 3.2 Otanta takaisinpanolla Ero edelliseen tapaukseen on se, että nyt n palloa valitaan yksitellen ja joka valinnan jälkeen vain tulos (oliko musta/valkoinen kirjataan ylös, jonka jälkeen pallo palautetaan (takaisinpano. Siten seuraava valinta tehdään taas N pallon joukosta ja sama pallo voi tulla valituksi useammin kuin kerran. Koska jokainen n valinnasta tehdään N pallon joukosta, erilaisia valintayhdistelmiä (alkeistapauksia on N N N = N n kpl. Siis n(ω n = N n. (3.4 Tällä kertaa n(e n,k =n valinnan joukossa tulos musta tasan k kertaa päätellään seuraavasti: Ajatellaan tulosten kirjausta varten n ruutua, aina kun tulos on musta, piirretään rasti ruutuun. k rastia voidaan sijoittaa n ruutuun ( n k tavalla Kutakin rastia voi vastata mikä tahansa K pallosta (joka tuli valituksi. Siten rastit mustat pallot. Yhdistelmiä on siis K k erilaista. Samalla tavalla tyhjät ruudut valk. pallot. Yhdistelmiä on (N K n k erilaista. Esimerkki 3.1 (Pienehkö määrä palloja Otetaan N = 30, 10 mustaa palloja, joten 20 valkoista palloa. Valitaan neljä palloa (n = 4 ja kysytään, monellako tavalla voidaan valita tasan yksi musta (k = 1? Kaikkiaan siis n(e n,k = ( n K k (N K n k, (3.5 k 7

8 joten etsitty todennäköisyys on P (E n,k = n(e n,k n(ω n = ( n k K k (N K n k. (3.6 N n Otannasta takaisinpanolla on hankalampi löytää esimerkkejä, sillä ilman takaisinpanoa on yleisempi tilanne (koska edellisessä tilanteessa sama alkio voi sisältyä otokseen monta kertaa. 4 Toistokoe, diskreetti todennäköisyysjakauma Palataan vielä kolikonheiton ja nopanheiton tyyppisiin tapauksiin. Eli toistetaan koetta, jossa tapahtuman E todennäköisyys on joka kerta p. Olkoon toistojen lkm=n. Mikä on todennäköisyys, että tapahtuma E esiintyy tasan k kertaa? Katsotaan koesarjaa, jossa jossain järjestyksessä tulos oli E k kertaa ja ei-e n k kertaa. Tällaisen sarjan todennäköisyys on p k (1 p n k. Mutta tällaisia koesarjoja on monta, sillä tulokselle ( E on k eri toteutumisvaihtoehtoa n:stä toistosta ja k paikkaa voidaan valita n:stä n k eri tavalla. Siten kokonaistodennäköisyys on: P (n toistoa, joissa E esiintyy tasan k kertaa = ( n p k (1 p n k P (E n,k. (4.1 k Tarkistetaan vielä: todennäköisyyksien summan täytyy olla eri vaihtoehdoille 1, eli n k ( n P (E n,k = p k (1 p n k = (p n = 1, OK!, (4.2 k k=0 n=0 8

9 käyttäen binomikaavaa (x + y n = k n=0 ( n x k y n k. (4.3 k Toistokoe-esimerkissä tulee vastaan uusi tunnettu todennäköisyysjakauma. Aiemmin olemme aina olettaneet tasaisen jakauman joissa alkeistapahtumilla on kullakin sama todennäköisyys p = 1. Jos nyt ajattelisimme, että toistokokeessa tulokset n toistoa, joissa E n(ω esiintyy tasan k kertaa olisivatkin alkeistapahtumia, eli ajateltaisiinkin perusjoukoksi Ω = {E n,k 0 k n} (4.4 ja E n,k :t alkeistapahtumiksi. Tällöin niiden todennäköisyysjakauma ei ole tasainen, vaan edellä laskettu ( n P (E n,k = p k (1 p n k (4.5 k jota kutsutaan binomijakaumaksi. Oletetaan seuraavaksi, että Todennäköisyys p pienenee toistojen kasvaessa siten, että tulo np = λ =vakio, siis p = λ n. (4.6 Pidetään k äärellisenä, mutta annetaan toistojen määrän n kasvaa rajatta, eli n. Nyt binomikaava voidaan kirjoittaa ( n p k (1 p n k = k ( n p k (1 p k (1 p n = k 9 (n k!k! ( k ( λ 1 λ k ( 1 λ n (4.7 n n n

10 ja edelleen (n k!n k = n(n 1 (n k + 1 n n n nk n k = 1, n k, n (4.8 joten Saatu jakauma (1 λ n k 1 k = 1 (4.9 (1 λ n n e λ (4.10 P (E n,k n,n k,p=λ/n λk k! e λ P λ (k. (4.11 P λ (k = λk k! e λ (4.12 on nimeltään (diskreetti Poisson-jakauma. 5 Jakaumassa esiintyvä parametri λ on tulosten k todennäköisyyksillä painotettu keskiarvo eli ns. odotusarvo (tästä myöh.lisää: k kp λ (k = e λ k=0 k=0 k λk k! = e λ k =0 λ k +1 k! = λ. (4.13 Esimerkki 4.1 (Tähtitaivaan kuvaaminen Otetaan valokuva jostain tähtitaivaan alueesta. Jos tähdet ovat alueessa tasaisesti jakautuneet ja kuva jaetaan yhtä suuriin ruutuihin, yhdelle ruudulle osuvien tähtien lkm noudattaa Poissonin jakaumaa. Olkoon kuvassa 100 tähteä. Jaetaan kuva 25 yhtäsuureen ruutuun. Millä todennäköisyydellä ruudussa on enintään 2 tähteä? Odotusarvo on λ = = 4. Tod.näk. että ruudussa on tasan k tähteä: Siis tod.näk., että enintään 2 tähteä on P (enintään 2 tähteä = P (0 + P (1 + P (2 = e λ P (k = λk k! e λ (4.14 k=0,1,2 λ k k! 0, 238 (4.15 Esimerkki 4.2 (Radioaktiivinen hajoaminen Kokeellisesti tiedetään, että radioaktiivista materiaalia seuratessa 5 Tarkistus: k=0 P λ(k = e λ k λk k! = e λ+λ = 1, ok! 10

11 Tod.näk. sille, että tapahtuu yksi hajoaminen (emissio aikavälillä [t, t + t] on verrannollinen t:hen: p = α t, (4.16 kun t. Hajoamistapaukset eri aikaväleillä ovat toisistaan riippumattomia Mitataan materiaalia kokonaisajan T verran ja jaetaan aikaväli [0, T ] N = T :hen tasaiseen t väliin. Nyt p = α t = αt N λ (4.17 N tasan yhdelle hajoamistapaukselle kullakin aikavälillä. Kyseessä on siis alun toistokoe: N toistoa, tapahtumatodennäköisyys p = λ kullakin välillä. Siten todennäköisyys havaita k hajoamista ajassa T saadaan binomikaavasta: N ( N P (k = p k (1 p N k, p = λ (4.18 k N ja edelleen, kun otetaan raja t 0, N T, jolloin jakaumasta muodostuu Poissonjakauma: t P (k = λk (αt k k! e λ = e αt. (4.19 k! Radioaktiivinen hajoaminen on siis Poisson-prosessi, todennäköisyys havaita k hajoamista ajassa T noudattaa yo. Poisson-jakaumaa. Huom. Myös otannassa ilman takaisinpanoa johdettu todennäköisyys P (E n,k = ( n N K k( n k ( N (4.20 n muodostaa epätasaisen jakauman (eri k:n arvoille k = 0, 1,..., n, se tunnetaan nimellä Hypergeometrinen jakauma. 5 Ehdollinen todennäköisyys Kerrataan muutama todennäköisyyslaskennan laskusääntö. Tapahtuman E komplementtitapahtuma E on "E ei tapahdu". Koska todennäköisyyksien summa on 1, P ( E = 1 P (E. Joskus on helpompi laskea komplementtitapahtuman todennäköisyys. 11

12 Yhteenlaskusääntö: jos tapahtumat E 1 ja E 2 ovat erillisiä (E 1 E 2 =, niin P (E 1 E 2 = P (E 1 + P (E 2. Esim. tn heittää nopalla 1 tai 2 on 1/6 + 1/6 = 1/3. Yleisemmin, jos tapahtumat eivät ole erillisiä, niin P (E 1 E 2 = P (E 1 + P (E 2 P (E 1 E 2. Jos tapahtumat E 1 ja E 2 ovat riippumattomia, niin P (E 1 E 2 = P (E 1 P (E 2. Esim. Heitetään kolikkoa 2 kertaa peräkkäin, tn. sille että molemmilla heitoilla saadaan kruuna on 1/2 1/2 = 1/4. Entäpä sitten jos tapahtumat eivät ole riippumattomia? Tämä tilanne tulee usein vastaan, kysymme tapahtuman E 2 todennäköisyyttä sillä ehdolla että myös E 1 tapahtuu. Kysymys on mielekäs jos E 1 on mahdollinen, eli P (E 1 > 0. Kysytty ehdollinen todennäköisyys lasketaan kaavasta P (E 2 E 1 = P (E 2 E 1, P (E 1 vasen puoli luetaan "tapahtuman E 2 todennäköisyys ehdolla E 1 ". Ehdollisella todennäköisyydellä on samoja ominaisuuksia kuin tavallisella todennäköisyydellä: i P (E 2 E 1 [0, 1] ii P (Ω E 1 = 1 (kaikkien tapahtumien todennäköisyyksien normitus iii Jos E 2 ja E 3 ovat erillisiä, niin P (E 2 E 3 E 1 = P (E 2 E 1 + P (E 3 E 1. Esimerkki 5.1 (Korttipakan kortit I Otetaan korttipakasta kaksi korttia. Mikä on todennäköisyys sille että toinen kortti on ässä, kun ensimmäinen kortti on ässä? Nyt toisen ässän saaminen ei ole riippumaton ensimmäisen ässän saamisesta, sillä 1. ässän jälkeen jäljellä olevassa pakassa on yksi ässä vähemmän. Todennäköisyys voidaan laskea helposti suoraankin, sillä pakassa on jäljellä 51 korttia joista 3 ässiä. Tn on siis 3/51 =1/17. Lasketaan tulos toisella tavalla käyttäen ehdollista todennäköisyyttä: Olkoon E 1 = "1. kortti on ässä", E 2 = "2. kortti on ässä". Selvästi P (E 1 = 4/52. Tn sille että saadaan 2 ässää peräkkäin on P (E 2 E 1 = (3/51 (4/52. Nyt voidaan laskea tn sille että 2. kortti on ässä sillä ehdolla että 1. kortti on ässä: P (E 2 E 1 = P (E 2 E 1 P (E 1 = =

13 Ehdollisen todennäköisyyden kaavasta saamme yleistyksen kertolaskusäännölle siinä tapauksessa että tapahtumat eivät ole riippumattomia: P (E 1 E 2 = P (E 1 P (E 2 E 1 = P (E 1 E 2 P (E 2. Jos tapahtumat ovat riippumattomia, P (E i E j = P (E i ja kaava palautuu riippumattomien tapausten kertolaskusäännöksi. Esimerkki 5.2 (Korttipakan kortit II Jaetaan korttipakka tasan 4 pelaajalle A,B,C,D. Mikä on todennäköisyys sille että A ja B saavat kumpikin 2 ässää? Selvästi A:n ja B:n kortit riippuvat toisten korteista. Ratkaistaan tämä käyttämällä yleistettyä kertolaskusääntöä seuraavalla tavalla. Olkoon E 1 = "A saa 2 ässää", E 2 = "B saa 2 ässää". Ajatellaan että A:lle jaetaan kortit ensimmäiseksi. Hänen kätensä on silloin n = 13 kortin otanta ilman takaisinpanoa N = 52 kortin joukosta, joissa K = 4 ässää, ja otantaan halutaan k = 2 ässää. Siten ( ( 4 48 P (E 1 = 2 11 ( Tämän jälkeen jaetaan B:n kortit, lasketaan tn sille että hän saa 2 ässää kun A sai jo 2 ässää. Kyseessä on siis ehdollinen todennäköisyys. Kuten 1. esimerkissä, se voidaan laskea suoraan, koska tiedämme pakassa olevan 39 korttia, joista 2 ässiä, ja 13 kortin otannassa halutaan olevan 2 ässää. Siten ( ( 2 37 P (E 2 E 1 = 2 11 ( Nyt voimme laskea kysytyn todennäköisyyden sille että E 1 ja E 2 tapahtuvat: ( ( ( P (E 1 E 2 = P (E 1 P (E 2 E 1 = ( ( 0, Kertolaskusääntöä voi myös toistaa, esim. P (E 1 E 2 E 3 = P (E 1 E 2 P (E 3 E 1 E 2 = P (E 1 P (E 2 E 1 P (E 3 E 1 E 2. Luonteva esimerkki tästä on 3 kortin peräkkäin vetäminen korttipakasta. Esimerkki 5.3 (Korttipakan kortit III Vedetään pakasta 3 korttia. Mikä on todennäköisyys sille että 1. kortti on hertta (E 1, 2. risti (E 2 ja 3. musta kortti (E 3? Edetään seuraavasti: P (E 1 E 2 = P (E 1 P (E 2 E 1 =

14 ja sitten P (E 1 E 2 E 3 = P (E 1 E 2 P (E 3 E 1 E 2 = , 032. Viimeisenä esimerkkinä (jolla voit kiusata kavereitasi olkoon sisaruusongelma. Tämän voisi laskea myös ehdollisen todennäköisyyden kautta, mutta helpompi tapa on listata eri vaihtoehdot. Todennäköisyyslaskentaongelmissa kiusallista on se että aina ei ole suoraviivaista huomata millä tavalla on helpointa lähteä liikkeelle. Esimerkki 5.4 (Tyttö vai poika? Äidillä on 2 lasta, joista toinen on tyttö. Millä todennäköisyydellä toinen lapsi on poika? Tässä tehtävässä ajattelee helposti kahta peräkkäistä kolikonheittoa ja vastaa 1/2, joka on väärin. Oikea vastaus on 2/3. Eri vaihtoehdot ovat nimttäin T(yttö-T(yttö, T-P, P-T, P-P. Näistä jälkimmäinen ei käy, sillä toinen lapsista on tyttö. Jäljellä olevasta 3 vaihtoehdosta kahdessa yksi lapsi on poika. Siis 2/3. Ehdollisen todennäköisyyden kaavojen soveltaminen on mutkikkaampaa. Esimerkki 5.5 (Monty Hall ongelma Ks. artikkeli Wikipedian sivuilta. 6 Kannattaa lukea englanninkielinen versio Wikipedian artikkelista. Tällä ongelmalla on mielenkiintoinen historia amerikkalaisessa tv-visailussa ja toimii hyvänä varoituksena siitä kuinka (yksinkertaissakin todennäköisyyslaskennan ongelmissa myös ammattimatemaatikot voivat tehdä alkeellisia virheitä. 6 Jatkuvat todennäköisyysjakaumat 6.1 Yksi satunnaismuuttuja Tähänastisissa esimerkeissä perusjoukko Ω on ollut diskreetti, so. äärellinen tai numeroituvasti ääretön. Katsotaan seuraavaksi tapausta jossa perusjoukko Ω = R, ja satunnaismuuttujan X arvot x R. Kumulatiivinen todennnäköisyysjakauma P (x on todennäköisyys sille että X x. Selvästi P (x on monotonisesti kasvava funktio, ja lim P (x = 0, x lim P (x = 1. x + P (x:n ei kuitenkaan tarvitse olla jatkuva, vaan se voi myös hypätä epäjatkuvasti jossakin pisteessä / pisteissä. Todennäköisyystiheysjakauma p(x on edellisen derivaatta: p(x = dp (x dx, 6 Jos hyperlinkki ei toimi lukijalle, niin osoite on 14

15 kääntäen, kumulatiivinen jakauma on tiheysjakauman integraali: P (x = x dx p(x. Tiheysjakauma p(x on siis todennäköisyys sille että X:n arvo on innitesimaalisella välillä [x, x + dx]. Huom! Vaikka p(x 0 edelleen, se voi myös divergoida joissain pisteissä, kunhan se tapahtuu integroituvasti. Esim. p(x = e x /(4 x divergoi x = 0:ssa, mutta integraali yli R:n on silti 1. Satunnaismuuttujan X odotusarvo on E(X x + dx xp(x, eli todennäköisyyksillä painotettu keskiarvo. Fysiikassa merkintä x on yleisempi. Edelleen, jos F (x on jokin reaaliarvoinen funktio, niin satunnaismuuttujan funktio F (X on myös satunnaismuuttuja. Sen odotusarvo on E(F (X F (x + dx F (xp(x, Tärkeä erikoistapaus tästä on monomit X n. Niiden odotusarvoja kutsutaan todennäköisyysjakauman p(x momenteiksi m n : m n E(X n x n + dx x n p(x. Ensimmäinen momentti m 1 on tietenkin jakauman odotusarvo. Momentteja voidaan laskea suoraviivaisesti integroimalla, mutta elegantti ja usein kätevä tapa on käyttää niiden generoivaa funktiota, ns. karakteristista funktiota. Todennäköisyysjakauman karakteristinen funktio p(k on tiheysfunktion Fouriermuunnos: p(k e ikx + dx e ikx p(x. Tiheysfunktio saadaan siis karakteristisesta funktiosta käänteismuunnoksella: p(x = 1 2π + dk e ikx p(k. Karakteristinen funktio on momenttien generoiva funktio, mikä nähdään kehittämällä eksponenttifunktio Taylor-sarjaksi: ( ik n p(k = x n = n=0 15 ( ik n x n. n=0

16 Siis x n = i n dn p(k dk n k=0. Momentit voidaan laskea myös jonkin muun pisteen x 0 kuin origon suhteen. Karakteristisen funktion avulla ne saadaan Taylor-sarjana pisteen x 0 ympäristössä: e ikx0 p(k = e ik(x x0 ( ik n = (x x 0 n = n=0 ( ik n (x x 0 n. Siinä missä momentit ovat odotusarvon yleistyksiä, varianssin yleistyksiä kutsutaan kumulanteiksi x c. Nekin voidaan laskea (ja määritellä karakteristisen funktion avulla, kehittämällä tällä kertaa Taylor-sarjaksi sen logaritmi: log p(k = ( ik n n log p(k ( ik n k=0 n=0 n=0 ( ik n x n c. Koska kumulantit ja momentit pohjautuvat samaan karakteristiseen funktioon, edelliset voidaan esittää jälkimmäisten avulla ja päinvastoin. Eksplisiittiset lausekkeet voidaan ratkaista esim. seuraavalla tavalla, käyttäen hyväksi sarjakehitelmää log(1 + y = ( 1 n=1 n+1 yn n=0 n = y y2 2 + y Ensinnäkin Toisaalta, ln p(k = ( ik n x n c = ik x c + ( ik2 x 2 c (6.1 2 n=0 log p(k = log[1 ik x + ( ik2 x 2 + ] (6.2 2 = ik x ( ik2 x 2 + ( 12 2 ( ik x + ( ik2 x 2 + O(k O(k 3 ( Vertaamalla kehitelmissä (6.1 ja (6.3 esiintyviä k n :ien kertoimia, saadaan x c = x x 2 c = x 2 x 2 x 3 c = x 3 3 x 2 x + 2 x 3 x 4 c = x 4 4 x 3 x 3 x x 2 x 2 6 x 4 ja niin edelleen. Ensimmäinen yhtälö kertoo että 1. kumulantti on sama kuin odotusarvo. Toinen yhtälö on taas kenties tuttu kaava varianssille: 2. kumulantti on siis jakauman varianssi, σ 2 x 2 c. 3. ja 4. kumulantti tunnetaan nimillä vinous (skewness ja huipukkuus 16

17 tai kurtoosi (curtosis/kurtosis. Yleinen kumulantti (HT voidaan kirjoittaa seuraavan lähes alakolmiomatriisin determinanttina: m m 2 m ( m 3 m m ( x n c = ( 1 n+1 m 4 m 3 ( m2 2 m ( m 5 m 4 ( 4 ( m3 2 m2 3 m m n 1 m n 2 m n m n 1 Yhtälöt kääntämällä saadaan ilmaistua momentit kumulanttien avulla: x = x x 2 = x 2 c + x 2 c x 3 = x 3 c + 3 x 2 c x c + x 3 c x 4 = x 4 c + 4 x 3 c x c + 3 x 2 2 c + 6 x 2 c x 2 c + x 4 c ( n 1 n 2 m1 jne. Yo. relaatiot ovat itse asiassa pohjana edistyneemmän statistisen kenttäteorian ja kvanttikenttäteorian kursseilla esiteltäville diagrammitekniikoille. Mm. kvanttikenttäteorian ns. Wickin teoreema on periaatteeltaan sama. Aihe menee hieman Fymm IIb:n perustavoitteiden ohi, mutta käydään tätä hieman lisää läpi sillä ajatuksella että myöhemmillä kursseilla saatat palata takaisin tähän monisteeseen kertaamaan mistä aikanaan puhuttiin. Momenttien johtaminen kumulanttien avulla menee samaan tapaan kuin päinvastainenkin lasku, vertaamalla Taylor-sarjojen k n -termien kertoimia. Toisaalta p(k = ( ik n x n. (6.4 n=0 Toisaalta taas p(k = e log p(k ( ik n = exp[ x n c ] = n=1 n=1 exp[ ( ikn x n c ], (6.5 eli eksponenttifunktioiden ääretön tulo. Kehittämällä jokainen eksponenttifunktio Taylorsarjaksi, ( exp[ ( ikn x n ( ik npn x n pn c c ] =, (6.6 p n! saadaan p(k = n=1 p n=0 p n=0 ( ik npn p n! 17 ( x n pn c. (6.7

18 Seuraavaksi pitää järjestää termit uudelleen sarjaksi k:n kasvavia potensseja. Tätä varten tarvitsemme hieman lisää kombinatoriikkaa. Aiemmalla luennolla esiintynyt binomikaava voidaan yleistää multinomikaavaksi, (x 1 + x x m n = k =n ( n x k, (6.8 k joka on kirjoitettu tiivistetyllä notaatiolla käyttäen multi-indeksejä. Yllä: ja kerroin k (k 1, k 2,..., k m (6.9 x k x k 1 x k2 x km, (6.10 ( ( n n k k 1, k 2,, k m k 1!k 2! k m! (6.11 on binomikertoimen yleistys, ns. multinomikerroin. Aiemmin opimme että binomikerroin antaa kombinaatiot, ts. eri tavat valita n erilaisesta alkiosta k kappaletta. Voimme myös ajatella että lajittelemme alkiot kahteen laatikkoon, toiseen k kappaletta, toiseen loput n k, binomikerroin antaa eri tavat lajitella alkiot. Samaan tapaan multinomikerroin kertoo eri tavat lajitella alkiot m:ään eri laatikkoon, siten että 1. laatikkoon tulee k 1 kappaletta jne, siten että k k 1 +k 2 + k m = n. Merkintä k = n myös selittää multinomikaavan rajoitetun summan. Huom: yo. notaatiolla siis tuttu binomikerroin on ( ( n n =. (6.12 k k, n k Erityisesti momentti-kumulantti kaavaa varten otamme lajitteluesimerkin. Esimerkki 6.1 (Lajitteluesimerkki Kuinka monella tavalla m alkiota voidaan lajitella laatikoihin siten että laatikoita joissa on n palloa on p n kappaletta? Selvästikin vaaditaan että npn = m. Nyt multinomikerroin antaa ( m = 1,, 1, 2,, 2,, n,, n m! (1! p 1 (2! p 2 ( p n. Mutta, koska p k laatikkoa joissa kussakin on k palloa ovat keskenään identtisiä, yo lukumäärä täytyy jakaa eri tavalla järjestää kukin p k laatikkoa, eli saadaan m! p 1!(1! p 1 p2!(2! p 2 pn!( pn n = m! 1 p k!(k! p k k=1 eri tapaa lajitella pallot laatikoihin kysytyllä tavalla. 18

19 Palataan takaisin momentti-kumulantti kaavaan ( ik m x m = m! m=0 ( ik npn n=1 p n=0 p n! ( x n pn c. (6.13 Vertaamalla termien ( ik m kertoimia molemmilla puolilla saadaan relaatio x m = 1 m! p p n n n!( xn pn pn c. (6.14 Rajoitettu summamerkintä tarkoittaa tässä että summa on rajoitettu kaikkiin tapoihin valita n, p n siten että np n = m, eli erilaisiin tapoihin lajitella m palloa laatikoihin siten että n palloa sisältäviä laatikoita on p n kappaletta. 6.2 Gaussin eli normaalijakauma Gaussin jakauman tiheysfunktio on p(x = ( 1 exp (x x 0 2 2πσ 2 2σ 2. (6.15 Monet muuttujat noudattavat suurinpiirtein Gaussisat jakaumaa, esim. pituus samanikäisten ihmisten joukossa jne. Toinen syy Gaussisen jakauman yleisyyteen on ns. keskeinen raja-arvolause, josta myöhemmin lisää. Gaussin jakauman karakteristinen funktio on myös Gaussinen (tuttu fakta Fourier-muunnoksista: ( 1 p(k = exp (x x 0 2 ikx (6.16 2πσ 2 2σ 2 = exp ( ikx 0 k2 σ 2 ( joten Kumulantit löytyvät nyt helposti: log p(k = ikx 0 k2 σ 2 eli x 0 on jakauman odotusarvo (keskiarvo ja eli σ 2 on jakauman varianssi. Sen neliöjuuri 2 = ik x c ( ik2 x 2 c +..., (6.18 x c = x = x 0 (6.19 x 2 c = x 2 x 2 = σ 2, (6.20 σ = σ 2 = x 2 c (

20 on nimeltään keskihajonta. Korkeammat kumulantit x n c = 0, n 3. (6.22 Kääntäen: jos tunnemme kaikki kumulantit x n c, n = 1, 2, 3,... niin ne määrittelevät yksikäsitteisesti todennäköisyysjakauman. Kumulanttien avulla voidaan konstruoida karakteristinen funktio ( ( ik n p(k = exp x n c (6.23 n=1 ja edelleen todennäköisyystiheysjakauma p(x Fourier-muuntamalla. Näin ollen, jos tiedämme jakauman kumulanttien x n c, n 3 olevan nollia, tiedämme että kyseessä on Gaussin jakauma. 6.3 Monta satunnaismuuttujaa Oletetaan nyt, että tarkasteltavaan tilanteeseen liittyy monta satunnaismuuttujaa X 1, X 2,..., X N jotka kaikki ovat jatkuvia, X = (X1, X 2,..., X N R N (eli perusjoukko Ω = R N. Esimerkki 6.2 (Vapaa kaasuhitu I Kaasuhiukkasen liiketilaan liittyy 6 satunnaismuuttujaa, paikka x = (x 1, x 2, x 3 ja nopeus v = (v 1, v 2, v 3. (N:nän hiukkasen kaasuun liittyy siis 6N satunnaismuuttujaa. Jakauma on p( x, v. Yhdistetty tod.näk.tiheysfunktio p( x on todennäköisyys sille, että x:n arvo on innitesimaalisessa tilavuuselementissä d N x pisteen x ympäristössä. Normalisaatio R N d N xp( x = 1. (6.24 Ehdoton tod.näk.tiheysfunktio kuvaa osajoukkoa satunnaismuuttujista. Esim. kaasuhiukkasen tapauksessa saattaa olla, että meitä kiinnostaa ainoastaan todennäköisyys löytää hiukkanen pisteestä x välittämättä sen nopeudesta. Tällöin turha tieto summataan yli: p( x = d 3 vp( x, v. (6.25 Yleisesti, ehdoton tod.näk.jakauma on siis p(x 1, X 2, X 3,..., X M = dx M+1 dx N p(x 1, X 2,..., X N. (6.26 Ehdollinen tod.näk.tiheysjakauma: Katsotaan nyt jakaumaa M:lle muuttujalle sillä ehdolla, että loppujen muuttujien X M+1,..., X N arvot tunnetaan, eli yleistetään aiemmin käsitelty tapaus. 20

21 Esimerkki 6.3 (Vapaa kaasuhitu II Katsotaan vapaata kaasuhiukkasta. Oletetaan, että tiedetään sen olevan pisteessä x ja etsitään nopeudelle todennäköisyysjakauma p( v x. Oletettavasti se on verrannollinen p( x, v:hen: p( v x = C p( x, v. (6.27 Kerroin C löydetään normitusehdosta: 1 = d 3 vp( v x = C d 3 vp( x, v = C p( x, (6.28 siis p( v x = p( x, v p( x eli nimittäjässä on x:n ehdoton todennäköisyysjakauma (olet. > 0. (6.29 Yleisesti p(x 1,..., X M X M+1,..., X N = p(x 1,..., X N p(x M+1,..., X N. (6.30 Jos muuttujat ovat riippumattomia, ehdollinen jakauma palautuu ehdottomaksi jakaumaksi: p(x 1,..., X M X M+1,..., X N = p(x 1,..., X M p(x M+1,..., X N p(x M+1,..., X N = p(x 1,..., X M. (6.31 Olkoon F N:nän muuttujan (reaaliarvoinen funktio. Silloin, jos X = (X 1,..., X N on satunnaismuuttuja, niin F ( X = F (X 1,..., X N on myös satunnaismuuttuja ja sen odotusarvo on F ( X = d N Xp( XF ( X. (6.32 Yhdistetty karakteristinen funktio on tiheysjakauman N-ulotteinen Fourier-muunnos p(k = e i k X = e i N p=1 kpxp. (6.33 Yhdistetyt momentit ja yhdistetyt kumulantit löytyvät taas generoivien funktioiden p( k ja log p( k avulla: X n 1 1 X n 2 2 X n N N = n 1 n 2 ( ik 1 n 1 ( ik 2 nn p( n 2 ( ik N k (6.34 n N k=0 X n 1 1 X n 2 2 X n N N n 1 n 2 c = ( ik 1 n 1 ( ik 2 nn log p( n 2 ( ik N k. (6.35 n N k=0 Yhdistetty korrelaatiokerroin X i X j c = 0 jos ja vain jos X i ja X j ovat riippumattomia. Koska X i X j c = X i X j X i X j eli X i X j c = 0 X i X j = X i X j. (

22 6.4 Usean muuttujan Gaussin jakauma Esimerkkinä usean muuttujan yhdistetystä jakaumasta katsotaan Gaussin jakauman N-ulotteista yleistystä. Yhdistetty tod.näk.tiheysfunktio on 1 p( x = ( (2πN det C exp 1 2 ( x x 0 T C 1 ( x x 0 (6.37 = ( 1 (2πN det C exp 1 2 N ( x x 0 i C 1 ij ( x x 0 j, (6.38 i,j=1 missä C 1 = (C 1 ij on symmetrisen matriisin C käänteismatriisi. Karakteristinen funktio on ( p( k = exp i k x 0 1 ( 2 k T C N k = exp i k i x 0,i 1 2 i=1 N C ij k i k j i,j=1 (6.39 joten yhdistetyt kumulantit ovat ja Matriisi x i c = (x 0 i ( x = x 0 (6.40 x i x j c = C ij, korkeammat kumulantit = 0. (6.41 C = (C ij = ( x i x j c (6.42 on nimeltään korrelaatiokerroinmatriisi. Jos odotusarvo x 0 = 0, niin momenttien laskeminen yksinkertaistuu. Kaikki parittomat momentit häviävät (esim. x i x j x k = 0, parilliset momentit taas saadaan eri tavoista ryhmitellä indeksit pareiksi, esim. x i x j x k x l = x i x j x k x l + x i x j x k x l + x i x j x k x l (6.43 = x i x j c x k x l c + x i x k c x j x l c + x i x l c x j x k c (6.44 = C ij C kl + C ik C jl + C il C jk. (6.45 Tämä tulos on sukua kvanttikenttäteorian Wickin teoreemalle. 6.5 Keskeinen raja-arvolause Olkoot x 1,..., x N satunnaismuuttujia, joiden yhteinen tod.näk.jakauma on p(x 1,..., x N p( x. Katsotaan satunnaismuuttujien summaa X = N i=1 x i. Tämän tod.näk.jakauma p(x = N i=1 x i p X (x on p X (x = d N xp( Xδ(X N x i = i=1 dx 1 dx N 1 p(x 1, x 2,..., x N 1, X N 1 i=1 x i (

23 ja karakteristinen funktio on p X (k = e ikx = e ik N j=1 x j = = = dx d N xe ik N j=1 x j p( xδ(x dxe ikx p X (x (6.47 N x j (6.48 j=1 d N xe ik N j=1 x j p( x = p(k 1 = k, k 2 = k, k 3 = k,..., k N = k (6.49 = p(k, k, k,..., k. (6.50 Kumulantit saadaan generoivasta funktiosta log p X (k: Toisaalta log p X (k = N ( ik n X n c. (6.51 n=1 log p X (k = log p(k, k,..., k = ik N x i1 c + 1 N 2 ( ik2 x i1 x i2 c +... (6.52 i 1 i 1,i 2 =1 eli X c = X 2 c = N x i1 c (6.53 i 1 =1 N i 1,i 2 =1 x i1 x i2 c (6.54. (6.55 N X n c = x i1 x i2 x in c. (6.56 i 1,i 2,...,i n=1 Jos kaikki muuttujat x 1, x 2,..., x N ovat toisistaan riippumattomia, ei-diagonaaliset kumulantit ovat nollia, x i1 x i2 x in c = x n i 1 c δ i1 i 2 i n (6.57 jolloin X = N x i c, X 2 = i=1 N x 2 i c, jne. (6.58 Edelleen, riippumattomuuden nojalla p(x 1, x 2,..., x N = N i=1 p i(x i, missä p i on x i :n todennäköisyysjakauma. Jos edelleen kaikilla muuttujilla on sama todennäköisyysjakauma, p i = p, 23 i=1

24 i = 1,..., N, niin tällöin x n i c =vakio kaikilla i = 1,..., N. Silloin X c = X 2 c = N x i c = N x i c, (mikä tahansa i (6.59 i=1 N x i c = N x 2 i c, (mikä tahansa i (6.60 i=1. (6.61 kaikki X n c = O(N. (6.62 Siirretään seuraavaksi muuttujan X odotusarvo origoon, määrittelemällä uusi satunnaismuuttuja Y : Y X X c. (6.63 Valitaan vielä verrannollisuuskertoimeksi 1/ N: Y = 1 N (X X c. (6.64 Uuden muuttujan Y kumulantit skaalautuvat nyt: Nyt näemme, että rajalla N : Y n c = 1 N (X X c n n/2 }{{} c = O(N 1 n/2. (6.65 O(N Y c N 1/2 (6.66 Y 2 c vakio (6.67 Y n c N 1 n/2 1 = n 2 0, n 3. N (6.68 Koska korkeammat kumulantit n 3 häviävät, muuttujan Y todennäköisyysjakauma lähestyy Gaussin jakaumaa rajalla N, lim p N ( Y = N i=1 x i N x i c N = 1 e 2π x 2 i c y 2 2 x 2 i c (6.69 riippumatta siitä mikä oli yksittäisten muuttujien x i jakauma p(x i. Tämä on erikoistapaus keskeisestä raja-arvolauseesta. Se voidaan johtaa hieman yleisimmilläkin oletuksilla. 7 7 Satunnaismuuttujien x i ei tarvitse olla toisistaan täysin riippumattomia, riittää N i 1,...,i n=1 x i 1... x in c O(N n/2. 24

25 7 Muuta hyödyllistä 7.1 Satulapisteintegrointi Tarkastellaan integraalia I = dxe Nφ(x (7.1 suuren N:n rajalla. Tämä rajankäynti laajentaa eksponentin heilahteluja jolloin integrandia voidaan approksimoida kehittämällä eksponentti Taylor-sarjaksi (globaalin maksimipisteen x max ympäristössä. Siellä φ (x max = 0, φ (x max = φ (x max < 0. Siten ( [ I = dx exp N φ(x max 1 ] 2 φ (x max (x x max (7.2 e Nφ(xmax dxe 1 2 φ (x max (x x max 2 (7.3 2π = N φ (x max enφ(xmax. ( Stirlingin approksimaatio Sovelletaan edellämainittua tekniikkaa saadaksemme likiarvo kertomalle N!, kun N on suuri. Lähdetään liikkeelle integraalista Derivoimalla N kertaa puolittain α:n suhteen saadaan Asettamalla α = 1 saadaan nyt 0 0 e αx = 1 α. (7.5 dxx N e αx = N!α (N+1. (7.6 missä N! = dxx N e x = 0 0 dxe Nφ(x, (7.7 φ(x = log x x N. (7.8 Tämän maksimikohta on x max = N ja φ (x max = 1/N 2. Satulapisteapproksimaatiolla: N! 0 1 N log N N dxe 2N (x N2 = N N e N 2πN. (7.9 Tästä saadaan statistisessa mekaniikassa käyttökelpoinen kaava log N! N log N N log(2πn + O ( 1 N. (

26 7.3 Informaatio ja entropia Tutkitaan viestejä, jotka ovat kirjoitettu jollain tuntemattomalla kielellä, jossa esiintyy M erilaista kirjainta. Viestejä tutkimalla osoittautuu, että kirjain x i (i = 1,..., M esiintyy todennäköisyydellä p i. Voimme nyt kvantioida paljonko informaatiota sisältyy N merkkiä sisältävään viestiin (esim. HYÖKÄTKÄÄ, N = 9. Suomen kielen aakkosiin kuuluu 29 kirjainta. Erilaisia N merkkiä sisältäviä viestejä on siis M N = 29 9 kappaletta. (7.11 Jotta täsmentäisimme näistä vaihtoehdoista viestin olevan juuri HYÖKÄTKÄÄ, meidän täytyy käyttää tietty määrä informaatiota joka spesioi viestin yksikäsitteisesti. Tarvittavan informaation määrä bitteinä on log 2 M N = N log 2 M = 9 log (7.12 Toinen tapa laskea viestin sisältämä informaatio on rajata eri viestivaihtoehtojen laskeminen kattamaan ainoastaan tyypilliset viestit. Tyypillisesti N kirjaimen mittainen viesti koostuu eri kirjaimista eri todennäköisyyksillä p i ja voidaan laskea eri kirjainten odotettu esiintymislukumäärä: Kirjain x 1 esiintyy viestissä tyypillisesti N 1 = p 1 N kertaa Kirjain x 2 esiintyy viestissä tyypillisesti N 2 = p 2 N kertaa. Kirjain x M esiintyy viestissä tyypillisesti N M = p M N kertaa. Odotusarvojen summa M i=1 N i = N M i=1 p i = N. Voidaan ajatella, että viestin kirjaimet jaotellaan M lokeroon, kukin yhtä kirjainta varten. Tyypillisen viestin kirjaimet jaotellaan lokeroihin siten että 1. lokeroon tulee N 1 kirjainta, jne, M. lokeroon N M kirjainta. Tyypillisten viestien lukumäärä saadaan siis multinomikertoimesta (6.11: ( N N! = N 1, N 2,..., N M N 1!N 2! N M!. (7.13 Jos siis spesioimme N-kirjaimisen viestin tyypillisten viestien joukosta, sen informaatioarvo on log 2 N! N 1!N 2! N M! = log 2 N! M log 2 N i! N i=1 M p i log 2 p i (Stirling. (7.14 Statistisessa mekaniikassa ja termodynamiikassa tyypillistä on että tarkastelemme ainoastaan osaa systeemin sisältämästä informaatiosta. Poisjätettyä informaatiota kutsutaan entropiaksi. Jos systeemin mahdollisten mikrotilojen (lukumäärä M x i esiintymistodennäköisyydet ovat p i (esim. kun kokonaisenergia on vakio, entropia määritellään von Neumannin 26 i=1

27 kaavalla S = M p i log p i = log p i. (7.15 i=1 Huomaa sukulaisuus aiempaan informaation määritelmään. Entropia kaavassa (7.15 saa miniminsä S min = 0, kun jakauma on delta-funktio p i = δ ij ja maksiminsa tasaisella jakaumalla: p i = 1/M S max = log M. Jatkuvan jakauman tapauksessa, ts. kun satunnaismuuttuja x R, entropia voidaan määritellä seuraavasti: S = dxp(x log p(x = log p(x. (7.16 Tämä määrittely on hivenen subtiili ja sen yksityiskohtainen käsittely jätettäköön statistisen mekaniikan kurssille. 27