Todennäköisyyslaskennan kurssin luentomoniste. Petri Koistinen Matematiikan ja tilastotieteen laitos Helsingin yliopisto

Todennäköisyyslaskennan kurssin luentomoniste Petri Koistinen Matematiikan ja tilastotieteen laitos Helsingin yliopisto 11. joulukuuta 2009

Sisältö 1 Tapahtumat ja niiden todennäköisyydet 1 1.1 Johdanto............................... 1 1.2 Joukko-oppia............................. 3 1.3 Matemaattinen todennäköisyyden käsite.............. 5 1.4 Kombinatoriikkaa........................... 7 1.4.1 Multinomikertoimet..................... 10 1.5 Todennäköisyyksiä uhkapeleissä................... 11 1.5.1 Todennäköisyyksiä lotossa.................. 11 1.5.2 Todennäköisyyksiä korttipeleissä.............. 12 1.6 Ehdollinen todennäköisyys...................... 13 1.7 Tapahtumien riippumattomuus................... 15 1.8 Kokonaistodennäköisyys ja Bayesin kaava............. 17 1.9 Toistokokeisiin liittyviä todennäköisyyksiä............. 18 1.10 Monotoninen jatkuvuus....................... 19 2 Satunnaismuuttujat 21 2.1 Satunnaismuuttuja ja sen jakauma................. 21 2.2 Kertymäfunktio............................ 23 2.3 Diskreetti jakauma.......................... 26 2.4 Esimerkkejä diskreeteistä jakaumista................ 27 2.5 Jatkuva jakauma........................... 28 2.6 Esimerkkejä jatkuvista jakaumista................. 31 2.7 Kvantiilifunktio ja sen käyttö simuloinnissa............ 32 2.8 Satunnaismuuttujan muunnoksen jakauma............. 35 2.9 Satunnaismuuttujien riippumattomuus............... 39 3 Odotusarvo 42 3.1 Diskreetin satunnaismuuttujan odotusarvo............. 42 3.2 Jatkuvasti jakautuneen satunnaismuuttujan odotusarvo..... 46 3.3 Odotusarvon ominaisuuksia..................... 46 3.4 Muunnoksen odotusarvo....................... 48 3.5 Momentit............................... 49 3.6 Varianssi ja keskihajonta....................... 50 3.7 Momenttiemäfunktio, kumulanttiemäfunktio ja karakteristinen funktio................................... 51 i

4 Tärkeitä jakaumia 54 4.1 Diskreettejä jakaumia........................ 54 4.1.1 Binomijakauma........................ 54 4.1.2 Hypergeometrinen jakauma................. 55 4.1.3 Poissonin jakauma...................... 55 4.1.4 Geometrinen jakauma.................... 55 4.1.5 Negatiivinen binomijakauma................ 56 4.2 Gamma- ja beetafunktio....................... 58 4.3 Jatkuvia jakaumia.......................... 60 4.3.1 Siirto ja skaalaus....................... 60 4.3.2 Tasajakauma......................... 61 4.3.3 Eksponenttijakauma..................... 61 4.3.4 Gammajakauma....................... 62 4.3.5 Beetajakauma......................... 62 4.3.6 Normaalijakauma....................... 63 5 Epäyhtälöitä 65 5.1 Markovin ja Tšebyševin epäyhtälöt................. 65 5.2 Konveksit funktiot ja Jensenin epäyhtälö.............. 67 5.3 Hölderin epäyhtälö.......................... 69 5.4 Cauchyn-Schwarzin epäyhtälö ja kovarianssi............ 70 5.5 Momenttiemäfunktiota koskevia epäyhtälöitä........... 71 6 Kaksiulotteiset jakaumat 73 6.1 Kaksiulotteinen satunnaisvektori ja sen jakauma......... 73 6.2 Diskreetti kaksiulotteinen jakauma................. 74 6.3 Jatkuva kaksiulotteinen jakauma.................. 77 6.4 Tasajakauma alueessa........................ 81 6.5 Riippumattomuus.......................... 82 6.6 Satunnaisvektorin muunnoksen odotusarvo............ 84 6.7 Kovarianssi ja muita yhteismomentteja............... 85 6.8 Odotusarvovektori ja kovarianssimatriisi.............. 86 6.9 Tiheysfunktion muuntokaava.................... 88 6.10 Napakoordinaattimuunnos...................... 93 7 Ehdollinen jakauma 95 7.1 Ehdolliset jakaumat......................... 95 7.2 Kertolaskusääntö eli ketjusääntö.................. 97 7.3 Diskreetin ja jatkuvan muuttujan yhteisjakauma......... 99 7.4 Ehdollinen odotusarvo........................ 100 7.5 Yhteisjakauman määrittely kertolaskukaavan avulla........ 103 7.6 t- ja F -jakauma ehdollistamalla................... 105 8 Moniulotteiset jakaumat 107 8.1 Satunnaisvektori........................... 107 8.2 Odotusarvovektori ja kovarianssimatriisi.............. 109 8.3 Ehdolliset jakaumat, kertolaskusääntö ja ehdollinen odotusarvo. 112 8.4 Ehdollinen riippumattomuus.................... 114 8.5 Tilastollisia malleja.......................... 115 8.6 Multinomijakauma.......................... 117 ii

8.7 Tiheysfunktion muuntokaava.................... 118 8.8 Järjestystunnusluvun tiheysfunktio................. 120 8.9 Satunnaisvektorin momenttiemäfunktio.............. 122 9 Moniulotteinen normaalijakauma 125 9.1 Multinormaalijakauma N n (0, I)................... 125 9.2 Matriisihajotelmia.......................... 126 9.3 Yleinen multinormaalijakauma................... 127 9.4 Affiinin muunnoksen jakauma.................... 128 9.5 Tiheysfunktio............................. 129 9.6 Korreloimattomuus ja riippumattomuus.............. 131 9.7 Ehdolliset jakaumat......................... 132 9.8 Kaksiulotteinen normaalijakauma.................. 133 9.9 Normaalijakauman otoskeskiarvon ja otosvarianssin yhteisjakauma 134 10 Raja-arvolauseita ja approksimaatioita 138 10.1 Suurten lukujen laki......................... 138 10.2 Jakaumasuppeneminen........................ 139 10.3 Suppenemistuloksia.......................... 140 10.4 Keskeinen raja-arvolause....................... 142 10.5 Normaaliapproksimaatio....................... 143 10.6 Deltamenetelmä........................... 144 iii

Luku 1 Tapahtumat ja niiden todennäköisyydet 1.1 Johdanto Tällä kurssilla käsitellään sellaisia puolia todennäköisyyslaskennasta, joita jokaisen tilastotieteilijän (tai muun todennäköisyyslaskennan soveltajan) tulisi tuntea. Stokastisiin prosesseihin liittyvät käsitteet ovat kuitenkin rajattu kurssin ulkopuolelle. Lukijalla oletetaan ennestään olevan jonkin verran esitietoja aiheesta, minkä takia kurssin alkuvaiheessa tiettyjä asioita vain kerrataan nopeasti. Lähestymistapa pyrkii olemaan käytännönläheinen: tavoitteena on opetella satunnaismuuttujiin ja todennäköisyysjakaumiin liittyvää laskentoa pikemminkin kuin käsitellä todennäköisyyslaskentaa matemaattisena struktuurina. Matemaattisesti aukoton esitys vaatisi mittateoriaa ja Lebesguen integraalia, mutta näitä työkaluja ei varsinaisesti käytetä tällä kurssilla. Tietyissä kohdissa luentomonisteessa kuitenkin esitetään yhteyksiä mittateoreettisen todennäköisyyslaskennan käsitteisiin. Tilastotiedettä, ja tätä kautta todennäköisyyslaskentaa sovelletaan kaikilla tieteen ja useilla elinkeinoelämän aloilla. Jotkin ilmiöt ovat luonteeltaan deterministisiä, mikä tarkoittaa sitä, että niiden kehitys voidaan ennustaa (esim. jonkin luonnonlain avulla), kun tunnetaan ilmiöön liittyvät alkuehdot ja muut relevantit tekijät. Toisaalta usein tarkastellaan sellaisia ilmiöitä, joiden lopputulosta ei osata varmasti ennustaa käytettävän tiedon perusteella. Tällaiseen ilmiöön liittyvää epävarmuutta voidaan yrittää käsitellä stokastisen mallin (todennäköisyysmallin, tilastollisen mallin) avulla. Todennäköisyyslaskenta on stokastisiin malleihin liittyvää matematiikkaa. Tarkastellaan kahta erilaista ilmiötä, joiden lopputuloksia voidaan kuvailla todennäköisyyksien avulla: a) nopanheitto, b) jonkin tietyn vaalin tulokset. Nopanheiton yhteydessä tavallisesti sovelletaan todennäköisyyden ns. klassista tulkintaa, jonka mukaan eri silmäluvut ovat yhtä todennäköisiä nopan fysikaalisen symmetrian nojalla. Yleisesti, jos mahdollisten lopputulosten joukko 1

Ω on äärellinen, ja A Ω on kiinnostuksen kohteena olevan tapahtuman lopputulosten joukko ja todennäköisyydet määritellään symmetrian perusteella, niin tapauksen A todennäköisyydeksi valitaan P (A) = #A A:n alkioiden lkm = #Ω Ω:n alkioiden lkm Esimerkiksi nopanheiton tapauksessa mahdolliset lopputulokset (simäluvut) ovat Ω = {1, 2, 3, 4, 5, 6}, ja silmäluvun 6 todennäköisyydeksi saadaan ylläolevalla määritelmällä (valitsemalla A = {6}) P ( kuutonen ) = 1 6. Nopanheittoa on mahdollista toistaa useita kertoja. Yksittäisen nopanheiton lopputulosta on mahdotonta ennustaa, mutta pitkissä toistosarjoissa eri silmälukujen suhteelliset esiintymisfrekvenssit käyttäytyvät säännöllisesti. Nopanheitossa toistot ovat riippumattomia siinä mielessä, että edeltävien heittojen tulokset eivät vaikuta seuraavien heittojen tuloksiin. Klassisen tulkinnan sijaan nopanheittoon voidaan yrittää soveltaa todennäköisyyden frekvenssitulkintaa, jonka mukaan tietyn tapahtuman tai lopputuloksen A (esim. yhdessä nopan heitossa saadaan silmäluku kuusi ) todennäköisyys on tämän tapahtuman esiintymisten suhteellisen frekvenssin raja-arvo, kun riippumattomien toistojen lukumäärä kasvaa rajatta. Ts. tapahtuman A todennäköisyys voidaan yrittää määritellä kaavalla N(A) P (A) = lim N N, (1.1) jossa N(A) on niiden kokeiden frekvenssi (eli lukumäärä), joissa saatiin lopputulos A, ja N on toistojen lukumäärä. Suure N(A)/N on tapahtuman A suhteellinen esiintymisfrekvenssi. Tämän lähestymistavan teoreettinen oikeutus perustuu todennäköisyyslaskennan ns. suurten lukujen lakiin, joka on eräs todennäköisyyslaskennan kuuluisimmista tuloksista. Tämän takia todennäköisyyttä ei voida määritellä frekvenssitulkinnan avulla. (Sitä paitsi tällaista raja-arvoa ei voida koskaan saada reaalimaailman kokeilujen avulla tarkasti selville.) Frekvenssitulkinta ei kelpaa todennäköisyyden määritelmäksi, mutta sitä kannatta kuitenkin yrittää mielessään soveltaa todennäköisyyslaskennan käsitteiden ja erilaisten todennäköisyysmallien ominaisuuksien ymmärtämiseksi. Toisin kuin nopanheitto, yksittäiset vaalit ovat ainutkertainen tapahtuma, joten tässä yhteydessä ei voida puhua kokeen toistamisesta. Silti monet tahot ovat valmiita arvioimaan vaalien lopputulosta ennen kuin se on tiedossa. Esimerkiksi vaalituloksista on tavallisesti mahdollista lyödä vetoa jossakin vedonlyöntitoimistossa. Vedonlyöntitoimisto asettaa kertoimensa arvioimalla kyseessä olevien tapahtumien todennäköisyyksiä. Todennäköisyydelle on ainutkertaisten tapahtumien yhteydessä annettava toisenlainen, ns. subjektiivinen eli henkilökohtainen tulkinta. Tällöin todennäköisyys kuvaa henkilön (tai muun tahon) uskomuksen astetta väitteen totuuteen hänen käytettävissä olevan tiedon pohjalta. Eri tahot voivat tällöin saada erilaisia numeerisia vastauksia saman tapahtuman todennäköisyydelle. Saman henkilön todennäköisyydet tietylle tapahtumalle voivat olla eri aikoina erilaisia, jos henkilön käytössä oleva informaatio muuttuu. 2

Joskus tarvitaan vielä edellisistä poikkeavia tapoja tulkita todennäköisyyden käsitettä. Esimerkiksi kvanttimekaniikan yhteydessä tiettävästi edelleen kiistellään siitä, miten kvanttimaailman ilmiöiden todennäköisyydet pitäisi tulkita, ja sitä paitsi kvanttimekaniikan todennäköisyyslaskenta poikkeaa joiltain osin siitä, mitä tällä kurssilla käsitellään. 1.2 Joukko-oppia Aluksi kertaamme joukko-opin merkintöjä, sillä todennäköisyyslaskenta perustuu joukko-oppiin. Määritelmä 1.1. Olkoon Ω tarkasteltavan satunnaiskokeen kaikkien mahdollisten lopputulosten joukko. Kutsumme joukkoa Ω perusjoukoksi, ja sen alkioita ω Ω alkeistapauksiksi (engl. elementary event). Tapahtumiksi (engl. event) kutsumme perusjoukon Ω osajoukkoja. Huomautus. Usein tilastotieteessä perusjoukolle käytetään nimitystä otosavaruus (engl. sample space) sekä esim. merkintää S. Olkoot nyt A ja B perusjoukon Ω osajoukkoja. Seuraavat merkinnät lienevät lukijalle tuttuja: x A tarkoittaa, että x on joukon A alkio eli x kuuluu joukkoon A; x A tarkoittaa, että x ei ole joukon A alkio eli että x ei kuuluu joukkoon A A c tai Ā tarkoittaa joukon A komplementtia, eli niitä x Ω, jotka eivät ole A:n alkioita; A B tarkoittaa, että joukko A on joukon B osajoukko eli että jokainen A:n alkio on myös B:n alkio; tämä asia voidaan merkitä myös B A; A = B tarkoittaa, että joukot A ja B ovat samoja, eli että niillä on samat alkiot (ts. sitä, että A B ja B A); A B = {x : x A tai x B} on joukkojen A ja B yhdiste; A B = {x : x A ja x B} on joukkojen A ja B leikkaus; A \ B = A B c = {x : x A ja x B} on joukkojen A ja B erotus; on tyhjä joukko. Joukko-operaatiota ja niiden ominaisuuksia kannattaa havainnollistaa Vennin diagrammien avulla. Joukko-operaatioilla on lukuisia tärkeitä algebrallisia ominaisuuksia. Yhdisteellä ja leikkauksella on mm. seuraavat ominaisuudet. Kommutatiivisuus (eli vaihdantalait): kaikilla A ja B pätee A B = B A, A B = B A. Assosiatiivisuus (eli liitäntälait): kaikilla A, B ja C pätee (A B) C = A (B C) = A B C (A B) C = A (B C) = A B C. 3

Distributiivisuus (eli osittelulait): kaikilla A, B ja C pätee (A B) C = (A C) (B C), (A B) C = (A C) (B C) De Morganin lait yhdistävät yhdisteen, leikkauksen ja komplementoinnin, (A B) c = A c B c ja (A B) c = A c B c kaikille A ja B. De Morganin lait yleistyvät myös usemman kuin kahden joukon yli lasketulle yhdisteelle ja leikkaukselle. Yhdisteen ja leikkauksen voi laskea myös äärettömän monen joukon kokoelmalle. Jos A 1, A 2,... ovat perusjoukon osajoukkoja, niin niiden yhdistettä merkitään A j = {x : x A j jollakin j} ja leikkausta merkitään j=1 A j = {x : x A j kaikilla j}. j=1 Todennäköisyyslaskennan yhteydessä joukko-operaatioille voidaan antaa havainnollisempia tulkintoja. Taulukko 1.1 antaa tästä esimerkkejä. Taulukko 1.1 Eräitä joukko-opin merkintöjen tulkintoja. Kaava Ω x A A A c A B A B A B = A B A \ B j=1 A j j=1 A j Tulkinta varma tapahtuma mahdoton tapahtuma x on A:lle suotuisa alkeistapaus A sattuu A ei satu A tai B (tai molemmat) sattuu sekä A ja B sattuvat A ja B ovat erillisiä eli toisensa poissulkevia jos A sattuu, niin myös B sattuu A sattuu, mutta B ei satu ainakin yksi tapahtumista A j, j 1 sattuu kaikki tapahtumat A j, j 1 sattuvat Esimerkki 1.1. Perusjoukko eräissä sovelluksissa. Reaalimaailman satunnaisilmiön mallintamiseksi perusjoukko voidaan valita muuten vapaasti, mutta sen pitää olla riittävän rikas, jotta kaikki kiinnostuksen kohteena olevat tapahtumat voidaan esittää sen osajoukkoina. Tietty sovellus voidaan käsitellä käyttämällä erilaisia valintoja. 4

Nopanheitossa tulos on jokin silmäluvuista 1, 2,..., 6. Perusjoukoksi voidaan valita Ω = {1, 2, 3, 4, 5, 6}. Kahden nopan heitossa voidaan alkeistapaukset esittää kokonaislukupareilla (i, j), jossa ensimmäinen koordinaatti i kertoo ensimmäisen nopan tuloksen ja toinen koordinaatti j toisen nopan tuloksen. Siis voidaan valita Ω = {(i, j) : 1 i 6, 1 j 6}. Tämä valinta kelpaisi myös yhden nopan heiton kuvailuun; meidän tarvitsisi vain jättää laskuissa jälkimmäinen koordinaatti huomioimatta. Matemaattisissa ohjelmistoissa on yleensä ns. satunnaislukugeneraattori, joka poimii satunnaisesti reaaliluvun väliltä (0, 1). Tällöin luonteva perusjoukko on kyseinen lukuväli, Ω = (0, 1). Toisin kuin edellisissä sovelluksissa, tällä kertaa perusjoukko ei ole äärellinen, vaan on ääretön ja sisältää ylinumeroituvan monta alkiota. Eräs tärkeä stokastisten prosessien tyyppi on sellainen, jonka jokainen realisaatio on välillä (0, ) määritelty jatkuva funktio. Tällöin luonteva perusjoukko on kaikkien välillä (0, ) määriteltyjen jatkuvien funktioiden muodostama joukko. Tällaisen perusjoukon käsittely on huomattavasti monimutkaisempaa kuin minkään aikaisemmin esitetyn perusjoukon käsittely, mutta tähän asiaan emme tällä kurssilla puutu. 1.3 Matemaattinen todennäköisyyden käsite Johdantoluvussa tapasimme erilaisia todennäköisyyden tulkintoja. Matemaattinen todennäköisyyden käsite ei ota kantaa siihen, miten sitä tulkitaan eli miten sitä sovelletaan reaalimaailman ilmiöiden kuvailuun. Sen sijaan ajatuksena on määritellä aksioomien avulla, minkälaisia ominaisuuksia todennäköisyydellä on. Nämä todennäköisyyden aksioomat esitti A. N. Kolmogorov 1930-luvulla Todennäköisyys(mitta) (engl. probability measure) P liittää perusjoukon Ω tapahtumiin A Ω reaaliluvun P (A), jota kutsutaan tapahtuman A todennäköisyydeksi. Todennäköisyydeltä vaaditaan seuraavat ominaisuudet. Määritelmä 1.2. P on todennäköisyys (lyh. tn) eli todennäköisyysmitta (lyh. tn-mitta), mikäli se toteuttaa seuraavat kolme ominaisuutta. (1) P (A) 0 kaikille tapahtumille A Ω, (2) P ( ) = 0 ja P (Ω) = 1, (3) (täysadditiivusuus) P ( j=1 A j) = j=1 P (A j), kun A 1, A 2,... ovat erillisiä tapahtumia. Se seikka, että tapahtumat A 1, A 2,... ovat erillisiä (engl. disjoint) (ks. aksiooma (3)) tarkoittaa sitä, että A i A j = kun i j. 5

Tämä voidaan ilmaista myös sanomalla, että kyseiset tapahtumat ovat toisensa poissulkevia (engl. mutually exclusive). Jos A ja B ovat erillisiä tapahtumia (ts. A B = ), niin täysadditiivisuuden aksioomasta seuraa (valinnoilla A 1 = A, A 2 = B ja A j =, kun j 3) se, että P (A B) = P (A) + P (B) kun A B =. (1.2) Tätä ominaisuutta kutsutaan tn-mitan (äärelliseksi) additiivisuudeksi. Pysähdymme nyt pohtimaan todennäköisyyden frekvenssitulkinnan valossa, miksi (äärellinen) additiivisuus on luonnollinen todennäköisyyden ominaisuus. Olkoot A ja B tietyn satunnaiskokeen erillisiä tapahtumia. Oletetaan, että kyseistä satunnaiskoetta toistetaan riippumattomasti N kertaa. (Emme tässä vaiheessa pohdi, mitä tällainen riippumaton toistaminen oikeastaan tarkoittaa, vaan seuraava pohdinta pitää ymmärtää intuitioon nojautuen.) Sovitaan, että N(E) tarkoittaa niiden kokeiden lukumäärää, joissa tapahtuma E sattuu. Koska A ja B ovat erillisiä, niin N(A B) = N(A) + N(B), sillä kussakin toistossa korkeintaan yksi tapahtumista A tai B voi sattua. Tämän takia N(A B) N = N(A) N + N(B) N, joten additiivisuus pätee suhteellisille frekvensseille. Rajankäynnin jälkeen additiivisuuden pitää päteä myös todennäköisyyksille. Sen sijaan täysadditiiviisuus (aksiooma (3)) ei ole intuitiivisesti selvä ominaisuus. Se oletetaan sen takia, että tällä tavalla menetellen saadaan matemaattisesti kaunis teoria, jonka puitteissa voidaan formuloida ja todistaa esim. äärettömiä tapahtumajonoja koskevia lauseita (kuten vahva suurten lukujen lause). Todennäköisyyden aksioomeista seuraa yksinkertaisilla laskuilla monia sen ominaisuuksia, kuten esimerkiksi seuraavassa lauseessa todetut ominaisuudet. Näistä osa jätetään harjoitustehtäviksi. Ideana todistuksissa on jakaa sopivasti valittu tapahtuma erillisiin tapahtumiin, ja sitten soveltaa additiivisuutta sekä muita todennäköisyyden ominaisuuksia. Lause 1.1. Todennäköisyydellä on seuraavat ominaisuudet. a) (Äärellinen additiivisuus) Jos A B =, niin P (A B) = P (A) + P (B). b) P (A c ) = 1 P (A) kaikille A. c) 0 P (A) 1 kaikille A. d) (Tn-mitan monotonisuus) Jos A B, niin P (A) P (B). e) P (A \ B) = P (A) P (A B) kaikille A ja B. f) (Yhteenlaskukaava) P (A B) = P (A) + P (B) P (A B) kaikille A ja B. g) (Boolen epäyhtälö) P (A B) P (A) + P (B) kaikille A ja B. h) (Bonferronin epäyhtälö) P (A B) P (A) + P (B) 1 kaikille A ja B. 6

Todistus. Äärellinen additiivisuus (a-kohta) todistettiin jo. Todistetaan esimerkin vuoksi kohdat b) ja c). Jos A on tapahtuma, niin Ω = A A c, jossa osat ovat erillisiä. Additiivisuuden ja aksiooman (2) nojalla 1 = P (A) + P (A c ), joten b-kohta on todistettu. Koska A c on tapahtuma, niin P (A c ) 0 aksiooman (1) nojalla, joten P (A) = 1 P (A c ) 1, mikä yhdessä aksiooman (1) kanssa todistaa c-kohdan. Huomautus. 0 P (A) 1 kaikille tapahtumille A. Jos joskus saat jonkin tapahtuman todennäköisyydeksi luvun, joka ei ole välillä [0, 1], olet tehnyt laskuvirheen. Tällaisista virheistä sakotetaan pisteitä tämän kurssin kokeissa ja tenteissä! Yhdessä perusjoukkoa Ω, sen tapahtumia eli sitä Ω:n osajoukkojen kokoelmaa, jolla tn P on määritelty, sekä tn-mittaa P kutsutaan todennäköisyysavaruudeksi (tai todennäköisyyskentäksi). Täydentävä huomautus. Jos perusjoukko Ω on äärellinen tai korkeintaan numeroituvasti ääretön, niin tavallisesti sallitaan tapahtumaksi mikä tahansa perusjoukon osajoukko. Jos kuitenkin Ω on suurempi kuin numeroituvasti ääretön, niin todennäköisyyden aksioomia ei saada toteutumaan kaikille sen osajoukoille, vaan joukkofunktion P määrittelyjoukkoa pitää rajoittaa. Kaikkien tapahtumien joukolla eli todennäköisyyden P määrittelyjoukolla on se ominaisuus, että se on ns. σ-algebra. Tästä seuraa se, että jos lähdetään likkeelle korkeintaan numeroituvasta määrästä tapahtumia, ja sovelletaan niihin korkeintaan numeroituva määrä joukko-operaatiota, niin tulokseksi saadaan tapahtuma. Tällä kurssilla sivuutamme σ-algebroihin liittyvät tarkastelut, ja oletamme, että todennäköisyys on määritelty kaikille meitä kiinostaville perusjoukon osajoukoille. 1.4 Kombinatoriikkaa Lantinheiton, nopanheiton, korttipelien, loton ja muiden tällaisten uhkapelin stokastisena mallina pidetään mikäli ei kerrota tarkempia tietoja klassista todennäköisyyden tulkintaa, jonka mukaan P (A) = #A #Ω. (1.3) Tapahtuman A todennäköisyys on tällöin tapahtumalle suotuisten alkeistapauksien lukumäärän (ts. joukon A alkioiden lukumäärän) ja kaikkien mahdollisten alkeistapauksien lukumäärän (ts. perusjoukon Ω alkioiden lukumäärän) suhde. Tällainen valinta on mahdollista tietenkin vain silloin, kun perusjoukko on äärellinen. Alkeistapaukset ω Ω ovat tällöin siinä mielessä symmetrisiä, että niillä on kaikilla sama todennäköisyys, eli P ({ω}) = 1, kaikilla ω Ω. #Ω 7

Tällaiseen malliin viitataan esim. termillä klassinen todennäköisyys. Vaihtoehtoisesti voidaan puhua tasaisesta todennäköisyysmallista tai esim. symmetrisestä todennäköisyysavaruudesta. Kun käsitellään klassista todennäköisyyttä (eli symmetristä todennäköisyysavaruutta), niin stokastinen malli on määritelty heti, kun perusjoukko on valittu. Perusjoukko Ω pitää tietenkin valita järkevästi, jotta sen alkiot ja reaalimaailman symmetriat vastaavat toisiaan. Jotta osaisimme laskea todennäköisyyksiä, meidän pitää osata laskea eräitä kombinatorisia laskuja, jotka lienevät lukijalle pääosin jo ennestään tuttuja. Tarkastellaan n-alkioista joukkoa E, E = {e 1, e 2,..., e n }. Kuinka monella eri tavalla voidaan poimia k alkiota n-alkoisesta joukosta E? Saamme tähän kysymykseen erilaisia vastauksia sen mukaan, valitaanko alkiot takaisinpanolla (eli palauttaen, engl. with replacement), jolloin sama alkio voidaan valita useaan kertaan, ja k voi olla suurempi kuin n; ilman takaisinpanoa (eli takaisinpanotta eli palauttamatta, engl. without replacement), jolloin valitaan k n eri alkiota. Termi takaisinpano viittaa tilanteeseen, jossa esim. arpalippuja poimitaan arvontauurnasta umpimähkään yksi kerrallaan. Otannassa takaisinpanolla kukin arpalippu palautetaan, eli pannaan takaisin uurnaan ennen seuraavan arvan poimintaa. Otannassa ilman takaisinpanoa arpalippua ei laiteta takaisin ennen seuravan arpalipun poimintaa. Lisäksi pitää kertoa, onko poimintajärjestyksellä väliä vai ei. Jos poimintajärjestyksellä on väliä, niin valinta esitetään (järjestettynä) jonona. Jos poimintajärjestyksellä ei ole väliä, niin sellaiset kaksi valintaa ovat ekvivalentteja, joissa on poimittu samat alkiot (ja kukin alkio on molemmissa valinnoissa poimittu yhtä monta kertaa). Pysytymme laskemaan lukumäärät eri tilanteissa ns. tuloperiaatteen avulla. Määritelmä 1.3 (Tuloperiaate). Tarkastellaan tehtävää, joka voidaan jakaa k:hon osatehtävään. Ensimmäinen osatehtävä voidaan suorittaa n 1 :llä eri tavalla. Kun ensimmäinen osatehtävä on suoritettu, toinen osatehtävä voidaan suorittaa n 2 :lla eri tavalla (riippumatta siitä, mikä valinta tehtiin ensimmäisessä vaiheessa) jne. ja viimein, kun k 1 ensimmäistä osatehtävää on suoritettu, k:s osatehtävä voidaan suorittaa n k eri tavalla (riippumatta siitä, mitkä valinnat tehtiin aikaisemmissa vaiheissa). Tällöin koko tehtävä voidaan suorittaa eri tavalla. n 1 n 2 n k = k j=1 n j 8

Poiminta takaisinpanolla, kun poimintajärjestyksellä on väliä: n- alkioisesta joukosta E voidaan muodostaa n k erilaista k-alkioista jonoa (x 1,..., x k ) takaisinpanolla. Tämä lukumäärä on sama kuin joukon E k-kertaisen karteesisen tulon E E (k tekijää) kardinaliteetti. Kunkin koordinaatin x i arvolle on n eri mahdollisuutta riippumatta muiden koordinaattien arvoista. Näiden jonojen muodostama joukko ja vastaava tasainen todennäköisyysmalli on luonteva malli esim. k:lle lantin tai nopan heitolle: lantinheitossa n = 2, ja nopanheitossa n = 6. Poiminta ilman takaisinpanoa, kun poimintajärjestyksellä on väliä: n-alkioisesta joukosta E voidaan muodostaa n(n 1) (n k + 1). erilaista k-jonoa (k n), kun kaikkien jonon alkioiden pitää olla erisuuria. Tällaisiin jonoihin viitataan termillä E:n k-permutaatio (tai termillä k-variaatio, kuten Tuomisen kirjassa). Ensimmäinen jonon alkio voidaan valita n erilaisella tavalla. Tämän jälkeen toinen alkio voidaan valita (n 1):llä eri tavalla, sillä toisen alkion pitää olla eri suuri kuin ensimmäisen. Tekemällä tällä tavoin peräkkäin k valintaa, joissa aina edelliset valinnat on suljettu pois päädytään yllä olevaan kaavaan. Muistathan n-kertoman n! määritelmän kokonaisluvulle n 0: n! = n (n 1) 2 1, kun n 1, ja 0! = 1. (1.4) Kertoma n! ilmaisee n-alkoisen joukon n-permutaatioiden, eli lyhyesti permutaatioiden lukumäärän; n alkiota voidaan siis järjestää n! erilaisella tavalla. Kertoman avulla kirjoitettuna n-alkioisen joukon k-permutaatioita on n! = n(n 1) (n k + 1). (n k)! Poiminta ilman takaisinpanoa, kun poimintajärjestyksellä ei ole väliä: kun n-alkioisesta joukosta E valitaan k alkiota ilman takaisinpanoa, niin tämä on sama asia kuin että valitaan joukon E k-alkioinen osajoukko. Näitä k-osajoukkoja kutsutaan myös joukon E k-kombinaatioiksi. Niiden lukumäärän ilmaisee binomikerroin n yli k:n, ( ) n n! n(n 1) (n k + 1) = k k!(n k)! =, kun 0 k n, k! (1.5) 0, muuten. Tämä johtuu siitä, että kukin tällainen osajoukko voidaan järjestää k! eri tavalla k-jonoksi, jolloin saadaan generoitua kertaalleen kaikki joukon E k-permutaatiot. Poiminta takaisinpanolla, kun poimintajärjestyksellä ei ole väliä: sivuutetaan tällä kurssilla. 9

Lukija muistaa varmaankin, että binomikertoimet esiintyvät ns. binomikaavassa, jonka mukaan n ( ) n (a + b) n = a k b n k, (1.6) k k=0 kun a ja b ovat reaalilukuja ja n 0 on kokonaisluku. Binomikaava seuraa binomikertoimien kombinatorisesta luonnehdinnasta sekä reaalilukujen laskutoimitusten ominaisuuksista. 1.4.1 Multinomikertoimet Eräs tulkinta binomikertoimelle ( n k) on, että se kertoo, kuinka monella tavalla n- alkioinen joukko voidaan osittaa kahteen osajoukkoon siten, että ensimmäiseen osaan tulee k alkiota ja toiseen osaan n k alkiota. Kuinka monta vaihtoehtoa on, jos n-alkioinen joukko ositetaan kolmeen osajoukkoon siten, että ensimmäiseen osaan tulee k 1 alkioita, toiseen osaan k 2 alkioita ja kolmanteen osaan k 3 alkiota? Jotta kysymys olisi mielekäs, pitää tietenkin olettaa, että kukin 0 k i n, ja että k 1 + k 2 + k 3 = n. Samme vastattua kysymykseen helposti tuloperiatteen avulla. Voimme valita ensimmäisen osajoukon alkiot ( ) n k 1 tavalla, ja sen jälkeen toisen osan alkiot ( n k1 ) k 2 tavalla, jonka jälkeen kaikki jäljelle jääneet alkiot kuuluvat kolmanteen osaan. Näin ollen eri mahdollisuuksia on yhteensä ( )( ) n n k1 n! (n k 1 )! = k 1!(n k 1 )! k 2!(n k 1 k 2 )! = n! k 1!k 2!k 3!. k 1 k 2 Tälle luvulle käytetään seuraavia merkintöjä, ( ) ( ) n n n! = = k 1 k 2 k 3 k 1, k 2, k 3 k 1!k 2!k 3!, eli toisinaan alakerrassa olevat luvut erotetaan toisistaan pilkuilla, ja toisinaan taas ei. Tälle luvulle käytetään nimitystä trinomikerroin (tai multinomikerroin). Yleistetään edellinen kysymys m:lle osalle. Olkoon annettuna luvut k 1,..., k m siten, että kukin 0 k i n, ja k 1 + + k m = n. Miten monella eri tavalla n-alkioinen joukko voidaan osittaa m osaan A 1,..., A m siten, että kussakin osassa A i on k i alkiota? Vastaavalla tavalla päättelemällä kuin edellä tapauksessa m = 3 nähdään, että eri mahdollisuuksia on n! k 1! k 2! k m! = ( n k 1, k 2,..., k m ) (1.7) kappaletta. Näitä lukuja kutsutaan multinomikertoimiksi. Binomikerroin on tietenkin multinomikertoimen erikoistapaus, sillä ( ) ( ) n n! n = k k! (n k)! =. k, n k 10

Multinomikertoimet esiintyvät ns. multinomikaavassa, jonka mukaan (a 1 + a 2 + + a m ) n = ( ) n a k1 1 k 1, k 2,..., k ak2 2... akm m. (1.8) m Tässä kaavassa summataan kaikkien ei-negatiivisten kokonaislukujen k 1, k 2,..., k m, joiden summa on n. Binomikaava (1.6) on multinomikaavan erikoistapaus. 1.5 Todennäköisyyksiä uhkapeleissä Todennäköisyyslaskenta sai alkunsa uhkapelien matemaattisesta analysoinnista, minkä takia on paikallaan tarkastella siitä joitakin esimerkkejä. 1.5.1 Todennäköisyyksiä lotossa Lottoon liittyviä todennäköisyyksiä voidaan laskea pitämällä perusjoukkona n- alkioisen joukon k-alkioisia osajoukkoja. Pelaaja laatii lottorivin eli rastittaa kupongilta 7 numeroa 39:stä. Lottoarvonnassa lottokone valitsee umpimähkäisesti 7 palloa ilman takaisinpanoa 39 numeroidusta pallosta. Aluksi rajoitumme tarkastelemaan ns. varsinaisia numeroita, ja jätämme lisänumerot huomioimatta. Millä todennäköisyydellä pelaajan rivissä on j oikein (eli pelaajan valitseman osajoukon ja koneen arpoman osajoukon leikkaus on kooltaan j)? Lottokysymyksen sijasta tarkastelemme ensin poimintaa äärellisestä populaatiosta ilman takaisinpanoa, kun populaation alkiot eroavat toisistaan yhden kiinnostavan ominaisuuden perusteella. Laatikossa on N numeroitua palloa (= äärellinen populaatio), joista K on valkoista ja loput N K ovat mustia. Laatikosta poimitaan umpimähkäisesti n palloa ilman takaisinpanoa. Millä todennäköisyydellä poimituista palloista tasan k on valkoisia (jolloin loput n k ovat mustia)? Nyt symmetrisiä alkeistapauksia ovat N pallon n-osajoukot, joiden lukumäärä on ( N n). Sellaisen osajoukon valinta, jossa on k valkoista ja n k mustaa palloa, voidaan ajatella tehtävän kahdessa vaiheessa. Ensin valitaan k:n valkoisen pallon osajoukko K valkoisesta pallosta (eri mahdollisuuksia on ( ) K k ), ja sen jälkeen valitaan n k mustan pallon osajoukko N K mustasta pallosta (eri mahdollisuuksia on ( ) N K n k ). Tuloperiaatetta soveltamalla todennäköisyydeksi saadaan ( K ) ( N K ) k n k P ( valitaan k valkoista (ja n k mustaa) palloa ) = ( N. (1.9) n) Nämä ovat ns. hypergeometrisen jakauman pistetodennäköisyyksiä. Miten valkoiset ja mustat pallot liittyvät todennäköisyyteen, että pelaajan lottorivissä on j oikein? Ajatellaan, että pelaajan riviin kuuluvat pallot ovat valkoisia, ja loput mustia. Lottokone arpoo yhden 7-alkioisen osajoukon 39 pallon joukosta siten, että kaikki 7-alkioiset osajoukot ovat yhtä todennäköisiä. Siksi kysytty todennäköisyys saadaan edellisestä kaavasta sijoittamalla N = 39, K = 7, n = 7 ja k = j, ts. ( 7 32 ) j)( P ( lottorivissä on j oikein ) = 11 7 j ( 39 7 ), 0 j 7.

Samaan tulokseen voidaan päätyä myös ajattelemalla, että pelaaja valitsee rivinsä umpimähkäisesti ilman tietoa pallojen väreistä, ja lottoarvonta paljastaa pallojen värit. Huomautus. Tämä tulos ei täysin vastaa loton voittoluokkia sikäli, että Veikkaus erottelee toisistaan vielä seuraavat kaksi tapausta: a) 6 varsinaista numeroa oikein, b) 6 varsinaista numeroa plus yksi lisänumero oikein. Ylläolevassa kaavassa nämä molemmat tapaukset on sisällytetty tapaukseen 6 oikein. Lottoarvonnassa arvotaan varsinaisten seitsemän numeron lisäksi kolme lisänumeroa, ja kaikki lottopallot poimitaan ilman takaisinpanoa. Veikkauksen LottoPlus-pelissä on loton perusversioon lisätty uusia voittoluokkia, joissa huomioidaan varsinaisten numeroiden lisäksi myös oikeat lisänumerot. Näiden tapahtumien todennäköisyydet saadaan myös laskettua tuloperiaattella, sillä ) ( 3 ( 29 ) k) P ( lottorivissä on oikein j varsinaista ja k lisänumeroa ) = ( 7 j ( 39 7 7 j k ), jossa 0 j 7 ja 0 k 3 sekä 0 j + k 7. Tämä on esimerkki ns. moniulotteisesta hypergeometrisesta jakaumasta. (On makuasia, sanotaanko tätä esimerkkiä kaksi- vai kolmiulotteiseksi jakaumaksi.) 1.5.2 Todennäköisyyksiä korttipeleissä Tavallisessa 52 kortin pakassa kukin kortti kuuluu yhteen neljästä maasta (hertta, ruutu, risti, pata), ja kussakin maassa on 13 korttia, jotka ovat arvoltaan ässä, kuningas, kuningatar, sotamies, 10, 9, 8, 7, 6, 5, 4, 3 ja 2. Kun perusteellisesti sekoitetusta korttipakasta jaetaan k korttia, niin kyseessä on valinta ilman takaisinpanoa. Tilanne voidaan mallintaa tarpeen mukaan jollakin seuraavista perusjoukoista: 52-alkioisen joukon permutaatiot, jolloin jaetut kortit ovat jonon k ensimmäistä koordinaattia. Tällöin alkeistapaus kertoo koko pakan järjestyksen. 52-alkioisen joukon k-permutaatiot, jolloin jätetään huomiotta ne 52 k korttia, joita ei jaeta. (Poiminta ilman takaisinpanoa, kun poimintajärjestyksellä on väliä.) 52-alkioisen joukon k-alkioiset osajoukot (eli k-kombinaatiot), jolloin jätetään huomiotta jakamattomien korttien lisäksi tieto siitä, missä järjestyksessä kortit pelaajalle jaetaan. (Poiminta ilman takaisinpanoa, kun poimintajärjestyksellä ei ole väliä.) Esimerkki 1.2. (Pokerikäsien todennäköisyyksiä) Perusteellisesti sekoitetusta tavallisesta 52 kortin pakasta jaetaan viisi korttia. Millä todennäköisyydellä saadaan neljä ässää? Millä todennäköisyydellä saadaan neloset? Ratkaisu. Valitaan perusjoukoksi 52-alkioisen joukon 5-alkoiset osajoukot, joita on ( ) 52 5 = 2598960 kappaletta. Jos kädessä on neljä ässää, niin viides kortti voi olla mikä tahansa 48 jäljelle jäävästä kortista. Tämän takia erilaisia neljän ässän käsiä on 48 kappaletta, ja P ( neljä ässää ) = 48 2598960. 12

Tämä tn voidaan laskea myös sijoittamalla hypergeometrisen jakauman pistetodennäköisyyksien kaavaan (1.9) arvot N = 52, K = 4, n = 5 ja k = 4. Kädessä on neloset silloin, kun kädessä on neljä arvoltaan samaa korttia. Tämä arvo voidaan valita 13 eri tavalla, ja kun arvo on valittu, niin käden viides kortti voidaan valita 48 eri tavalla. Tämän takia erilaisia nelos-käsiä on 13 48 kappaletta, joten P ( neloset ) = 13 48 2598960. Tämä tilanne voitaisiin mallintaa myös poimintana ilman takaisinpanoa, kun poimintajärjestyksellä on väliä. Tällöin pitäisi lisäksi ottaa huomioon, miten monella tavalla voidaan valita neljän ässän paikat (tai nelosten paikat) viiden kortin jonossa. Yhtä hyvin tämä tilanne voitaisiin myös mallintaa pitämällä alkeistapauksina 52 alkioisen joukon permutaatiota. Tällöin pitäisi edellisen lisäksi ottaa huomioon myös se, kuinka monella eri tavalla jakamatta jätetyt kortit voidaan järjestää. 1.6 Ehdollinen todennäköisyys Olkoot A ja B tapahtumia, ja P (B) > 0. Tapahtuman A ehdollinen todennäköisyys ehdolla B määritellään kaavalla P (A B) = P (A B), jossa P (B) > 0. (1.10) P (B) Tämä on tapahtuman A todennäköisyys, kun tiedetään, että B on sattunut. Alkuperäiset eli ei-ehdolliset todennäköisyydet P (A) voidaan ymmärtää ehdollisina todennäköisyyksinä ehdolla Ω, P (A Ω) = P (A Ω) P (Ω) = P (A). 1 On lisäksi mahdollista tarkistaa, että ehdollinen todennäköisyys P (A B) on argumentin A funktiona todennäköisyys, eli että se toteuttaa todennäköisyyden kolme aksioomaa. Tästä seuraa, että ehdolliselle todennäköisyydelle saadaan käyttää samoja laskusääntöjä (ensimmäisen argumentin suhteen), kuin tavalliselle todennäköisyydelle. Ehdollisen todennäköisyyden kaavan frekvenssitulkintaa varten tarkastellaan N-kertaista toistokoetta, jossa voi sattua A tai B tai molemmat. Tapahtuman A suhteellinen esiintymisfrekvenssi niissä kokeissa, joissa on sattunut tapahtuma B on N(A B) N(B) = N(A B)/N N(B)/N. Frekvenssitulkinnan mukaan jälkimmäisessä muodossa osoittaja lähestyy todennäköisyyttä P (A B) ja nimittäjä todennäköisyyttä P (B), kun N kasvaa rajatta. Siis ehdollisen todennäköisyyden P (A B) määritelmä osamääränä P (A B)/P (B) on järkeenkäypä. Ehdollisen todennäköisyyden määritelmä (1.10) voidaan kirjoittaa myös tulomuodossa, P (A B) = P (A B) P (B). (1.11) 13

Tämä erittäin tärkeä kaava on nimeltään todennäköisyyksien kertolaskusääntö eli kertolaskukaava. Siitä käytetään myös nimeä todennäköisyyslaskennan ketjusääntö. Mikäli P (A) > 0 ja P (B) > 0, on P (A B) = P (A B) P (B) = P (A) P (B A), josta saadaan ratkaistua toinen ehdollisista todennäköisyyksistä, nimittäin P (B A) = P (A B) P (B). P (A) Kertolaskusääntö (1.11) voidaan yleistää myös usemmalle tapahtumalle. Tarkastellaan esimerkiksi kolmea tapahtumaa A, B ja C, ja oletetaan, että P (A B) > 0. Tällöin myös P (A) > 0, ja P (A) P (B A) P (C A B) = P (A) P (A B) P (A) = P (A B C). P (A B C) P (A B) Jos tapahtumia on n kappaletta A 1,..., A n ja P (A 1 A n 1 ) > 0, niin niiden leikkauksen todennäköisyys saadaan kertolaskusäännöllä P (A 1 A n ) = P (A 1 ) P (A 2 A 1 ) P (A 3 A 1 A 2 ) P (A n A 1 A n 1 ). (1.12) Esimerkki 1.3. Perusteellisesti sekoitetusta 52 kortin pakasta jaetaan kaksi korttia. Tarkastellaan tapahtumia A 1 = { 1. kortti on ässä }, A 2 = { 2. kortti on ässä }. Laske todennäköisyydet P (A 1 ), P (A 2 ), P (A 1 A 2 ) ja P (A 2 A 1 ). Ratkaisu 1. Valitaan perusjoukoksi 52 kortin 2-permutaatiot, joita on 52 51 kappaletta. Tuloperiaatteen nojalla #A 1 = #A 2 = 4 51, #(A 1 A 2 ) = 4 3. Siis P (A 1 ) = P (A 2 ) = 4 51 52 51 = 1 13, P (A 1 A 2 ) = 4 3 52 51, ja näistä saadaan P (A 2 A 1 ) = P (A 1 A 2 ) P (A 1 ) = 4 3 4 51 = 1 17. Ratkaisu 2. Ajatellaan tilannetta kortti kerrallaan. Todennäköisyys, että ensimmäinen kortti on ässä on tietenkin 4/52, koska ässiä on pakassa neljä. Kun tarkastellaan vain yhden kortin arvoa kerrallaan, on samantekevää, monentenako se jaetaan, joten 4/52 on myös tn sille, että toinen kortti on ässä. Siis P (A 1 ) = P (A 2 ) = 4 52 = 1 13. 14

Kun ensimmäinen kortti on jaettu ja osoittautunut ässäksi, niin jäljellä on perusteellisesti sekoitettu 51 kortin pakka, joka sisältää 3 ässää. Tämän takia Kertolaskusäännön nojalla P (A 2 A 1 ) = 3 51. P (A 1 A 2 ) = P (A 1 ) P (A 2 A 1 ) = 4 3 52 51 1.7 Tapahtumien riippumattomuus Määritelmä 1.4 (Kahden tapahtuman riippumattomuus). Tapahtumat A ja B ovat riippumattomia, jos Tämä asia voidaan merkitä A B. P (A B) = P (A) P (B). Huomautus. Tarkista, että ymmärrät, mitä eroa on seuraavilla käsitteillä. a) A ja B ovat erillisiä tapahtumia, b) A ja B ovat riippumattomia tapahtumia. Jos A ja B ovat riippumattomia, niin tapauksen A B (sekä A että B sattuvat) todennäköisyys saadaan kertomalla keskenään kyseisten tapauksien ei-ehdolliset todennäköisyydet. (Yleisemmässä tapauksessa tarvitaan kertolaskusääntöä.) Jos P (B) > 0 ja A B, niin P (A B) = P (A B) P (B) = P (A) P (B) P (B) = P (A). Siis mikäli A ja B ovat riippumattomia, niin tieto B:n sattumisesta ei muuta A:n todennäköisyyttä. Toisaalta, jos P (B) > 0 ja P (A B) = P (A), niin A B, sillä tällöin P (A B) = P (B A) = P (B) P (A B) = P (A) P (B). Yhteenveto edellisistä tarkasteluista: jos P (B) > 0, on A B P (A B) = P (A). (1.13) Jos A B, niin helpoilla laskuilla saadaan tarkistettua, että myös A c B, A B c, A c B c. Esimerkki 1.4. Kahden nopan heitto. Perusjoukko on Ω = E E, jossa E = {1, 2, 3, 4, 5, 6}. Sen alkeistapaukset ovat symmetrisiä, ja alkeistapauksessa (x, y) E E ensimmäinen koordinaatti x kertoo ensimmäisen nopan 15

silmäluvun ja toinen koordinaatti y toisen nopan silmäluvun. Olkoot 1 i, j 6 annettuja kokonaislukuja, ja tarkastellaan tapahtumia A = { nopan yksi tulos on i }, B = { nopan kaksi tulos on j } Tällöin ja joten A B. P (A) = 6 36, P (B) = 6 36, P (A B) = 1 36 = 1 1 = P (A) P (B), 6 6 Määritelmä 1.5 (Useamman tapahtuman riippumattomuus). Tapahtumat A 1,..., A n ovat riippumattomia, jos kaikilla k 2 on voimassa P (A i1 A ik ) = P (A i1 ) P (A ik ) aina kun i 1,..., i k ovat erillisiä ja i j {1,..., n} kullakin j. Tämä asia voidaan merkitä A 1,..., A n. Esimerkiksi kolme tapahtumaa A, B ja C ovat riippumattomia, jos kaikki neljä seuraavaa ehtoa pätee P (A B) = P (A) P (B) P (A C) = P (A) P (C) P (B C) = P (B) P (C) P (A B C) = P (A) P (B) P (C). Tässä neljäs ehto ei seuraa kolmesta ensimmäisestä, eli tapahtumien A, B ja C parittaisesta riippumattomuudesta, mikä voidaan osoittaa yksinkertaisella esimerkillä. Jos tapahtumat A 1,..., A n ovat riippumattomia, ja kukin joukoista B i on joko A i tai sen komplementti, niin voidaan osoittaa, että tapahtumat B 1,..., B n ovat myös riippumattomia. Riippumattomuuden käsite voidaan laajentaa koskemaan myös äärettömän montaa tapahtumaa A 1, A 2,.... Määritelmä 1.6. Tapahtumat A 1, A 2,... ovat riippumattomia, jos kaikilla k 2 pätee P (A i1 A ik ) = P (A i1 ) P (A ik ) aina kun i 1,..., i k ovat erillisiä positiivisia kokonaislukuja. Määritelmä 1.7 (Ehdollinen riippumattomuus). Olkoon C tapahtuma, jolle P (C) > 0. Tapahtumat A ja B ovat ehdollisesti riippumattomia ehdolla C, jos Tämä voidaan merkitä (A B) C. P (A B C) = P (A C) P (B C). Toisin sanoen kaksi tapahtumaa ovat ehdollisesti riippumattomia ehdolla C, jos ne ovat riippumattomia ehdollisen todennäköisyyden P ( C) mielessä. Ehdollisen riippumattomuuden käsite voidaan tällä periaatteella tietenkin yleistää useammalle kuin kahdelle tapahtumalle. 16

1.8 Kokonaistodennäköisyys ja Bayesin kaava Oletetaan, että tapahtumat B 1,..., B n muodostavat perusjoukon Ω osituksen, ts. ne ovat erillisiä: B i B j =, kun i j ne peittävät Ω:n, eli Ω = B 1 B n. Olkoon A tapahtuma. Joukko A voidaan osittaa seuraavasti A = (A B 1 ) (A B n ), jossa osat (A B 1 ),..., (A B n ) ovat erillisiä, joten (additiivisuus ja kertolaskusääntö) n P (A) = P (B i ) P (A B i ). (1.14) i=1 Tämä on kokonaistodennäköisyyden kaava. Olkoon A tapahtuma siten, että P (A) > 0, ja olkoon B 1,..., B n perusjoukon Ω ositus kuten edellä. Jos satunnaiskokeessa on sattunut tapahtuma A, niin tapahtuman B i (ehdollinen) tn on P (B i A) = P (A B i) P (A) = P (B i) P (A B i ) P (A) Kun tässä P (A) vielä esitetään kokonaistodennäköisyyden kaavalla, saadaan Bayesin kaava P (B i A) = P (B i ) P (A B i ) n j=1 P (B, 1 i n. (1.15) j) P (A B j ) Esimerkki 1.5. Tarkastellaan systeemiä, joka koostuu kolmesta rinnan kytketystä komponentista. Tällainen systeemi toimii, jos yksikin kolmesta komponentista toimii. Jos tietty komponentti ei toimi, sanomme, että se on mennyt rikki. Tarkasteltava systeemi on yhdestä toisensa poissulkevasta tilasta: Normaalitilassa komponentit ovat rikki riippumattomasti tn:llä p = 0.001. Poikkeustilassa (Murphyn laki!) komponentit ovat rikki riippumattomasti tn:llä p 2 = 0.8. Laske todennäköisyys, että systeemi ei toimi seuraavissa tilanteissa. a) Systeemi on poikkeustilassa erittäin pienellä tn:llä 10 6. b) Systeemi ei ole koskaan poikkeustilassa. Ratkaisu. Merkitään A i = komponentti i on rikki, i = 1, 2, 3 A = systeemi ei toimi = A 1 A 2 A 3 B = systeemi on normaalitilassa. 17

Käytetään ositusta Ω = B B c. Merkitään q = P (B c ); a-kohdassa q = 10 6 ja b-kohdassa q = 0. Kokonaistodennäköisyyden kaavan perusteella P (A) = P (A B) P (B) + P (A B c ) P (B c ) = P (A 1 A 2 A 3 B) P (B) + P (A 1 A 2 A 3 B c ) P (B c ) = p 3 (1 q) + p 3 2q. Kohdan (a) oletuksilla saadaan mutta kohdan (b) oletuksilla saadaan P (A) 5.13 10 7, P (A) = p 3 = 10 9. Kohdassa (a) saatu vastaus on siis yli 500 kertaa suurempi kuin kohdassa (b). Vaikka a-kohdassa poikkeustila on erittäin epätodennäköinen, sen mahdollisuutta ei tässä laskussa voida jättää huomiotta. Lasketaanpas vielä a-kohdan oletuksilla todennäköisyys, että systeemi on poikkeustilassa silloin, kun se ei toimi. Tämä tn saadaan Bayesin kaavalla, P (B c A) = P (A Bc ) P (A) = p 3 2q p 3 (1 q) + p 3 2 q 0.998. 1.9 Toistokokeisiin liittyviä todennäköisyyksiä Bernoullin koe (engl. Bernoulli trial) on satunnaiskoe, jossa tapahtuu toinen kahdesta toisensa poissulkevasta tapahtumasta: tapahtuma A (onnistuminen) tai sen komplementti A c (epäonnistuminen). Olkoon onnistumistodennäköisyys 0 p 1, jolloin epäonnistumisen todennäköisyys on 1 p. Emme enää tarkastele symmetristä tn-avaruutta. Tarkastellaan toistettua Bernoullin koetta (engl. Bernoulli trials), jossa edellistä koetta toistetaan riippumattomasti n kertaa. Alkeistapauksiksi voidaan valita jonot (x 1,..., x n ), jossa x i {0, 1} kullakin i. Tässä i:s koordinaatti x i on ykkönen täsmälleen silloin, kun toistolla i onnistutaan, eli kun toistolla i sattuu A. Olkoon p onnistumistodennäköisyys yhdessä toistossa (eli tapahtuman A tn yhdessä toistossa). Olkoon B k se toistokokeen tapahtuma, jossa n toistossa onnistutaan k kertaa (kun 0 k n). Tapahtuman B k todennäköisyyden antaa tuttu kaava ( ) n P (B k ) = p k (1 p) n k, k = 1,..., n. (1.16) k Nämä ovat ns. binomijakauman pistetodennäköisyyksiä. Edellinen kaava perustellaan seuraavalla tavalla. 18

Tapahtumalle B k suotuisia alkeistapauksia ovat ne (x 1,..., x n ), joille n x i = k. i=1 Kunkin tällaisen alkeistapauksen tn on toistojen riippumattomuuden nojalla p k (1 p) n k, ja suotuisa alkeistapauksia on yhteensä ( n k) kappaletta, sillä k:n ykkösen paikkojen valinta n:n pituisessa jonossa nollia ja ykkösiä on sama asia kuin k-alkioisen osajoukon valinta n-alkioisesta joukosta. Eräs Bernoullin kokeen yleistys on sellainen koe, ns. multinomikoe, jossa tapahtuu täsmälleen yksi m:stä toisensa poissulkevasta tapahtumasta A 1,..., A m. (Bernoullin kokeessa tällaisen osituksen muodostavat A ja A c.) Olkoon p j = P ( (yhdessä) kokeessa sattuu A j ), j = 1,..., m. Toistetaan tätä koetta nyt riippumattomasti n kertaa. Tätä toistokoetta voidaan kutsua toistetuksi multinomikokeeksi (engl. multinomial trials) Valitaan alkeistapauksiksi jonot (x 1,..., x n ), jossa x i {1,..., m} kullakin i. Tässä i:s koordinaatti x i saa arvon j täsmälleen silloin, kun toistolla i sattuu tapahtuma A j. Olkoot k 1,..., k m ei-negatiivisia kokonaislukuja, joiden summa on n. Tarkastellaan sitä n-kertaisen toistokokeen tapahtumaa B(k 1, k 2,..., k m ), jossa kukin A j sattuu täsmälleen k j kertaa. Kunkin tällaisen tapahtuman tn on toistojen riippumattomuuden nojalla p k1 1 pk2 2... pkm m Joukkoon B(k 1, k 2,..., k m ) kuuluvia alkeistapauksia on multinomikertoimen ( n k 1, k 2,..., k m ) ilmaisema määrä, sillä kukin tällainen alkeistapaus vastaa täsmälleen yhtä tapaa osittaa n-alkioinen joukko m osaan siten, että osaan j tulee k j alkiota. Tämän tarkastelun perusteella ( ) n P (B(k 1, k 2,..., k m )) = p k1 1 k 1, k 2,..., k pk2 2... pkm m. (1.17) m Nämä ovat erään moniulotteisen jakauman, ns. multinomijakauman, pistetodennäköisyyksiä. 1.10 Monotoninen jatkuvuus Tarkastellaan jonoa erillisiä tapahtumia A 1, A 2,... Määritellään kaikilla n 1 tapahtuma B n yhdisteenä n ensimmäisestä A i -tapahtumasta, B n = n A i. i=1 19

Tapahtumat B 1, B 2,... muodostavat nyt kasvavan jonon, ts. Lisäksi B 1 B 2... A i = B n. i=1 Kehitetään seuraavaksi esitys ylläolevan numeroituvasti äärettömän yhdisteen tn:lle. Todennäköisyyden täysadditiivisuuden ja tapahtumien A 1, A 2,... erillisyyden nojalla on voimassa P (B n ) = n i=1 P (A i ) n i=1 n=1 P (A i ) = P ( i=1 A i ) = P ( m=1 B m ). Toisaalta, jos lähdetään liikkeelle kasvavasta jonosta tapahtuma B 1, B 2,..., jossa siis B 1 B 2..., niin on helppoa konstruoida erilliset tapahtumat A 1, A 2,... siten, että kullakin n joukko B n on yhdiste n ensimmäisestä joukosta A i. Meidän tarvitsee vain valita A 1 = B 1, A 2 = B 2 \ A 1 = B 2 \ B 1, A 3 = B 3 \ (A 1 A 2 ) = B 3 \ B 2 ja niin edelleen, ts. asetetaan A i = B i \ B i 1, kun i 2. Edellisen päättelyn nojalla on voimassa P ( B i ) = lim P (B n). n i=1 Komplementteihin siirtymällä nähdään että samanlainen raja-arvotulos pätee, kun tarkastellaan laskevaa jonoa tapahtumia B 1, B 2,..., jossa siis Tällöin on voimassa P ( i=1 B 1 B 2.... B i ) = lim n P (B n). Kirjataan nämä huomiot vielä lauseeksi. Lause 1.2 (Todennäköisyyden monotoninen jatkuvuus). Olkoon B 1, B 2,... jono tapahtumia. (a) Jos jono on kasvava, eli B 1 B 2 B 3..., niin P ( i=1 B i ) = lim n P (B n). (b) Jos jono on laskeva, eli B 1 B 2 B 3..., niin P ( i=1 B i ) = lim n P (B n). 20

Luku 2 Satunnaismuuttujat 2.1 Satunnaismuuttuja ja sen jakauma Satunnaismuuttuja (lyhenne sm, engl. random variable, rv) on satunnaiskokeeseen liittyvä numeerinen muuttuja, jonka arvo määräytyy kokeen lopputuloksesta. Satunnaismuuttuja on siis perusjoukolla määritelty reaaliarvoinen funktio. Määritelmä 2.1. Olkoon Ω perusjoukko. Kuvaus X : Ω R on satunnaismuuttuja. Huomautus. Tarkasti ottaen edellinen määritelmä ei ole riittävä. Lisäksi pitäisi vaatia, että jokaisen riittävän säännöllisen joukon (kuten esim. jokaisen välin) B R alkukuva kuvauksessa X pitää olla tapahtuma, eli sellainen Ω:n osajoukko, jonka tn on määritelty. Tämä vaatimus ilmaistaan sanomalla, että X on Borelin funktio (eli Borel-mitallinen funktio). Tästä lähtien sivuutamme tämän asian. Määritelmä 2.2 (Tapahtuman indikaattori). Olkoon A Ω tapahtuma. Sen indikaattori (eli ilmaisin) 1 A on satunnaismuuttuja, jonka määrittelee lauseke { 1, jos ω A, 1 A (ω) = 0, muuten. Huomautus. Tapahtuman A indikaattoria sanotaan myös sen osoitinmuuttujaksi. Sille käytetään yleisesti myös merkintää I A. Jos tapahtuma A esitetään monimutkaisella lausekkeella, niin usein käytetään edellisten sijasta merkintää 1(A) tai I(A). Jos on lisäksi tarpeen merkitä argumentti ω näkyviin (mutta harvoin on), niin voidaan käyttää merkintöjä 1(A)(ω) tai I(A)(ω). Esimerkki 2.1. Silmäluku nopanheitossa. Jos alkeistapaus ω {1,..., 6} kertoo nopan silmäluvun, niin X(ω) = ω on tuo silmäluku. 21

Silmälukujen summa kahdessa nopanheitossa. Jos E = {1,..., 6}, perusjoukko Ω = E E, ja alkeistapaukselle (i, j) E E ensimmäinen koordinaatti i kertoo nopan yksi ja toinen koordinaatti j nopan kaksi silmäluvun, niin niiden summan ilmoittaa X(i, j) = i + j. Usein samalla perusjoukolla on määritelty useampi kuin yksi satunnaismuuttuja, esim. X ja Y. Tällöin voidaan tarkastella myös niistä muodostettuja lausekkeita, kuten ax (vakiolle a R), X + Y, XY jne. Myös ne ovat satunnaismuuttujia. Esim. X + Y tarkoittaa funktioiden yhteenlaskua, eli X + Y on se funktio Ω R, jolle (X + Y )(ω) = X(ω) + Y (ω). Toisin sanoen laskutoimitukset pitää tulkita pisteittäin. Jos Y ei saa arvoa nolla, niin myös X/Y on sm. Jos X on sm, niin voidaan kysyä, millä todennäköisyydellä se saa arvon joukosta B, jossa B R. Kyseistä tapahtumaa voidaan merkitä {ω Ω : X(ω) B}, mutta sitä merkitään tavallisesti lyhyemmin seuraavasti, {X B} = {ω Ω : X(ω) B}. Sen todennäköisyyttä voidaan merkitä jollakin seuraavista tavoista, P (X B) = P {X B} = P ({X B}) = P ({ω Ω : X(ω) B}). (2.1) Tavallisesti käytetään lyhyitä merkintöjä, joissa ei esiinny perusjoukkoa eikä sisäkkäisiä sulkuja. Erityisesti voidaan olla kiinnostuneita seuraavista valinnoista joukolle B. Huomaa, minkälaisia merkintöjä niiden yhteydessä käytetään. B on yksiö {x}, jossa x R. Tällöin kysytään pistetodennäköisyyttä P (X = x) = P ({ω Ω : X(ω) = x}). B on väli kuten esim. suljettu väli [a, b], jossa a < b, P (a X b) = P ({ω Ω : a X(ω) b}). Vastaavasti määritellään P (a < X b), P (a X < b) ja P (a < X < b). Voidaan myös tarkastella tapausta B = (, x]. Tällöin merkitään P (X x) = P ({ω Ω : X(ω) x}). Määritelmä 2.3 (Satunnaismuuttujan jakauma). Jos X on satunnaismuuttuja, niin sen jakauma on P (X B) ymmärrettynä argumentin B R funktiona. 22