Tilastomatematiikka Jukka Kemppainen Oulun yliopisto Tekniikan matematiikka 20. tammikuuta 2017
2 3 2.5 Deterministinen Stokastinen 2 1.5 1 0.5 0 0 0.2 0.4 0.6 0.8 1 Tämä luentomoniste on tehty professori Keijo Ruotsalaisen luentojen pohjalta. Alkuperäisestä kirjoitustyöstä on vastannut Keijo itse. Myöhemmin monistetta ovat päivittäneet Pasi Ruotsalainen ja allekirjoittanut. Saatesanat opiskelijoille: mikäli teillä on käytössä graafisia laskimia, tarkastelkaa jo hyvissä ajoin niistä löytyviä tilastollisia toimintoja ja opetelkaa suorittamaan tilastollisia testejä laskimen avulla. Mikäli käytössä ei ole graafista laskinta, niin ei hätää! Funktiolaskimellakin pärjää! Itse asiassa tilastollinen analyysi tehdään oikeassa elämässä joka tapauksessa tietokoneella, joten graafinen laskin on tarpeeton. Tällä kurssilla olisi kuitenkin suotavaa, että funktiolaskimeen voi syöttää sisään havaintoaineiston ja saada tunnusluvut kuten keskiarvo ja hajonta suoraan ilman, että niitä tarvitsee laskea käsin. Laskimen ei tarvitse olla kovinkaan uusi, että edellinen ehto täyttyy. Kännyköiden (neli)laskimia en kuitenkaan suosittele käyttämään, sillä osa niistä ei ymmärrä edes laskutoimistusten järjestyksen päälle. Oulussa, joulukuussa 2016 Jukka Kemppainen Ihmisen henkistä toimintaa ei voi sanoa taiteeksi ellei se perustu matemaattiseen ajatteluun ja todistukseen - Leonardo da Vinci
Sisältö Johdanto 5 1 Todennäköisyyden käsite 7 1.1 Satunnaiskoe ja otosavaruus................... 7 1.2 Joukko-oppia........................... 9 1.3 Klassinen todennäköisyys..................... 10 1.4 Todennäköisyyslaskennan aksioomat.............. 11 2 Ehdollinen todennäköisyys 15 2.1 Ehdollinen todennäköisyys.................... 15 2.2 Kokonaistodennäköisyys..................... 18 2.3 Bayesin kaava........................... 18 2.4 Riippumattomuus......................... 20 3 Satunnaismuuttuja ja diskreetti jakauma 23 3.1 Satunnaismuuttuja........................ 23 3.2 Diskreetti satunnaismuuttuja.................. 27 4 Jatkuva satunnaismuuttuja ja jakauma 35 4.1 Tiheysfunktio........................... 35 4.2 Jatkuvia todennäköisyysjakaumia................ 36 5 Jakauman tunnusluvuista 43 5.1 Odotusarvo............................ 43 5.2 Varianssi.............................. 45 5.3 Odotusarvon ja varianssin ominaisuuksia............ 46 6 Todennäköisyyslaskennan raja-arvolauseita 49 6.1 Chebyshevin epäyhtälö...................... 49 6.2 Suurten lukujen laki....................... 50 6.3 Keskeinen raja-arvolause..................... 51 6.4 Binomijakauman approksimaatio................ 51 3
4 SISÄLTÖ 7 Tilastollinen aineisto 55 7.1 Johdanto.............................. 55 7.2 Tunnuslukujen estimoinnista................... 58 7.2.1 Maximum Likelihood-estimointi............. 59 7.3 Normaalijakaumasta johdettuja jakaumia............ 64 7.4 Luottamusväli........................... 66 8 Hypoteesin testauksesta 71 8.1 Yleistä............................... 71 8.2 Yhden otoksen testejä...................... 74 8.2.1 Z-testi........................... 74 8.2.2 Suhteellisen osuuden testi................ 75 8.2.3 T-testi........................... 76 8.3 Kahden otoksen testejä...................... 78 8.3.1 Odotusarvojen erotuksen testi.............. 78 9 Lineaarinen regressio 83 9.1 Korrelaatio............................ 83 9.1.1 Pearsonin tulomomenttikorrelaatiokerroin....... 84 9.1.2 Populaation korrelaatiokerroin.............. 86 9.1.3 Korrelaatio ja kausaatio................. 86 9.2 Regressio.............................. 87 9.3 Tilastollinen regressiomalli.................... 90 10 Kaksiulotteiset jakaumat 97 10.1 Satunnaismuuttujien yhteisjakauma............... 97 10.2 Yhteisjakauman tunnusluvut................... 100 A Kokeissa annettavat kaavat ja taulukot 109 Kirjallisuutta 113 Hakemisto 113
Johdanto Heti ensimmäiseksi voidaan tietysti esittää kysymys: Mitä tilastomatematiikka on? Tilastomatematiikan pyrkimyksenä on hallita satunnaisilmiöitä todennäköisyyslaskennan avulla. Tilastollisessa tutkimuksessa kerätään havaintoja, joista pyritään tekemään mahdollisimman luotettavia johtopäätöksiä. Tarvittaessa havaintoja joudutaan muokkaamaan niin, että tietyn todennäköisyysmallin oletukset tulevat voimaan, minkä jälkeen tehdään kyseisen mallin avulla johtopäätöksiä tutkimuksen kohteesta. Nykyään todennäköisyysmalleja käytetään ilmiöiden kuvailussa käytännöllisesti katsoen kaikilla tieteenaloilla. Ilmiöitä, joihin liittyy satunnaissuutta, sanotaan todennäköisyyslaskennassa satunnaiskokeiksi. Satunnaiskokeelle on tyypillistä, että kokeella on useampi kuin yksi lopputulos, jonka määrää satunnainen mekanismi; koetta voidaan (ainakin ajatuksen tasolla) toistaa samoissa oloissa; kun koetta toistetaan, esiintyy lopputuloksissa tilastollista säännönmukaisuutta suorituskertojen lukumäärän kasvaessa. Sanotaan, että satunnaiskokeen lopputulos on stokastinen. Vastakohta satunnaiskokeelle on koe, jonka lopputulos voidaan alkutilanteen ja ilmiön mekanismin perusteella ennustaa tarkkaan. Sanotaan, että tällainen koe on deterministinen. Esimerkiksi taivaankappaleiden mekaniikka on determinististä, josta kiitos kuuluu pitkälti herra Newtonille. Enää eivät voi poppamiehet pelotella meitä taivaalle ilmaantuvista ennusmerkeistä, vaan voimme vakaasti luottaa siihen, että tiedämme taivaankappaleiden paikat myös hamaasssa tulevaisuudessa. Edellisestä poikkeavia ilmiöitä ovat esimerkiksi tuleva sää tai pörssikurssien kehitys, joissa molemmissa on satunnaisuus vahvasti mukana. Emme voi tarkasti sanoa, mitä sää on huomenna tai mikä on jonkin osakkeen arvo vaikkapa vuoden päästä. Mutta käyttämällä todennäköisyyslaskentaa voimme tehdä arvioita asioiden tilasta, vaikka varmojen johtopäätöksen tekeminen ei ole mahdollista. Esipuheessa esitetty kuva voisi 5
6 SISÄLTÖ kuvastaa vaikkapa lämpötilan kehittymistä, jossa sinisellä piirretty käyrä on deterministinen trendikäyrä, joka kuvaa lämpötilan keskimääräistä kehitystä. Oranssilla merkitty käyrä taasen voisi kuvata lämpötilan todellista kehitystä, johon liittyy enemmän tai vähemmän satunnaisuutta. Opintojakson tavoitteena on antaa teoreettiset perusvalmiudet satunnaisilmiöiden mallintamiseen ja tilastollisten menetelmien opiskeluun.
Luku 1 Todennäköisyyden käsite 1.1 Satunnaiskoe ja otosavaruus Todennäköisyyslaskennan tarkoituksena on kehittää matemaattisia menetelmiä kuvaamaan eksaktisti kokeita, joiden lopputulos on satunnainen. Tällaisissa "satunnaiskokeissa"kiinnostaa mahdolliset suotuisat "tapahtumat"ja näiden "todennäköisyydet". Siten aluksi meidän on kehitettävä näiden käsitteiden tarkka matemaattinen malli. Tarkastellaan ongelmaa, jossa heitetään säännöllistä noppaa. Nopanheiton lopputulos on joku luvuista {1, 2, 3, 4, 5, 6}. Nopan heiton lopputuloksia voidaan kutsua "alkeistapahtumiksi". Näiden alkeistapahtumien muodostamaa joukkoa kutsutaan "otosavaruudeksi"s = {1, 2, 3, 4, 5, 6}. Mutta alkeistapahtumien lisäksi voidaan tarkastella monimutkaisempia tapahtumia. Esimerkiksi nopanheiton lopputulos voi olla "pariton luku", "parillinen luku"tai "eri suuri kuin 1". Nämä suotuisat tapahtumat voidaan identifioida joukkojen {1,3,5},{2,4,6} tai {2,3,4,5,6} kanssa. Monimutkaisemmat tapahtumat ovat siten otosavaruuden S osajoukkoja. Tässä erikoistapauksessa kaikki mahdolliset suotuisat tapahtumat voidaan identifioida otosavaruuden S osajoukkojen joukon kanssa. Merkitään tätä S:n osajoukkojen joukkoa symbolilla E. Lisäksi hyväksytään, että tyhjä joukko on myös suotuisa tapahtuma, mitä se nyt tässä yhteydessä tarkoittaneekaan. Yleisesti tarkastelemme satunnaiskoetta, joka oletetaan voitavan toistaa samanlaisissa olosuhteissa mielivaltaisen monta kertaa. Satunnaiskokeella voi olla useita mahdollisia erilaisia lopputuloksia ja lopputuloksen määrää kullakin kokeen suorituskerralla sama satunnainen mekanismi. Satunnaiskokeen jokaista mahdollista lopputulosta kutsutaan alkeistapahtumaksi ja kaikkien mahdollisten alkeistapahtumien joukkoa kutsutaan otosavaruudeksi S. Otosavaruudesta käytetään myös nimitystä perusjoukko. Satun- 7
8 LUKU 1. TODENNÄKÖISYYDEN KÄSITE naiskokeessa tapahtuma on otosavaruuden osajoukko. Kaikki tapahtumat yhdessä muodostavat satunnaiskokeen tapahtumasysteemin E, joka siis koostuu otosavaruuden osajoukoista. Otosavaruus voi olla äärellinen kuten edellisessä nopanheitto-esimerkissä. Mutta otosavaruus voi olla myös numeroituvasti ääretön. Esimerkiksi suorittamalla satunnnaiskoe, jossa heitetään (symmetristä) kolikkoa niin kauan kunnes tulee ensimmäinen "kruuna", otosavaruus S = N. Edelleen useissa fysiikan ongelmissa satunnaiskokeen otosavaruus voi olla ylinumeroituvasti ääretön joukko (esim. S = R n ). Esimerkki 1. Tarkastellaan seuraavia satunnaiskokeita. Määrää kussakin tapauksessa otosavaruus. (a) Heitetään kolikkoa kaksi kertaa. (b) Heitetään noppaa kaksi kertaa. (c) Heitetään kolikkoa kunnes saadaan ensimmäinen kruuna. Ratk. (a) Otosavaruus on S = {HH,HT,TH,TT}, missä H = sattui kruuna ja T = sattui klaava. (b) Otosavaruus S = {(i,j) 1 i,j 6}. (c) Nopanheiton mahdollisuudet ovat {H, TH, TTH, TTTH,...}, joten otosavaruus voidaan samaistaa ei-negatiivisten kokonaislukujen joukon S = N kanssa. Tapahtumasysteemien määrääminen edes Esimerkin 1 tapauksessa ei ole mielekästä, vaikka (a)- ja (b)-kohdissa voisimme periaatteessa määrätä tapahtumasysteemin E luettelemalla kaikki alkiot. Kohdassa (a) tehtävä olisi siedettävä, sillä tapahtumasysteemin alkioiden (eli S:n osajoukkojen) lukumäärä on #E = 2 #S = 2 4 = 16. Kohdassa (b) alkioita olisi jo #E = 2 36 kappaletta, joka on noin 69 miljardia alkiota. Kohdassa (c) taasen tapahtumasysteemin kaikkien alkioiden luetteleminen ei ole mahdollista, sillä alkioita on ääretön määrä. Tarkastellaan Esimerkkiin 1 liittyvien tapahtumien määräämistä. Esimerkki 2. Olkoot (a) A = saadaan kruuna, (b) B = silmälukujen summa on 6,
1.2. JOUKKO-OPPIA 9 (c) C = korkeintaan 4 heittoa, Esimerkin 1 satunnaiskokeisiin liittyviä tapahtumia. Määrää tapahtumat A, B ja C. Ratk. Tehtävänä on siis määrätä sopivat S:n osajoukot, joiksi saadaan (a) A = {HT,TH,HH}. (b) B = {(1,5),(2,4),(3,3),(4,2),(5,1)}. (c) C = {H,TH,TTH,TTTH} tai yhtä lailla S = {1,2,3,4}, jos S = N. 1.2 Joukko-oppia Joukkoja merkitään isoilla kirjaimilla A,B,C,...,S ja niiden alkiota pienillä kirjaimilla. Jatkossa oletetaan, että joukot sisältyvät kiinteään otosavaruuteen S. Joukon A komplementtia otosavaruudessa S merkitään A = S\A. Se koostuu niistä S:n alkioista, jotka eivät kuulu joukkoon A. Joukkojen A ja B yhdiste A B on niiden S:n alkioiden joukko, jotka kuuluvat ainakin toiseen joukoista A ja B. Joukkojen A ja B leikkausjoukko A B on niiden alkioiden joukko sisältyvät kumpaankin joukoista A ja B. Olkoon S satunnaiskokeen otosavaruus ja E = {A A S} satunnaiskokeen tapahtumasysteemi. Yleisessä tapauksessa joudutaan matemaattisiin vaikeuksiin yritettäessä määritellä todennäköisyys jokaisessa otosavaruuden osajoukossa. Sen vuoksi rajoitutaan tarkastelemaan sellaista tapahtumasysteemiä, joka on kokoelma otosavaruuden osajoukkoja ja johon eivät välttämättä kaikki osajoukot kuulu. Sovellukset vaativat, että tapahtumasysteemi on suljettu edellä kuvattujen joukko-operaatioiden suhteen. Tällainen tapahtumasysteemi E on Boolen algebra: 1., S E; 2. A E A E; 3. A, B E A B E 4. A, B E A B E.
10 LUKU 1. TODENNÄKÖISYYDEN KÄSITE De Morganin kaavat Seuraavat säännöt ovat varsin hyödyllisiä A B = A B A B = A B σ-algebra Äärellisen otosavaruuden tapahtumasysteemille Boolen algebran rakenne on riittävä. Todennäköisyyslaskennassa joudutaan kuitenkin usein laskemaan todennäköisyyksiä joukoille, jotka ovat esimerkiksi reaalilukujen joukon osajoukkoja. Tällaiset joukot ovat usein hyvin komplisoituja, ja niiden konstruoiminen yksinkertaisten välien äärellisinä yhdisteinä ja leikkauksina on mahdotonta. Lukemalla mukaan myös äärettömät yhdisteet ja leikkaukset saadaan laajempi joukkosysteemi eli σ-algebra. Joukkosysteemi E on σ-algebra, jos se on Boolen algebra ja lisäksi täyttää ehdon A k E, k N k=0 A k E. Oletetaan jatkossa, että satunnaiskokeen tapahtumasysteemi on σ-algebra. Äärellisen otosavaruuden tapahtumasysteemiksi voidaan valita otosavaruuden kaikkien osajoukkojen muodostama joukko, joka on aina automaattisesti σ-algebra, sillä osajoukkojen joukkokin on äärellinen. Yleisessä tapauksessa, esimerkiksi kun S = R, tapahtumasysteemi ei sisällä kaikkia otosavaruuden osajoukkoja, mutta on kuitenkin täysin riittävä ja sillä voidaan määritellä käyttökelpoinen todennäköisyysfunktio. 1.3 Klassinen todennäköisyys Klassisessa todennäköisyydessä otosavaruus on yleensä äärellinen, joten satunnaiskokeen alkeistapahtumat voidaan numeroida S = {e 1,...,e N }. Lisäksi oletetaan, että jokainen alkeistapahtuma on yhtä todennäköinen: P(e i ) = 1 N. Tällä valinnalla varman tapahtuman l. S:n todennäköisyys P(S) = 1. Jos B on satunnaiskokeen jokin tapahtuma, niin sen todennäköisyys on P(B) = m N, missä m = #B on joukon B alkioiden lukumäärä. Klassisen todennäköisyyden määräämisessä joudutaan varsin usein laskemaan erilaisten kombinaatioiden lukumääriä. Permutaatio Permutaatio on äärellisen joukon W = {w 1,w 2,...,w n } joku järjestys. Niiden lukumäärä on "n-kertoma"l. n! = 1 2 3 n.
1.4. TODENNÄKÖISYYSLASKENNAN AKSIOOMAT 11 Järjestetty kertaotos (k-permutaatio) Järjestetyssä kertaotoksessa kokoa k poimitaan joukosta W = {w 1,w 2,w 3,...,w n } k kappaletta alkioita tietyssä järjestyksessä. Tällöin esimerkiksi otokset w 3 w 2 w 1 ja w 1 w 2 w 3 tulkitaan eri otoksiksi. Järjestettyjen kertaotosten lukumäärä on n! (n k)! = n (n 1) (n k +1). Järjestämätön kertaotos (k-kombinaatio) Järjestämättömässä kertaotoksessa kokoa k joukosta W poimittujen alkioiden keskinäisellä järjestyksellä ei ole väliä. Niiden lukumäärä on binomikerroin ( ) n n! = k k!(n k)!. Geometrinen todennäköisyys Satunnaiskokeessa heitetään tikkaa maalitauluun, joka koostuu yhdeksästä sisäkkäisestä renkaasta ja keskellä olevasta ympyrästä. Tarkastellaan tapausta, jossa tikanheitto on täysin satunnainen tapahtuma, joka on riippumaton kokeen suorittajan kädentaidoista, ilmavirtauksista jne.. Tapahtumat, joista olemme kiinnostuneita ovat seuraavanlaiset: Osumakohta on joku renkaista maalitaulussa S. Tällöin tapahtumasysteemin suotuisat tapahtumat A ovat maalitaulun (mitallisia) osajoukkoja. On luonnollista olettaa, että tällaisen tapahtuman todennäköisyys on verrannollinen joukon A pinta-alaan. Normittamalla varman tapahtuman (A= tikka osuu maalitauluun =S) todennäköisyydeksi P(S) = 1, saadaan osumatodennäköisyydeksi joukkoon A P(A) = m(a) m(s), missä m(a) on joukon pinta-ala. Todennäköisyyttä, joka on verrannollinen tarkasteltavan tapahtuman geometriseen pituuteen, pinta-alaan, tai tilavuuteen, kutsutaan geometriseksi todennäköisydeksi. Sekin noudattaa klassista (l. tasaista) todennäköisyysmallia. 1.4 Todennäköisyyslaskennan aksioomat Oletetaan, että S on satunnaiskokeeseen liittyvä otosavaruus ja E tapahtumasysteemi.
12 LUKU 1. TODENNÄKÖISYYDEN KÄSITE Määritelmä 1. Todennäköisyys P on joukkofunktio tapahtumasysteemiltä reaalilukujen joukkoon, joka toteuttaa ehdot 1. 0 P(A) 1 kaikilla tapahtumilla A, 2. P(S) = 1, 3. Jos A i E ja A i A j = aina, kun i j ja i,j = 1,2,..., niin P ( ) A i = P(A i ). Ehdot 1 3 ovat todennäköisyyslaskennan aksioomat. Kolmikkoa {S, E, P} kutsutaan todennäköisyysavaruudeksi, jos S, E on σ-algebra ja P : E R on todennäköisyys. Todennäköisyyden aksioomat esitti neuvostoliittolainen matemaatikko A. N. Kolmogorov (1903-1987) vuonna 1929. Teoksessaan Grundbegriffe der Wahrscheinlichkeitsrechnung (1933) [The Foundations of the Theory of Probability (1956)] Kolmogorov osoitti, että nämä aksioomat soveltuvat myös ajassa kehittyvien satunnaisilmiöiden (stokastisten prosessien) teorian perustaksi. Suoraan todennäköisyyden määritelmästä seuraa: Lause 1. Todennäköisyysmitalle eli -funktiolle on voimassa: (i) P( ) = 0; (ii) P(A) = 1 P(A); (iii) Jos tapahtumat {A 1,A 2,...,A n } ovat erillisiä (l. toisensa poissulkevia), ts. A i A j =, kun i j, niin P(A 1 A 2 A n ) = P(A 1 )+P(A 2 )+P(A 3 )+ +P(A n ); (iv) P(A) P(B) aina, kun A B; (v) P(A\B) = P(A B) = P(A) P(A B); (vi) P(A B) = P(A)+P(B) P(A B).
1.4. TODENNÄKÖISYYSLASKENNAN AKSIOOMAT 13 Todistus. (i) Valitsemalla aksioomassa 3 A i = kaikilla i N saadaan P( ) = P( )+P( )+..., josta P( ) = 0. (ii) Valitaan aksioomassa 3 A 1 = A, A 2 = A ja A i = kaikilla i 3. Joukkojen A ja A leikkaus on tyhjä joukko ja niiden yhdiste on koko otosavaruus. Tällöin aksioomien 3 ja 2 ja kohdan (i) nojalla P(S) = P(A A) = P(A)+P(A) = 1, josta saadaan väittämä P(A) = 1 P(A). (iii) Tämä väittämä saadaan kohdasta (i) ja aksioomasta 3 valitsemalla A i = kaikilla i n+1. (iv) Joukko B = A (B A), missä A (B A) =. Näin ollen aksioomien 1 ja 3 nojalla P(B) = P(A)+P(B A) P(A). (v) Joukko voidaan kirjoittaa erillisten joukkojen yhdisteenä jonka todennäköisyys on A = (A B) (A B), P(A) = P(A B)+P(A B) P(A B) = P(A) P(A B). (vi) Voidaan kirjoittaa A B = (A B) B, jolloin kohtien (iii) ja (v) nojalla saadaan P(A B) = P((A B) B) = P(A B)+P(B) = P(A)+P(B) P(A B).
14 LUKU 1. TODENNÄKÖISYYDEN KÄSITE
Luku 2 Ehdollinen todennäköisyys 2.1 Ehdollinen todennäköisyys Olkoon jatkossa S satunnaiskokeen otosavaruus, E sen tapahtumasysteemi ja P todennäköisyys. Määritelmä 2. Olkoon A ja B kaksi tapahtumaa, missä P(B) > 0. Tapahtuman A ehdollinen todennäköisyys ehdolla B on P(A B) = P(A B). (2.1) P(B) Ehdollisen todennäköisyyden idea on kuvailla tapahtuman A sattumista, kun tiedetään, että tapahtuma B on sattunut. Alkuperäisen tapahtumasysteemin sijaan voidaan rajoittua tarkastelemaan B:n osajoukkoja ja Määritelmän 2 kaava (2.1) määrittelee uuden todennäköisyysfunktion P( B) alkuperäisen todennäköisyysfunktion P avulla. Ehdollista todennäköisyyttä voidaan havainnollistaa Vennin diagrammin avulla: A B Kuva 2.1: Joukkojen A ja B Vennin diagrammi 15
16 LUKU 2. EHDOLLINEN TODENNÄKÖISYYS Jos tiedetään tapahtuman B sattuneen, rajoittaa se tapahtuman A mahdollisten alkeistapausten joukkoa, mikä näkyy hyvin Kuvassa 2.1. Ehdollisen todennäköisyyden otosavaruudeksi voidaan siis ottaa B, tapahtumasysteemiksi E B = {A B A E} ja todennäköisyysfunktioksi P B ( ) := P( B), jolloin saadaan todennäköisyysavaruus {B,E B,P B }. Saatu todennäköisyysavaruus on Määritelmän 1 mukainen, sillä suoraan todennäköisyysfunktion P ominaisuuksien avulla saadaan 1. 0 P B (A) = P(A B) 1 kaikilla tapahtumilla A B; 2. P B (B) = P(B B) = 1; 3. P B (A 1 A 2 ) = P(A 1 A 2 B) = P(A 1 B)+P(A 2 B), kun A 1 A 2 = (Määritelmän 1 ehto 3 vastaavasti). Huomautus 1. Huomaa, että (i) todennäköisyydellä P B tapahtumien A E ja A B E B todennäköisyydet ovat samat. Tämän vuoksi yllä kohdassa 1 oletimme A B. (ii) todennäköisyydellä P B itse asiassa tapahtumien A 1 ja A 2 leikkausjoukko voi olla epätyhjä; mutta silti A 1 A 2 B = ja yllä kohdassa 3 saadaan P B (A 1 A 2 ) = P B (A 1 )+P B (A 2 ). Ehdollisen todennäköisyyden määritelmästä saadaan todennäköisyyslaskennan kertolaskusääntö: P(A B) = P(B)P(A B), kun P(B) > 0 P(A B) = P(A)P(B A), kun P(A) > 0 Täydellisellä induktiolla voidaan todistaa: Lause 2. Olkoot A 1,A 2,...,A n E siten, että P(A 1 A n 1 ) > 0 Tällöin on voimassa P(A 1 A n ) = P(A 1 )P(A 2 A 1 )P(A 3 A 1 A 2 ) P(A n A 1 A n 1 ). Esimerkki 3. Neljään lokeroon laitetaan satunnaisesti neljä palloa. Jos kaksi ensimmäistä palloa ovat eri lokeroissa, niin millä todennäköisyydellä yhdessä lokerossa on kolme palloa?
2.1. EHDOLLINEN TODENNÄKÖISYYS 17 Ratkaisu: Merkitään A = kaksi ensimmäistä palloa on eri lokeroissa, B = yhdessä lokerossa on kolme palloa. Kysytään todennäköisyyttä P(B A), joka voidaan laskea kahdella eri tavalla. Ensimmäinen tapa on tarkastella tilannetta suoraan kolmannen ja neljännen pallon kannalta. Koska molemmat pallot voivat olla missä tahansa laatikossa, on alkeistapahtumia yhteensä 4 2 = 16 kappaletta. Suotuisia näistä on 2 kappaletta, sillä kolmannen ja neljännen pallon täytyy olla joko laatikossa 1 tai laatikossa 2. Näin ollen kysytty todennäköisyys on P(B A) = 2 16 = 1 8. Toisessa tavassa käytetään Määritelmää 2. Sitä varten täytyy laskea tapahtumien A ja A B todennäköisyydet. Tapahtumalle A suotuisia alkeistapahtumia on yhteensä 4 3 4 4 = 12 4 2 kappaletta, sillä ensimmäinen pallo voi olla missä tahansa lokerossa, toinen pallo kolmessa lokerossa (ei voi olla samassa kuin ensimmäinen) ja loput kaksi palloa voivat olla missä tahansa lokerossa. Vastaavasti tapahtumalle A B suotuisia alkeistapahtumia on 4 3 2 1 = 12 2 kappaletta, sillä ensimmäinen pallo voi olla missä tahansa lokerossa, toinen pallo voi olla kolmessa eri lokerossa, kolmas pallo voi olla samassa lokerossa kuin joko pallo 1 tai pallo 2, jolloin pallolle 4 jää yksi vaihtoehto. Koska kaikkia alkeistapahtumia on 4 4 kappaletta, saadaan edellisen perusteella P(B A) = P(A B) P(A) = 12 2/44 12 4 2 /4 4 = 2 16 = 1 8. Esimerkki 4. Otetaan hyvin sekoitetusta korttipakasta viisi korttia. Millä todennäköisyydellä kaikki ovat herttoja? Ratkaisu: Tämäkin voidaan ajatella kahdella tavalla. Ensimmäisessä tavassa sovelletaan Lausetta 2. Sitä varten merkitään A i = i:s kortti on hertta, i = 1,...,5. Koska herttoja on 13 kappaletta, saadaan P(A 1 ) = 13 52, P(A 2 A 1 ) = 12 51, P(A 3 A 1 A 2 ) = 11 50,..., joten kysytty todennäköisyys on P(A 1 A 2 A 3 A 4 A 5 ) = 13 52 12 51 11 50 10 49 9 48.
18 LUKU 2. EHDOLLINEN TODENNÄKÖISYYS Toisessa tavassa käytetään kombinatoriikkaa. Viisi korttia voidaan valita ( ) ( 52 5 eri tavalla, joista suotuisia on 13 5), sillä kaikkien korttien pitää olla herttoja. Todennäköisyydeksi saadaan ( 13 5) P(A 1 A 2 A 3 A 4 A 5 ) = joka on luonnollisesta sama kuin edellä laskettu. 2.2 Kokonaistodennäköisyys Olkoon {A 1,A 2,...,A n } otosavaruuden S ositus, eli ja A i A j =, i j, A 1 A 2 A 3 A n = S. ( 52 5), Olkoon ositus sellainen, että P(A i ) > 0 kaikilla i = 1,...,n. Mielivaltaiselle tapahtumalle B, jolle P(B) > 0, on (A 1 B) (A 2 B) (A n B) = B. Koska tapahtumat A i B ovat erillisiä, niin P(B) = P(A 1 B)+ +P(A n B). Toisaalta kertolaskusäännön nojalla kaikille i = 1, 2,..., n: P(A i B) = P(B A i )P(A i ). Sijoittamalla tapahtuman B todennäköisyyden lausekkeeseen saadaan ns. kokonaistodennäköisyyden kaava P(B) = n P(B A i )P(A i ). 2.3 Bayesin kaava Tapahtumille A ja B on voimassa kertolaskusäännön nojalla P(A B) = P(B A)P(A), P(B)
2.3. BAYESIN KAAVA 19 kunhan P(A), P(B) > 0. Olkoon {A 1,A 2,...,A n } otosavaruuden ositus, jolle P(A i ) > 0 kaikilla i = 1,..., n. Kokonaistodennäköisyyskaavan nojalla P(B) = n P(B A i )P(A i ). Kertolaskusäännön ja kokonaistodennäköisyyden perusteella saadaan Lause 3 (Bayesin kaava). P(A j B) = P(B A j )P(A j ) n k=1 P(A k)p(b A k ). Kaikkia edellä mainittua kannattaa havainnollistaa oheisen puukaavion avulla. Puussa voi olla useampia oksia osituksen koosta riippuen. Alla oleva puukaavio on yksinkertaisin mahdollinen, sillä perusjoukko S on ositettu yhden tapahtuman A avulla kahteen osaan S = A A. P(A) P(A) A A P(B A) P(B A) P(B A) P(B A) B B B B Kuva 2.2: Puukaavio Esimerkki 5. Eräällä tuotantolinjalla on kaksi konetta, joista kone 1 tekee 70% tuotteista ja kone 2 loput 30%. Tiedetään, että koneen 1 valmistamista tuotteista on 2% viallisia ja koneen 2 valmistamista tuotteista on 3% viallisia. (a) Millä todennäköisyydellä satunnaisesti valittu tuote on viallinen? (b) Millä todennäköisyydellä viallisen satunnaisesti valittu viallinen tuote on koneen 1 valmistama?
20 LUKU 2. EHDOLLINEN TODENNÄKÖISYYS Ratkaisu: Merkitään A = tuotteen on valmistanut kone 1, B = tuote on viallinen. Tehtävänannon perusteella tiedetään todennäköisyydet P(A) = 0.7, P(A) = 0.3, P(B A) = 0.02 ja P(B A) = 0.03. (a) Kokonaistodennäköisyyden kaavan tai havainnollisesti Puukaavion 2.2 mukaan P(B) = P(B A)P(A)+P(B A)P(A) = 0.02 0.7+0.03 0.3 = 2.3%. (b) Nyt kysytään todennäköisyyttä P(A B). Ehdollisen todennäköisyyden määritelmän, Bayesin kaavan ja kohdan (a) tai havainnollisesti Puukaavion 2.2 mukaan P(A B) = P(A B) P(B) = P(B A)P(A) P(B A)P(A)+P(B A)P(A) 61%. 2.4 Riippumattomuus Määritelmä 3. Tapahtumat A ja B ovat riippumattomia, jos P(A B) = P(A)P(B). Ehdollisen todennäköisyyden määritelmästä nähdään, että tapahtumat ovat riippumattomia, jos B:n esiintyminen ei vaikuta tapahtuman A todennäköisyyteen. Siis, jos P(B) > 0, niin A ja B ovat riippumattomia P(A B) = P(A). Riippumattomuuden käsite yleistetään kahta useammalle tapahtumalle seuraavasti. Määritelmä 4. Olkoon {S,E,P} todennäköisyysavaruus ja A 1,A 2,...,A n tapahtumia. Sanotaan, että ne ovat keskinäisesti riippumattomia, jos kaikille indeksijoukoille {i 1,i 2,...,i k } {1,2,3,...,n} P(A i1 A ik ) = P(A i1 ) P(A ik ). Tapahtumat{A 1,A 2,...,A n } ovat pareittain riippumattomia, jos kaikille i j P(A i A j ) = P(A i )P(A j ).
2.4. RIIPPUMATTOMUUS 21 Huom! Keskinäisesti riippumattomat ovat pareittain riippumattomia, mutta ei päinvastoin. Lause 4. Tapahtumat A ja B ovat riippumattomia, jos ja vain jos A ja B ovat riippumattomia. Tilastollinen riippumattomuus on todennäköisyysfunktion ominaisuus, eikä sitä pidä sekoittaa joukko-opillisen erillisyyden (eli poissulkeavuuden) käsitteeseen. Esimerkki 6. Erityisesti, jos A B = ja P(A),P(B) > 0, niin A ja B eivät ole riippumattomia Määritelmän 3 mukaan. Tämä on varsin luonteva tulos, sillä jos esimerkiksi B sattuu, niin ehdon A B = mukaan A ei voi sattua, joten P(A B) = 0 P(A) > 0. Riippumattomien tapahtumien leikkaus ja yhdiste Olkoon tapahtumat A 1,A 2,...,A n riippumattomia. Tällöin Lauseen 2 tulos leikkaustapahtumille yksinkertaistuu muotoon P(A 1 A 2 A n ) = P(A 1 )P(A 2 ) P(A n ). (2.2) Kaavasta (2.2) ja Lauseesta 4 saadaan riippumattomien tapahtumien tapauksessa näppärästi myös tapahtuman n A i = ainakin yksi tapahtumista A i sattuu todennäköisyydeksi P(A 1 A 2 A n ) =1 P(A 1 A 2 A n ) [ ][ ] [ ] 1 1 P(A 1 ) 1 P(A 2 ) 1 P(A n ). Satunnaiskokeiden riippumattomuuden päättelyssä käytetään ensisijaisesti yleistä tietoa ja tervettä maalaisjärkeä; vasta toissijaisesti laskennallisia menetelmiä.
22 LUKU 2. EHDOLLINEN TODENNÄKÖISYYS
Luku 3 Satunnaismuuttuja ja diskreetti jakauma 3.1 Satunnaismuuttuja Useissa todennäköisyyden luonnon- tai teknistieteellisissä sovellutuksissa satunnaiskokeen lopputulos on numeerinen lukuarvo. Virtapiireissä mitataan jännitteitä ja virranvoimakkuuksia, törmäyskokeissa lasketaan esiintyvien hiukkasten lukumääriä, ja sähkömagneettisissa sovellutuksissa arvioidaan kentän intensiteettiä. Ellei satunnaiskokeen tulos ole valmiiksi reaaliluku, se voidaan usein luontevasti muuntaa reaaliluvuksi jollakin funktiolla, joka suorittaa kuvauksen otosavaruudesta reaalilukujen joukkoon R. Tämä kuvaus on satunnaismuuttuja. Se mahdollistaa klassisen reaalianalyysin ottamisen todennäköisyyslaskennan käyttöön. Satunnaismuuttujaan liittyvät todennäköisyydet muodostavat satunnaismuuttujan jakauman, jota voidaan käsitellä analyyttisesti R:ssä määritellyn kertymäfunktion avulla. Satunnaismuuttujista ja niiden jakaumista voidaan erottaa kaksi tavallista tyyppiä: diskreetti ja jatkuva. Olkoon {S, E, P} todennäköisyysavaruus. Täsmällisesti ottaen satunnaismuuttuja on funktio X : S R, joka liittää reaaliluvun X(e) jokaiseen alkeistapahtumaan e S. Satunnaismuuttujan arvojoukkoa merkitään symbolilla S X, joka voidaan tulkita satunnaiskokeen otosavaruudeksi. Jokainen funktio X : S R ei ole satunnaismuuttuja. Kyseessä on satunnaismuuttuja vain, jos jokaisella x R joukko {X x} kuuluu tapahtumasysteemiin. Tässä {X x} = {e S X(e) x}. Jokaiseen reaalilukuun x liittyy siten satunnaiskokeen tietty tapahtuma, jolla on täysin määrätty todennäköisyys. Satunnaismuuttujan arvoa x sanotaan sen realisaatioksi. 23
24 LUKU 3. SATUNNAISMUUTTUJA JA DISKREETTI JAKAUMA Satunnaismuuttujan valinta ei ole yksikäsitteinen; mutta toiset valinnat ovat yksinkertaisempia kuin toiset. Esimerkiksi nopanheitossa silmäluku on luonnollinen valinta alkeistapahtumaa kuvaavaksi satunnaismuuttujaksi; mutta yhtä hyvin voitaisiin valita satunnaismuuttujaksi X( silmäluku on i ) = 100+i, i = 1,2,3,4,5,6. Kertymäfunktio Satunnaismuuttujan otosavaruudessas X todennäköisyys P X määritellään alkuperäisen todennäköisyyden avulla. Näin ollen jokaiselle joukolle {X x} voidaan yksikäsitteisesti määritellä todennäköisyys P X ({X x}) = P({e S X(e) x}). Tämä todennäköisyys on x:n funktio, ja sitä kutsutaan kertymäfunktioksi: F X (x) = P X (X x). Jos ei ole sekaannuksen vaaraa, niin usein jätetään kertymäfunktion ja satunnaismuuttujan todennäköisyydestä alaindeksi X merkitsemättä. Kertymäfunktion ominaisuuksia: 1. 0 F(x) 1 kaikilla x R; 2. F(x 1 ) F(x 2 ), kun x 1 x 2 ; 3. F on oikealta jatkuva; 4. lim x F(x) = 0, lim x F(x) = 1; 5. P(x 1 < X x 2 ) = F(x 2 ) F(x 1 ). Tapahtuma {X } on tietysti tyhjä joukko, ja tapahtuman {X < } täytyy sisältää kaikki satunnaiskokeen tapahtumat. Huomautus 2. Kertymäfunktiota nimitetään usein satunnaismuuttujan jakaumaksi, sillä kertymäfunktio määrää kaikkien tapahtumien todennäköisyydet yksikäsitteisesti. Jos X on satunnaismuuttuja, jonka kertymäfunktio on F X, niin edelliseen nojautuen usein käytetään merkintää X F X.
3.1. SATUNNAISMUUTTUJA 25 Algebralliset laskutoimitukset Koska samassa todennäköisyysavaruudessa {S, E, P} määritellyt satunnaismuuttujat ovat reaaliarvoisia funktioita, joilla on sama lähtöjoukko S, niille voidaan luonnollisella tavalla määritellä algebralliset laskutoimitukset. (i) Reaaliluvulla kertominen: jos c R ja X on satunnaismuuttuja, niin cx on kuvaus S R, jolle (cx)(e) = c X(e) kaikilla e S. (ii) Yhteenlasku: jos X ja Y ovat satunnaismuuttujia, niin X +Y on kuvaus S R, jollekin (X +Y)(e) = X(e)+Y(e) kaikilla e S. (iii) Kertolasku: jos X ja Y ovat satunnaismuuttujia, niin XY on kuvaus S R, jolle (XY)(e) = X(e) Y(e) kaikilla e S. (iv) Jakolasku: jos X on satunnaismuuttuja ja Y on satunnaismuuttuja, jolle P(Y = 0) = 0, niin X on kuvaus S R, jolle Y X Y (e) = { X(e), kun Y(e) 0, Y(e) 0, kun Y(e) = 0. Voidaan todistaa, että edellä mainituilla algebrallisilla laskutoimituksilla saadut funktiot S R ovat edelleen satunnaismuuttujia. Lause 5. Olkoot X ja Y todennäköisyysavaruudessa {S, E, P} määriteltyjä satunnaismuuttujia ja c R. Tällöin cx, X + Y, XY, max{x,y} ja min{x,y} ovat satunnaismuuttujia. Lisäksi, jos P(Y = 0) = 0, niin X Y on satunnaismuuttuja. Induktiolla Lauseesta 5 saadaan Korollaari 1. Jos X 1,X 2,...,X n ovat todennäköisyysavaruudessa {S,E,P} määriteltyjä satunnaismuuttujia ja c 1,c 2,...,c n R, niin c 1 X 1 + +c n X n, X 1 X n, max{x 1,...,X n } ja min{x 1,...,X n } ovat satunnaismuuttujia.
26 LUKU 3. SATUNNAISMUUTTUJA JA DISKREETTI JAKAUMA Satunnaismuuttujan muunnokset Jos X : S R on satunnaismuuttuja ja g : R R funktio, ne määrittelevät yhdistetyn funktion g X : S R, jolle käytetään merkintää g X = g(x). Kuvausta g(x) sanotaan satunnaismuuttujan X muunnokseksi. Mitä ehtoja funktiolle g on asetettava, että g(x) on edelleen satunnaismuuttuja? Seuraava lause kattaa tärkeimmät tapaukset. Lause 6. Jos X on satunnaismuuttuja todennäköisyysavaruudessa {S, E, P} ja (i) jos g on jatkuva, niin g(x) on satunnaismuuttuja. (ii) jos g on monotoninen (kasvava tai vähenevä), niin g(x) on satunnaismuuttuja. Satunnaismuuttujien riippumattomuus Satunnaismuuttujien riippumattomuus palautetaan tapahtumien riippumattomuuden käsitteeseen seuraavalla tavalla. Määritelmä 5. Olkoot X ja Y satunnaismuuttujia todennäköisyysavaruudessa {S, E, P}. Sanotaan, että X ja Y ovat riippumattomia, jos tapahtumat {X x} ja {Y y} ovat riippumattomia kaikilla x, y R, eli kaikilla x,y R. P({X x} {Y y}) = P({X x})p({y y}) Useamman kuin kahden satunnaismuuttujan tapauksessa puhutaan keskinäisestä riippumattomuudesta. Määritelmä 6. Olkoot X 1,...,X n satunnaismuuttujia todennäköisyysavaruudessa {S,E,P}. Sanotaan, että X 1,...,X n ovat keskinäisesti riippumattomat, jos P({X 1 x 1 } {X n x n }) = P({X 1 x 1 }) P({X n x n }) kaikilla x 1,...,x n R. Huomautus 3. Usein puhutaan riippumattomista satunnaismuuttujista, jolla tarkoitetaan keskinäisesti riippumattomia satunnaismuuttujia. Lause 7. Jos X ja Y ovat riippumattomia satunnaismuuttujia, niin g(x) ja h(y) ovat riippumattomia kaikilla funktioilla g, h : R R, joilla g(x) ja h(y) ovat satunnaismuuttujia (ks. Lause 6).
3.2. DISKREETTI SATUNNAISMUUTTUJA 27 Lauseella 7 on seuraava vastine n-ulotteisessa tapauksessa. Lause 8. Jos X 1,...,X n ovat keskinäisesti riippumattomia satunnaismuuttujia, niin g(x 1,...,X k ) ja h(x k+1,...,x n ) ovat riippumattomia kaikilla funktioilla g : R k R ja h : R n k R, joilla muunnokset g(x 1,...,X k ) ja h(x k+1,...,x n ) ovat satunnaismuuttujia. Esimerkki 7. Jos X, Y, Z, V ovat keskinäisesti riippumattomia, niin esimerkiksi (i) X +Y +Z ja V, (ii) X Y ja Z +V, (iii) XY ja Z 2 +V 2 ovat riippumattomia. 3.2 Diskreetti satunnaismuuttuja Diskreetti jakauma Satunnaismuuttuja X on diskreetti, jos sen arvojoukko S X on äärellinen tai numeroituvasti ääretön: S X = {x k ; k = 1,2,3,...}. Satunnaismuuttujaan X liittyvä jakauma on pistejoukko Funktiota (x k,p(x = x k )), k = 1,2,3,... f(x) = { P(X = x k ), x = x k 0, x x k, k kutsutaan pistetodennäköisyysfunktioksi. Jos arvojoukko on pieni, on jakauma havainnollista esittää taulukkona. Esimerkki 8. Jos X saa vaikkapa 4 eri arvoa x 1,x 2,x 3,x 4, niin jakaumaa kuvaa taulukko X x 1 x 2 x 3 x 4 P(X = x k ) p 1 p 2 p 3 p 4 Diskreetin satunnaismuuttujan kertymäfunktio on porrasfunktio F(x) = P(X = x k ). k:x k x
28 LUKU 3. SATUNNAISMUUTTUJA JA DISKREETTI JAKAUMA Kertymäfunktion ominaisuuden lim x F(x) = 1 nojalla on pistetodennäköisyysfunktion arvojen summa = 1, eli k:x k S X f(x k ) = 1. Kuva 3.1: Erään satunnaismuuttujan kertymäfunktio Esimerkki 9. Kuvaan 3.1 on piirretty erään satunnaismuuttujan kertymäfunktio. (a) Onko kyseessä diskreetti vai jatkuva satunnaismuuttuja? (b) Mitä voit sanoa satunnaismuuttujan saamista arvoista ja niihin liittyvistä todennäköisyyksistä? Ratkaisu: (a) Koska kuvaaja on porrasfunktio, on kyseessä diskreetti satunnaismuuttuja. (b) Kuvan perusteella satunnaismuuttuja X saa arvot 0,1 ja 2. Arvopisteissä olevien hyppäysten suuruudet ovat arvojen pistetodennäköisyydet ja ne näyttäisivät olevan P(X = 0) = 0.25, P(X = 1) = 0.5, ja P(X = 2) = 0.25, joiden summa on 1 kuten pitääkin.
3.2. DISKREETTI SATUNNAISMUUTTUJA 29 Binomijakauma Toistetaan satunnaiskoetta n kertaa riippumattomasti. Nämä n koetta muodostavat yhdistetyn kokeen E n. Tarkastellaan yksittäisen satunnaiskokeen tapahtumaa B, jonka todennäköisyys P(B) = p ja sen komplementtitapahtumaa B, P(B) = 1 p. Yhdistetyn kokeen tapahtumaan A k ={ B sattuu täsmälleen k kertaa } määrittelee satunnaismuuttujan X, jonka arvojoukko S X = {0,...,n}. Tällaisten tapahtumien lukumäärä vastaa järjestämättömien kertaotosten lukumäärää l. binomikerrointa ( ) n n! n(n 1) (n k +1) = =. k k!(n k)! k! Yksittäisen tällaisen kertaotoksen todennäköisyys on p k (1 p) n k. Näin ollen tapahtuman A k todennäköisyys, l. binomi-jakautuneen satunnaismuuttujan pistetodennäköisyysfunktio on ( ) n P(X = k) = p k (1 p) n k. k Merkitään X Bin(n, p), jos satunnaismuuttuja noudattaa binomijakaumaa. Jos X 1 Bin(n 1,p) ja X 2 Bin(n 2,p), niin X 1 +X 2 Bin(n 1 +n 2,p). Kuva 3.2: X Bin(50, 0.2) Kuva 3.3: X Bin(50, 0.5) Kuviin 3.2 ja 3.3 on piirretty binomijakautuneen satunnaismuuttujan pistetodennäköisyysfunktiot, joista näkyy parametrin p vaikutus kuvaajaan.
30 LUKU 3. SATUNNAISMUUTTUJA JA DISKREETTI JAKAUMA Geometrinen jakauma Toistetaan riippumattomasti satunnaiskoetta. Tarkkaillaan tapahtuman B sattumista jokaisella toistolla. Esitetään kysymys: "Millä todennäköisyydellä B tapahtuu ensimmäisen kerran k:nnella toistolla?" Yhdistetyn tapahtuman A = } B B {{} B. k 1 kertaa todennäköisyys on P(A) = (1 p) k 1 p. Liittämällä edelliseen tapahtumaan satunnaismuuttuja X, joka ilmoittaa monennella kerralla B sattuu ensimmäisen kerran saadaan geometrisesti jakautunut satunnaismuuttuja X Geo(p), jonka pistetodennäköisyys on Poisson-jakauma P(X = k) = p(1 p) k 1. Jos toistokokeessa toistojen lukumäärä n on hyvin suuri ja mielenkiintoisen tapahtuman B todennäköisyys on pieni (p = P(B) << 1), niin ( ) n P(A k ) = p k (1 p) n k n! = k k!(n k)! pk (1 p) n k P k = ak e a, k! missä a = np ja 0 k <. Eksponenttifunktion potenssisarjan e a = k=0 a k k! nojalla luvut P k muodostavat todella pistetodennäköisyyden satunnaismuuttujalle X : S N P(X = k) = ak e a, k! sillä P(X = k) = e a a k k! = e a e a = 1. k=0 Luku a on keskimääräinen onnistumisten lukumäärä (ks. viikon 5 luennot). Poisson-jakautunutta satunnaismuuttujaa merkitään X Poi(a). Jos X 1 Poi(a 1 ) ja X 2 Poi(a 2 ), niin X 1 +X 2 Poi(a 1 +a 2 ). Kuviin 3.4 ja 3.5 on piirretty Poisson-jakauman pistetodennäköisyyksiä, joista näkyy parametrin a vaikutus profiiliin. Kuvaan 3.5 on lisäksi piirretty k=0
3.2. DISKREETTI SATUNNAISMUUTTUJA 31 0.18 0.16 0.14 0.12 0.1 0.14 0.12 0.1 0.08 Poisson-jakauma Binomijakauma 0.08 0.06 0.04 0.02 0.06 0.04 0.02 0 0 5 10 15 20 25 30 35 40 45 50 0 0 5 10 15 20 25 30 35 40 45 50 Kuva 3.4: X Poi(5) Kuva 3.5: X Poi(10) Kuvan 3.2 Bin(50, 0.2)-jakauman pistetodennäköisyydet. Poisson-jakaumaapproksimaatio toimii kuvan perusteella kohtuullisesti. Huomaa, että Kuvan 3.5 jakaumille a = np = 10. Esimerkki 10. Satamaan saapuu keskimäärin 10 rahtilaivaa päivässä. Satamassa voi olla kerrallaan korkeintaan 15 laivaa vuorokaudessa. Millä todennäköisyydellä satamaan saapuu vuorokauden aikana liikaa rahtilaivoja? Ratkaisu: Jos rahtilaivan saapumista satamaan ajatellaan suotuisana tapahtumana, niin meitä kiinnostaa suotuisien tapahtumien lukumäärä aikayksikössä 1 vuorokausi. On järkevää käyttää Poisson-jakaumamallia, vaikka Poisson-jakauma saa kaikki positiiviset kokonaislukuarvot, mikä ei käytännössä tietenkään ole mahdollista. Olkoon siis X satamaan saapuvien laivojen lukumäärä vuorokaudessa, jolloin valitsemamme mallin mukaan X Poi(10). Huomaa, että pistetodennäköisyydet P(X = k) = e 1010k k! ovat hyvin pieniä, kun k on suuri, mikä on sopusoinnussa todellisuuden kanssa, sillä maailmassa ei ole rahtilaivoja loputtomasti. Kysytyksi todennäköisyydeksi saadaan sopivalla laskukoneella P(X > 15) = 1 P(X 15) = 1 e 10 15 k=0 10 k k! 5%. Huomaa, että siirtymällä komplementtitapahtumaan tarvitsee laskea ainoastaan 16 pistetodennäköisyyden summa.
32 LUKU 3. SATUNNAISMUUTTUJA JA DISKREETTI JAKAUMA Hurraa, Einstein! Kun valonsäde kohdistetaan valosähköisesti herkkään materiaaliin, se irrottaa pinnasta elektroneja. Vetämällä ne positiivisella jännitteellä varattuun anodiin ulkoisen virtapiirin virran voimakkuus kasvaa. Virran voimakkuudesta voidaan päätellä irronneiden elektronien lukumäärä. Irronneiden elektronien lukumäärää ei voida ennustaa tarkalleen, vaan lukumäärä on satunnaismuuttuja. Keskimääräinen emittoituneiden elektronien lukumäärä a on suoraan verrannollinen pintaan kohdistuvan säteilyn kokonaisenergiaan W aikavälillä [0, T]. Jos valontaajuus on ν, niin tämä keskimääräinen arvo on a = ηw hν, missä h on Planck n vakio, η on ns. materiaalin kvanttitehokkuus. Tavallisesti oppikirjoissa luku η tulkitaan todennäköisyydeksi tapahtumalle, että yksittäinen fotoni irroittaa elektronin (joka on mitattavissa), ja W on pintaan hν osuvien fotonien lukumäärä. Elektronin irtoamistodennäköisyys p pinnasta ja joutuminen anodiin on kuitenkin hyvin pieni. Määritellään suotuisaksi tapahtumaksi tapahtuma, jossa elektroni emittoituu pinnasta. Todennäköisyys, että mittalaitteessa rekisteröidään k elektronia, noudattaa binomijakaumaa. Mutta koska materiaalin pinnassa (kohdassa, mihin fotonit osuvat) olevien elektronien lukumäärä n >> 1 ja p << 1, niin voidaan approksimoida, että satunnaismuuttuja X (emittoituneiden elektronien lukumäärä) noudattaa Poissonin jakaumaa. Huomaa, että tässä leikitään taas tapahtumien riippumattomuuksilla. Nimittäin oletetaan, että elektronin emittoituminen on riippumaton siitä, kuinka muut elektronit käyttäytyvät. Ja lisäksi oletetaan, että valo ei ole liian intensiivistä kasvattaakseen potentiaalisesti emittoituvien elektronien lukumäärää n. Hypergeometrinen jakauma Tarkastellaan N kappaletta numeroita, esimerkiksi joukkoa {1, 2,..., N}. Numeroista on merkitty kokeenjärjestäjän toimesta m kappaletta. Kokeensuorittaja valitsee numeroiden joukosta umpimähkäisesti n numeroa. Millä todennäköisyydellä kokeensuorittaja valitsi täsmälleen k kappaletta ennakolta merkittyä numeroa? Satunnaiskoe määrittelee satunnaismuuttujan X, joka noudattaa hypergeometrista jakaumaa: ( m N m ) P(X = k) = k)( n k ( N. n)
3.2. DISKREETTI SATUNNAISMUUTTUJA 33 Esimerkki 11. Millä todennäköisyydellä lotossa saadaan täsmälleen 4 oikein? Ratkaisu: Lotossa arvotaan numeroita joukosta{1,2,...,40}, jotenn = 40. Lottoriviin täytetään n = 7 numeroa ja lotossa arvotaan m = 7 oikeaa numeroa (poislukien lisänumerot). Merkitään X = Lottorivissa olevien oikeiden numeroiden lukumäärä. Tällöin X noudattaa hypergeometrista jakaumaa, joten tapahtuman {X = 4} todennäköisyydeksi saadaan ( 7 ) ( 33 4 P(X = 4) = ( 3) 40 ) 0.010, 7 eli voittotodennäköisyys on noin yhden prosentin luokkaa. Siis keskimäärin yhdellä kerralla sadasta pitäisi tulla 4 oikein.
34 LUKU 3. SATUNNAISMUUTTUJA JA DISKREETTI JAKAUMA
Luku 4 Jatkuva satunnaismuuttuja ja jakauma 4.1 Tiheysfunktio Satunnaismuuttuja X on jatkuva, jos sen kertymäfunktio on jatkuva kaikilla x:n arvoilla. Jatkossa oletetaan lisäksi, että kertymäfunktio on paloittain derivoituva. Toisin sanoen sillä on derivaatta olemassa lukuunottamatta äärellistä määrää derivaatan hyppäysepäjatkuvuuksia. Tällöin on olemassa tiheysfunktio f X (t) siten, että F X (x) = P(X x) = x f X (t)dt. Jos ei ole suurta erehtymisen riskiä, niin usein merkitään f(x) = f X (x). Jatkuvalle jakaumalle F(a+h) F(a h) 0, kun h 0. Näin ollen P(X = a) = 0. Diskreetille jakaumalle tämä ei välttämättä päde. Tiheysfunktion ominaisuuksia: 1. f X (x) 0, x; 2. f X(x)dx = 1; 3. P(a < X b) = b a f X(x)dx = F X (b) F X (a); 4. f X (x) = df X(x) dx. Koska P(X = b) = 0, niin jatkuvalle jakaumalle seuraavat todennäköisyydet ovat yhtä suuria: P(a < X < b) = P(a X < b) = P(a X b) = P(a < X b). 35
36 LUKU 4. JATKUVA SATUNNAISMUUTTUJA JA JAKAUMA Kuva 4.1: P(X 2) Kuva 4.2: P( 1 < X < 1) Kuva 4.3: P(X > 1) Kuvissa 4.1, 4.2 ja 4.3 on havainnollistettu erääseen jatkuvaan jakaumaan liittyviä todennäköisyyksiä, jotka geometrisesti ovat tiheysfunktion, rajoiteehtojen ja x-akselin väliin jäävän alueen pinta-aloja. 4.2 Jatkuvia todennäköisyysjakaumia Eksponenttijakauma Satunnaismuuttuja X noudattaa eksponenttijakaumaa, X exp(a), jos sen tiheysfunktio on { 0, x < 0, f X (x) =. ae ax, x 0 Sen kertymäfunktio on silloin F X (x) = x f X (t)dt = { 0, x < 0 1 e ax, x 0. (4.1) Eksponenttijakauman parametri a > 0. Sen käänteisluku 1 ilmoittaa satunnaismuuttujan keskimääräisen arvon. a Tyypillisesti eksponenttijakaumalla mallinnetaan odotusaikaa jollekin tapahtumalle tai eliaikaa jollekin komponentille kuten esimerkiksi diodille. Eksponenttijakaumalla on muistinmenetysominaisuus P(X > t+h X > t) = P(X > h) kaikilla t 0 ja h > 0. (4.2) Voidaan osoittaa, että ainoa positiivinen satunnaismuuttuja, jolla on ominaisuus (4.2), on eksponenttijakautunut. Jos eksponenttijakauma mallintaa esimerkiksi jonkin komponentin elinaikaa, niin komponentti ei muista kuinka kauan se on ollut toiminnassa.
4.2. JATKUVIA TODENNÄKÖISYYSJAKAUMIA 37 Kuva 4.4: Eksponenttijakauman tiheysfunktioita Kuva 4.5: Eksponenttijakauman kertymäfunktioita Kuvissa 4.4 ja 4.5 on esitetty eksponenttijakautuneen satunnaismuuttujan tiheysfunktioiden ja kertymäfunktioiden kuvaajia, mistä näkee parametrin vaikutuksen profiileihin. Esimerkki 12. Konediagnostiikassa koneen luotettavuus L(t) on ajan t funktio, jolla tarkoitetaan todennäköisyyttä, että kone toimii ajanhetken t jälkeen. Olkoon X koneen eliaikaa kuvaava satunnaismuuttuja, jolloin L(t) = P(X > t). (4.3) Oletetaan, että erään koneen elinaika on eksponenttijakautunut ja että keskimääräinen elinaika on 10000 tuntia. Määrää koneen luotettavuus ajanhetkellä t = 20000. Ratkaisu: Nyt siis X Exp(a), missä 1 = 10000. Luotettavuuden määritelmän (4.3) ja kaavan (4.1) a mukaan joten L(t) = P(X > t) = 1 P(X t) = 1 F X (t) = e at, L(20000) = e 20000 10000 = e 2 14%. Tasajakauma Tasajakauman, X Tas(a, b), tiheysfunktio 0, x < a 1 f X (x) = b a, a x b 0, x > b.
38 LUKU 4. JATKUVA SATUNNAISMUUTTUJA JA JAKAUMA Tasaisesti jakautuneen satunnaismuuttujan kertymäfunktio on silloin 0, x < a x a F X (x) = b a, a x b. 1, x > b Tasajakauma on hyödyllinen erityisesti jatkuvan satunnaismuuttujan simuloinnissa. Simuloinnille antaa pohjan seuraava tulos. Lause 9. Olkoon U Tas(0, 1) ja X jatkuva sm., jonka kertymäfunktio on F X. Tällöin F 1 X (U) on satunnaismuuttuja, joka noudattaa jakaumaa F X, eli F 1 X (U) F X. Todistus. Muuttuja F 1 X (U) on Lauseen 6 mukaan todellakin satunnaismuuttuja, sillä F X on monotoninen ja siten sillä on olemassa käänteisfunktio, joka myös on monotoninen. Jakaumaksi saadaan P(F 1 X (U) x) = P(U F X(x)) = F X (x). Lauseen 9 avulla voidaan annetulle satunnaismuuttujalle X muodostaa näytteitä tasajakauman avulla ainakin periaatteessa, mikäli kertymäfunktion F X käänteisfunktio tunnetaan tai yhtälö F X (x) = u on helposti ratkaistavissa. Jos näin on, niin generoidaan näyte tasajakaumasta U Tas(0, 1). Jos U saa näytteessä arvon u, niin sitä vastaava X:n arvo saadaan yhtälöstä F X (x) = u. Normaalijakauma Normaalijakauma (Gaussin jakauma) on tärkein todennäköisyyslaskennan sovellutuksissa esiintyvä jakauma. Se on 2-parametrinen jakauma. Merkitään X N(µ,σ 2 ), jos satunnaismuuttujan X tiheysfunktio on ns. Gaussin kellokäyrä 1 f X (x) = 2πσ 2 e (x µ)2 2σ 2. Parametri µ on satunnaismuuttujan X keskimääräinen arvo; σ 2 sen varianssi (jakauman tunnusluvut käsitellään tarkemmin myöhemmin). Normaalijakauman kertymäfunktiota F X (x) = 1 2πσ 2 x e (z µ)2 2σ 2 dz
4.2. JATKUVIA TODENNÄKÖISYYSJAKAUMIA 39 ei osata integroida analyyttisesti. Normaalijakautuneen satunnaismuuttujan kertymäfunktion arvot lasketaan sopivalla muuttujan vaihdoksella (0, 1)- jakautuneen eli standardisoidun normaalijakauman kertymäfunktiosta Φ(x), jonka arvot on laskettu taulukoihin (ks. liite). Graafiset laskimet ja matemaattiset ohjelmistot pystyvät vaivatta laskemaan normaalijakauman kertymäfunktion arvoja ja pisteitä, joissa kertymäfunktion arvo saavutetaan. Esimerkki 13. Olkoon X N(0, 1). (a) Laske laskimella tai taulukosta F X (2). (b) Määrää laskimella tai taulukon avulla piste x, missä F X (x) = 0.95. Ratkaisu: (a) Luennoitsijalla ei ole graafista laskinta, joten käytetään Matlabia. Varteen otettava ja ehkä jopa suositeltavampikin vaihtoehto olisi R-ohjelmiston käyttö. Matlabilla komento p = normcdf(2,0,1) 1 antaa vastaukseksi p = 0.9772, jonka voi lukea myös Liitteen A taulukosta 1. (b) Matlab-komento x = norminv(0.95, 0, 1) antaa vastaukseksi x = 1.6449. Sen sijaan Liitteen A Taulukosta 1 ei tätä arvoa löydy. Taulukosta 1 löytyy Φ(1.64) = 0.9495 ja Φ(1.65) = 0.9505, joista voidaan haarukoida, että x 1.645, joka on kolmen desimaalin tarkkuudella sama kuin Matlabin antama tulos. Standardisoidun normaalijakauman N(0, 1) tiheysfunktio ja kertymäfunktio ovat f X (x) = 1 2π e x2 2 Φ(x) = 1 2π x e t2 2 dt. Kertymäfunktion arvot Φ(x) luetaan siis taulukosta. Sillä on seuraava tärkeä symmetriaominaisuus: Φ( x) = 1 Φ(x). Edelleen todennäköisyys, että standardisoitu normaalijakautunut satunnaismuuttuja Z saa arvoja väliltä [a, b] on P(a < Z < b) = Φ(b) Φ(a). Lause 10. Jos Z N(µ,σ 2 ), niin X = az + b N(aµ +b,a 2 σ 2 ) kaikilla 0 a R ja b R. 1 cdf=cumulative distribution function
40 LUKU 4. JATKUVA SATUNNAISMUUTTUJA JA JAKAUMA Tätä lausetta hyväksi käyttämällä voidaan mielivaltaiseen normaalijakaumaan liittyvät todennäköisyyspäätelmät palauttaa N(0, 1)-jakautuneen satunnaismuuttujan todennäköisyyksiin. Esimerkiksi olkoon X N(µ,σ 2 ). Silloin satunnaismuuttuja Z = X µ σ N(0,1). Tällöin todennäköisyys sille, että X a on Vikaantumisjakaumista P(X a) = P(Z a µ σ ) = Φ(a µ σ ). Olkoon X 0 komponentin eliniän ilmoittava satunnaismuuttuja. Komponentin ehdollinen vikaantumistodennäköisyys voidaan määritellä ns. hasardifunktion ρ(t) avulla. Se määritellään siten, että ehdollinen todennäköisyys komponentin vikaantumiselle aikavälillä [t, t + dt], kun se on ollut ehjä ennen ajanhetkeä t on P(t < X t+dt X t) = ρ(t)dt. Olkoon satunnaismuuttujan X tiheysfunktio f(t) ja kertymäfunktio F(t). Tällöin ehdollinen todennäköisyys P[(t X t+dt) (X t)] P(t < X t+dt X t) = P(X t) P(t < X t+dt) = 1 P(X t) = F(t+dt) F(t) 1 F(t) = f(t)dt 1 F(t). Näin ollen hasardifunktio voidaan lausua tiheysfunktion ja kertymäfunktion avulla ρ(t) = f(t) 1 F(t). Koska tiheysfunktio on kertymäfunktion derivaatta, niin ρ(t) = F (t) 1 F(t) = d dt ln[1 F(t)].
4.2. JATKUVIA TODENNÄKÖISYYSJAKAUMIA 41 Integroimalla puolittain voidaan kertymäfunktio ratkaista hasardifunktion avulla: { 0, t < 0 F(t) = 1 e t 0 ρ(s)ds, t 0. Tiheysfunktio on silloin f(t) = { 0, t < 0 ρ(t)e t 0 ρ(s)ds, t 0. Weibullin jakauma Weibullin jakauman, X Weibull(α, β), hasardifunktio on ρ(t) = αβt β 1, t > 0, α,β > 0. Tiheys- ja kertymäfunktio ovat F(t) = 1 e αtβ, t > 0 f(t) = αβt β 1 e αtβ, t > 0. Weibullin jakauma on tyypillinen luotettavuustekniikassa käytetty komponentin eliniän jakautumismalli, joka ottaa huomioon, että komponentin hetkellinen vikaantumistodennäköisyys muuttuu käytössä, jos komponenttia ei huolleta. Kuvassa on esitetty Weibull-jakautuneen satunnaismuuttujan tiheysfunktioiden kuvaajia parametrien α ja β eri arvoilla. Huomaa, että erityisesti Wei(1, 1) = Exp(1).
42 LUKU 4. JATKUVA SATUNNAISMUUTTUJA JA JAKAUMA
Luku 5 Jakauman tunnusluvuista 5.1 Odotusarvo Diskreetin jakauman odotusarvo on E(X) = k:x k S X x k P(X = x k ), jos oikealla puolella oleva summa on suppeneva. Jatkuvan jakauman odotusarvo määritellään vastaavasti. Olkoon satunnaismuuttujan X tiheysfunktio f X (x). Tällöin satunnaismuuttujan X odotusarvo on E(X) = xf X (x)dx, mikäli integraali on olemassa. Odotusarvo ilmoittaa jakauman keskikohdan eli sen arvon, jonka satunnaismuuttuja keskimääräisesti saavuttaa. Odotusarvoa merkitään usein myös E(X) = µ. Esimerkki 14. Kaikilla jakaumilla ei ole odotusarvoa. Esimerkiksi (i) satunnaismuuttujalla X, jonka pistetodennäköisyysfunktio on P(X = k) = 6 π 2 k2, k = 1,2,3,...; (ii) Cauchy-jakautuneella satunnaismuuttujalla, jonka tiheysfunktio on ei ole odotusarvoa. f(x) = { 2 π 1, x 0, 1+x 2 0, x < 0, 43