Tilastomatematiikka. Jukka Kemppainen Oulun yliopisto Tekniikan matematiikka

Tilastomatematiikka Jukka Kemppainen Oulun yliopisto Tekniikan matematiikka 18. helmikuuta 2016

2 Tämä luentomoniste on tehty professori Keijo Ruotsalaisen luentojen pohjalta. Alkuperäisestä kirjoitustyöstä on vastannut Keijo itse. Myöhemmin monistetta ovat päivittäneet Pasi Ruotsalainen ja allekirjoittanut. Saatesanat opiskelijoille: mikäli teillä on käytössä graafisia laskimia, tarkastelkaa jo hyvissä ajoin niistä löytyviä tilastollisia toimintoja ja opetelkaa suorittamaan tilastollisia testejä laskimen avulla. Mikäli käytössä ei ole graafista laskinta, niin ei hätää! Funktiolaskimellakin pärjää! Itse asiassa tilastollinen analyysi tehdään oikeassa elämässä joka tapauksessa tietokoneella, joten graafinen laskin on tarpeeton. Tällä kurssilla olisi kuitenkin suotavaa, että funktiolaskimeen voi syöttää sisään havaintoaineiston ja saada tunnusluvut kuten keskiarvo ja hajonta suoraan ilman, että niitä tarvitsee laskea käsin. Laskimen ei tarvitse olla kovinkaan uusi, että edellinen ehto täyttyy. Kännyköiden (neli)laskimia en kuitenkaan suosittele käyttämään, sillä osa niistä ei ymmärrä edes laskutoimistusten järjestyksen päälle. Oulussa, joulukuussa 2015 Jukka Kemppainen Ihmisen henkistä toimintaa ei voi sanoa taiteeksi ellei se perustu matemaattiseen ajatteluun ja todistukseen - Leonardo da Vinci

Sisältö 1 Todennäköisyyden käsite 5 1.1 Satunnaiskoe ja otosavaruus................... 5 1.2 Joukko-oppia........................... 7 1.3 Klassinen todennäköisyys..................... 8 1.4 Todennäköisyyslaskennan aksioomat.............. 9 2 Ehdollinen todennäköisyys 13 2.1 Ehdollinen todennäköisyys.................... 13 2.2 Kokonaistodennäköisyys..................... 14 2.3 Bayesin kaava........................... 15 2.4 Riippumattomuus......................... 15 3 Satunnaismuuttuja ja diskreetti jakauma 17 3.1 Satunnaismuuttuja........................ 17 3.2 Diskreetti satunnaismuuttuja.................. 21 4 Jatkuva satunnaismuuttuja ja jakauma 27 4.1 Tiheysfunktio........................... 27 4.2 Jatkuvia todennäköisyysjakaumia................ 28 5 Jakauman tunnusluvuista 35 5.1 Odotusarvo............................ 35 5.2 Varianssi.............................. 37 5.3 Odotusarvon ja varianssin ominaisuuksia............ 38 6 Todennäköisyyslaskennan raja-arvolauseita 41 6.1 Chebyshevin epäyhtälö...................... 41 6.2 Suurten lukujen laki....................... 42 6.3 Keskeinen raja-arvolause..................... 43 6.4 Binomijakauman approksimaatio................ 43 3

4 SISÄLTÖ 7 Tilastollinen aineisto 47 7.1 Johdanto.............................. 47 7.2 Tunnuslukujen estimoinnista................... 48 7.2.1 Maximum Likelihood-estimointi............. 49 7.3 Normaalijakaumasta johdettuja jakaumia............ 55 7.4 Luottamusväli........................... 57 8 Hypoteesin testauksesta 59 8.1 Yleistä............................... 59 8.2 Yhden otoksen testejä...................... 62 8.2.1 Z-testi........................... 62 8.2.2 Suhteellisen osuuden testi................ 63 8.2.3 T-testi........................... 64 8.3 Kahden otoksen testejä...................... 66 8.3.1 Odotusarvojen erotuksen testi.............. 66 9 Lineaarinen regressio 71 9.1 Korrelaatio............................ 71 9.1.1 Pearsonin tulomomenttikorrelaatiokerroin....... 72 9.1.2 Populaation korrelaatiokerroin.............. 74 9.1.3 Korrelaatio ja kausaatio................. 74 9.2 Regressio.............................. 75 10 Kaksiulotteiset jakaumat 79 10.1 Satunnaismuuttujien yhteisjakauma............... 79 10.2 Yhteisjakauman tunnusluvut................... 82 A Kokeissa annettavat kaavat ja taulukot 91 Hakemisto 95

Luku 1 Todennäköisyyden käsite 1.1 Satunnaiskoe ja otosavaruus Todennäköisyyslaskennan tarkoituksena on kehittää matemaattisia menetelmiä kuvaamaan eksaktisti kokeita, joiden lopputulos on satunnainen. Tällaisissa "satunnaiskokeissa"kiinnostaa mahdolliset suotuisat "tapahtumat"ja näiden "todennäköisyydet". Siten aluksi meidän on kehitettävä näiden käsitteiden tarkka matemaattinen malli. Tarkastellaan ongelmaa, jossa heitetään säännöllistä noppaa. Nopanheiton lopputulos on joku luvuista {1, 2, 3, 4, 5, 6}. Nopan heiton lopputuloksia voidaan kutsua "alkeistapahtumiksi". Näiden alkeistapahtumien muodostamaa joukkoa kutsutaan "otosavaruudeksi"s = {1, 2, 3, 4, 5, 6}. Mutta alkeistapahtumien lisäksi voidaan tarkastella monimutkaisempia tapahtumia. Esimerkiksi nopanheiton lopputulos voi olla "pariton luku", "parillinen luku"tai "eri suuri kuin 1". Nämä suotuisat tapahtumat voidaan identifioida joukkojen {1,3,5},{2,4,6} tai {2,3,4,5,6} kanssa. Monimutkaisemmat tapahtumat ovat siten otosavaruuden S osajoukkoja. Tässä erikoistapauksessa kaikki mahdolliset suotuisat tapahtumat voidaan identifioida otosavaruuden S osajoukkojen joukon kanssa. Merkitään tätä S:n osajoukkojen joukkoa symbolilla E. Lisäksi hyväksytään, että tyhjä joukko on myös suotuisa tapahtuma, mitä se nyt tässä yhteydessä tarkoittaneekaan. Yleisesti tarkastelemme satunnaiskoetta, joka oletetaan voitavan toistaa samanlaisissa olosuhteissa mielivaltaisen monta kertaa. Satunnaiskokeella voi olla useita mahdollisia erilaisia lopputuloksia ja lopputuloksen määrää kullakin kokeen suorituskerralla sama satunnainen mekanismi. Satunnaiskokeen jokaista mahdollista lopputulosta kutsutaan alkeistapahtumaksi ja kaikkien mahdollisten alkeistapahtumien joukkoa kutsutaan otosavaruudeksi S. Otosavaruudesta käytetään myös nimitystä perusjoukko. Satun- 5

6 LUKU 1. TODENNÄKÖISYYDEN KÄSITE naiskokeessa tapahtuma on otosavaruuden osajoukko. Kaikki tapahtumat yhdessä muodostavat satunnaiskokeen tapahtumasysteemin E, joka siis koostuu otosavaruuden osajoukoista. Otosavaruus voi olla äärellinen kuten edellisessä nopanheitto-esimerkissä. Mutta otosavaruus voi olla myös numeroituvasti ääretön. Esimerkiksi suorittamalla satunnnaiskoe, jossa heitetään (symmetristä) kolikkoa niin kauan kunnes tulee ensimmäinen "kruuna", otosavaruus S = N. Edelleen useissa fysiikan ongelmissa satunnaiskokeen otosavaruus voi olla ylinumeroituvasti ääretön joukko (esim. S = R n ). Esimerkki 1. Tarkastellaan seuraavia satunnaiskokeita. Määrää kussakin tapauksessa otosavaruus. (a) Heitetään kolikkoa kaksi kertaa. (b) Heitetään noppaa kaksi kertaa. (c) Heitetään kolikkoa kunnes saadaan ensimmäinen kruuna. Ratk. (a) Otosavaruus on S = {HH,HT,TH,TT}, missä H = sattui kruuna ja T = sattui klaava. (b) Otosavaruus S = {(i,j) 1 i,j 6}. (c) Nopanheiton mahdollisuudet ovat {H, TH, TTH, TTTH,...}, joten otosavaruus voidaan samaistaa ei-negatiivisten kokonaislukujen joukon S = N kanssa. Tapahtumasysteemien määrääminen edes Esimerkin 1 tapauksessa ei ole mielekästä, vaikka (a)- ja (b)-kohdissa voisimme periaatteessa määrätä tapahtumasysteemin E luettelemalla kaikki alkiot. Kohdassa (a) tehtävä olisi siedettävä, sillä tapahtumasysteemin alkioiden (eli S:n osajoukkojen) lukumäärä on #E = 2 #S = 2 4 = 16. Kohdassa (b) alkioita olisi jo #E = 2 36 kappaletta, joka on noin 69 miljardia alkiota. Kohdassa (c) taasen tapahtumasysteemin kaikkien alkioiden luetteleminen ei ole mahdollista, sillä alkioita on ääretön määrä. Tarkastellaan Esimerkkiin 1 liittyvien tapahtumien määräämistä. Esimerkki 2. Olkoot (a) A = saadaan kruuna, (b) B = silmälukujen summa on 6,

1.2. JOUKKO-OPPIA 7 (c) C = korkeintaan 4 heittoa, Esimerkin 1 satunnaiskokeisiin liittyviä tapahtumia. Määrää tapahtumat A, B ja C. Ratk. Tehtävänä on siis määrätä sopivat S:n osajoukot, joiksi saadaan (a) A = {HT,TH,HH}. (b) B = {(1,5),(2,4),(3,3),(4,2),(5,1)}. (c) C = {H,TH,TTH,TTTH} tai yhtä lailla S = {1,2,3,4}, jos S = N. 1.2 Joukko-oppia Joukkoja merkitään isoilla kirjaimilla A,B,C,...,S ja niiden alkiota pienillä kirjaimilla. Jatkossa oletetaan, että joukot sisältyvät kiinteään otosavaruuteen S. Joukon A komplementtia otosavaruudessa S merkitään A = S\A. Se koostuu niistä S:n alkioista, jotka eivät kuulu joukkoon A. Joukkojen A ja B yhdiste A B on niiden S:n alkioiden joukko, jotka kuuluvat ainakin toiseen joukoista A ja B. Joukkojen A ja B leikkausjoukko A B on niiden alkioiden joukko sisältyvät kumpaankin joukoista A ja B. Olkoon S satunnaiskokeen otosavaruus ja E = {A A S} satunnaiskokeen tapahtumasysteemi. Yleisessä tapauksessa joudutaan matemaattisiin vaikeuksiin yritettäessä määritellä todennäköisyys jokaisessa otosavaruuden osajoukossa. Sen vuoksi rajoitutaan tarkastelemaan sellaista tapahtumasysteemiä, joka on kokoelma otosavaruuden osajoukkoja ja johon eivät välttämättä kaikki osajoukot kuulu. Sovellukset vaativat, että tapahtumasysteemi on suljettu edellä kuvattujen joukko-operaatioiden suhteen. Tällainen tapahtumasysteemi E on Boolen algebra: 1., S E; 2. A E A E; 3. A, B E A B E 4. A, B E A B E.

8 LUKU 1. TODENNÄKÖISYYDEN KÄSITE De Morganin kaavat Seuraavat säännöt ovat varsin hyödyllisiä A B = A B A B = A B σ-algebra Äärellisen otosavaruuden tapahtumasysteemille Boolen algebran rakenne on riittävä. Todennäköisyyslaskennassa joudutaan kuitenkin usein laskemaan todennäköisyyksiä joukoille, jotka ovat esimerkiksi reaalilukujen joukon osajoukkoja. Tällaiset joukot ovat usein hyvin komplisoituja, ja niiden konstruoiminen yksinkertaisten välien äärellisinä yhdisteinä ja leikkauksina on mahdotonta. Lukemalla mukaan myös äärettömät yhdisteet ja leikkaukset saadaan laajempi joukkosysteemi eli σ-algebra. Joukkosysteemi E on σ-algebra, jos se on Boolen algebra ja lisäksi täyttää ehdon A k E, k N k=0 A k E. Oletetaan jatkossa, että satunnaiskokeen tapahtumasysteemi on σ-algebra. Äärellisen otosavaruuden tapahtumasysteemiksi voidaan valita otosavaruuden kaikkien osajoukkojen muodostama joukko, joka on aina automaattisesti σ-algebra, sillä osajoukkojen joukkokin on äärellinen. Yleisessä tapauksessa, esimerkiksi kun S = R, tapahtumasysteemi ei sisällä kaikkia otosavaruuden osajoukkoja, mutta on kuitenkin täysin riittävä ja sillä voidaan määritellä käyttökelpoinen todennäköisyysfunktio. 1.3 Klassinen todennäköisyys Klassisessa todennäköisyydessä otosavaruus on yleensä äärellinen, joten satunnaiskokeen alkeistapahtumat voidaan numeroida S = {e 1,...,e N }. Lisäksi oletetaan, että jokainen alkeistapahtuma on yhtä todennäköinen: P(e i ) = 1 N. Tällä valinnalla varman tapahtuman l. S:n todennäköisyys P(S) = 1. Jos B on satunnaiskokeen jokin tapahtuma, niin sen todennäköisyys on P(B) = m N, missä m = #B on joukon B alkioiden lukumäärä. Klassisen todennäköisyyden määräämisessä joudutaan varsin usein laskemaan erilaisten kombinaatioiden lukumääriä. Permutaatio Permutaatio on äärellisen joukon W = {w 1,w 2,...,w n } joku järjestys. Niiden lukumäärä on "n-kertoma"l. n! = 1 2 3 n.

1.4. TODENNÄKÖISYYSLASKENNAN AKSIOOMAT 9 Järjestetty kertaotos (k-permutaatio) Järjestetyssä kertaotoksessa kokoa k poimitaan joukosta W = {w 1,w 2,w 3,...,w n } k kappaletta alkioita tietyssä järjestyksessä. Tällöin esimerkiksi otokset w 3 w 2 w 1 ja w 1 w 2 w 3 tulkitaan eri otoksiksi. Järjestettyjen kertaotosten lukumäärä on n! (n k)! = n (n 1) (n k +1). Järjestämätön kertaotos (k-kombinaatio) Järjestämättömässä kertaotoksessa kokoa k joukosta W poimittujen alkioiden keskinäisellä järjestyksellä ei ole väliä. Niiden lukumäärä on binomikerroin ( ) n n! = k k!(n k)!. Geometrinen todennäköisyys Satunnaiskokeessa heitetään tikkaa maalitauluun, joka koostuu yhdeksästä sisäkkäisestä renkaasta ja keskellä olevasta ympyrästä. Tarkastellaan tapausta, jossa tikanheitto on täysin satunnainen tapahtuma, joka on riippumaton kokeen suorittajan kädentaidoista, ilmavirtauksista jne.. Tapahtumat, joista olemme kiinnostuneita ovat seuraavanlaiset: Osumakohta on joku renkaista maalitaulussa S. Tällöin tapahtumasysteemin suotuisat tapahtumat A ovat maalitaulun (mitallisia) osajoukkoja. On luonnollista olettaa, että tällaisen tapahtuman todennäköisyys on verrannollinen joukon A pinta-alaan. Normittamalla varman tapahtuman (A= tikka osuu maalitauluun =S) todennäköisyydeksi P(S) = 1, saadaan osumatodennäköisyydeksi joukkoon A P(A) = m(a) m(s), missä m(a) on joukon pinta-ala. Todennäköisyyttä, joka on verrannollinen tarkasteltavan tapahtuman geometriseen pituuteen, pinta-alaan, tai tilavuuteen, kutsutaan geometriseksi todennäköisydeksi. Sekin noudattaa klassista (l. tasaista) todennäköisyysmallia. 1.4 Todennäköisyyslaskennan aksioomat Oletetaan, että S on satunnaiskokeeseen liittyvä otosavaruus ja E tapahtumasysteemi.

10 LUKU 1. TODENNÄKÖISYYDEN KÄSITE Määritelmä 1. Todennäköisyys P on joukkofunktio tapahtumasysteemiltä reaalilukujen joukkoon, joka toteuttaa ehdot 1. 0 P(A) 1 kaikilla tapahtumilla A, 2. P(S) = 1, 3. Jos A i E ja A i A j = aina, kun i j ja i,j = 1,2,..., niin P ( ) A i = P(A i ). i=1 Ehdot 1 3 ovat todennäköisyyslaskennan aksioomat. Kolmikkoa {S, E, P} kutsutaan todennäköisyysavaruudeksi, jos S, E on σ-algebra ja P : E R on todennäköisyys. Todennäköisyyden aksioomat esitti neuvostoliittolainen matemaatikko A. N. Kolmogorov (1903-1987) vuonna 1929. Teoksessaan Grundbegriffe der Wahrscheinlichkeitsrechnung (1933) [The Foundations of the Theory of Probability (1956)] Kolmogorov osoitti, että nämä aksioomat soveltuvat myös ajassa kehittyvien satunnaisilmiöiden (stokastisten prosessien) teorian perustaksi. Suoraan todennäköisyyden määritelmästä seuraa: Lause 1. Todennäköisyysmitalle eli -funktiolle on voimassa: (i) P( ) = 0; (ii) P(A) = 1 P(A); (iii) Jos tapahtumat {A 1,A 2,...,A n } ovat erillisiä (l. toisensa poissulkevia), ts. A i A j =, kun i j, niin P(A 1 A 2 A n ) = P(A 1 )+P(A 2 )+P(A 3 )+ +P(A n ); i=1 (iv) P(A) P(B) aina, kun A B; (v) P(A\B) = P(A B) = P(A) P(A B); (vi) P(A B) = P(A)+P(B) P(A B).

1.4. TODENNÄKÖISYYSLASKENNAN AKSIOOMAT 11 Todistus: (i) Valitsemalla aksioomassa 3 A i = kaikilla i N saadaan P( ) = P( )+P( )+..., josta P( ) = 0. (ii) Valitaan aksioomassa 3 A 1 = A, A 2 = A ja A i = kaikilla i 3. Joukkojen A ja A leikkaus on tyhjä joukko ja niiden yhdiste on koko otosavaruus. Tällöin aksioomien 3 ja 2 ja kohdan (i) nojalla P(S) = P(A A) = P(A)+P(A) = 1, josta saadaan väittämä P(A) = 1 P(A). (iii) Tämä väittämä saadaan kohdasta (i) ja aksioomasta 3 valitsemalla A i = kaikilla i n+1. (iv) Joukko B = A (B A), missä A (B A) =. Näin ollen aksioomien 1 ja 3 nojalla P(B) = P(A)+P(B A) P(A). (v) Joukko voidaan kirjoittaa erillisten joukkojen yhdisteenä A = (A B) (A B), jonka todennäköisyys on P(A) = P(A B)+P(A B) P(A B) = P(A) P(A B). (vi) Voidaan kirjoittaa A B = (A B) B, jolloin kohtien (iii) ja (v) nojalla saadaan P(A B) = P((A B) B) = P(A B)+P(B) = P(A)+P(B) P(A B).

12 LUKU 1. TODENNÄKÖISYYDEN KÄSITE

Luku 2 Ehdollinen todennäköisyys 2.1 Ehdollinen todennäköisyys Olkoon jatkossa S satunnaiskokeen otosavaruus, E sen tapahtumasysteemi ja P todennäköisyys. Määritelmä 2. Olkoon A ja B kaksi tapahtumaa, missä P(B) > 0. Tapahtuman A ehdollinen todennäköisyys ehdolla B on P(A B) = P(A B). (2.1) P(B) Ehdollisen todennäköisyyden idea on kuvailla tapahtuman A sattumista, kun tiedetään, että tapahtuma B on sattunut. Alkuperäisen tapahtumasysteemin sijaan voidaan rajoittua tarkastelemaan B:n osajoukkoja ja Määritelmän 2 kaava (2.1) määrittelee uuden todennäköisyysfunktion P( B) alkuperäisen todennäköisyysfunktion P avulla. Ehdollisen todennäköisyyden otosavaruudeksi voidaan siis ottaa B, tapahtumasysteemiksi E B = {A B A E} ja todennäköisyysfunktioksi P B ( ) := P( B), jolloin saadaan todennäköisyysavaruus {B,E B,P B }. Saatu todennäköisyysavaruus on Määritelmän 1 mukainen, sillä suoraan todennäköisyysfunktion P ominaisuuksien avulla saadaan 1. 0 P B (A) = P(A B) 1 kaikilla tapahtumilla A B; 2. P B (B) = P(B B) = 1; 3. P B (A 1 A 2 ) = P(A 1 A 2 B) = P(A 1 B)+P(A 2 B), kun A 1 A 2 = (Määritelmän 1 ehto 3 vastaavasti). Huomautus 1. Huomaa, että 13

14 LUKU 2. EHDOLLINEN TODENNÄKÖISYYS (i) todennäköisyydellä P B tapahtumien A E ja A B E B todennäköisyydet ovat samat. Tämän vuoksi yllä kohdassa 1 oletimme A B. (ii) todennäköisyydellä P B itse asiassa tapahtumien A 1 ja A 2 leikkausjoukko voi olla epätyhjä; mutta silti A 1 A 2 B = yllä kohdassa 3 saadaan P B (A 1 A 2 ) = P B (A 1 )+P B (A 2 ). Ehdollisen todennäköisyyden määritelmästä saadaan todennäköisyyslaskennan kertolaskusääntö: P(A B) = P(B)P(A B), kun P(B) > 0 P(A B) = P(A)P(B A), kun P(A) > 0 Täydellisellä induktiolla voidaan todistaa: Lause 2. Olkoot A 1,A 2,...,A n E siten, että P(A 1 A n 1 ) > 0 Tällöin on voimassa P(A 1 A n ) = P(A 1 )P(A 2 A 1 )P(A 3 A 1 A 2 ) P(A n A 1 A n 1 ). 2.2 Kokonaistodennäköisyys Olkoon {A 1,A 2,...,A n } otosavaruuden S ositus, eli ja A i A j =, i j, A 1 A 2 A 3 A n = S. Olkoon ositus sellainen, että P(A i ) > 0 kaikilla i = 1,...,n. Mielivaltaiselle tapahtumalle B, jolle P(B) > 0, on (A 1 B) (A 2 B) (A n B) = B. Koska tapahtumat A i B ovat erillisiä, niin P(B) = P(A 1 B)+ +P(A n B). Toisaalta kertolaskusäännön nojalla kaikille i = 1, 2,..., n: P(A i B) = P(B A i )P(A i ). Sijoittamalla tapahtuman B todennäköisyyden lausekkeeseen saadaan ns. kokonaistodennäköisyyden kaava P(B) = n P(B A i )P(A i ). i=1

2.3. BAYESIN KAAVA 15 2.3 Bayesin kaava Tapahtumille A ja B on voimassa kertolaskusäännön nojalla P(A B) = P(B A)P(A), P(B) kunhan P(A), P(B) > 0. Olkoon {A 1,A 2,...,A n } otosavaruuden ositus, jolle P(A i ) > 0 kaikilla i = 1,..., n. Kokonaistodennäköisyyskaavan nojalla P(B) = n P(B A i )P(A i ). i=1 Kertolaskusäännön ja kokonaistodennäköisyyden perusteella saadaan Lause 3 (Bayesin kaava). P(A j B) = P(B A j )P(A j ) n k=1 P(A k)p(b A k ). 2.4 Riippumattomuus Määritelmä 3. Tapahtumat A ja B ovat riippumattomia, jos P(A B) = P(A)P(B). Ehdollisen todennäköisyyden määritelmästä nähdään, että tapahtumat ovat riippumattomia, jos B:n esiintyminen ei vaikuta tapahtuman A todennäköisyyteen. Siis, jos P(B) > 0, niin A ja B ovat riippumattomia P(A B) = P(A). Riippumattomuuden käsite yleistetään kahta useammalle tapahtumalle seuraavasti. Määritelmä 4. Olkoon {S,E,P} todennäköisyysavaruus ja A 1,A 2,...,A n tapahtumia. Sanotaan, että ne ovat keskinäisesti riippumattomia, jos kaikille indeksijoukoille {i 1,i 2,...,i k } {1,2,3,...,n} P(A i1 A ik ) = P(A i1 ) P(A ik ). Tapahtumat{A 1,A 2,...,A n } ovat pareittain riippumattomia, jos kaikille i j P(A i A j ) = P(A i )P(A j ).

16 LUKU 2. EHDOLLINEN TODENNÄKÖISYYS Huom! Keskinäisesti riippumattomat ovat pareittain riippumattomia, mutta ei päinvastoin. Lause 4. Tapahtumat A ja B ovat riippumattomia, jos ja vain jos A ja B ovat riippumattomia. Tilastollinen riippumattomuus on todennäköisyysfunktion ominaisuus, eikä sillä ole mitään tekemistä joukko-opillisen erillisyyden (l. poissulkeavuuden) kanssa. Riippumattomien tapahtumien leikkaus ja yhdiste Olkoon tapahtumat A 1,A 2,...,A n riippumattomia. Tällöin Lauseen 2 tulos leikkaustapahtumille yksinkertaistuu muotoon P(A 1 A 2 A n ) = P(A 1 )P(A 2 ) P(A n ). (2.2) Kaavasta (2.2) ja Lauseesta 4 saadaan riippumattomien tapahtumien tapauksessa näppärästi myös tapahtuman n A i = ainakin yksi tapahtumista A i sattuu i=1 todennäköisyydeksi P(A 1 A 2 A n ) =1 P(A 1 A 2 A n ) [ ][ ] 1 1 P(A 1 ) 1 P(A 2 ) [ ] 1 P(A n ). Satunnaiskokeiden riippumattomuuden päättelyssä käytetään ensisijaisesti yleistä tietoa ja tervettä maalaisjärkeä; vasta toissijaisesti laskennallisia menetelmiä.

Luku 3 Satunnaismuuttuja ja diskreetti jakauma 3.1 Satunnaismuuttuja Useissa todennäköisyyden luonnon- tai teknistieteellisissä sovellutuksissa satunnaiskokeen lopputulos on numeerinen lukuarvo. Virtapiireissä mitataan jännitteitä ja virranvoimakkuuksia, törmäyskokeissa lasketaan esiintyvien hiukkasten lukumääriä, ja sähkömagneettisissa sovellutuksissa arvioidaan kentän intensiteettiä. Ellei satunnaiskokeen tulos ole valmiiksi reaaliluku, se voidaan usein luontevasti muuntaa reaaliluvuksi jollakin funktiolla, joka suorittaa kuvauksen otosavaruudesta reaalilukujen joukkoon R. Tämä kuvaus on satunnaismuuttuja. Se mahdollistaa klassisen reaalianalyysin ottamisen todennäköisyyslaskennan käyttöön. Satunnaismuuttujaan liittyvät todennäköisyydet muodostavat satunnaismuuttujan jakauman, jota voidaan käsitellä analyyttisesti R:ssä määritellyn kertymäfunktion avulla. Satunnaismuuttujista ja niiden jakaumista voidaan erottaa kaksi tavallista tyyppiä: diskreetti ja jatkuva. Olkoon {S, E, P} todennäköisyysavaruus. Täsmällisesti ottaen satunnaismuuttuja on funktio X : S R, joka liittää reaaliluvun X(e) jokaiseen alkeistapahtumaan e S. Satunnaismuuttujan arvojoukkoa merkitään symbolilla S X, joka voidaan tulkita satunnaiskokeen otosavaruudeksi. Jokainen funktio X : S R ei ole satunnaismuuttuja. Kyseessä on satunnaismuuttuja vain, jos jokaisella x R joukko {X x} kuuluu tapahtumasysteemiin. Tässä {X x} = {e S X(e) x}. Jokaiseen reaalilukuun x liittyy siten satunnaiskokeen tietty tapahtuma, jolla on täysin määrätty todennäköisyys. Satunnaismuuttujan arvoa x sanotaan sen realisaatioksi. 17

18 LUKU 3. SATUNNAISMUUTTUJA JA DISKREETTI JAKAUMA Satunnaismuuttujan valinta ei ole yksikäsitteinen; mutta toiset valinnat ovat yksinkertaisempia kuin toiset. Esimerkiksi nopanheitossa silmäluku on luonnollinen valinta alkeistapahtumaa kuvaavaksi satunnaismuuttujaksi; mutta yhtä hyvin voitaisiin valita satunnaismuuttujaksi X( silmäluku on i ) = 100+i, i = 1,2,3,4,5,6. Kertymäfunktio Satunnaismuuttujan otosavaruudessas X todennäköisyys P X määritellään alkuperäisen todennäköisyyden avulla. Näin ollen jokaiselle joukolle {X x} voidaan yksikäsitteisesti määritellä todennäköisyys P X ({X x}) = P({e S X(e) x}). Tämä todennäköisyys on x:n funktio, ja sitä kutsutaan kertymäfunktioksi: F X (x) = P X (X x). Jos ei ole sekaannuksen vaaraa, niin usein jätetään kertymäfunktion ja satunnaismuuttujan todennäköisyydestä alaindeksi X merkitsemättä. Kertymäfunktion ominaisuuksia: 1. 0 F(x) 1 kaikilla x R; 2. F(x 1 ) F(x 2 ), kun x 1 x 2 ; 3. F on oikealta jatkuva; 4. lim x F(x) = 0, lim x F(x) = 1; 5. P(x 1 < X x 2 ) = F(x 2 ) F(x 1 ). Tapahtuma {X } on tietysti tyhjä joukko, ja tapahtuman {X < } täytyy sisältää kaikki satunnaiskokeen tapahtumat. Huomautus 2. Kertymäfunktiota nimitetään usein satunnaismuuttujan jakaumaksi, sillä kertymäfunktio määrää kaikkien tapahtumien todennäköisyydet yksikäsitteisesti. Jos X on satunnaismuuttuja, jonka kertymäfunktio on F X, niin edelliseen nojautuen usein käytetään merkintää X F X.

3.1. SATUNNAISMUUTTUJA 19 Algebralliset laskutoimitukset Koska samassa todennäköisyysavaruudessa {S, E, P} määritellyt satunnaismuuttujat ovat reaaliarvoisia funktioita, joilla on sama lähtöjoukko S, niille voidaan luonnollisella tavalla määritellä algebralliset laskutoimitukset. (i) Reaaliluvulla kertominen: jos c R ja X on satunnaismuuttuja, niin cx on kuvaus S R, jolle (cx)(e) = c X(e) kaikilla e S. (ii) Yhteenlasku: jos X ja Y ovat satunnaismuuttujia, niin X +Y on kuvaus S R, jollekin (X +Y)(e) = X(e)+Y(e) kaikilla e S. (iii) Kertolasku: jos X ja Y ovat satunnaismuuttujia, niin XY on kuvaus S R, jolle (XY)(e) = X(e) Y(e) kaikilla e S. (iv) Jakolasku: jos X on satunnaismuuttuja ja Y on satunnaismuuttuja, jolle P(Y = 0) = 0, niin X on kuvaus S R, jolle Y X Y (e) = { X(e), kun Y(e) 0, Y(e) 0, kun Y(e) = 0. Voidaan todistaa, että edellä mainituilla algebrallisilla laskutoimituksilla saadut funktiot S R ovat edelleen satunnaismuuttujia. Lause 5. Olkoot X ja Y todennäköisyysavaruudessa {S, E, P} määriteltyjä satunnaismuuttujia ja c R. Tällöin cx, X + Y, XY, max{x,y} ja min{x,y} ovat satunnaismuuttujia. Lisäksi, jos P(Y = 0) = 0, niin X Y on satunnaismuuttuja. Induktiolla Lauseesta 5 saadaan Korollaari 1. Jos X 1,X 2,...,X n ovat todennäköisyysavaruudessa {S,E,P} määriteltyjä satunnaismuuttujia ja c 1,c 2,...,c n R, niin c 1 X 1 + +c n X n, X 1 X n, max{x 1,...,X n } ja min{x 1,...,X n } ovat satunnaismuuttujia.

20 LUKU 3. SATUNNAISMUUTTUJA JA DISKREETTI JAKAUMA Satunnaismuuttujan muunnokset Jos X : S R on satunnaismuuttuja ja g : R R funktio, ne määrittelevät yhdistetyn funktion g X : S R, jolle käytetään merkintää g X = g(x). Kuvausta g(x) sanotaan satunnaismuuttujan X muunnokseksi. Mitä ehtoja funktiolle g on asetettava, että g(x) on edelleen satunnaismuuttuja? Seuraava lause kattaa tärkeimmät tapaukset. Lause 6. Jos X on satunnaismuuttuja todennäköisyysavaruudessa {S, E, P} ja (i) jos g on jatkuva, niin g(x) on satunnaismuuttuja. (ii) jos g on monotoninen (kasvava tai vähenevä), niin g(x) on satunnaismuuttuja. Satunnaismuuttujien riippumattomuus Satunnaismuuttujien riippumattomuus palautetaan tapahtumien riippumattomuuden käsitteeseen seuraavalla tavalla. Määritelmä 5. Olkoot X ja Y satunnaismuuttujia todennäköisyysavaruudessa {S, E, P}. Sanotaan, että X ja Y ovat riippumattomia, jos tapahtumat {X x} ja {Y y} ovat riippumattomia kaikilla x, y R, eli kaikilla x,y R. P({X x} {Y y}) = P({X x})p({y y}) Useamman kuin kahden satunnaismuuttujan tapauksessa puhutaan keskinäisestä riippumattomuudesta. Määritelmä 6. Olkoot X 1,...,X n satunnaismuuttujia todennäköisyysavaruudessa {S,E,P}. Sanotaan, että X 1,...,X n ovat keskinäisesti riippumattomat, jos P({X 1 x 1 } {X n x n }) = P({X 1 x 1 }) P({X n x n }) kaikilla x 1,...,x n R. Huomautus 3. Usein puhutaan riippumattomista satunnaismuuttujista, jolla tarkoitetaan keskinäisesti riippumattomia satunnaismuuttujia. Lause 7. Jos X ja Y ovat riippumattomia satunnaismuuttujia, niin g(x) ja h(y) ovat riippumattomia kaikilla funktioilla g, h : R R, joilla g(x) ja h(y) ovat satunnaismuuttujia (ks. Lause 6).

3.2. DISKREETTI SATUNNAISMUUTTUJA 21 Lauseella 7 on seuraava vastine n-ulotteisessa tapauksessa. Lause 8. Jos X 1,...,X n ovat keskinäisesti riippumattomia satunnaismuuttujia, niin g(x 1,...,X k ) ja h(x k+1,...,x n ) ovat riippumattomia kaikilla funktioilla g : R k R ja h : R n k R, joilla muunnokset g(x 1,...,X k ) ja h(x k+1,...,x n ) ovat satunnaismuuttujia. Esimerkki 3. Jos X, Y, Z, V ovat keskinäisesti riippumattomia, niin esimerkiksi (i) X +Y +Z ja V, (ii) X Y ja Z +V, (iii) XY ja Z 2 +V 2 ovat riippumattomia. 3.2 Diskreetti satunnaismuuttuja Diskreetti jakauma Satunnaismuuttuja X on diskreetti, jos sen arvojoukko S X on äärellinen tai numeroituvasti ääretön: S X = {x k ; k = 1,2,3,...}. Satunnaismuuttujaan X liittyvä jakauma on pistejoukko Funktiota (x k,p(x = x k )), k = 1,2,3,... f(x) = { P(X = x k ), x = x k 0, x x k, k kutsutaan pistetodennäköisyysfunktioksi. Jos arvojoukko on pieni, on jakauma havainnollista esittää taulukkona. Esimerkki 4. Jos X saa vaikkapa 4 eri arvoa x 1,x 2,x 3,x 4, niin jakaumaa kuvaa taulukko X x 1 x 2 x 3 x 4 P(X = x k ) p 1 p 2 p 3 p 4 Diskreetin satunnaismuuttujan kertymäfunktio on porrasfunktio F(x) = P(X = x k ). k:x k x

22 LUKU 3. SATUNNAISMUUTTUJA JA DISKREETTI JAKAUMA Kertymäfunktion ominaisuuden lim x F(x) = 1 nojalla on pistetodennäköisyysfunktion arvojen summa = 1, eli k:x k S X f(x k ) = 1. Kuva 3.1: Erään satunnaismuuttujan kertymäfunktio Esimerkki 5. Kuvaan 3.1 on piirretty erään satunnaismuuttujan kertymäfunktio. (a) Onko kyseessä diskreetti vai jatkuva satunnaismuuttuja? (b) Mitä voit sanoa satunnaismuuttujan saamista arvoista ja niihin liittyvistä todennäköisyyksistä? Ratkaisu: (a) Koska kuvaaja on porrasfunktio, on kyseessä diskreetti satunnaismuuttuja. (b) Kuvan perusteella satunnaismuuttuja X saa arvot 0,1 ja 2. Arvopisteissä olevien hyppäysten suuruudet ovat arvojen pistetodennäköisyydet ja

3.2. DISKREETTI SATUNNAISMUUTTUJA 23 ne näyttäisivät olevan P(X = 0) = 0.25, P(X = 1) = 0.5, ja P(X = 2) = 0.25, joiden summa on 1 kuten pitääkin. Binomijakauma Toistetaan satunnaiskoetta n kertaa riippumattomasti. Nämä n koetta muodostavat yhdistetyn kokeen E n. Tarkastellaan yksittäisen satunnaiskokeen tapahtumaa B, jonka todennäköisyys P(B) = p ja sen komplementtitapahtumaa B, P(B) = 1 p. Yhdistetyn kokeen tapahtumaan A k ={ B sattuu täsmälleen k kertaa } määrittelee satunnaismuuttujan X, jonka arvojoukko S X = {0,...,n}. Tällaisten tapahtumien lukumäärä vastaa järjestämättömien kertaotosten lukumäärää l. binomikerrointa ( n k ) = n! k!(n k)! n(n 1) (n k +1) =. k! Yksittäisen tällaisen kertaotoksen todennäköisyys on p k (1 p) n k. Näin ollen tapahtuman A k todennäköisyys, l. binomi-jakautuneen satunnaismuuttujan pistetodennäköisyysfunktio on ( ) n P(X = k) = p k (1 p) n k. k Merkitään X Bin(n, p), jos satunnaismuuttuja noudattaa binomijakaumaa. Jos X 1 Bin(n 1,p) ja X 2 Bin(n 2,p), niin X 1 +X 2 Bin(n 1 +n 2,p). Kuviin 3.2 ja 3.3 on piirretty binomijakautuneen satunnaismuuttujan pistetodennäköisyysfunktiot, joista näkyy parametrin p vaikutus kuvaajaan. Geometrinen jakauma Toistetaan riippumattomasti satunnaiskoetta. Tarkkaillaan tapahtuman B sattumista jokaisella toistolla. Esitetään kysymys: "Millä todennäköisyydellä B tapahtuu ensimmäisen kerran k:nnella toistolla?" Yhdistetyn tapahtuman todennäköisyys on P(A) = (1 p) k p. A = } B B {{} B. k 1 kertaa

24 LUKU 3. SATUNNAISMUUTTUJA JA DISKREETTI JAKAUMA Kuva 3.2: X Bin(50, 0.2) Kuva 3.3: X Bin(50, 0.5) Liittämällä edelliseen tapahtumaan satunnaismuuttuja X, joka ilmoittaa monennella kerralla B sattuu ensimmäisen kerran saadaan geometrisesti jakautunut satunnaismuuttuja X Geo(p), jonka pistetodennäköisyys on Poisson-jakauma P(X = k) = p(1 p) k 1. Jos toistokokeessa toistojen lukumäärä n on hyvin suuri ja mielenkiintoisen tapahtuman B todennäköisyys on pieni (p = P(B) << 1), niin ( ) n P(A k ) = p k (1 p) n k n! = k k!(n k)! pk (1 p) n k P k = ak e a, k! missä a = np ja 0 k <. Eksponenttifunktion potenssisarjan e a = k=0 nojalla luvut P k muodostavat todella pistetodennäköisyyden satunnaismuuttujalle X : S N P(X = k) = ak e a, k! sillä P(X = k) = e a a k k! = e a e a = 1. k=0 k=0 a k k!

3.2. DISKREETTI SATUNNAISMUUTTUJA 25 Luku a on keskimääräinen onnistumisten lukumäärä (ks. viikon 5 luennot). Poisson-jakautunutta satunnaismuuttujaa merkitään X Poi(a). Jos X 1 Poi(a 1 ) ja X 2 Poi(a 2 ), niin X 1 +X 2 Poi(a 1 +a 2 ). 0.18 0.16 0.14 0.12 0.1 0.14 0.12 0.1 0.08 Poisson-jakauma Binomijakauma 0.08 0.06 0.04 0.02 0.06 0.04 0.02 0 0 5 10 15 20 25 30 35 40 45 50 0 0 5 10 15 20 25 30 35 40 45 50 Kuva 3.4: X Poi(5) Kuva 3.5: X Poi(10) Kuviin 3.4 ja 3.5 on piirretty Poisson-jakauman pistetodennäköisyyksiä, joista näkyy parametrin a vaikutus profiiliin. Kuvaan 3.5 on lisäksi piirretty Kuvan 3.2 Bin(50, 0.2)-jakauman pistetodennäköisyydet. Poisson-jakaumaapproksimaatio toimii kuvan perusteella kohtuullisesti. Huomaa, että Kuvan 3.5 jakaumille a = np = 10. Hurraa, Einstein! Kun valonsäde kohdistetaan valosähköisesti herkkään materiaaliin, se irrottaa pinnasta elektroneja. Vetämällä ne positiivisella jännitteellä varattuun anodiin ulkoisen virtapiirin virran voimakkuus kasvaa. Virran voimakkuudesta voidaan päätellä irronneiden elektronien lukumäärä. Irronneiden elektronien lukumäärää ei voida ennustaa tarkalleen, vaan lukumäärä on satunnaismuuttuja. Keskimääräinen emittoituneiden elektronien lukumäärä a on suoraan verrannollinen pintaan kohdistuvan säteilyn kokonaisenergiaan W aikavälillä [0, T]. Jos valontaajuus on ν, niin tämä keskimääräinen arvo on a = ηw hν, missä h on Planck n vakio, η on ns. materiaalin kvanttitehokkuus. Tavallisesti oppikirjoissa luku η tulkitaan todennäköisyydeksi tapahtumalle, että yksittäinen fotoni irroittaa elektronin (joka on mitattavissa), ja W on pintaan hν osuvien fotonien lukumäärä. Elektronin irtoamistodennäköisyys p pinnasta ja joutuminen anodiin on kuitenkin hyvin pieni. Määritellään suotuisaksi tapahtumaksi tapahtuma, jossa elektroni emittoituu pinnasta. Todennäköisyys, että mittalaitteessa rekisteröidään k elektronia, noudattaa binomijakaumaa. Mutta koska materi-

26 LUKU 3. SATUNNAISMUUTTUJA JA DISKREETTI JAKAUMA aalin pinnassa (kohdassa, mihin fotonit osuvat) olevien elektronien lukumäärä n >> 1 ja p << 1, niin voidaan approksimoida, että satunnaismuuttuja X (emittoituneiden elektronien lukumäärä) noudattaa Poissonin jakaumaa. Huomaa, että tässä leikitään taas tapahtumien riippumattomuuksilla. Nimittäin oletetaan, että elektronin emittoituminen on riippumaton siitä, kuinka muut elektronit käyttäytyvät. Ja lisäksi oletetaan, että valo ei ole liian intensiivistä kasvattaakseen potentiaalisesti emittoituvien elektronien lukumäärää n. Hypergeometrinen jakauma Tarkastellaan N kappaletta numeroita, esimerkiksi joukkoa {1, 2,..., N}. Numeroista on merkitty kokeenjärjestäjän toimesta m kappaletta. Kokeensuorittaja valitsee numeroiden joukosta umpimähkäisesti n numeroa. Millä todennäköisyydellä kokeensuorittaja valitsi täsmälleen k kappaletta ennakolta merkittyä numeroa? Satunnaiskoe määrittelee satunnaismuuttujan X, joka noudattaa hypergeometrista jakaumaa: ( m N m ) P(X = k) = k)( n k ( N. n) Esimerkki 6. Millä todennäköisyydellä lotossa saadaan täsmälleen 4 oikein?

Luku 4 Jatkuva satunnaismuuttuja ja jakauma 4.1 Tiheysfunktio Satunnaismuuttuja X on jatkuva, jos sen kertymäfunktio on jatkuva kaikilla x:n arvoilla. Jatkossa oletetaan lisäksi, että kertymäfunktio on paloittain derivoituva. Toisin sanoen sillä on derivaatta olemassa lukuunottamatta äärellistä määrää derivaatan hyppäysepäjatkuvuuksia. Tällöin on olemassa tiheysfunktio f X (t) siten, että F X (x) = P(X x) = x f X (t)dt. Jos ei ole suurta erehtymisen riskiä, niin usein merkitään f(x) = f X (x). Jatkuvalle jakaumalle F(a+h) F(a h) 0, kun h 0. Näin ollen P(X = a) = 0. Diskreetille jakaumalle tämä ei välttämättä päde. Tiheysfunktion ominaisuuksia: 1. f X (x) 0, x; 2. f X(x)dx = 1; 3. P(a < X b) = b a f X(x)dx = F X (b) F X (a); 4. f X (x) = df X(x) dx. Koska P(X = b) = 0, niin jatkuvalle jakaumalle seuraavat todennäköisyydet ovat yhtä suuria: P(a < X < b) = P(a X < b) = P(a X b) = P(a < X b). 27

28 LUKU 4. JATKUVA SATUNNAISMUUTTUJA JA JAKAUMA Kuva 4.1: P(X 2) Kuva 4.2: P( 1 < X < 1) Kuva 4.3: P(X > 1) Kuvissa 4.1, 4.2 ja 4.3 on havainnollistettu erääseen jatkuvaan jakaumaan liittyviä todennäköisyyksiä, jotka geometrisesti ovat tiheysfunktion, rajoiteehtojen ja x-akselin väliin jäävän alueen pinta-aloja. 4.2 Jatkuvia todennäköisyysjakaumia Eksponenttijakauma Satunnaismuuttuja X noudattaa eksponenttijakaumaa, X exp(a), jos sen tiheysfunktio on { 0, x < 0, f X (x) =. ae ax, x 0 Sen kertymäfunktio on silloin F X (x) = x f X (t)dt = { 0, x < 0 1 e ax, x 0 Eksponenttijakauman parametri a > 0. Sen käänteisluku 1 ilmoittaa satunnaismuuttujan keskimääräisen arvon. a Tyypillisesti eksponenttijakaumalla mallinnetaan odotusaikaa jollekin tapahtumalle tai eliaikaa jollekin komponentille kuten esimerkiksi diodille. Eksponenttijakaumalla on muistinmenetysominaisuus P(X > t+h X > t) = P(X > h) kaikilla t 0 ja h > 0. (4.1) Voidaan osoittaa, että ainoa positiivinen satunnaismuuttuja, jolla on ominaisuus (4.1), on eksponenttijakautunut. Jos eksponenttijakauma mallintaa esimerkiksi jonkin komponentin elinaikaa, niin komponentti ei muista kuinka kauan se on ollut toiminnassa..

4.2. JATKUVIA TODENNÄKÖISYYSJAKAUMIA 29 Kuva 4.4: Eksponenttijakauman tiheysfunktioita Kuva 4.5: Eksponenttijakauman kertymäfunktioita Kuvissa 4.4 ja 4.5 on esitetty eksponenttijakautuneen satunnaismuuttujan tiheysfunktioiden ja kertymäfunktioiden kuvaajia, mistä näkee parametrin vaikutuksen profiileihin. Tasajakauma Tasajakauman, X Tas(a, b), tiheysfunktio 0, x < a 1 f X (x) = b a, a x b 0, x > b. Tasaisesti jakautuneen satunnaismuuttujan kertymäfunktio on silloin 0, x < a x a F X (x) = b a, a x b. 1, x > b Tasajakauma on hyödyllinen erityisesti jatkuvan satunnaismuuttujan simuloinnissa. Simuloinnille antaa pohjan seuraava tulos. Lause 9. Olkoon U Tas(0, 1) ja X jatkuva sm., jonka kertymäfunktio on F X. Tällöin F 1 X (U) on satunnaismuuttuja, joka noudattaa jakaumaa F X, eli F 1 X (U) F X.

30 LUKU 4. JATKUVA SATUNNAISMUUTTUJA JA JAKAUMA Todistus. Muuttuja F 1 X (U) on Lauseen 6 mukaan todellakin satunnaismuuttuja, sillä F X on monotoninen ja siten sillä on olemassa käänteisfunktio, joka myös on monotoninen. Jakaumaksi saadaan P(F 1 X (U) x) = P(U F X(x)) = F X (x). Lauseen 9 avulla voidaan annetulle satunnaismuuttujalle X muodostaa näytteitä tasajakauman avulla ainakin periaatteessa, mikäli kertymäfunktion F X käänteisfunktio tunnetaan tai yhtälö F X (x) = u on helposti ratkaistavissa. Jos näin on, niin generoidaan näyte tasajakaumasta U Tas(0, 1). Jos U saa näytteessä arvon u, niin sitä vastaava X:n arvo saadaan yhtälöstä F X (x) = u. Normaalijakauma Normaalijakauma (Gaussin jakauma) on tärkein todennäköisyyslaskennan sovellutuksissa esiintyvä jakauma. Se on 2-parametrinen jakauma. Merkitään X N(µ,σ 2 ), jos satunnaismuuttujan X tiheysfunktio on ns. Gaussin kellokäyrä 1 f X (x) = 2πσ 2 e (x µ)2 2σ 2. Parametri µ on satunnaismuuttujan X keskimääräinen arvo; σ 2 sen varianssi (jakauman tunnusluvut käsitellään tarkemmin myöhemmin). Normaalijakauman kertymäfunktiota F X (x) = 1 2πσ 2 x 2 e (z µ) 2σ 2 dz ei osata integroida analyyttisesti. Normaalijakautuneen satunnaismuuttujan kertymäfunktion arvot lasketaan sopivalla muuttujan vaihdoksella (0, 1)- jakautuneen eli standardisoidun normaalijakauman kertymäfunktiosta Φ(x), jonka arvot on laskettu taulukoihin (ks. liite). Graafiset laskimet ja matemaattiset ohjelmistot pystyvät vaivatta laskemaan normaalijakauman kertymäfunktion arvoja ja pisteitä, joissa kertymäfunktion arvo saavutetaan. Esimerkki 7. Olkoon X N(0, 1). (a) Laske laskimella tai taulukosta F X (2). (b) Määrää laskimella tai taulukon avulla piste x, missä F X (x) = 0.95.

4.2. JATKUVIA TODENNÄKÖISYYSJAKAUMIA 31 Ratkaisu: (a) Luennoitsijalla ei ole graafista laskinta, joten käytetään Matlabia. Varteen otettava ja ehkä jopa suositeltavampikin vaihtoehto olisi R-ohjelmiston käyttö. Matlabilla komento p = normcdf(2,0,1) 1 antaa vastaukseksi p = 0.9772, jonka voi lukea myös Liitteen A taulukosta 1. (b) Matlab-komento x = norminv(0.95, 0, 1) antaa vastaukseksi x = 1.6449. Sen sijaan Liitteen A Taulukosta 1 ei tätä arvoa löydy. Taulukosta 1 löytyy Φ(1.64) = 0.9495 ja Φ(1.65) = 0.9505, joista voidaan haarukoida, että x 1.645, joka on kolmen desimaalin tarkkuudella sama kuin Matlabin antama tulos. Standardisoidun normaalijakauman N(0, 1) tiheysfunktio ja kertymäfunktio ovat f X (x) = 1 2π e x2 2 Φ(x) = 1 2π x e t2 2 dt. Kertymäfunktion arvot Φ(x) luetaan siis taulukosta. Sillä on seuraava tärkeä symmetriaominaisuus: Φ( x) = 1 Φ(x). Edelleen todennäköisyys, että standardisoitu normaalijakautunut satunnaismuuttuja Z saa arvoja väliltä [a, b] on P(a < Z < b) = Φ(b) Φ(a). Lause 10. Jos Z N(µ,σ 2 ), niin X = az + b N(aµ +b,a 2 σ 2 ) kaikilla 0 a R ja b R. Tätä lausetta hyväksi käyttämällä voidaan mielivaltaiseen normaalijakaumaan liittyvät todennäköisyyspäätelmät palauttaa N(0, 1)-jakautuneen satunnaismuuttujan todennäköisyyksiin. Esimerkiksi olkoon X N(µ,σ 2 ). Silloin satunnaismuuttuja Z = X µ σ N(0,1). Tällöin todennäköisyys sille, että X a on P(X a) = P(Z a µ σ ) = Φ(a µ σ ). 1 cdf=cumulative distribution function

32 LUKU 4. JATKUVA SATUNNAISMUUTTUJA JA JAKAUMA Vikaantumisjakaumista Olkoon X 0 komponentin eliniän ilmoittava satunnaismuuttuja. Komponentin ehdollinen vikaantumistodennäköisyys voidaan määritellä ns. hasardifunktion ρ(t) avulla. Se määritellään siten, että ehdollinen todennäköisyys komponentin vikaantumiselle aikavälillä [t, t + dt], kun se on ollut ehjä ennen ajanhetkeä t on P(t < X t+dt X t) = ρ(t)dt. Olkoon satunnaismuuttujan X tiheysfunktio f(t) ja kertymäfunktio F(t). Tällöin ehdollinen todennäköisyys P[(t X t+dt) (X t)] P(t < X t+dt X t) = P(X t) P(t < X t+dt) = 1 P(X t) = F(t+dt) F(t) 1 F(t) = f(t)dt 1 F(t). Näin ollen hasardifunktio voidaan lausua tiheysfunktion ja kertymäfunktion avulla ρ(t) = f(t) 1 F(t). Koska tiheysfunktio on kertymäfunktion derivaatta, niin ρ(t) = F (t) 1 F(t) = d dt ln[1 F(t)]. Integroimalla puolittain voidaan kertymäfunktio ratkaista hasardifunktion avulla: { 0, t < 0 F(t) = 1 e t 0 ρ(s)ds, t 0. Tiheysfunktio on silloin f(t) = { 0, t < 0 ρ(t)e t 0 ρ(s)ds, t 0.

4.2. JATKUVIA TODENNÄKÖISYYSJAKAUMIA 33 Weibullin jakauma Weibullin jakauman, X Weibull(α, β), hasardifunktio on ρ(t) = αβt β 1, t > 0, α,β > 0. Tiheys- ja kertymäfunktio ovat F(t) = 1 e αtβ, t > 0 f(t) = αβt β 1 e αtβ, t > 0. Weibullin jakauma on tyypillinen luotettavuustekniikassa käytetty komponentin eliniän jakautumismalli, joka ottaa huomioon, että komponentin hetkellinen vikaantumistodennäköisyys muuttuu käytössä, jos komponenttia ei huolleta. Kuvassa on esitetty Weibull-jakautuneen satunnaismuuttujan tiheysfunktioiden kuvaajia parametrien α ja β eri arvoilla. Huomaa, että erityisesti Wei(1, 1) = Exp(1).

34 LUKU 4. JATKUVA SATUNNAISMUUTTUJA JA JAKAUMA

Luku 5 Jakauman tunnusluvuista 5.1 Odotusarvo Diskreetin jakauman odotusarvo on E(X) = k:x k S X x k P(X = x k ), jos oikealla puolella oleva summa on suppeneva. Jatkuvan jakauman odotusarvo määritellään vastaavasti. Olkoon satunnaismuuttujan X tiheysfunktio f X (x). Tällöin satunnaismuuttujan X odotusarvo on E(X) = xf X (x)dx, mikäli integraali on olemassa. Odotusarvo ilmoittaa jakauman keskikohdan eli sen arvon, jonka satunnaismuuttuja keskimääräisesti saavuttaa. Odotusarvoa merkitään usein myös E(X) = µ. Esimerkki 8. Kaikilla jakaumilla ei ole odotusarvoa. Esimerkiksi (i) satunnaismuuttujalla X, jonka pistetodennäköisyysfunktio on P(X = k) = 6 π 2 k2, k = 1,2,3,...; (ii) Cauchy-jakautuneella satunnaismuuttujalla, jonka tiheysfunktio on ei ole odotusarvoa. f(x) = { 2 π 1, x 0, 1+x 2 0, x < 0, 35

36 LUKU 5. JAKAUMAN TUNNUSLUVUISTA Ratkaisu: (i) E(X) = 6 k π 2 k = 6 2 π 2 k=1 k=1 1 k. Oikealla puolella oleva sarja hajaantuu, ja siten satunnaismuuttujalla ei ole odotusarvoa. (ii) Jokaisella positiiviselle vakiolla a > 0 Näin ollen 2 a x π 0 1+x 2dx = 2 π 0 / a ja siten odotusarvoa ei ole olemassa. 0 1 2 ln(1+x2 ) = 1 π ln(1+a2 ). 2x 1 dx = lim π(1+x 2 ) a π ln(1+a2 ) = Tärkeiden jakaumien odotusarvoja 1. Binomijakauma X Bin(n,p) : E(X) = np ; 2. Geometrinen jakauma X Geo(p) : E(X) = 1 p ; 3. Poissonin jakauma X Poi(a) : E(X) = a; 4. Tasainen jakauma X Tas(a,b), E(X) = a+b 2 ; 5. Eksponenttijakauma X Exp(λ), E(X) = 1 λ ; 6. Normaalijakauma X N(µ,σ 2 ), E(X) = µ; 7. Weibullin jakauma X Weibull(α, β), E(X) = α 1/β Γ(1+1/β), α,β > 0.

5.2. VARIANSSI 37 5.2 Varianssi Jatkuva satunnaismuuttuja on neliöintegroituva, jos sillä on odotusarvo ja integraali E(X 2 ) = x 2 f X (x)dx on äärellinen. Diskreetin satunnaismuuttujan tapauksessa integraali korvataan summalla, ts. E(X 2 ) = x i x 2 ip(x = x i ) <. Tällöin määritellään jakauman varianssiksi suure Var(X) = E((X E(X)) 2 ). Merkitään myös Var(X) = σ 2 = D 2 (X). Lukua σ(x) = Var(X) kutsutaan jakauman keskihajonnaksi. Varianssi (tai keskihajonta) ilmoittaa kuinka paljon satunnaismuuttuja poikkeaa odotusarvosta keskimäärin. Varianssille pätee seuraava hyödyllinen laskukaava. Lause 11. Olkoon X satunnaismuuttuja, jonka varianssi Var(X) on äärellinen. Tällöin Var(X) = E(X 2 ) (E(X)) 2. Tärkeiden jakaumien variansseja 1. Binomijakauma X Bin(n,p) : Var(X) = np(1 p); 2. Geometrinen jakauma X Geo(p) : Var(X) = 1 p p 2 ; 3. Poissonin jakauma X Poi(a) : Var(X) = a; 4. Tasajakauma X Tas(a,b) : Var(X) = (a b)2 12 ; 5. Normaalijakauma X N(µ,σ 2 ) : Var(X) = σ 2 ; 6. Eksponenttijakauma X Exp(λ) : Var(X) = 1 λ 2. 7. Weibullin jakauma X Weibull(α, β) : Var(X) = α 2/β (Γ(1+2/β) Γ(1+1/β) 2 ).

38 LUKU 5. JAKAUMAN TUNNUSLUVUISTA Esimerkki 9. Oletetaan, että eräässä autopesulassa tunnin aikana pestyjen autojen lukumäärä noudattaa jakaumaa x 4 5 6 7 8 9 P(X = x) 1 12 1 12 1 4 (a) Laske X:n odotusarvo. (b) Laske X:n varianssi. 1 4 1 6 1 6 Ratkaisu: (a) Kyseessä on diskreetti jakauma, jonka odotusarvo saadaan summana µ X = E(X) = 9 1 k P(X = k) = 9 12 +13 1 4 + +9 1 6 = 65 6. k=4 (b) Varianssi taasen saadaan summana Var(X) = 9 k=4 (k µ X ) 2 P(X = k) = (4 6 5 6 )2 1 12 + +(9 65 6 )2 1 6 2.14. 5.3 Odotusarvon ja varianssin ominaisuuksia Lause 12. Jos satunnaismuuttuja X on todennäköisyydellä yksi vakio, so. on olemassa c R siten, että P(X = c) = 1, niin E(X) = c ja Var(X) = 0. Kääntäen, jos Var(X) = 0, niin X on todennäköisyydellä yksi vakio. Lause 13. Olkoot X ja Y satunnaismuuttujia, joilla on odotusarvo ja varianssi, ja a,b R. Tällöin E(aX +by) = ae(x)+be(y), Var(aX +by) = a 2 Var(X)+b 2 Var(Y)+2abE((X E(X))(Y E(Y))). Jos X ja Y ovat lisäksi riippumattomia, niin E(XY) = E(X)E(Y), Var(aX +by) = a 2 Var(X)+b 2 Var(Y). Esimerkki 10. Standardisoidun normaalijakauman N(0, 1) odotusarvo E(X) = 0 ja varianssi σ 2 = 1.

5.3. ODOTUSARVON JA VARIANSSIN OMINAISUUKSIA 39 Ratkaisu: Yhdistetyn funktion derivoimissäännön nojalla E(X) = 1 2π Osittaisintegroimalla saadaan varianssiksi Var(X) = 1 2π x 2 e x2 2 dx = 1 2π / ( x)e x2 2 } {{ } =0 1 / a xe x2 2 dx = lim e x2 2 = 0. 2π a a + 1 2π e x2 2 dx = P( < X < ) = 1, sillä jäljelle jäävä integraali on normaalijakauman tiheysfunktion integraali yli koko reaalilukujen joukon. Esimerkki 11. Olkoon X N(0,1), µ R ja σ > 0. Tällöin satunnaismuuttujan Y = σx +µ varianssi on Var(X) = σ 2. Ratkaisu: Var(Y) = E([Y E(Y)] 2 ) = E[(σX) 2 ] = σ 2 E(X 2 ) = σ 2. Muunnoksen Y = h(x) odotusarvo Sekä teoriassa että sovelluksissa joudutaan usein tarkastelemaan satunnaismuuttujien funktioita, joille myös tulee laskea odotusarvot. Tarkastellaan aluksi tapausta, jossa X on diskreetti satunnaismuuttuja ja h(x) riittävän säännöllinen funktio (esim. jatkuvuus riittää). Silloin Y = h(x) on satunnaismuuttuja arvojoukkona S Y = {y j = h(x i ) x i S X }, jonka pistetodennäköisyysfunktio P(Y = y j ) = P(X = x i ). i: x i S X, y j =h(x i ) Lause 14. Olkoon X diskreetti satunnaismuuttuja ja funktio h(x) siten, että x i h(x i ) P(X = x i ) <. Tällöin satunnaismuuttujalla Y = h(x) on odotusarvo, ja E(Y) = E(h(X)) = x i h(x i )P(X = x i ).

40 LUKU 5. JAKAUMAN TUNNUSLUVUISTA Vastaavasti jatkuvalle satunnaismuuttujalle X, jolla on olemassa tiheysfunktio f X (x), saadaan Lause 15. Olkoon h(x) siten, että h(x) f X (x)dx <. Tällöin satunnaismuuttujan Y = h(x) odotusarvo on E(Y) = h(x)f X (x)dx.

Luku 6 Todennäköisyyslaskennan raja-arvolauseita 6.1 Chebyshevin epäyhtälö Tarkastellaan satunnaismuuttujaa X, jolla on odotusarvo µ = E(X) ja varianssi σ 2 = Var(X). Tällöin on voimassa Lause 16 (Chebyshevin epäyhtälö). Kaikilla positiivisilla luvuilla ǫ P( X µ ǫ) σ2 ǫ 2. Tod.: Oletetaan, että satunnaismuuttuja X on jatkuva ja että f(x) on sen tiheysfunktio. Tällöin P({X < µ ǫ} {X > µ+ǫ}) = Toisaalta varianssin määritelmän nojalla σ 2 = (x µ) 2 f(x)dx { µ ǫ ǫ 2 f(x)dx+ µ ǫ µ+ǫ µ ǫ f(x)dx+ (x µ) 2 f(x)dx+ µ+ǫ µ+ǫ } f(x)dx = ǫ 2 P( X µ ǫ). f(x)dx. (x µ) 2 f(x)dx Chebyshevin epäyhtälöllä voidaan aina arvioida, kuinka paljon satunnaismuuttuja poikkeaa odotusarvosta. Arvio on tosi karkea ja se riippuu varianssin suuruudesta. Usein Chebyshevin epäyhtälö kirjoitetaan muodossa P( X µ kσ) 1 k 2. 41

42LUKU 6. TODENNÄKÖISYYSLASKENNAN RAJA-ARVOLAUSEITA 6.2 Suurten lukujen laki Tilastollisen tutkimuksen kannalta eräs tärkeimmistä todennäköisyyslaskennan lauseista on suurten lukujen laki. Todistetaan seuraavassa sen alkeellisin muoto, heikko suurten lukujen laki. Lause 17 (Chebyshev). Olkoon X 1,X 2,... jono parittain riippumattomia, samalla tavalla jakautuneita satunnaismuuttujia, joilla on odotusarvo ja varianssi. Merkitään E(X i ) = µ ja Var(X i ) = σ 2. Jos n S n = X i, niin kaikilla ǫ > 0 Tod.: kun n. Tulkinta: P( S n n P( S n n µ ǫ) = P( n i=1 µ ǫ) 0, kun n. i=1 E([ n i=1 }{{} ǫ 2 Cheb.ey. X i µ ǫ) n X i µ n ]2 ) = 1 σ 2 n ǫ 0, 2 1. Satunnaismuuttujan 1 n S n todennäköisyysmassa keskittynyt välille x µ ǫ, kun n on riittävän suuri. 2. Satunnaismuuttujat X i voidaan tulkita saman satunnaiskokeen toistoiksi. Tällöin 1 n S n on otoskeskiarvo. Näin ollen otoskeskiarvo lähestyy satunnaismuuttujan odotusarvoa. Joten: Otoskeskiarvolla voidaan approksimoida odotusarvoa, kun havaintoaineisto satunnaismuuttujasta on riittävän suuri. Vahva suurten lukujen laki ilmoittaa, että satunnaismuuttujien aritmeettinen keskiarvo suppenee todennäköisyydellä yksi kohti odotusarvoa µ. Lause 18 (Kolmogorov). Olkoon X 1,X 2,... jono parittain riippumattomia, samalla tavalla jakautuneita satunnaismuuttujia, joilla on äärellinen odotusarvo E(X i ) = µ kaikilla i N. Tällöin P(lim n 1 n S n = µ) = 1.

6.3. KESKEINEN RAJA-ARVOLAUSE 43 6.3 Keskeinen raja-arvolause Keskeisellä raja-arvo-ongelmalla tarkoitetaan sitä, että on etsittävä ne yleiset ehdot, joiden vallitessa keskinäisesti riippumattomien satunnaismuuttujien X 1,X 2,... summa S n = X 1 + +X n lähestyy normaalijakaumaa. Lause 19. Olkoon X 1,X 2,... jono keskinäisesti riippumattomia, samaa jakaumaa noudattavia satunnaismuuttujia, joilla odotusarvo E(e tx i ) on olemassa, kun t < δ jollakin δ > 0. Merkitään µ = E(X i ), σ 2 = Var(X i ) > 0 ja S n = n i=1 X i. Silloin Sn lim P( n µ x 1 x) = Φ(x) = e u2 2 du. n σ n 2π Keskeisen raja-arvolauseen mukaan riittävän suurilla n:n arvoilla keskiarvo noudattaa likimain normaalijakaumaa, eli 1 n n i=1 X i N(µ, σ2 n ) likimain, kun n on riittävän suuri. Keskeisessä raja-arvolauseessa joskus n = 3 on riittävä otoksen koko, mutta joillekin satunnaismuuttujille n = 100000 ei riitä. Pääsääntöisesti (ainakin tällä kurssilla) approksimaatio on pätevä, kun n 30. Huomautus 4. Keskeisen raja-arvolauseen todisti vuonna 1901 venäläinen Lyapunov Lausetta 19 yleisemmillä oletuksilla. Yhteenlaskettavien ei tarvitse olla samalla tavalla jakautuneita. Yleisesti riittää, että X 1,X 2,... ovat keskinäisesti riippumattomia satunnaismuuttujia, joilla on odotusarvo E(X i ) = µ i, positiivinen varianssi Var(X i ) = σi 2 > 0 ja E(Xi 3 ) <. Jos lisäksi eräs rajoittava Lyapunovin ehto on voimassa, niin S n = X 1 + +X n N( likimain, kun n on riittävän suuri. n µ i, i=1 n σi) 2 i=1 6.4 Binomijakauman approksimaatio Summa X = X 1 +X 2 +X 3 + +X n

44LUKU 6. TODENNÄKÖISYYSLASKENNAN RAJA-ARVOLAUSEITA ilmoittaa suotuisan tapahtuman esiintymisten lukumäärän, jos satunnaismuuttujat X i ovat samalla tavalla jakautuneita ja riippumattomia satunnaismuuttujia, joille S Xi = {0,1} ja P(X i = 1) = P( suotuisa tapahtuma sattuu ) = p, P(X i = 0) = 1 p. Siis satunnaismuuttujat X i noudattavat binomijakaumaa Bin(1,p), jonka varianssi σ 2 = p(1 p). Tällöin keskeisen raja-arvolauseen nojalla satunnaismuuttuja X noudattaa normaalijakaumaa: X N(np,np(1 p)), kun n on kyllin suuri (Tällä kurssilla käytetään kriteerinä: n > 9 ). Näin p(1 p) ollen suurille n:n arvoille binomijakaumaa Bin(n, p) voidaan approksimoida normaalijakaumalla N(np, np(1 p)). Diskreettejä jakaumia approksimoitaessa voidaan tarkkuutta parantaa tekemällä jatkuvuuskorjaus. Jos 0 a b n ovat kokonaislukuja, niin todennäköisyyttä P(a X b) ei approksimoida integraalina a:sta b:hen, vaan integroidaan arvosta a 1 arvoon b+ 1. Siis 2 2 b ( ) n P(a X b) = p k (1 p) n k k k=a ( b+1/2 np ( a 1/2 np Φ ) Φ ). np(1 p) np(1 p) Esimerkki 12 (Loppukoe 11.05.2013, tehtävä 3). Oletetaan, että huippuhiihtäjien hemoglobiinitaso on normaalijakautunut satunnaismuuttuja X N(150,15 2 ). Hiihtäjä voi osallistua kilpailuun vain, jos hemoglobiinitaso ei ylitä rajaa 170. Ennen kilpailua hemoglobiinitaso testataan 40 satunnaisesti valitulta urheilijalta. Osoittautuu, että 14 urheilijalla taso 170 ylittyy. (a) Laske todennäköisyys sille, että edellinen on mahdollista. (b) Laske sama todennäköisyys normaalijakauma-approksimaatiolla. Käytä jatkuvuuskorjausta eli laske todennäköisyys sille, että tason 170 ylittävien määrä on välillä [13.5,14.5]. Ratkaisu: (a) Olkoon Y hemoglobiinitason 170 ylittävien lukumäärä 40 henkilön otoksessa. Tällöin Y Bin(40,p), missä p = P(X > 170). Lasketaan ensin todennäköisyys p. Normaalijakauman symmetria-ominaisuuden