Tilastomatematiikka. Keijo Ruotsalainen University of Oulu, Faculty of Technology Division of Mathematics

Tilastomatematiikka Keijo Ruotsalainen University of Oulu, Faculty of Technology Division of Mathematics 20. maaliskuuta 2013

2 Tämä luentomoniste on tehty professori Keijo Ruotsalaisen luentojen pohjalta. Alkuperäisestä kirjoitustyöstä on vastannut Keijo itse. Myöhemmin monistetta ovat päivittäneet Pasi Ruotsalainen ja allekirjoittanut. Oulussa, joulukuussa 2011 Jukka Kemppainen Ihmisen henkistä toimintaa ei voi sanoa taiteeksi ellei se perustu matemaattiseen ajatteluun ja todistukseen - Leonardo da Vinci

Sisältö 1 Todennäköisyyden käsite 5 1.1 Satunnaiskoe ja otosavaruus................... 5 1.2 Joukko-oppia........................... 6 1.3 Klassinen todennäköisyys..................... 8 1.4 Todennäköisyyslaskennan aksioomat.............. 9 2 Ehdollinen todennäköisyys 13 2.1 Ehdollinen todennäköisyys.................... 13 2.2 Kokonaistodennäköisyys..................... 14 2.3 Bayesin kaava........................... 14 2.4 Riippumattomuus......................... 15 3 Satunnaismuuttuja ja diskreetti jakauma 17 3.1 Satunnaismuuttuja........................ 17 3.2 Diskreetti satunnaismuuttuja.................. 21 4 Jatkuva satunnaismuuttuja ja jakauma 25 4.1 Tiheysfunktio........................... 25 4.2 Jatkuvia todennäköisyysjakaumia................ 26 5 Jakauman tunnusluvuista 31 5.1 Odotusarvo............................ 31 5.2 Varianssi.............................. 33 5.3 Odotusarvon ja varianssin ominaisuuksia............ 34 6 Todennäköisyyslaskennan raja-arvolauseita 37 6.1 Chebyshevin epäyhtälö...................... 37 6.2 Suurten lukujen laki....................... 38 6.3 Keskeinen raja-arvolause..................... 39 6.4 Binomijakauman approksimaatio................ 39 3

4 SISÄLTÖ 7 Tilastollinen aineisto 41 7.1 Johdanto.............................. 41 7.2 Tunnuslukujen estimoinnista................... 42 7.3 Normaalijakaumasta johdettuja jakaumia............ 43 7.4 Luottamusväli........................... 45 8 Hypoteesin testauksesta 47 8.1 Yleistä............................... 47 8.2 Z-testi............................... 48 8.3 T-testi............................... 50 8.4 Hajonnan testi.......................... 51 8.5 Odotusarvojen erotuksen testi.................. 52 8.6 χ 2 -testit.............................. 53 9 Maximum Likelihood-estimointi 57 10 Lineaarinen regressio 63 10.1 Korrelaatio............................ 63 10.1.1 Pearsonin tulomomenttikorrelaatiokerroin....... 64 10.1.2 Populaation korrelaatiokerroin.............. 66 10.1.3 Korrelaatio ja kausaatio................. 66 10.2 Regressio.............................. 67 11 Varianssianalyysi (ANOVA) 71 11.1 ANOVA-testi........................... 73 11.1.1 Post hoc vertailut..................... 76 A Kokeissa annettavat kaavat ja taulukot 81 Hakemisto 87

Luku 1 Todennäköisyyden käsite 1.1 Satunnaiskoe ja otosavaruus Todennäköisyyslaskennan tarkoituksena on kehittää matemaattisia menetelmiä kuvaamaan eksaktisti kokeita, joiden lopputulos on satunnainen. Tällaisissa "satunnaiskokeissa"kiinnostaa mahdolliset suotuisat "tapahtumat"ja näiden "todennäköisyydet". Siten aluksi meidän on kehitettävä näiden käsitteiden tarkka matemaattinen malli. Tarkastellaan ongelmaa, jossa heitetään säännöllistä noppaa. Nopanheiton lopputulos on joku luvuista {1, 2, 3, 4, 5, 6}. Nopan heiton lopputuloksia voidaan kutsua "alkeistapahtumiksi". Näiden alkeistapahtumien muodostamaa joukkoa kutsutaan "otosavaruudeksi"s = {1, 2, 3, 4, 5, 6}. Mutta alkeistapahtumien lisäksi voidaan tarkastella monimutkaisempia tapahtumia. Esimerkiksi nopanheiton lopputulos voi olla "pariton luku", "parillinen luku"tai "eri suuri kuin 1". Nämä suotuisat tapahtumat voidaan identifioida joukkojen {1,3,5},{2,4,6} tai {2,3,4,5,6} kanssa. Monimutkaisemmat tapahtumat ovat siten otosavaruuden S osajoukkoja. Tässä erikoistapauksessa kaikki mahdolliset suotuisat tapahtumat voidaan identifioida otosavaruuden S osajoukkojen joukon kanssa. Merkitään tätä S:n osajoukkojen joukkoa symbolilla E. Lisäksi hyväksytään, että tyhjä joukko on myös suotuisa tapahtuma, mitä se nyt tässä yhteydessä tarkoittaneekaan. Yleisesti tarkastelemme satunnaiskoetta, joka oletetaan voitavan toistaa samanlaisissa olosuhteissa mielivaltaisen monta kertaa. Satunnaiskokeella voi olla useita mahdollisia erilaisia lopputuloksia ja lopputuloksen määrää kullakin kokeen suorituskerralla sama satunnainen mekanismi. Satunnaiskokeen jokaista mahdollista lopputulosta kutsutaan alkeistapahtumaksi ja kaikkien mahdollisten alkeistapahtumien joukkoa kutsutaan otosavaruudeksi S. Otosavaruudesta käytetään myös nimitystä perusjoukko. Satun- 5

6 LUKU 1. TODENNÄKÖISYYDEN KÄSITE naiskokeessa tapahtuma on otosavaruuden osajoukko. Kaikki tapahtumat yhdessä muodostavat satunnaiskokeen tapahtumasysteemin E, joka siis koostuu otosavaruuden osajoukoista. Otosavaruus voi olla äärellinen kuten edellisessä nopanheitto-esimerkissä. Mutta otosavaruus voi olla myös numeroituvasti ääretön. Esimerkiksi suorittamalla satunnnaiskoe, jossa heitetään (symmetristä) kolikkoa niin kauan kunnes tulee ensimmäinen "kruuna", otosavaruus S = N. Edelleen useissa fysiikan ongelmissa satunnaiskokeen otosavaruus voi olla ylinumeroituvasti ääretön joukko (esim. S = R n ). Esim 1. Tarkastellaan seuraavia satunnaiskokeita. Määrää kussakin tapauksessa otosavaruus. (a) Heitetään kolikkoa kaksi kertaa. (b) Heitetään noppaa kaksi kertaa. (c) Heitetään kolikkoa kunnes saadaan ensimmäinen kruuna. Ratk. (a) Otosavaruus on S = {HH,HT,TH,TT}, missä H = sattui kruuna ja T = sattui klaava. (b) Otosavaruus S = {(i,j) 1 i,j 6}. (c) Nopanheiton mahdollisuudet ovat {H, TH, TTH, TTTH,...}, joten otosavaruus voidaan samaistaa ei-negatiivisten kokonaislukujen joukon S = N kanssa. 1.2 Joukko-oppia Joukkoja merkitään isoilla kirjaimilla A,B,C,...,S ja niiden alkiota pienillä kirjaimilla. Jatkossa oletetaan, että joukot sisältyvät kiinteään otosavaruuteen S. Joukon A komplementtia otosavaruudessa S merkitään A = S\A. Se koostuu niistä S:n alkioista, jotka eivät kuulu joukkoon A. Joukkojen A ja B yhdiste A B on niiden S:n alkioiden joukko, jotka kuuluvat ainakin toiseen joukoista A ja B. Joukkojen A ja B leikkausjoukko A B on niiden alkioiden joukko sisältyvät kumpaankin joukoista A ja B. Olkoon S satunnaiskokeen otosavaruus ja E = {A A S} satunnaiskokeen tapahtumasysteemi. Yleisessä tapauksessa joudutaan matemaattisiin

1.2. JOUKKO-OPPIA 7 vaikeuksiin yritettäessä määritellä todennäköisyys jokaisessa otosavaruuden osajoukossa. Sen vuoksi rajoitutaan tarkastelemaan sellaista tapahtumasysteemiä, joka on kokoelma otosavaruuden osajoukkoja ja johon eivät välttämättä kaikki osajoukot kuulu. Sovellukset vaativat, että tapahtumasysteemi on suljettu edellä kuvattujen joukko-operaatioiden suhteen. Tällainen tapahtumasysteemi E on Boolen algebra: 1., S E; 2. A E A E; 3. A, B E A B E 4. A, B E A B E. De Morganin kaavat Seuraavat säännöt ovat varsin hyödyllisiä A B = A B A B = A B σ-algebra Äärellisen otosavaruuden tapahtumasysteemille Boolen algebran rakenne on riittävä. Todennäköisyyslaskennassa joudutaan kuitenkin usein laskemaan todennäköisyyksiä joukoille, jotka ovat esimerkiksi reaalilukujen joukon osajoukkoja. Tällaiset joukot ovat usein hyvin komplisoituja, ja niiden konstruoiminen yksinkertaisten välien äärellisinä yhdisteinä ja leikkauksina on mahdotonta. Lukemalla mukaan myös äärettömät yhdisteet ja leikkaukset saadaan laajempi joukkosysteemi eli σ-algebra. Joukkosysteemi E on σ-algebra, jos se on Boolen algebra ja lisäksi täyttää ehdon A k E, k N k=0a k E. Oletetaan jatkossa, että satunnaiskokeen tapahtumasysteemi on σ-algebra. Äärellisen otosavaruuden tapahtumasysteemiksi voidaan valita otosavaruuden kaikkien osajoukkojen muodostama joukko, joka on aina automaattisesti σ-algebra, sillä osajoukkojen joukkokin on äärellinen. Yleisessä tapauksessa, esimerkiksi kun S = R, tapahtumasysteemi ei sisällä kaikkia otosavaruuden osajoukkoja, mutta on kuitenkin täysin riittävä ja sillä voidaan määritellä käyttökelpoinen todennäköisyysfunktio.

8 LUKU 1. TODENNÄKÖISYYDEN KÄSITE 1.3 Klassinen todennäköisyys Klassisessa todennäköisyydessä otosavaruus on yleensä äärellinen, joten satunnaiskokeen alkeistapahtumat voidaan numeroida S = {e 1,...,e N }. Lisäksi oletetaan, että jokainen alkeistapahtuma on yhtä todennäköinen: P(e i ) = 1 N. Tällä valinnalla varman tapahtuman l. S:n todennäköisyys P(S) = 1. Jos B on satunnaiskokeen jokin tapahtuma, niin sen todennäköisyys on P(B) = m N, missä m = #B on joukon B alkioiden lukumäärä. Klassisen todennäköisyyden määräämisessä joudutaan varsin usein laskemaan erilaisten kombinaatioiden lukumääriä. Permutaatio Permutaatio on äärellisen joukon W = {w 1,w 2,...,w n } joku järjestys. Niiden lukumäärä on "n-kertoma"l. n! = 1 2 3 n. Järjestetty kertaotos (k-permutaatio) Järjestetyssä kertaotoksessa kokoa k poimitaan joukosta W = {w 1,w 2,w 3,...,w n } k kappaletta alkioita tietyssä järjestyksessä. Tällöin esimerkiksi otokset w 3 w 2 w 1 ja w 1 w 2 w 3 tulkitaan eri otoksiksi. Järjestettyjen kertaotosten lukumäärä on n! (n k)! = n (n 1) (n k +1). Järjestämätön kertaotos (k-kombinaatio) Järjestämättömässä kertaotoksessa kokoa k joukosta W poimittujen alkioiden keskinäisellä järjestyksellä ei ole väliä. Niiden lukumäärä on binomikerroin ( ) n = k Geometrinen todennäköisyys n! k!(n k)!. Satunnaiskokeessa heitetään tikkaa maalitauluun, joka koostuu yhdeksästä sisäkkäisestä renkaasta ja keskellä olevasta ympyrästä. Tarkastellaan tapausta, jossa tikanheitto on täysin satunnainen tapahtuma, joka on riippumaton kokeen suorittajan kädentaidoista, ilmavirtauksista jne..

1.4. TODENNÄKÖISYYSLASKENNAN AKSIOOMAT 9 Tapahtumat, joista olemme kiinnostuneita ovat seuraavanlaiset: Osumakohta on joku renkaista maalitaulussa S. Tällöin tapahtumasysteemin suotuisat tapahtumat A ovat maalitaulun (mitallisia) osajoukkoja. On luonnollista olettaa, että tällaisen tapahtuman todennäköisyys on verrannollinen joukon A pinta-alaan. Normittamalla varman tapahtuman (A= tikka osuu maalitauluun =S) todennäköisyydeksi P(S) = 1, saadaan osumatodennäköisyydeksi joukkoon A P(A) = m(a) m(s), missä m(a) on joukon pinta-ala. Todennäköisyyttä, joka on verrannollinen tarkasteltavan tapahtuman geometriseen pituuteen, pinta-alaan, tai tilavuuteen, kutsutaan geometriseksi todennäköisydeksi. Sekin noudattaa klassista (l. tasaista) todennäköisyysmallia. 1.4 Todennäköisyyslaskennan aksioomat Oletetaan, että S on satunnaiskokeeseen liittyvä otosavaruus ja E tapahtumasysteemi. Määr. 1. Todennäköisyys P on joukkofunktio tapahtumasysteemiltä reaalilukujen joukkoon, joka toteuttaa ehdot 1. 0 P(A) 1 kaikilla tapahtumilla A, 2. P(S) = 1, 3. Jos A i E ja A i A j = aina, kun i j ja i,j = 1,2,..., niin P ( ) A i = P(A i ). Ehdot 1 3 ovat todennäköisyyslaskennan aksioomat. Kolmikkoa {S, E, P} kutsutaan todennäköisyysavaruudeksi, jos S, E on σ-algebra ja P : E R on todennäköisyys. Todennäköisyyden aksioomat esitti neuvostoliittolainen matemaatikko A. N. Kolmogorov (1903-1987) vuonna 1929. Teoksessaan Grundbegriffe der Wahrscheinlichkeitsrechnung (1933) [The Foundations of the Theory of Probability (1956)] Kolmogorov osoitti, että nämä aksioomat soveltuvat myös ajassa kehittyvien satunnaisilmiöiden (stokastisten prosessien) teorian perustaksi. Suoraan todennäköisyyden määritelmästä seuraa:

10 LUKU 1. TODENNÄKÖISYYDEN KÄSITE Lause 1. Todennäköisyysmitalle eli -funktiolle on voimassa: (i) P( ) = 0; (ii) P(A) = 1 P(A); (iii) Jos tapahtumat {A 1,A 2,...,A n } ovat erillisiä (l. toisensa poissulkevia), ts. A i A j =, kun i j, niin P(A 1 A 2 A n ) = P(A 1 )+P(A 2 )+P(A 3 )+ +P(A n ); (iv) P(A) P(B) aina, kun A B; (v) P(A\B) = P(A B) = P(A) P(A B); (vi) P(A B) = P(A)+P(B) P(A B). Tod.: (i) Valitsemalla aksioomassa 3 A i = kaikilla i N saadaan P( ) = P( )+P( )+..., josta P( ) = 0. (ii) Valitaan aksioomassa 3 A 1 = A, A 2 = A ja A i = kaikilla i 3. Joukkojen A ja A leikkaus on tyhjä joukko ja niiden yhdiste on koko otosavaruus. Tällöin aksioomien 3 ja 2 ja kohdan (i) nojalla P(S) = P(A A) = P(A)+P(A) = 1, josta saadaan väittämä P(A) = 1 P(A). (iii) Tämä väittämä saadaan kohdasta (i) ja aksioomasta 3 valitsemalla A i = kaikilla i n+1. (iv) Joukko B = A (B A), missä A (B A) =. Näin ollen aksioomien 1 ja 3 nojalla P(B) = P(A)+P(B A) P(A). (v) Joukko voidaan kirjoittaa erillisten joukkojen yhdisteenä jonka todennäköisyys on A = (A B) (A B), P(A) = P(A B)+P(A B) P(A B) = P(A) P(A B).

1.4. TODENNÄKÖISYYSLASKENNAN AKSIOOMAT 11 (vi) Voidaan kirjoittaa A B = (A B) B, jolloin kohtien (iii) ja (v) nojalla saadaan P(A B) = P((A B) B) = P(A B)+P(B) Induktiolla kohdasta (vi) saadaan Lause 2 (Yleinen yhteenlaskukaava). P(A 1 A 2 A n ) = = P(A)+P(B) P(A B). n P(A i ) +( 1) k 1 1 i<j n 1 i 1 < <i k n P(A i A j )+... +( 1) n 1 P(A 1 A 2 A n ). P(A i1 A ik )+...

12 LUKU 1. TODENNÄKÖISYYDEN KÄSITE

Luku 2 Ehdollinen todennäköisyys 2.1 Ehdollinen todennäköisyys Olkoon jatkossa S satunnaiskokeen otosavaruus, E sen tapahtumasysteemi ja P todennäköisyys. Määr. 2. Olkoon A ja B kaksi tapahtumaa, missä P(B) > 0. Tapahtuman A ehdollinen todennäköisyys ehdolla B on P(A B) = P(A B). P(B) Ehdollinen todennäköisyys on todennäköisyys, jonka otosavaruus on B tapahtumasysteeminä E B = {A B A E}. Ehdolliselle todennäköisyydelle on siis voimassa 1. 0 P(A B) 1; 2. P(B B) = 1; 3. P(A 1 A 2 B) = P(A 1 B)+P(A 2 B), kun A 1 A 2 B =. Huom! Tapahtumien A 1 ja A 2 leikkausjoukko voi olla epätyhjä; mutta silti A 1 A 2 B =. Ehdollisen todennäköisyyden määritelmästä saadaan todennäköisyyslaskennan kertolaskusääntö: P(A B) = P(B)P(A B), kun P(B) > 0 P(A B) = P(A)P(B A), kun P(A) > 0 Täydellisellä induktiolla voidaan todistaa: 13

14 LUKU 2. EHDOLLINEN TODENNÄKÖISYYS Lause 3. Olkoot A 1,A 2,...,A n E siten, että P(A 1 A n 1 ) > 0 Tällöin on voimassa P(A 1 A n ) = P(A 1 )P(A 2 A 1 )P(A 3 A 1 A 2 ) P(A n A 1 A n 1 ). 2.2 Kokonaistodennäköisyys Olkoon {A 1,A 2,...,A n } otosavaruuden S ositus, eli ja A i A j =, i j, A 1 A 2 A 3 A n = S. Olkoon ositus sellainen, että P(A i ) > 0 kaikilla i = 1,...,n. Mielivaltaiselle tapahtumalle B, jolle P(B) > 0, on (A 1 B) (A 2 B) (A n B) = B. Koska tapahtumat A i B ovat erillisiä, niin P(B) = P(A 1 B)+ +P(A n B). Toisaalta kertolaskusäännön nojalla kaikille i = 1, 2,..., n: P(A i B) = P(B A i )P(A i ). Sijoittamalla tapahtuman B todennäköisyyden lausekkeeseen saadaan ns. kokonaistodennäköisyyden kaava P(B) = n P(B A i )P(A i ). 2.3 Bayesin kaava Tapahtumille A ja B on voimassa kertolaskusäännön nojalla kunhan P(A), P(B) > 0. P(A B) = P(B A)P(A), P(B)

2.4. RIIPPUMATTOMUUS 15 Olkoon {A 1,A 2,...,A n } otosavaruuden ositus, jolle P(A i ) > 0 kaikilla i = 1,..., n. Kokonaistodennäköisyyskaavan nojalla n P(B) = P(B A i )P(A i ). Kertolaskusäännön ja kokonaistodennäköisyyden perusteella saadaan Lause 4 (Bayesin kaava). P(A j B) = P(B A j )P(A j ) n k=1 P(A k)p(b A k ). 2.4 Riippumattomuus Määr. 3. Tapahtumat A ja B ovat riippumattomia, jos P(A B) = P(A)P(B). Ehdollisen todennäköisyyden määritelmästä nähdään, että tapahtumat ovat riippumattomia, jos B:n esiintyminen ei vaikuta tapahtuman A todennäköisyyteen. Siis, jos P(B) > 0, niin A ja B ovat riippumattomia P(A B) = P(A). Riippumattomuuden käsite yleistetään kahta useammalle tapahtumalle seuraavasti. Määr. 4. Olkoon {S,E,P} todennäköisyysavaruus ja A 1,A 2,...,A n tapahtumia. Sanotaan, että ne ovat keskinäisesti riippumattomia, jos kaikille indeksijoukoille {i 1,i 2,...,i k } {1,2,3,...,n} P(A i1 A ik ) = P(A i1 ) P(A ik ). Tapahtumat{A 1,A 2,...,A n } ovat pareittain riippumattomia, jos kaikille i j P(A i A j ) = P(A i )P(A j ). Huom! Keskinäisesti riippumattomat ovat pareittain riippumattomia, mutta ei päinvastoin. Lause 5. Tapahtumat A ja B ovat riippumattomia, jos ja vain jos A ja B ovat riippumattomia. Tilastollinen riippumattomuus on todennäköisyysfunktion ominaisuus, eikä sillä ole mitään tekemistä joukko-opillisen erillisyyden (l. poissulkeavuuden) kanssa.

16 LUKU 2. EHDOLLINEN TODENNÄKÖISYYS Riippumattomien tapahtumien yhdiste Olkoon tapahtumat A 1,A 2,...,A n riippumattomia. Tällöin tapahtuman "ainakin yksi tapahtumista A i sattuu"todennäköisyys on [ ][ ] [ ] P(A 1 A 2 A n ) = 1 1 P(A 1 ) 1 P(A 2 ) 1 P(A n ). Riippumattomien kokeiden yhdistäminen Olkoot E 1,E 2,...,E n riippumattomia satunnaiskokeita siinä mielessä, että yksittäisen kokeen tulos ei vaikuta muihin. Olkoon satunnaiskokeiden otosavaruudet S 1,S 2,...,S n, sekä P 1,P 2,...,P n satunnaiskokeiden todennäköisyydet. Yhdistetyn kokeen otosavaruudeksi määritellään S = S 1 S 2 S n ( on karteesinen tulo). Sen osajoukot ovat muotoa A 1 A 2 A n, jotka tulkitaan tapahtumaksi "A 1 sattuu kokeessa E 1 ja A 2 sattuu kokeessa E 2 ja... ja A n tapahtuu kokeessa E n ". Yhdistetyn tapahtuman todennäköisyydeksi määritellään P(A 1 A 2 A n ) = P 1 (A 1 )P 2 (A 2 )...P n (A n ). Satunnaiskokeiden riippumattomuuden päättelyssä käytetään ensisijaisesti yleistä tietoa ja tervettä maalaisjärkeä; vasta toissijaisesti laskennallisia menetelmiä.

Luku 3 Satunnaismuuttuja ja diskreetti jakauma 3.1 Satunnaismuuttuja Useissa todennäköisyyden luonnon- tai teknistieteellisissä sovellutuksissa satunnaiskokeen lopputulos on numeerinen lukuarvo. Virtapiireissä mitataan jännitteitä ja virranvoimakkuuksia, törmäyskokeissa lasketaan esiintyvien hiukkasten lukumääriä, ja sähkömagneettisissa sovellutuksissa arvioidaan kentän intensiteettiä. Ellei satunnaiskokeen tulos ole valmiiksi reaaliluku, se voidaan usein luontevasti muuntaa reaaliluvuksi jollakin funktiolla, joka suorittaa kuvauksen otosavaruudesta reaalilukujen joukkoon R. Tämä kuvaus on satunnaismuuttuja. Se mahdollistaa klassisen reaalianalyysin ottamisen todennäköisyyslaskennan käyttöön. Satunnaismuuttujaan liittyvät todennäköisyydet muodostavat satunnaismuuttujan jakauman, jota voidaan käsitellä analyyttisesti R:ssä määritellyn kertymäfunktion avulla. Satunnaismuuttujista ja niiden jakaumista voidaan erottaa kaksi tavallista tyyppiä: diskreetti ja jatkuva. Olkoon {S, E, P} todennäköisyysavaruus. Täsmällisesti ottaen satunnaismuuttuja on funktio X : S R, joka liittää reaaliluvun X(e) jokaiseen alkeistapahtumaan e S. Satunnaismuuttujan arvojoukkoa merkitään symbolilla S X, joka voidaan tulkita satunnaiskokeen otosavaruudeksi. Jokainen funktio X : S R ei ole satunnaismuuttuja. Kyseessä on satunnaismuuttuja vain, jos jokaisella x R joukko {X x} kuuluu tapahtumasysteemiin. Tässä {X x} = {e S X(e) x}. Jokaiseen reaalilukuun x liittyy siten satunnaiskokeen tietty tapahtuma, jolla on täysin määrätty todennäköisyys. Satunnaismuuttujan arvoa x sanotaan sen realisaatioksi. 17

18 LUKU 3. SATUNNAISMUUTTUJA JA DISKREETTI JAKAUMA Satunnaismuuttujan valinta ei ole yksikäsitteinen; mutta toiset valinnat ovat yksinkertaisempia kuin toiset. Esimerkiksi nopanheitossa silmäluku on luonnollinen valinta alkeistapahtumaa kuvaavaksi satunnaismuuttujaksi; mutta yhtä hyvin voitaisiin valita satunnaismuuttujaksi Kertymäfunktio X( silmäluku on i ) = 100+i, i = 1,2,3,4,5,6. Satunnaismuuttujan otosavaruudessas X todennäköisyys P X määritellään alkuperäisen todennäköisyyden avulla. Näin ollen jokaiselle joukolle {X x} voidaan yksikäsitteisesti määritellä todennäköisyys P X ({X x}) = P({e S X(e) x}). Tämä todennäköisyys on x:n funktio, ja sitä kutsutaan kertymäfunktioksi: F X (x) = P X (X x). Jos ei ole sekaannuksen vaaraa, niin usein jätetään kertymäfunktion ja satunnaismuuttujan todennäköisyydestä alaindeksi X merkitsemättä. Kertymäfunktion ominaisuuksia: 1. 0 F(x) 1 kaikilla x R; 2. F(x 1 ) F(x 2 ), kun x 1 x 2 ; 3. F on oikealta jatkuva; 4. lim x F(x) = 0, lim x F(x) = 1; 5. P(x 1 < X x 2 ) = F(x 2 ) F(x 1 ). Tapahtuma {X } on tietysti tyhjä joukko, ja tapahtuman {X < } täytyy sisältää kaikki satunnaiskokeen tapahtumat. Algebralliset laskutoimitukset Koska samassa todennäköisyysavaruudessa {S, E, P} määritellyt satunnaismuuttujat ovat reaaliarvoisia funktioita, joilla on sama lähtöjoukko S, niille voidaan luonnollisella tavalla määritellä algebralliset laskutoimitukset. (i) Reaaliluvulla kertominen: jos c R ja X on satunnaismuuttuja, niin cx on kuvaus S R, jolle (cx)(e) = c X(e) kaikilla e S.

3.1. SATUNNAISMUUTTUJA 19 (ii) Yhteenlasku: jos X ja Y ovat satunnaismuuttujia, niin X +Y on kuvaus S R, jollekin (X +Y)(e) = X(e)+Y(e) kaikilla e S. (iii) Kertolasku: jos X ja Y ovat satunnaismuuttujia, niin XY on kuvaus S R, jolle (XY)(e) = X(e) Y(e) kaikilla e S. (iv) Jakolasku: jos X on satunnaismuuttuja ja Y on satunnaismuuttuja, jolle P(Y = 0) = 0, niin X on kuvaus S R, jolle Y { X(e) X Y (e) =, kun Y(e) 0, Y(e) 0, kun Y(e) = 0. Voidaan todistaa, että edellä mainituilla algebrallisilla laskutoimituksilla saadut funktiot S R ovat edelleen satunnaismuuttujia. Lause 6. Olkoot X ja Y todennäköisyysavaruudessa {S, E, P} määriteltyjä satunnaismuuttujia ja c R. Tällöin cx, X + Y, XY, max{x,y} ja min{x,y} ovat satunnaismuuttujia. Lisäksi, jos P(Y = 0) = 0, niin X Y on satunnaismuuttuja. Induktiolla Lauseesta 6 saadaan Korollaari 1. Jos X 1,X 2,...,X n ovat todennäköisyysavaruudessa {S,E,P} määriteltyjä satunnaismuuttujia ja c 1,c 2,...,c n R, niin c 1 X 1 + +c n X n, X 1 X n, max{x 1,...,X n } ja min{x 1,...,X n } ovat satunnaismuuttujia. Satunnaismuuttujan muunnokset Jos X : S R on satunnaismuuttuja ja g : R R funktio, ne määrittelevät yhdistetyn funktion g X : S R, jolle käytetään merkintää g X = g(x). Kuvausta g(x) sanotaan satunnaismuuttujan X muunnokseksi. Mitä ehtoja funktiolle g on asetettava, että g(x) on edelleen satunnaismuuttuja? Seuraava lause kattaa tärkeimmät tapaukset. Lause 7. Jos X on satunnaismuuttuja todennäköisyysavaruudessa {S, E, P} ja (i) jos g on jatkuva, niin g(x) on satunnaismuuttuja. (ii) jos g on monotoninen (kasvava tai vähenevä), niin g(x) on satunnaismuuttuja.

20 LUKU 3. SATUNNAISMUUTTUJA JA DISKREETTI JAKAUMA Satunnaismuuttujien riippumattomuus Satunnaismuuttujien riippumattomuus palautetaan tapahtumien riippumattomuuden käsitteeseen seuraavalla tavalla. Määr. 5. Olkoot X ja Y satunnaismuuttujia todennäköisyysavaruudessa {S,E,P}. Sanotaan, että X ja Y ovat riippumattomia, jos tapahtumat {X x} ja {Y y} ovat riippumattomia kaikilla x,y R, eli kaikilla x,y R. P({X x} {Y y}) = P({X x})p({y y}) Useamman kuin kahden satunnaismuuttujan tapauksessa puhutaan keskinäisestä riippumattomuudesta. Määr. 6. Olkoot X 1,...,X n satunnaismuuttujia todennäköisyysavaruudessa {S,E,P}. Sanotaan, että X 1,...,X n ovat keskinäisesti riippumattomat, jos P({X 1 x 1 } {X n x n }) = P({X 1 x 1 }) P({X n x n }) kaikilla x 1,...,x n R. Huomautus 1. Usein puhutaan riippumattomista satunnaismuuttujista, jolla tarkoitetaan keskinäisesti riippumattomia satunnaismuuttujia. Lause 8. Jos X ja Y ovat riippumattomia satunnaismuuttujia, niin g(x) ja h(y) ovat riippumattomia kaikilla funktioilla g, h : R R, joilla g(x) ja h(y) ovat satunnaismuuttujia (ks. Lause 7). Lauseella 8 on seuraava vastine n-ulotteisessa tapauksessa. Lause 9. Jos X 1,...,X n ovat keskinäisesti riippumattomia satunnaismuuttujia, niin g(x 1,...,X k ) ja h(x k+1,...,x n ) ovat riippumattomia kaikilla funktioilla g : R k R ja h : R n k R, joilla muunnokset g(x 1,...,X k ) ja h(x k+1,...,x n ) ovat satunnaismuuttujia. Esim 2. Jos X, Y, Z, V ovat keskinäisesti riippumattomia, niin esimerkiksi (i) X +Y +Z ja V, (ii) X Y ja Z +V, (iii) XY ja Z 2 +V 2 ovat riippumattomia.

3.2. DISKREETTI SATUNNAISMUUTTUJA 21 3.2 Diskreetti satunnaismuuttuja Diskreetti jakauma Satunnaismuuttuja X on diskreetti, jos sen arvojoukko S X on äärellinen tai numeroituvasti ääretön: S X = {x k ; k = 1,2,3,...}. Satunnaismuuttujaan X liittyvä jakauma on pistejoukko Funktiota (x k,p(x = x k )), k = 1,2,3,... f(x) = { P(X = x k ), x = x k 0, x x k, k kutsutaan pistetodennäköisyysfunktioksi. Diskreetin satunnaismuuttujan kertymäfunktio on porrasfunktio F(x) = P(X = x k ). k:x k x Kertymäfunktion ominaisuuden lim x F(x) = 1 nojalla on pistetodennäköisyysfunktion arvojen summa = 1, eli k:x k S X f(x k ) = 1. Binomijakauma Toistetaan satunnaiskoetta n kertaa riippumattomasti. Nämä n koetta muodostavat yhdistetyn kokeen E n. Tarkastellaan yksittäisen satunnaiskokeen tapahtumaa B, jonka todennäköisyys P(B) = p ja sen komplementtitapahtumaa B, P(B) = 1 p. Yhdistetyn kokeen tapahtumaan A k ={ B sattuu täsmälleen k kertaa } määrittelee satunnaismuuttujan X, jonka arvojoukko S X = {0,...,n}. Tällaisten tapahtumien lukumäärä vastaa järjestämättömien kertaotosten lukumäärää l. binomikerrointa ( ) n. k Yksittäisen tällaisen kertaotoksen todennäköisyys on p k (1 p) n k. Näin ollen tapahtuman A k todennäköisyys, l. binomi-jakautuneen satunnaismuuttujan pistetodennäköisyysfunktio on ( ) n P(X = k) = p k (1 p) n k. k

22 LUKU 3. SATUNNAISMUUTTUJA JA DISKREETTI JAKAUMA Merkitään X Bin(n, p), jos satunnaismuuttuja noudattaa binomijakaumaa. Jos X 1 Bin(n 1,p) ja X 2 Bin(n 2,p), niin X 1 +X 2 Bin(n 1 +n 2,p). Geometrinen jakauma Toistetaan riippumattomasti satunnaiskoetta. Tarkkaillaan tapahtuman B sattumista jokaisella toistolla. Esitetään kysymys: "Millä todennäköisyydellä B tapahtuu ensimmäisen kerran k:nnella toistolla?" Yhdistetyn tapahtuman A = } B B {{} B. k 1 kertaa todennäköisyys on P(A) = (1 p) k p. Liittämällä edelliseen tapahtumaan satunnaismuuttuja X, joka ilmoittaa monennella kerralla B sattuu ensimmäisen kerran saadaan geometrisesti jakautunut satunnaismuuttuja X Geo(p), jonka pistetodennäköisyys on Poisson-jakauma P(X = k) = p(1 p) k 1. Jos toistokokeessa toistojen lukumäärä n on hyvin suuri ja mielenkiintoisen tapahtuman B todennäköisyys on pieni (p = P(B) << 1), niin ( ) n P(A k ) = p k (1 p) n k n! = k k!(n k)! pk (1 p) n k P k = ak e a, k! missä a = np ja 0 k <. Eksponenttifunktion potenssisarjan e a a k = k! k=0 nojalla luvut P k muodostavat todella pistetodennäköisyyden satunnaismuuttujalle X : S N P(X = k) = ak e a, k! sillä P(X = k) = e a a k k! = e a e a = 1. k=0 Luku a on keskimääräinen onnistumisten lukumäärä (ks. viikon 5 luennot). Poisson-jakautunutta satunnaismuuttujaa merkitään X Poi(a). Jos X 1 Poi(a 1 ) ja X 2 Poi(a 2 ), niin X 1 +X 2 Poi(a 1 +a 2 ). k=0

3.2. DISKREETTI SATUNNAISMUUTTUJA 23 Hurraa, Einstein! Kun valonsäde kohdistetaan valosähköisesti herkkään materiaaliin, se irroittaa pinnasta elektroneja. Vetämällä ne positiivisella jännitteellä varattuun anodiin ulkoisen virtapiirin virran voimakkuus kasvaa. Virran voimakkuudesta voidaan päätellä irronneiden elektronien lukumäärä. Irronneiden elektronien lukumäärää ei voida ennustaa tarkalleen; vaan lukumäärä on satunnaismuuttuja. Keskimääräinen emittoituneiden elektronien lukumäärä a on suoraan verrannollinen pintaan kohdistuvan säteilyn kokonaisenergiaan W aikavälillä [0, T]. Jos valontaajuus on ν, niin tämä keskimääräinen arvo on a = ηw hν, missä h on Planck n vakio, η on ns. materiaalin kvanttitehokkuus. Tavallisesti oppikirjoissa luku η tulkitaan todennäköisyydeksi tapahtumalle, että yksittäinen fotoni irroittaa elektronin (joka on mitattavissa), ja W on pintaan hν osuvien fotonien lukumäärä. Elektronin irtoamistodennäköisyys p pinnasta ja joutuminen anodiin on kuitenkin hyvin pieni. Määritellään suotuisaksi tapahtumaksi tapahtuma, jossa elektroni emittoituu pinnasta. Todennäköisyys, että k elektronia rekisteröidään mittalaitteessa noudattaa binomijakaumaa; mutta koska materiaalin pinnassa (kohdassa, mihin fotonit osuvat) olevien elektronien lukumäärä n >> 1 ja p << 1, niin voidaan approksimoida, että satunnaismuuttuja X (emittoituneiden elektronien lukumäärä) noudattaa Poissonin jakaumaa. Huomaa, että tässä leikitään taas tapahtumien riippumattomuuksilla. Nimittäin oletetaan, että elektronin emittoituminen on riippumaton siitä, kuinka muut elektronit käyttäytyvät. Ja lisäksi oletetaan, että valo ei ole liian intensiivistä kasvattaakseen potentiaalisesti emittoituvien elektronien lukumäärää n. Hypergeometrinen jakauma Tarkastellaan N kappaletta numeroita, esimerkiksi joukkoa {1, 2,..., N}. Numeroista on merkitty kokeenjärjestäjän toimesta m kappaletta. Kokeensuorittaja valitsee numeroiden joukosta umpimähkäisesti n numeroa. Millä todennäköisyydellä kokeensuorittaja valitsi täsmälleen k kappaletta ennakolta merkittyä numeroa? Satunnaiskoe määrittelee satunnaismuuttujan X, joka noudattaa hypergeometrista jakaumaa: ( m N m ) P(X = k) = k)( n k ( N. n) Esim 3. Millä todennäköisyydellä lotossa saadaan täsmälleen 4 oikein?

24 LUKU 3. SATUNNAISMUUTTUJA JA DISKREETTI JAKAUMA

Luku 4 Jatkuva satunnaismuuttuja ja jakauma 4.1 Tiheysfunktio Satunnaismuuttuja X on jatkuva, jos sen kertymäfunktio on jatkuva kaikilla x:n arvoilla. Jatkossa oletetaan lisäksi, että kertymäfunktio on paloittain derivoituva. Toisin sanoen sillä on derivaatta olemassa lukuunottamatta äärellistä määrää derivaatan hyppäysepäjatkuvuuksia. Tällöin on olemassa tiheysfunktio f X (t) siten, että F X (x) = P(X x) = x f X (t)dt. Jos ei ole suurta erehtymisen riskiä, niin usein merkitään f(x) = f X (x). Jatkuvalle jakaumalle F(a+h) F(a h) 0, kun h 0. Näin ollen P(X = a) = 0. Diskreetille jakaumalle tämä ei välttämättä päde. Tiheysfunktion ominaisuuksia: 1. f X (x) 0, x; 2. f X(x)dx = 1; 3. P(a < X b) = b a f X(x)dx = F X (b) F X (a); 4. f X (x) = df X(x) dx. Koska P(X = b) = 0, niin jatkuvalle jakaumalle seuraavat todennäköisyydet ovat yhtä suuria: P(a < X < b) = P(a X < b) = P(a X b) = P(a < X b). 25

26 LUKU 4. JATKUVA SATUNNAISMUUTTUJA JA JAKAUMA 4.2 Jatkuvia todennäköisyysjakaumia Eksponenttijakauma Satunnaismuuttuja X noudattaa eksponenttijakaumaa, X exp(a), jos sen tiheysfunktio on { 0, x < 0, f X (x) =. ae ax, x 0 Sen kertymäfunktio on silloin F X (x) = x f X (t)dt = { 0, x < 0 1 e ax, x 0 Eksponenttijakauman parametri a > 0. Sen käänteisluku 1 ilmoittaa satunnaismuuttujan keskimääräisen arvon. a Tyypillisesti eksponenttijakaumalla mallinnetaan odotusaikaa, jollekin tapahtumalle; esimerkiksi diodin elinajalle.. Tasajakauma Tasajakauman, X Tas(a, b), tiheysfunktio 0, x < a 1 f X (x) = b a, a x b 0, x > b. Tasaisesti jakautuneen satunnaismuuttujan kertymäfunktio on silloin 0, x < a x a F X (x) = b a, a x b. 1, x > b Normaalijakauma Normaalijakauma (Gaussin jakauma) on tärkein todennäköisyyslaskennan sovellutuksissa esiintyvä jakauma. Se on 2-parametrinen jakauma. Merkitään X N(µ,σ 2 ), jos satunnaismuuttujan X tiheysfunktio on ns. Gaussin kellokäyrä 1 f X (x) = e (x µ)2 2σ 2. 2πσ 2

4.2. JATKUVIA TODENNÄKÖISYYSJAKAUMIA 27 Parametri µ on satunnaismuuttujan X keskimääräinen arvo; σ 2 sen varianssi (jakauman tunnusluvut käsitellään tarkemmin myöhemmin). Normaalijakauman kertymäfunktion arvoja F X (x) = 1 2πσ 2 x e (z µ)2 2σ 2 dz ei voida laskea suljetussa muodossa. Normaalijakautuneen satunnaismuuttujan kertymäfunktion arvot lasketaan sopivalla muuttujan vaihdoksella (0, 1)- jakautuneen l. standardisoidun normaalijakauman kertymäfunktiosta Φ(x), jonka arvot on laskettu taulukoihin (ks. liite). Joissakin laskimissa on myös suoraan standardisoidun jakauman kertymäfunktion arvot. Standardisoidun normaalijakauman N(0, 1) tiheysfunktio ja kertymäfunktio ovat f X (x) = 1 2π e x2 2 Φ(x) = 1 2π x e t2 2 dt. Kertymäfunktion arvot Φ(x) luetaan siis taulukosta. Sillä on seuraava tärkeä symmetriaominaisuus: Φ( x) = 1 Φ(x). Edelleen todennäköisyys, että standardisoitu normaalijakautunut satunnaismuuttuja Z saa arvoja väliltä [a, b] on P(a < Z < b) = Φ(b) Φ(a). Lause 10. Jos Z N(µ,σ 2 ), niin X = az + b N(aµ +b,a 2 σ 2 ) kaikilla 0 a R ja b R. Tätä lausetta hyväksi käyttämällä voidaan mielivaltaiseen normaalijakaumaan liittyvät todennäköisyyspäätelmät palauttaa N(0, 1)-jakautuneen satunnaismuuttujan todennäköisyyksiin. Esimerkiksi olkoon X N(µ,σ 2 ). Silloin satunnaismuuttuja Z = X µ σ Tällöin todennäköisyys sille, että X a on N(0,1). P(X a) = P(Z a µ σ ) = Φ(a µ σ ).

28 LUKU 4. JATKUVA SATUNNAISMUUTTUJA JA JAKAUMA Vikaantumisjakaumista Olkoon X 0 komponentin eliniän ilmoittava satunnaismuuttuja. Komponentin ehdollinen vikaantumistodennäköisyys voidaan määritellä ns. hasardifunktion ρ(t) avulla. Se määritellään siten, että ehdollinen todennäköisyys komponentin vikaantumiselle aikavälillä [t, t + dt], kun se on ollut ehjä ennen ajanhetkeä t on P(t < X t+dt X t) = ρ(t)dt. Olkoon satunnaismuuttujan X tiheysfunktio f(t) ja kertymäfunktio F(t). Tällöin ehdollinen todennäköisyys P[(t X t+dt) (X t)] P(t < X t+dt X t) = P(X t) P(t < X t+dt) = 1 P(X t) = F(t+dt) F(t) 1 F(t) = f(t)dt 1 F(t). Näin ollen hasardifunktio voidaan lausua tiheysfunktion ja kertymäfunktion avulla ρ(t) = f(t) 1 F(t). Koska tiheysfunktio on kertymäfunktion derivaatta, niin ρ(t) = F (t) 1 F(t) = d dt ln[1 F(t)]. Integroimalla puolittain voidaan kertymäfunktio ratkaista hasardifunktion avulla: { 0, t < 0 F(t) = 1 e t 0 ρ(s)ds, t 0. Tiheysfunktio on silloin f(t) = { 0, t < 0 ρ(t)e t 0 ρ(s)ds, t 0.

4.2. JATKUVIA TODENNÄKÖISYYSJAKAUMIA 29 Weibullin jakauma Weibullin jakauman, X Weibull(α, β), hasardifunktio on ρ(t) = αβt β 1, t > 0, α,β > 0. Tiheys- ja kertymäfunktio ovat F(t) = 1 e αtβ, t > 0 f(t) = αβt β 1 e αtβ, t > 0. Weibullin jakauma on tyypillinen luotettavuustekniikassa käytetty komponentin eliniän jakautumismalli, joka ottaa huomioon, että komponentin hetkellinen vikaantumistodennäköisyys muuttuu käytössä, jos komponenttia ei huolleta.

30 LUKU 4. JATKUVA SATUNNAISMUUTTUJA JA JAKAUMA

Luku 5 Jakauman tunnusluvuista 5.1 Odotusarvo Diskreetin jakauman odotusarvo on E(X) = k:x k S X x k P(X = x k ), jos oikealla puolella oleva summa on suppeneva. Jatkuvan jakauman odotusarvo määritellään vastaavasti. Olkoon satunnaismuuttujan X tiheysfunktio f X (x). Tällöin satunnaismuuttujan X odotusarvo on E(X) = xf X (x)dx, mikäli integraali on olemassa. Odotusarvo ilmoittaa jakauman keskikohdan eli sen arvon, jonka satunnaismuuttuja keskimääräisesti saavuttaa. Odotusarvoa merkitään usein myös E(X) = µ. Esim 4. Kaikilla jakaumilla ei ole odotusarvoa. Esimerkiksi (i) satunnaismuuttujalla X, jonka pistetodennäköisyysfunktio on P(X = k) = 6 π 2 k2, k = 1,2,3,...; (ii) Cauchy-jakautuneella satunnaismuuttujalla, jonka tiheysfunktio on ei ole odotusarvoa. f(x) = { 2 π 1, x 0, 1+x 2 0, x < 0, 31

32 LUKU 5. JAKAUMAN TUNNUSLUVUISTA Ratk.: (i) E(X) = 6 k π 2 k = 6 2 π 2 k=1 k=1 1 k. Oikealla puolella oleva sarja hajaantuu, ja siten satunnaismuuttujalla ei ole odotusarvoa. (ii) Jokaisella positiiviselle vakiolla a > 0 Näin ollen 2 a x π 0 1+x 2dx = 2 π 0 / a ja siten odotusarvoa ei ole olemassa. 0 1 2 ln(1+x2 ) = 1 π ln(1+a2 ). 2x 1 dx = lim π(1+x 2 ) a π ln(1+a2 ) = Tärkeiden jakaumien odotusarvoja 1. Binomijakauma X Bin(n,p) : E(X) = np ; 2. Geometrinen jakauma X Geo(p) : E(X) = 1 p ; 3. Poissonin jakauma X Poi(a) : E(X) = a; 4. Tasainen jakauma X Tas(a,b), E(X) = a+b 2 ; 5. Eksponenttijakauma X Exp(λ), E(X) = 1 λ ; 6. Normaalijakauma X N(µ,σ 2 ), E(X) = µ; 7. Weibullin jakauma X Weibull(α, β), E(X) = α 1/β Γ(1+1/β), α,β > 0.

5.2. VARIANSSI 33 5.2 Varianssi Jatkuva satunnaismuuttuja on neliöintegroituva, jos sillä on odotusarvo ja integraali E(X 2 ) = x 2 f X (x)dx on äärellinen. Diskreetin satunnaismuuttujan tapauksessa integraali korvataan summalla, ts. E(X 2 ) = x i x 2 ip(x = x i ) <. Tällöin määritellään jakauman varianssiksi suure Var(X) = E((X E(X)) 2 ). Merkitään myös Var(X) = σ 2 = D 2 (X). Lukua σ(x) = Var(X) kutsutaan jakauman keskihajonnaksi. Varianssi (tai keskihajonta) ilmoittaa kuinka paljon satunnaismuuttuja poikkeaa odotusarvosta keskimäärin. Varianssille pätee seuraava hyödyllinen laskukaava. Lause 11. Olkoon X satunnaismuuttuja, jonka varianssi Var(X) on äärellinen. Tällöin Var(X) = E(X 2 ) (E(X)) 2. Tärkeiden jakaumien variansseja 1. Binomijakauma X Bin(n,p) : Var(X) = np(1 p); 2. Geometrinen jakauma X Geo(p) : Var(X) = 1 p p 2 ; 3. Poissonin jakauma X Poi(a) : Var(X) = a; 4. Tasajakauma X Tas(a,b) : Var(X) = (a b)2 12 ; 5. Normaalijakauma X N(µ,σ 2 ) : Var(X) = σ 2 ; 6. Eksponenttijakauma X Exp(λ) : Var(X) = 1 λ 2. 7. Weibullin jakauma X Weibull(α, β) : Var(X) = α 2/β (Γ(1+2/β) Γ(1+1/β) 2 ).

34 LUKU 5. JAKAUMAN TUNNUSLUVUISTA 5.3 Odotusarvon ja varianssin ominaisuuksia Lause 12. Jos satunnaismuuttuja X on todennäköisyydellä yksi vakio, so. on olemassa c R siten, että P(X = c) = 1, niin E(X) = c ja Var(X) = 0. Kääntäen, jos Var(X) = 0, niin X on todennäköisyydellä yksi vakio. Lause 13. Olkoot X ja Y satunnaismuuttujia, joilla on odotusarvo ja varianssi, ja a,b R. Tällöin E(aX +by) = ae(x)+be(y), Var(aX +by) = a 2 Var(X)+b 2 Var(Y)+2abE((X E(X))(Y E(Y))). Jos X ja Y ovat lisäksi riippumattomia, niin E(XY) = E(X)E(Y), Var(aX +by) = a 2 Var(X)+b 2 Var(Y). Esim 5. Standardisoidun normaalijakauman N(0, 1) odotusarvo E(X) = 0 ja varianssi σ 2 = 1. Ratk.: Yhdistetyn funktion derivoimissäännön nojalla E(X) = 1 2π Osittaisintegroimalla saadaan varianssiksi Var(X) = 1 2π x 2 e x2 2 dx = 1 2π / ( x)e x2 2 } {{ } =0 1 / a xe x2 2 dx = lim e x2 2 = 0. 2π a a + 1 2π e x2 2 dx = P( < X < ) = 1, sillä jäljelle jäävä integraali on normaalijakauman tiheysfunktion integraali yli koko reaalilukujen joukon. Esim 6. Olkoon X N(0,1), µ R ja σ > 0. Tällöin satunnaismuuttujan Y = σx +µ varianssi on Var(X) = σ 2. Ratk.: Var(Y) = E([Y E(Y)] 2 ) = E[(σX) 2 ] = σ 2 E(X 2 ) = σ 2.

5.3. ODOTUSARVON JA VARIANSSIN OMINAISUUKSIA 35 Muunnoksen Y = h(x) odotusarvo Sekä teoriassa että sovelluksissa joudutaan usein tarkastelemaan satunnaismuuttujien funktioita, joille myös tulee laskea odotusarvot. Tarkastellaan aluksi tapausta, jossa X on diskreetti satunnaismuuttuja ja h(x) riittävän säännöllinen funktio (esim. jatkuvuus riittää). Silloin Y = h(x) on satunnaismuuttuja arvojoukkona S Y = {y j = h(x i ) x i S X }, jonka pistetodennäköisyysfunktio P(Y = y j ) = P(X = x i ). i: x i S X, y j =h(x i ) Lause 14. Olkoon X diskreetti satunnaismuuttuja ja funktio h(x) siten, että x i h(x i ) P(X = x i ) <. Tällöin satunnaismuuttujalla Y = h(x) on odotusarvo, ja E(Y) = E(h(X)) = x i h(x i )P(X = x i ). Vastaavasti jatkuvalle satunnaismuuttujalle X, jolla on olemassa tiheysfunktio f X (x), saadaan Lause 15. Olkoon h(x) siten, että h(x) f X (x)dx <. Tällöin satunnaismuuttujan Y = h(x) odotusarvo on E(Y) = h(x)f X (x)dx.

36 LUKU 5. JAKAUMAN TUNNUSLUVUISTA

Luku 6 Todennäköisyyslaskennan raja-arvolauseita 6.1 Chebyshevin epäyhtälö Tarkastellaan satunnaismuuttujaa X, jolla on odotusarvo µ = E(X) ja varianssi σ 2 = Var(X). Tällöin on voimassa Lause 16 (Chebyshevin epäyhtälö). Kaikilla positiivisilla luvuilla ǫ P( X µ ǫ) σ2 ǫ 2. Tod.: Oletetaan, että satunnaismuuttuja X on jatkuva ja että f(x) on sen tiheysfunktio. Tällöin P({X < µ ǫ} {X > µ+ǫ}) = Toisaalta varianssin määritelmän nojalla σ 2 = (x µ) 2 f(x)dx { µ ǫ ǫ 2 f(x)dx+ µ ǫ µ+ǫ µ ǫ f(x)dx+ (x µ) 2 f(x)dx+ µ+ǫ µ+ǫ } f(x)dx = ǫ 2 P( X µ ǫ). f(x)dx. (x µ) 2 f(x)dx Chebyshevin epäyhtälöllä voidaan aina arvioida, kuinka paljon satunnaismuuttuja poikkeaa odotusarvosta. Arvio on tosi karkea ja se riippuu varianssin suuruudesta. Usein Chebyshevin epäyhtälö kirjoitetaan muodossa P( X µ kσ) 1 k 2. 37

38LUKU 6. TODENNÄKÖISYYSLASKENNAN RAJA-ARVOLAUSEITA 6.2 Suurten lukujen laki Tilastollisen tutkimuksen kannalta eräs tärkeimmistä todennäköisyyslaskennan lauseista on suurten lukujen laki. Todistetaan seuraavassa sen alkeellisin muoto, heikko suurten lukujen laki. Lause 17 (Chebyshev). Olkoon X 1,X 2,... jono parittain riippumattomia, samalla tavalla jakautuneita satunnaismuuttujia, joilla on odotusarvo ja varianssi. Merkitään E(X i ) = µ ja Var(X i ) = σ 2. Jos n S n = X i, niin kaikilla ǫ > 0 Tod.: kun n. Tulkinta: P( S n n P( S n n µ ǫ) = P( n µ ǫ) 0, kun n. E([ n }{{} ǫ 2 Cheb.ey. X i µ ǫ) n X i µ n ]2 ) = 1 σ 2 n ǫ 0, 2 1. Satunnaismuuttujan 1 n S n todennäköisyysmassa keskittynyt välille x µ ǫ, kun n on riittävän suuri. 2. Satunnaismuuttujat X i voidaan tulkita saman satunnaiskokeen toistoiksi. Tällöin 1 n S n on otoskeskiarvo. Näin ollen otoskeskiarvo lähestyy satunnaismuuttujan odotusarvoa. Joten: Otoskeskiarvolla voidaan approksimoida odotusarvoa, kun havaintoaineisto satunnaismuuttujasta on riittävän suuri. Vahva suurten lukujen laki ilmoittaa, että satunnaismuuttujien aritmeettinen keskiarvo suppenee todennäköisyydellä yksi kohti odotusarvoa µ. Lause 18 (Kolmogorov). Olkoon X 1,X 2,... jono parittain riippumattomia, samalla tavalla jakautuneita satunnaismuuttujia, joilla on äärellinen odotusarvo E(X i ) = µ kaikilla i N. Tällöin P(lim n 1 n S n = µ) = 1.

6.3. KESKEINEN RAJA-ARVOLAUSE 39 6.3 Keskeinen raja-arvolause Keskeisellä raja-arvo-ongelmalla tarkoitetaan sitä, että on etsittävä ne yleiset ehdot, joiden vallitessa keskinäisesti riippumattomien satunnaismuuttujien X 1,X 2,... summa S n = X 1 + +X n lähestyy normaalijakaumaa. Lause 19. Olkoon X 1,X 2,... jono keskinäisesti riippumattomia, samaa jakaumaa noudattavia satunnaismuuttujia, joilla odotusarvo E(e tx i ) on olemassa, kun t < δ jollakin δ > 0. Merkitään µ = E(X i ), σ 2 = Var(X i ) > 0 ja S n = n X i. Silloin Sn lim P( n µ x 1 x) = Φ(x) = e u2 2 du. n σ n 2π Keskeisen raja-arvolauseen mukaan riittävän suurilla n:n arvoilla keskiarvo noudattaa likimain normaalijakaumaa, eli 1 n n X i N(µ, σ2 n ) likimain, kun n on riittävän suuri. Keskeisessä raja-arvolauseessa joskus n = 3 on riittävä otoksen koko, mutta joillekin satunnaismuuttujille n = 100000 ei riitä. Pääsääntöisesti (ainakin tällä kurssilla) approksimaatio on pätevä, kun n 30. Huomautus 2. Keskeisen raja-arvolauseen todisti vuonna 1901 venäläinen Lyapunov Lausetta 19 yleisemmillä oletuksilla. Yhteenlaskettavien ei tarvitse olla samalla tavalla jakautuneita. Yleisesti riittää, että X 1,X 2,... ovat keskinäisesti riippumattomia satunnaismuuttujia, joilla on odotusarvo E(X i ) = µ i, positiivinen varianssi Var(X i ) = σi 2 > 0 ja E(Xi 3 ) <. Jos lisäksi eräs rajoittava Lyapunovin ehto on voimassa, niin S n = X 1 + +X n N( likimain, kun n on riittävän suuri. n µ i, n σi) 2 6.4 Binomijakauman approksimaatio Summa X = X 1 +X 2 +X 3 + +X n

40LUKU 6. TODENNÄKÖISYYSLASKENNAN RAJA-ARVOLAUSEITA ilmoittaa suotuisan tapahtuman esiintymisten lukumäärän, jos satunnaismuuttujat X i ovat samalla tavalla jakautuneita ja riippumattomia satunnaismuuttujia, joille S Xi = {0,1} ja P(X i = 1) = P( suotuisa tapahtuma sattuu ) = p, P(X i = 0) = 1 p. Siis satunnaismuuttujat X i noudattavat binomijakaumaa Bin(1,p), jonka varianssi σ 2 = p(1 p). Tällöin keskeisen raja-arvolauseen nojalla satunnaismuuttuja X noudattaa normaalijakaumaa: X N(np,np(1 p)), kun n on kyllin suuri (Tällä kurssilla käytetään kriteerinä: n > 9 ). Näin p(1 p) ollen suurille n:n arvoille binomijakaumaa Bin(n, p) voidaan approksimoida normaalijakaumalla N(np, np(1 p)). Diskreettejä jakaumia approksimoitaessa voidaan tarkkuutta parantaa tekemällä jatkuvuuskorjaus. Jos 0 a b n ovat kokonaislukuja, niin todennäköisyyttä P(a X b) ei approksimoida integraalina a:sta b:hen, vaan integroidaan arvosta a 1 arvoon b+ 1. Siis 2 2 b ( ) n P(a X b) = p k (1 p) n k k k=a ( b+1/2 np ( a 1/2 np Φ ) Φ ). np(1 p) np(1 p)

Luku 7 Tilastollinen aineisto 7.1 Johdanto Kokeellisessa tutkimuksessa tutkittavien suureiden välisiä riippuvuuksia kuvaa matemaattinen malli, jonka parametrit pyritään arvioimaan (estimoimaan) koejärjestelyllä kerätyn havaintoaineiston perusteella. Mittauksiin sisältyy aina virheitä, jotka varsin usein oletetaan satunnaisiksi. Tällöin todennäköisyyslaskentaan nojautuvat tilastolliset menetelmät ovat hyödyllisiä apuvälineitä tuntemattomien suureiden arvioimisessa. Tilastollisen aineiston keruussa tutkittava ilmiö on oltava numeerinen, tai jollain tavalla väännettävä vaikka väkisin numeeriseen muotoon. Tutkittava ominaisuus on voitava yksikäsitteisesti määrätä jokaisesta yksilöstä. Aina on muistettava, että tilastolliset menetelmät ovat havainnoivia (toteavia), eivät määrääviä. Tilastollisessa tutkimuksessa perusjoukosta eli populaatiosta kerätään havaintoaineisto, otos, jollakin otantamenetelmällä ja tehdään populaatiota koskevia päätelmiä kyseisestä otoksesta. Tavallisin otantamenetelmä on yksinkertainen satunnaisotanta, jossa populaation jokaisella yksilöllä on sama mahdollisuus tulla valituksi otokseen. Tällä kurssilla emme puutu kehittyneempiin otoksen valintamenetelmiin. Olkoon X tutkittava satunnaismuuttuja, jonka todennäköisyysjakauma on täysin tai osittain tunnettu, ja (x 1,x 2,...,x n ) satunnaisotos X:stä. Otos ei sellaisenaan anna havainnollista kuvaa X:n arvojen jakautumisesta. Havaintoaineistoa on tapana kuvata otoksesta laskettujen otostunnuslukujen avulla. Tärkeimpiä otostunnuslukuja ovat 41

42 LUKU 7. TILASTOLLINEN AINEISTO Vaihteluväli ulottuu havaintoaineiston pienimmästä havaintoarvosta suurimpaan, eli se ilmoittaa, millä välillä havainnot vaihtelevat. Vaihteluvälin pituus on R = max x i min x i. 1 i n 1 i n Otoskeskiarvo x on havaintojen aritmeettinen keskiarvo x = 1 n Otosvarianssi s 2 = 1 n 1 n (x i x) 2. Otoskeskihajonta s = 1 n 1 n (x i x) 2. Mediaani M d on se luku, jonka alapuolella on puolet havainnoista: #{x i M d } n = 0.5. n x i. P-prosenttipiste M p on se luku, jonka alapuolella on p prosenttia havainnoista. Tavallisesti käytetään prosenttilukuja 25 %, 50 % ja 75 %. Otosmoodi Jaetaan havaintoaineisto luokkiin E 1,E 2,...,E k (tavallisesti k = n). Luokassa E i olevien alkioiden lukumäärä on silloin n i. Otosmoodi on se luokka, jossa on eniten havaintoja. 7.2 Tunnuslukujen estimoinnista Tarkasteltaessa satunnaismuuttujaan liittyvää ilmiötä voi osa jakauman parametreista olla tuntemattomia. Estimoinnissa on kyse perusjoukon tunnuslukujen arvioiden muodostamisesta. Parametrin θ arvio eli estimaatti ˆθ lasketaan havainnoista x 1,...,x n sijoittamalla ne estimointikaavaan ˆθ = g(x 1,...,x n ), missä g on θ:n arvion laskentaan hyväksi havaittu funktio. Millainen on hyväksi havaittu funktio? Olkoon (x 1,...,x n ) satunnaisotos satunnaismuuttujasta X. Estimoinnissa otos ajatellaan satunnaisvektorin (X 1,...,X n ) realisaatioksi, missä X 1,...,X n ovat riippumattomia ja jakautuvat kuten X. Satunnaismuuttujaa θ = g(x 1,...,X n ) sanotaan parametrin θ estimaattoriksi, jonka otoksessa (x 1,...,x n ) saama arvo ˆθ on

7.3. NORMAALIJAKAUMASTA JOHDETTUJA JAKAUMIA 43 parametrin θ piste-estimaatti. Estimaattori θ on siis satunnaismuuttuja ja ˆθ on sen realisaatio. Funktio g on hyvä, jos estimaattori antaa keskimäärin oikeita arvoja, sen varianssi on pieni ja havaintojen määrää lisätessä se tarkentuu. Estimaattori on harhaton, jos E(θ ) = θ, missä θ on estimoitava parametri. Esimerkiksi otoskeskiarvo on harhaton estimaattori satunnaismuuttujan X odotusarvolle µ = E(X). Tämän todistamista varten olkoot satunnaismuuttujat X i riippumattomia ja samalla tavalla jakautuneita kuin X. Tällöin E( 1 n X i ) = 1 n E(X i ) = E(X) = µ. n n Olkoot θ1 ja θ 2 kaksi saman parametrin θ harhatonta estimaattoria. Estimaattori θ1 on tehokkaampi kuin θ 2, jos Var(θ 1 ) < Var(θ 2 ). Kaikista θ:n harhattomista estimaattoreista tehokkain on se, jolla on pienin varianssi. Sanotaan, että estimaattori on tarkentuva, jos kaikille ǫ > 0 lim n P( θ θ > ǫ) = 0. Välittömästi suurten lukujen lain nojalla nähdään, että otoskeskiarvo on myös tarkentuva estimaattori. Voidaan myös kohtuullisella työllä osoittaa, että otosvarianssi s 2 on sekä harhaton että tarkentuva satunnaismuuttujan varianssin σ 2 estimaattori. 7.3 Normaalijakaumasta johdettuja jakaumia χ 2 -jakauma Olkoot Z 1,...,Z ν (0,1)-normaalijakautuneita ja riippumattomia satunnaismuuttujia, Z i N(0,1). Tällöin satunnaismuuttuja χ 2 ν = Z2 1 +Z2 2 + +Z2 ν on χ 2 -jakautunut vapausasteilla ν (ks. liite). Jakauman tiheysfunktio on f ν (x) = 1 x ν Γ( ν 2 1 e x 2 2 )2ν 2 ja sen odotusarvo E(χ 2 ν ) = ν ja varianssi σ2 ν = 2ν.

44 LUKU 7. TILASTOLLINEN AINEISTO Studentin t-jakauma Olkoot Z 1,...,Z ν ja Z (0,1)-normaalijakautuneita ja riippumattomia satunnaismuuttujia. Silloin satunnaismuuttuja t ν = 1 ν Z ν Zi 2 noudattaa Studentin jakaumaa (ks. liite), jonka tiheysfunktio on f tν (x) = 1 Γ( ν+1 x2 (1+ πν ) Γ( ν 2 2 ) ν+1 ν ) 2. Jatkon tarkastelujen kannalta seuraavat lauseet ovat varsin oleellisia: Lause 20. Olkoot X 1,...,X n riippumattomia, normaalijakaumaa N(µ,σ 2 ) noudattavia satunnaismuuttujia. Tällöin satunnaismuuttujien aritmeettinen keskiarvo X = 1 n X i n ja satunnaismuuttuja ovat riippumattomat. (n 1)S 2 = n (X i X) 2 Lause 21. Olkoot X 1,...,X n kuten Lauseessa 20. Tällöin 1. 2. (n 1)S 2 χ 2 σ 2 n 1, X µ t n 1. S n F-jakauma Olkoon satunnaismuuttuja X χ 2 -jakautunut vapausasteilla m ja satunnaismuuttuja Y χ 2 -jakautunut vapausasteilla n. Tällöin satunnaismuuttuja F = X/m Y/n on Fisherin F-jakautunut vapausasteilla m ja n ja merkitään F F(m,n). Fisherin F-jakaumaan liittyvä taulukko on annettu luentomonisteen liitteessä, jota luetaan seuraavasti. Jos esimerkiksi m = 6 ja n = 15, niin taulukon mukaan P(F 2.79) = 0.05.

7.4. LUOTTAMUSVÄLI 45 7.4 Luottamusväli Edellä tarkasteltiin tuntemattoman parametrin estimointia piste-estimaatin avulla. Tavoitteena oli määrätä hyvä piste-estimaattori, jonka otoksessa saama arvo on parametrin piste-estimaatti. Toinen mahdollisuus on estimoida väliä [θ 1,θ 2 ], jolla estimoitava parametri varmuudella on. Koska otoksessa on ainoastaan äärellinen määrä havaintoja, ei koko populaatiota koskevissa päätelmissä voida olla 100 % varmoja. Näin ollen päätöksentekoa varten asetetaan ennalta riskitaso α, jolloin voidaan sanoa, että parametri θ on välillä [θ 1,θ 2 ] varmuudella 1 α. Välin päätepisteiden määräämistä varten muodostetaan niitä vastaavat estimaattorit Θ 1 ja Θ 2 ja vaaditaan, että P(Θ 1 θ Θ 2 ) 1 α. Lisäksi vaaditaan, että estimaattorien numeeriset arvot voidaan laskea otoksen avulla. Jos θ 1 ja θ 2 ovat estimaattorien Θ 1 ja Θ 2 otoksessa saamat arvot, niin väliä [θ 1,θ 2 ] sanotaan parametrin 100(1 α)%:n luottamusväliksi tai θ:n luottamusväliksi riskitasolla α. Tavallisesti riskitasona on α = 0.05 eli määrätään parametrin 95 %:n luottamusväli. Tarkastellaan luottamusvälin laskemista seuraavan esimerkin avulla. Esim 7. Olkoon (x 1,x 2,...,x n ) satunnaisotos normaalijakautuneesta satunnaismuuttujasta X N(µ,σ 2 ). Määrää odotusarvon µ luottamusväli riskitasolla α, kun varianssia ei tunneta. Ratk.: Lauseen 21 nojalla X µ S n t n 1. Luetaan t-jakauman taulukosta luvut t 1 ja t 2 siten,että P(t 1 X µ S n t 2 ) = P(t 1 S n X µ t 2 S n ) = P(X t 2 S n µ X t 1 S n ) 1 α. Olkoot x otoskeskiarvo eli satunnaismuuttujan X otoksessa saama arvo ja s otoskeskihajonta eli satunnaismuuttujan S otoksessa saama arvo. Tällöin