LAAJA TILASTO- MATEMATIIKKA. Armo Pohjavirta Keijo Ruohonen

LAAJA TILASTO- MATEMATIIKKA Armo Pohjavirta Keijo Ruohonen 2005

Sisältö ISATUNNAISUUS JA SEN MALLINTAMINEN. Kruunan ja klaavan satunnaisuus 4.2 Jatkuvan muuttujan satunnaisuus 5.3 Peruskäsitteitä 9 II TODENNÄKÖISYYS 9 2. Joukko-opillisia käsitteitä 2.2 Todennäköisyyslaskennan aksioomat 3 2.3 Joukko-oppiin pohjautuvaa todennäköisyyslaskentaa 4 2.4 Todennäköisyysmitasta 4 2.4. Klassinen todennäköisyys 5 2.4.2 Tiheysfunktio 6 2.4.3 Tiheysfunktion tulkintaa 8 2.4.4 Kertymäfunktio 9 2.4.5 Muuttujan vaihto ja tiheysfunktio 2 2.4.6 Diskreetti satunnaismuuttuja 2 2.4.7 Mielikuva todennäköisyysmassasta 23 III EHDOLLINEN TODENNÄKÖISYYS. REUNAJAKAUMA 23 3. Ehdollinen todennäköisyys. Bayesin kaava 25 3.2 Tilastollinen riippumattomuus 27 3.3 Satunnaismuuttujien tilastollinen riippumattomuus 30 3.4 Reunajakaumat 34 IV JAKAUMIEN JA OTOSTEN TUNNUSLUKUJA 34 4. Deskriptiivistä statistiikkaa 36 4.2 Satunnaismuuttujan funktion odotusarvo 38 4.2. Odotusarvon frekvenssitulkinta 39 4.2.2 Odotusarvon ominaisuuksia 40 4.3 Satunnaismuuttujan odotusarvo. Kovarianssi- ja korrelaatiomatriisit 43 4.3. Kovarianssimatriisin ominaisuuksia 45 4.3.2 Korrelaatiomatriisi 46 4.3.3 Käsitteiden tulkintoja 47 4.3.4 Ristikovarianssimatriisi 48 4.4 Otossuureita 50 4.5 Otossuureiden variansseista 52 VSATUNNAISMUUTTUJAN JAKAUMIA 52 5. Suurten lukujen lakeja 55 5.2 Yksidimensionaalinen normaalijakauma 58 5.3 p-dimensionaalinen normaalijakauma 64 5.3. Keskeinen raja-arvolause i

ii 65 5.4 Normaalijakaumaan liittyviä muita jakaumia 66 5.4. χ 2 -jakauma 67 5.4.2 Vapausasteiden synty 69 5.4.3 Otosvarianssin jakauma 70 5.4.4 F-jakauma 72 5.4.5 t-jakauma 75 5.5 Binomijakauma 76 5.6 Poissonin jakauma 78 5.7 Tasajakauma 80 VI OTOKSET 80 6. Datan käsittely tilastollisen ohjelmiston avulla 82 6.2 Datamatriisi 84 6.3 Affiinimuunnettu data 85 VII ESTIMOINTI, TESTAUS, PÄÄTTELY 85 7. Parametrien estimointi 86 7.2 Estimaattoreiden ominaisuuksia 89 7.3 Estimaatin luotettavuusalue 92 7.4 Tilastollinen evidenssi ja hypoteesien testaaminen 96 7.5 MAP-estimointi 98 7.6 Kontingenssitaulut 0 VIII PARAMETRIEN VERTAILU OTOKSIEN AVULLA 0 8. Normaalijakauman odotusarvon vertaaminen vakioon, kun varianssi tunnetaan 03 8.2 t-testejä 03 8.2. Odotusarvon vertaaminen vakioon 03 8.2.2 Kahden odotusarvon vertailu 06 8.2.3 Voidaanko varianssit olettaa samoiksi? 08 8.3 Yksilöiden vertailu ennen ja jälkeen toimenpiteen 0 8.4 Multinomijakaumatestit 8.4. Todennäköisyyksien vertaaminen vakioon 2 8.4.2 Todennäköisyyksien vertaaminen keskenään: homogeenisuustesti 3 8.4.3 Jakauman sopivuustestaus 6 IX REGRESSIO 6 9. Regressiomalli 7 9.. Regressiokertoimien estimointi 8 9..2 Regressiokertoimien ja residuaalivektorin tilastollinen luonne 9 9..3 Varianssin σ 2 estimointi 20 9.2 Regressiokertoimien luotettavuusvälit ja testaus 22 9.3 Epälineaarisuuden tuominen malliin 23 9.4 Dikotomiamuuttujat 24 9.5 Selitysaste ja ennustavuus 27 9.6 Käytännön vinkkejä

iii 28 Liite: GAMMA- JA BETAJAKAUMAT 28 L. Gammajakauma 3 L.2 Betajakauma 34 Kirjallisuus 35 Hakemisto Esipuhe Tämä moniste on tarkoitettu TTY:n kurssin Laaja tilastomatematiikka luentomateriaaliksi. Monisteessa käydään läpi todennäköisyyslaskennan peruskäsitteet ja -jakaumat, tilastollinen hypoteesin testaus ja estimointi sekä regressiomallinnuksen alkeet. Tilastomatematiikka on eniten käytettyjä ja käyttökelpoisimpia matemaattisen mallinnuksen työkaluja, niin tekniikassa kuin biologiassa, psykologiassa, yhteiskunta-, talous- ja lääketieteissäkin. On huomattava, että tilastomatematiikka varsinaisesti on tilastodatan analyysiä matemaattisin keinoin ja luonnollisesti ohjelmistojen avustuksella. Datan käytännön keruu ja esitys ( tilastot ) on eri asia, vaikkakin datan keräämisen (otannan) suunnittelu ja optimointi luetaankin tilastomatematiikkaan kuuluvaksi (otantateoria). Mainittakoon, että teoreettisellakin puolella tilastomatematiikka on varsin vilkas alue: se on jatkuvasti hyvin suosittu ja paljon tutkittu matematiikan alue. Moderni monimuuttujainen tilastomatematiikka käyttää, paitsi tietysti todennäköisyyslaskentaa, runsaasti apuna matriisilaskentaa. Voikin sanoa, että ilman matriisitekniikkaa esitys olisi toivottoman raskasta ja vaikeaa ja jopa puutteellista. Aikanaan monimuuttujatilastomatematiikka kuuluikin yliopistollisen tilastotieteen laudaturmateriaaliin. Runsaasta matriisien käytöstä johtuen kurssi palveleekin sivutoimisesti myös eräänlaisena matriisilaskennan kertaus- ja harjoituskurssina. Monimuuttujamenetelmiä esitellään laajemmin kursseissa Tilastolliset monimuuttujamenetelmät sekä Tilastollinen kokeiden suunnittelu. Nykyään paljon korostettujen laadun sekä luotettavuuden hallintaan tarkoitettuja tilastollisia menetelmiä puolestaan käsitellään kursseilla Tilastollinen laadunvalvonta sekä Luotettavuusteoria. Monisteessa pyritään tuomaan esille tilastomallinnuksen erikoinen luonne verrattaessa muihin matemaattisiin mallinnuskoneistoihin, niin yleisesti kuin eri mallinnusmenetelmillekin. Ohjelmistojen avulla on varsin helppo tehdä tavallisimmat tilastodatan analyysit. Kuitenkin, jos tekijä ei ymmärrä ko. analyysin tavoitteita ja/tai rajoituksia tai edes koko tilastomallinnuksen ideaa, hän ei saa analyysistään konkreettisena tuloksena juuri muuta kuin joitain outoja numeroarvoja sekä manuaalista kopioidun valmistekstin. Tilastomatematiikka on mallinnuksen teräase: erittäin käyttökelpoinen, mutta taitamattoman käsissä melko hyödytön (tai suorastaan vaarallinen). Aivan olennainen osa tilastomatemaattisten menetelmien soveltamista on tilasto-ohjelmistojen käyttö. Näitä ohjelmistoja on saatavilla varsin monta, isompia ja pienempiä, ammattilaisille ja satunnaisille käyttäjille, eri sovellusalueisiin suunnattuja, jne. Yleisohjelmistoillakin (esimerkiksi Matlab ja Maple) pääsee jo pitkälle. Monisteen esimerkit on ajettu JMP-ohjelmistolla, joka on tavalliseen tilastoanalyysiin tarkoitettu mukavakäyttöinen ohjelmisto, ammattilaisille tarkoitetun ison SAS/STAT-ohjelmiston pikkuveli. Armo Pohjavirta Keijo Ruohonen JMP and SAS/STAT are registered trademarks of SAS Institute Inc.

Luku SATUNNAISUUS JA SEN MALLINTAMINEN Lähemmin tarkasteltaessa maailma osoittautuu perin epätäsmälliseksi. Kilon punnus ei ole kilon punnus vaan jotain sinne päin. Transistorin vahvistus ei ole manuaalin lupaama 50 vaan jotain sinne päin. Edes maapallon pyörimisnopeus ei ole vakio vaan muuttuu sen mukaan, miten joku jänis sattuu loikkimaan. Tähän kaikkeen olemme tottuneet. Asian tila voi kuitenkin saada myös kiusallisia muotoja. Neljä peräkkäin sattuvaa tavallista lyhyemmäksi lipsahtanutta rakennuselementtiä tietää yleensä rumaa jälkeä, liika satunnaisuus työtavoissa voi pysäyttää kuvaputkitehtaan ja niin edelleen. Mitä suurempaa tarkkuutta jokin työprosessi edellyttää, sitä tärkeämpää on saada siihen liittyvä satunnaisuus kuriin. Suuri tarkkuus tietää kuitenkin yleensä suuria kustannuksia, joten itsetarkoituksellinen pyrkiminen tähän on harvoin rationaalista. Tärkeintä on saada satunnaisuus pysymään kohtuullisissa ja hallituissa rajoissa. Myös erilaisten ilmiöiden mallintaminen vaatii rationaalista suhtautumista satunnaisuuteen. Käytännössä malli on aina jonkin asteinen todellisuuden idealisaatio. Tiedämme varsin hyvin, että ottamalla malliin mukaan yhä enemmän ja enemmän ilmiöön liittyviä periferisiä muuttujia saamme mallimme yhä tarkemmaksi ja tarkemmaksi, mutta käytön kätevyyden kustannuksella. Kaiken lisäksi jotkin ilmiöön vaikuttavat muuttujat ovat kannaltamme aidosti satunnaisia: emme voi niiden vaihtelulle mitään emmekä pysty ennustamaan niiden käyttäytymistä deterministisesti. Joskus onkin kätevää niputtaa mallin useat pikkutekijät yhteen satunnaissuureeseen. Satunnaisuuden vaivaamassa maailmassa on tullut tavaksi ottaa tietoisia riskejä. Lähdemme siitä, että lanka kutomakoneessa saa katketa koska hyvänsä kunhan ei katkeile liian usein. Komponenttitehdas ei yritäkään tehdä Täydellisiä Vastuksia vaan tietyn tarkkuusluokan tavaraa. Hyväksymme iloisesti sen, että mallimme ei ennusta valmistettavan teräserän lopullista lujuutta tarkasti vaan ainoastaan 5 %tarkkuudella. Joissakin tapauksissa olemme valmiit ottamaan jopa vakuutuksen oikein pahan päivän varalle. Tämä kaikki olisi kuitenkin hyvä tehdä hallitusti. Senpä vuoksi itse satunnaisuutta olisi pystyttävä mallintamaan.. Kruunan ja klaavan satunnaisuus Satunnaisuus esiintyy pelkistetyimmässä muodossaan lantin heitossa, joten siitä on hyvä lähteä liikkeelle. Voidaanko tuota holtittomalta vaikuttavaa tapahtumasarjaa millään tavoin hyödyllisesti mallintaa? Vastaus ei ole suinkaan itsestään selvä. Ranskalainen luonnontieteilijä Georges-Louis Leclerc (Comte de Buffon, 707 788) heitti aikoinaan kolikkoa 4 040 kertaa ja kirjasi 2 048 klaavaa. Englantilainen tilastotieteilijä Karl

LUKU. SATUNNAISUUS JA SEN MALLINTAMINEN 2 Pearson (857 936) jatkoi harjoituksia: ensimmäisellä kerralla 2 000 heittoa tuotti 6 09 klaavaa, toisella kerralla 24 000 heittoa puolestaan 2 02 klaavaa. Klaavojen suhteelliset osuudet eli frekvenssit olivat näissä historiallisissa sankarikokeissa 0.507, 0.502 ja 0.50. Seuraavassa olemme toistaneet kokeen satunnaislukugeneraattorin avulla, mikä ei ole tietenkään sama juttu, mutta palvelee tarkoituksiamme. Ensimmäisessä koesarjassa lanttia heitettiin sata kertaa ja joka heiton jälkeen laskettiin klaavojen osuus siihen mennessä saaduista tuloksista. Sadan heiton sarja toistettiin neljä kertaa. Kokeen tulokset olivat seuraavat (toteutettu Matlabilla): Lantin heitto Lantin heitto 0.8 0.8 klaavojen osuus 0.6 0.4 klaavojen osuus 0.6 0.4 0.2 0.2 0 0 20 40 60 80 00 heittojen luku 0 0 20 40 60 80 00 heittojen luku Lantin heitto Lantin heitto 0.8 0.8 klaavojen osuus 0.6 0.4 klaavojen osuus 0.6 0.4 0.2 0.2 0 0 20 40 60 80 00 heittojen luku 0 0 20 40 60 80 00 heittojen luku Koesarja toistettiin vielä tuhannen (simuloidun) heiton erinä: Lantin heitto Lantin heitto 0.8 0.8 klaavojen osuus 0.6 0.4 klaavojen osuus 0.6 0.4 0.2 0.2 0 0 200 400 600 800 000 heittojen luku 0 0 200 400 600 800 000 heittojen luku Lantin heitto Lantin heitto 0.8 0.8 klaavojen osuus 0.6 0.4 klaavojen osuus 0.6 0.4 0.2 0.2 0 0 200 400 600 800 000 heittojen luku 0 0 200 400 600 800 000 heittojen luku Jokainen koesarja omaa selvät yksilölliset piirteensä. Ainoa niitä yhdistävä ominaisuus tuntuu olevan se, että heittokertojen kasvaessa klaavojen suhteellinen osuus, frekvenssi, näyttää stabi-

LUKU. SATUNNAISUUS JA SEN MALLINTAMINEN 3 loituvan kohti tiettyä vakioarvoa. Tässä tapauksessa mainittu vakioarvo tuntuisi olevan jossakin 0.5:n kieppeillä. Tarkkaa arvoa emme pysty sanomaan tehtyjen kokeiden perusteella. Tilastomatemaattisessa mallissa oletamme, että mainitunlainen frekvenssin raja-arvo on olemassa, ja mallinnamme sitä kyseisen tapahtuman klaava yksittäisessä lantin heitossa todennäköisyydellä, joka on välillä [0, ] oleva reaaliluku (aivan kuten frekvenssikin). Asia ei ole kuitenkaan aivan näin yksinkertainen. Meidän on ensin tarkasteltava riippumattoman koetoiston käsitettä. Jos ajattelemme lantin heittoa toimituksena, tuntuu selvältä, että putoavan lantin kierähtäminen kruunaksi tai klaavaksi ei voi riippua aikaisempien heittokertojen tuloksista, puhumattakaan seuraavista. Vaikka partikulaarista heittoamme ennen olisimme heittäneet putkeen kymmenen klaavaa, lantilla on kaiken järjen mukaan samat noin fifty-fifty-mahdollisuudet tälläkin kertaa päätyä klaavaksi. Fysikaalisen intuitiomme mukaan yksittäisen lantin heiton, koetoiston, tulos on riippumaton kaikkien muiden koetoistojen tuloksista. Näissä asioissa intuitio kuitenkin erehtyy helposti, joten tarkastelemme tilannetta kokeen avulla. Lanttia heitettiin peräkkäin 000 kertaa (simuloimalla). Heittotulosten jonossa klaavaa seurasi klaava 262 kertaa (52 %) ja kruuna 238 kertaa (48 %). Jonossa kruunaa seurasi klaava 239 kertaa (48 %) ja kruuna 260 kertaa (52 %). Tuloksen perusteella voimme hyväksyä ajatuksen, että kokeen tulos voisi olla riippumaton edellisen kokeen tuloksesta. Tämä ei kuitenkaan vielä riitä. Se voisi olla riippuvainen edeltävästä pitemmästä koesarjasta. Vaikka tässä tapauksessa tämä tuntuukin epätodennäköiseltä, näin voisi mainiosti olla. Esimerkiksi satunnaislukugeneraattorit kärsivät tämän tyyppisistä puutteista. Teemmekin pari pistokoetta. Äskeisessä 000 heiton koesarjassa peräkkäisiä heittotuloksia klaava-klaava seurasi klaava 32 kertaa (50 %), kruuna 30 kertaa (50 %). Samaisessa jonossa peräkkäisiä heittotuloksia kruuna-klaava-kruuna seurasi klaava 43 kertaa (40 %) ja kruuna 65 kertaa (60 %). Ensimmäisessä tuloksessa ei ole moittimista, mutta jälkimmäinen osuu jo uskottavuuden rajoille. Vedämme kotiinpäin ja tulkitsemme epäsuhtaisen tuloksen sattuman tuottamaksi. Päättelemme, että suoritettujen koesarjojen valossa yksittäisen kokeen tulos voisi hyvinkin olla riippumaton muiden kokeiden tuloksista. Lopuksi esittelemme neljä koesarjaa, joissa kahta lanttia heitettiin 000 kertaa: Kahden lantin heitto Kahden lantin heitto kaksoisklaavojen osuus 0.8 0.6 0.4 0.2 kaksoisklaavojen osuus 0.8 0.6 0.4 0.2 0 0 200 400 600 800 000 heittojen luku 0 0 200 400 600 800 000 heittojen luku Kahden lantin heitto Kahden lantin heitto kaksoisklaavojen osuus 0.8 0.6 0.4 0.2 kaksoisklaavojen osuus 0.8 0.6 0.4 0.2 0 0 200 400 600 800 000 heittojen luku 0 0 200 400 600 800 000 heittojen luku Jokaisen heiton jälkeen tarkistettiin tuliko kaksi klaavaa vaiko ei. Kertyneiden myönteisten tu-

LUKU. SATUNNAISUUS JA SEN MALLINTAMINEN 4 losten suhteellinen osuus kaikista tuloksista kirjattiin kuten edellä. Kussakin pariheittojen sarjassa klaavaparien suhteellinen osuus näyttää stabiloituvan kohti arvoa = 0.25, jokaisessa sarjassa jälleen omalla tavallaan..2 Jatkuvan muuttujan satunnaisuus Oletamme, että erään tuotteen keskeiset ominaisuudet ovat kuvattavissa luvuilla x ja x 2.Komponenttien laatuvaihteluista johtuen näissä esiintyy väkisinkin hajontaa: luvut x ja x 2 vaihtelevat satunnaisesti tuotteesta toiseen. Kun edellisessä kohdassa yksityiseen kolikkoon liittyvä tulos voi saada vain toisen kahdesta arvosta (kruuna tai klaava), tällä kertaa kiinnostuksen kohteena olevat luvut x ja x 2 voivat saada periaatteessa mitä tahansa arvoja joillakin reaaliakselin alueilla. Kyse on niinsanotuista jatkuvista satunnaismuuttujista. Oletamme, että tuote on susi, jos x > 0 tai x 2 > 25 tai x +2x 2 < 52. Esimerkin vuoksi olemme keränneet tuotteista sadan kappaleen otoksen ja mitanneet kustakin näytteestä suureet x ja x 2.Koska yksityiseen näytteeseen liittyvät suureet x ja x 2 ovat esitettävissä pisteenä x R 2,voimme esittää tulokset oheisen kuvan mukaisesti. Kuvaan on merkitty susialue varjostettuna: 26 00 kpl otos 25 24 x 2 23 22 2 20 6 7 8 9 0 2 x Silmämääräisesti arvioiden susia näyttää olevan vajaat puolet otoksesta. Ryhdymme seuraavaksi mittaamaan tuotteita järjestelmällisesti. Aina kun tuote osoittautuu sudeksi (mittaustulosta kuvaava vektori x R 2 osuu varjostettuun susialueeseen), kirjaamme tapahtuman susi. Kun piirrämme kertyneiden susien suhteellisen osuuden kaikista mitatuista kappaleista koerealisaatioiden lukumäärän funktiona, saamme alla olevan kuvaajan. Koetoistojen määrän kasvaessa susien suhteellinen osuus näyttää stabiloituvan jonnekin arvon 0.32 tienoille. Varmistusmittaus toisesta 000 tuotteen otoksesta antaa samantapaisen kuvaajan (alempi kuva). Susifrekvenssi näyttää todellakin stabiloituvan! Voisimmeko olettaa, että susia syntyy satunnaisesti? Suoritamme pistokokeen kuten rahanheiton yhteydessä. Tuhannen kappaleen koesarjassa suden jälkeen mitattiin susi 89 kertaa (28 %) ja hyväksyttävä 229 kertaa (72 %). Hyväksytyn jälkeen mitattiin susi 230 kertaa (34 %) ja hyväksyttävä 45 kertaa (66 %). Hajonnasta huolimatta emme pidä tuloksia ristiriitaisina sen oletuksen kanssa, että susien syntyminen olisi satunnaista. (Päättelyn perusteisiin tulemme vasta myöhemmin.)

LUKU. SATUNNAISUUS JA SEN MALLINTAMINEN 5 Viallisten osuus 000 tutkitusta 0.9 0.8 0.7 viallisten suhteellinen osuus 0.6 0.5 0.4 0.3 0.2 0. 0 0 00 200 300 400 500 600 700 800 900 000 kappaleiden lkm Viallisten osuus 000 tutkitusta 0.9 0.8 0.7 viallisten suhteellinen osuus 0.6 0.5 0.4 0.3 0.2 0. 0 0 00 200 300 400 500 600 700 800 900 000 kappaleiden lkm Tuloksen voimme mallintaa siten, että susia syntyy satunnaisesti todennäköisyydellä 0.32. Olemme pystyneet kuvaamaan yhdellä luvulla koko jutun..3 Peruskäsitteitä Mallinnettavaa ilmiötä tarkasteltaessa keskeinen käsite on yksityinen koe (koetoisto, havainto, case). Kokeen tuloksena saamme yhden havainnon satunnaismuuttujalle x. Nykyaikaisessa valmisohjelmistojen tukemassa tilastomatematiikassa satunnaismuuttuja on useimmiten vektori, ts. x R p.voimme auttaa mielikuvitustamme ajattelemalla, että yksityisessä koetoistossa luemme p:llä ulostulolla varustetun mustan laatikon ulostulojen (numeeriset) arvot: x x 2 x 3 x 4 x p Edellisessä luvussa tuotteiden laatua kuvaava vektori x R 2 oli suoraan tätä muotoa. Myös lantin heiton tulokset ovat puettavissa mainittuun muotoon. Jos nimittäin merkitsemme klaava

LUKU. SATUNNAISUUS JA SEN MALLINTAMINEN 6 =ja kruuna =0, yhden lantin heiton tulos on kuvattavissa reaaliluvulla (yhden mittaisella vektorilla). Kahta kolikkoa heitettäessä yksittäisen kokeen mahdolliset tulokset ovat esitettävissä muodossa (x,x 2 ) T R 2, missä x ja x 2 saavat arvoja 0 ja. Tilastollisessa kokeessa meitä kiinnostaa, realisoituuko tietty tapahtuma vai ei: tuleeko klaava vai ei, ovatko kummatkin kolikot klaavoja vai ei, osuuko mittaustulos susialueeseen vai ei. Pelin henkeen kuuluu, että meidän tulee voida sanoa jokaisen kokeen jälkeen tuloksen x perusteella, realisoituiko kiinnostava tapahtuma vai ei. Satunnaismuuttujan x kaikkien mahdollisten arvojen joukkoa kutsutaan otosavaruudeksi eli perusjoukoksi Ω R p. Yhden kolikon heiton tapauksessa tämä on joukko Ω={0, } R, kahden kolikon tapauksessa joukko Ω= {( 0 0 ), ( ) 0, ( ), 0 ( )} R 2. Näissä tapauksissa kyse on ns. diskreeteistä muuttujista (erotuksena jatkuvalla skaalalla varioiviin muuttujiin). Otosavaruus koostuu avaruuden R p erillisistä pisteistä. Laaduntarkkailuesimerkin satunnaismuuttuja x =(x,x 2 ) T R 2 voi sen sijaan saada periaatteessa saada mitä tahansa arvoja avaruuden R 2 tietyssä osa-alueessa. Kyse on jatkuvasta satunnaismuuttujasta. Otosavaruuden määritelmästä johtuen yksittäinen koetulos x i kuuluu aina otosavaruuteen: x i Ω. Satunnaismuuttujaan x liittyvä tapahtuma on karakterisoitavissa otosavaruuden osajoukkona A Ω: jos kokeen tulos osuu alueeseen A, sanomme vastaavan tapahtuman realisoituneen. Esimerkeissämme on esiintynyt seuraavia tapahtumia: klaava : {} {0, } 0 x klaava & klaava : {( )} {( ) 0, 0 ( ) 0, ( ), 0 ( )} =Ω x 2 0 x susi : {x R 2 x > 0 tai x 2 > 25 tai x +2x 2 < 52} (varjostettu alue alla olevassa kuvassa)

LUKU. SATUNNAISUUS JA SEN MALLINTAMINEN 7 26 x 2 20 6 x 2 Samaan satunnaismuuttujaan voidaan liittää useita tapahtumia, jotka voivat mainiosti realisoitua samassa kokeessa. Jos esimerkiksi susitehtävään liittyvä koetulos on vektori (, 23) T, kokeessa realisoituvat tapahtuman susi lisäksi mm. tapahtumat x > 0, x > 0.2, x 2 + x 2 2 00 ja x 2 < 25. Sen sijaan esimerkiksi tapahtumat x 2 > 24 ja x < 0 tai x 3 2.6x x 2 < 500 eivät realisoidu. (Kuten huomaat, mainitut tapahtumat voidaan karakterisoida otosavaruuden osajoukkoina.) Satunnaismuuttujasta kerättyjen koetoistojen arvoja kutsutaan otokseksi (sample). Satunnaismuuttujan koetoistot ovat riippumattomia, mikäli mielivaltaisen tapahtuman realisoitumismahdollisuus kokeessa on täysin riippumaton muuttujan aikaisemmin (tai myöhemmin) saamista arvoista. Perinteisesti lantin heittoon liittyvien satunnaismuuttujien koetoistot mielletään riippumattomiksi. Riippumattomia koetoistoja pyritään saamaan aikaan myös lottoarvonnassa, rehellisessä korttien jaossa sekä satunnaislukugeneraattoreissa. Tilastomatemaattisessa mallintamisessa pyrimme tulkitsemaan tarkasteltavasta satunnaismuuttujasta kerätyn otoksen otokseksi ideaalisesta satunnaismuuttujasta, jonka ominaisuudet tunnemme. Oletamme tämän jälkeen, että tarkasteltava muuttuja käyttäytyy tulevaisuudessakin kuten mainittu ideaalinen satunnaismuuttuja. Tästä teemme sitten yleensä liiankin pitkälle meneviä johtopäätöksiä. Esimerkki. Mittaamme tietyn vuorokauden aikana Hämeensillan yli kulkeneiden aikuisten miesten pituudet, mittayksikkönä sentti. Dataa tarkasteltuamme päädymme tulokseen, että luvut voisivat olla vallan hyvin peräisin ideaalisesta normaalijakaumaan pohjautuvasta satunnaislukugeneraattorista, jakauman parametreina µ = 74 ja σ = 8.5. Mallinnamme toisin sanoen aikuisen satunnaismiehen pituutta normaalijakautuneella (ideaalisella) satunnaissuureella. Esimerkiksi vaatteiden valmistajat voivat tämän jälkeen tehdä omat arvionsa siitä, kuinka iso osa miehistä tarvitsee 56 numeron housut. Viimeksimainitussa on kyse frekvenssistä, eikö? Tilastollinen malli liittää tapahtumaan A tietyn todennäköisyyden P(A), joka on reaaliluku välillä [0, ]. Jos ideaalista satunnaismuuttujaa kuvitellaan realisoitavan (tai jos sitä simuloidaan hyvällä satunnaisgeneraattorilla), tapahtuman A esiintymisfrekvenssin mielletään lähestyvän koetoistoissa lukua P(A) toistojen määrän kasvaessa (ns. frekventistinen tulkinta). Mainitulla todennäköisyydellä mallinnetaan tietenkin lopulta myös reaalimaailman tapahtuman A esiintymisfrekvenssiä suurissa otoksissa. Huomautus. Ideaaliseen satunnaismuuttujaan liittyvän tapahtuman A esiintymisfrekvenssin ei voi olettaa stabiloituvan realisaatiokertojen kasvaessa kohti lukua P(A) yhtään sen siistim-

LUKU. SATUNNAISUUS JA SEN MALLINTAMINEN 8 min kuin klaavojen osuudenkaan todellisessa lantin heitossa. Tämä tekee ajatuskulusta hieman epämääräisen. Asia on kuitenkin sen verran syvällinen, että siihen ei voi puuttua tässä yhteydessä. Frekventistisen tulkinnan tämän tapaisia vaikeuksia käsittelee mainiosti viite WIL- LIAMS suosittelemme niille, joita asia jäi vaivaamaan! Frekventistisen ajattelutavan vahvaa kritiikkiä esittää myös viite JAYNES &BRETTHORST. Jotta mallia voisi käyttää reaalisen ilmiön kuvaamiseen, koetoistojen tulisi vaikuttaa riippumattomilta aikaisemmin esitetyssä mielessä ja tapahtumien esiintymisfrekvenssien tulisi vaikuttaa stabiloituvilta koetoistojen määrän kasvaessa. Tämä kaikki on kuitenkin helpommin sanottu kuin tehty, joten tilastomatematiikan soveltamisen johtava periaate on: Jos malli osoittautuu huonoksi, tehdään uusi.

Luku 2 TODENNÄKÖISYYS 2. Joukko-opillisia käsitteitä Edellä totesimme, että tilastomatemaattisen mallin peruskäsitteitä ovat otosavaruus Ω (kaikkien mahdollisten satunnaismuuttujan x R p saamien arvojen joukko), tapahtuma (kiinnostavaan tapahtumaan liittyvä Ω:n osajoukko, joka karakterisoidaan muuttujan x kyseeseen tulevien arvojen avulla) sekä tapahtumaan (vastaavaan Ω:n osajoukkoon) tavalla tai toisella liitettävä todennäköisyys. Useita erilaisia tapahtumia voi liittyä samaan otosavaruuteen. Tilastomatemaattinen kalkyyli rakennetaan näiden käsitteiden varaan. Koska tilastomatematiikan keskeisinä työvälineinä ovat joukot, kertaamme aluksi hieman alkeellista joukko-oppia. Joukon A komplementti perusjoukon Ω suhteen on Ω A = A = {x Ω x / A}, havainnollisesti Ω Ω A = A A Joukkojen A Ω ja B Ω leikkaus on A B = {x Ω x A ja x B} ja yhdiste on havainnollisesti A B = {x Ω x A tai/ja x B}, 9

LUKU 2. TODENNÄKÖISYYS 0 Ω A B Ω A B A B A B De Morganin kaavat ovat A B = A B ja A B = A B, havainnollisesti ja Koska yhdiste ja leikkaus ovat liitännäisiä operaatioita, ts. (A B) C = A (B C) =A B C

LUKU 2. TODENNÄKÖISYYS ja (A B) C = A (B C) =A B C, voimme helposti yleistää de Morganin kaavat ainakin numeroituvalle määrälle perusjoukon Ω osajoukkoja A i : A i = A i ja A i = A i. i i i i Määritelmien perusteella on vielä helposti todettavissa (katso kuvia), että mikäli A Ω, niin A A =Ω ja A A = ( on tyhjä joukko). Jatkossa tarvitsemme useasti seuraavaa käsitettä. Sanomme, että tapahtumat A,A 2,... (äärellinen tai numeroituvasti ääretön määrä) muodostavat perusjoukon Ω täydellisen tapahtumajärjestelmän, jos. A i Ω (i =, 2,...), 2. A i A j =, kun i j, ts. tapahtumat ovat pareittain erilliset, ja 3. i A i =Ω. Ilmeisestikin tapahtuma ja sen komplementti muodostavat aina täydellisen tapahtumajärjestelmän. 2.2 Todennäköisyyslaskennan aksioomat Koska todennäköisyyslaskennan aksioomat saattavat helpottaa satunnaisilmiön ja sen tilastomatemaattisen mallin välisen suhteen ymmärtämistä, esittelemme seuraavassa ns. Kolmogorovin aksioomat. Ensinnäkin, minkälaiset tapahtumat A Ω, perusjoukon osajoukot, ovat sallittuja? Jos tapahtumien joukkoa merkitään kirjaimella S, niin seuraavien vaatimusten pitää olla voimassa:. Ω S 2. Jos A S, niin myös A S. 3. Jos A,A 2,... S, niin myös i A i S. Tarkastelemme vaatimusten merkitystä satunnaisilmiöön liittyvän kokeen yhteydessä. Kokeen jälkeen meiltä ei muuta vaadita kuin että osaamme sanoa realisoituiko tietty tapahtuma vai ei. Vaatimus. Jos ajattelemme satunnaisilmiöön liittyvän tapahtuman karakterisointia satunnaismuuttujan x arvojen avulla, ensimmäinen vaatimus ilmoittaa salonkikelpoiseksi tapahtuman, jossa muuttuja x saa ylipäänsä jonkin arvon, ts. kunhan vain koe suoritetaan. Vaatimus 2. Jos kokeen jälkeen osaamme tunnistaa, että tapahtuma A realisoitui, meidän tulee myös osata päättää, milloin A ei realisoitunut (satunnaismuuttuja sai sellaisen arvon, joka ei kuulu A:n karakterisoivaan arvoalueeseen). Joukko S on tällöin ns. σ-algebra.

LUKU 2. TODENNÄKÖISYYS 2 Vaatimus 3. Jos osaamme tunnistaa erikseen kunkin tapahtuman A i realisoitumisen, meidän tulee pystyä tunnistamaan (erillisenä tapahtumana) myös tapahtuma, joka karakterisoidaan sillä vaatimuksella, että kokeessa realisoituu ainakin yksi tapahtumista A i. Huomautus. Jos A Sja B S, niin myös A B S.Vaatimuksen 2 perusteella riittää osoittaa, että A B S.DeMorganin kaavan mukaan A B = A B. Vaatimuksen 2 mukaisesti A ja B kuuluvat tapahtumien joukkoon S, jolloin Vaatimuksen 3 perusteella myös A B on tapahtuma. Yleisemmin havaitsemme helposti, että jos A,A 2,... S, niin i A i S. Todennäköisyyslaskennassa jokaiseen tapahtumaan A Ω, A S,(S oli tapahtumien joukko) tulee voida liittää todennäköisyys P(A).(P on reaaliarvoinen funktio, jonka argumentteina ovat joukot. P on ns. todennäköisyysmitta.) Suuri osa käytännön tilastomatematiikkaa on tekemisissä ilmiön kuvaamiseen sopivan todennäköisyysmitan löytämisen kanssa. 2 Todennäköisyysmitan P on täytettävä seuraavat Kolmogorovin aksioomat: K. 0 P(A) kaikille tapahtumille A S. ( ) K2. Jos A,A 2,... Sja A i A j = kun i j, niinp A i = P(A i ). i i K3. P(Ω) = Siinä kaikki. Tarkastelemme jälleen, miten aksioomat soveltuvat satunnaisilmiön kuvaamiseen (frekvenssitulkinta). Kuten muistamme, tapahtuman todennäköisyydellä pyritään mallintamaan tapahtuman esiintymisfrekvenssiä koetoistoissa näiden määrän kasvaessa suureksi. Kuvaus on mielekäs tietenkin vain sellaisissa tapauksissa, joissa empiirisesti tiedämme (luulemme) tapahtuman esiintymisfrekvenssin stabiloituvan koetoistojen määrän kasvaessa. Aksiooma K. Tämä vastaa esiintymisfrekvenssille reaalilukuna asetettavia luonnollisia vaatimuksia: Jos n koetoistossa tapahtuma A on realisoitunut n A kertaa, niin joten tapahtuman A esiintymisfrekvenssi 0 n A n, toteuttaa ehdon 0 f A. f A = n A n Aksiooma K2. Frekvenssitulkinta on seuraanvanlainen. Koska A i A j = kun i j, niin samassa yksittäisessä kokeessa voi realisoitua korkeintaan yksi tapahtumista A i (ei siis kahta tai useampaa). Väite x on kroonisesti epätosi, emmekä voi siten kirjata tapahtumaa x A i A j realisoituneeksi yhdessäkään kokeessa. Kun suoritamme n koetoistoa tapahtumien esiintymiskertojen ollessa n Ai,selvästikin n i A i = i n Ai, jolloin f i A i = n i A i n = n Ai = n i i n Ai n = i Aksiooma K3. Frekvenssitulkinnassa tapahtuma x Ω kirjataan tapahtuneeksi jokaisessa koetoistossa. Siten n Ω = n ja f Ω =. 2 Usein käytetään merkinnän P(A) asemesta joukko-opillista merkintää P(x A). f Ai.

LUKU 2. TODENNÄKÖISYYS 3 2.3 Joukko-oppiin pohjautuvaa todennäköisyyslaskentaa Joukko-oppia hyväksi käyttäen pystymme johtamaan eräitä perustuloksia suoraan todennäköisyyslaskennan aksioomista lähtien. Koska aksioomissa esiintyi vain erillisiä joukkoja (keskinäiset leikkaukset A i A j = ), meidän on pyrittävä joukko-opillisilla tempuilla erillisiin joukkoihin silloinkin, kun kiinnostavilla tapahtumilla (perusjoukon osajoukoilla) A ja B leikkaus A B. Tätä varten esittelemme pari yksinkertaista tulosta joukko-opista. Lause 2.. Oletamme, että B,B 2,...,B n on Ω:n täydellinen tapahtumajärjestelmä. Tällöin A Ω voidaan esittää erillisten osajoukkojen A B i yhdisteenä: A = missä (A B i ) (A B j )=, kun i j. n (A B i ), Sivuutamme muodollisen todistuksen katso kuvaa! Ω B B 2 A A B 4 B 3 B 4 A B 3 A B 2 Lause 2.2. Oletamme, että A, B Ω. Tällöin (A B) B = B ja (A B) B = A B. Lukijaa kehoitetaan jälleen verifioimaan tulos kuvan perusteella: Ω B A B Lauseesta 2. näemme välittömästi, että P(A) = P(A). Käytämme nyt tuloksia seuraavien todennäköisyyslaskennan lauseiden todistamiseen.

LUKU 2. TODENNÄKÖISYYS 4 Lause 2.3. (Kokonaistodennäköisyysperiaate) Oletamme, että B,B 2,...,B n on Ω:n täydellinen tapahtumajärjestelmä. Jos tapahtuma A Ω, niin P(A) = n P(A B i ). Todistus. Lauseen 2. mukaan A = n (A B i). Koska saman lauseen mukaan (A B i ) (A B j )=, kun i j,niin todennäköisyyslaskennan aksiooman K2 mukaisesti ( n ) n P(A) =P (A B i ) = P(A B i ). Lause 2.4. (Yhteenlaskukaava) P(A B) =P(A) +P(B) P(A B) Todistus. Ensinnäkin Ω = B B ja B B =. Kyseessä on perusjoukon hajoitelma kahteen erilliseen joukkoon, joten voimme käyttää Lauseen 2.3 tulosta: Samalla tavoin päätellen P(A) =P(A B)+P(A B). P(A B) =P((A B) B)+P((A B) B) =P(B)+P(A B) Lauseen 2.2 perusteella. Vähentämällä jälkimmäisestä yhtälöstä edellisen saamme yhtälön Väite seuraa tästä välittömästi. P(A B) P(A) =P(B) P(A B). 2.4 Todennäköisyysmitasta Mallinnettava ilmiö on se mikä se on, meidän asiamme on laatia sille hyvin istuva tilastollinen malli. Kun olemme päättäneet mikä on koe (koetoisto) ja mitkä ovat meitä kiinnostavia siihen liittyviä tapahtumia, seuraava askel on mallintaa tapahtumiin liittyvät todennäköisyydet ns. todennäköisyysmitan avulla. Mallintaminen tapahtuu ilmiöstä kerättyjen koetulosten pohjalta. 2.4. Klassinen todennäköisyys Klassinen todennäköisyyslaskenta perustuu pitkälti uhkapelistä saatuihin kokemuksiin. Arvioidaan kokemuksen perusteella, että rehellisessä lantin heitossa kruunan ja klaavan esiintymisfrekvenssit ovat samat: ei ole mitään rationaalista syytä olla toisinkaan. Vastaavasti nostettaessa hyvin sekoitetusta pakasta kortti jokaisen nimetyn kortin saaminen arvioidaan yhtä todennäköiseksi. Tapahtumat karakterisoivan satunnaismuuttujan koetoistojen on tietenkin oltava riippumattomia. Klassista todennäköisyyttä voidaan soveltaa tapauksissa, joissa on käytössä perusjoukon äärellinen täydellinen tapahtumajärjestelmä A,...,A N. Jos silloin yksi tapahtumista realisoituu kokeessa, toiset eivät voi realisoitua. Alkeistapahtumien A i todennäköisyydet päätellään toisaalta yhtä suuriksi. Tämä päättely tapahtuu epämatemaattisesti, maailman tuntemuksen pohjalta. Yhden lantin heitossa mainitut alkeistapahtumat ovat kruuna ja klaava, vastaavasti 0 ja.

LUKU 2. TODENNÄKÖISYYS 5 Koska Ω= N A i ja A i A j =, kun i j,kolmogorovin aksioomien K2 ja K3 perusteella ( N ) N P(Ω) =P A i = P(A i )=Np, kun kunkin alkeistapahtuman todennäköisyydeksi oletetaan p. Siis p = N. Esimerkki. Tällä tavoin saamme sekä kruunan että klaavan todennäköisyyksiksi /2 yksinkertaisessa lantin heitossa. Samoin perustein nimetyn kortin vetämisen todennäköisyydeksi hyvin sekoitetusta 52 kortin pakasta päätellään /52. Esimerkki. Kahden lantin samanaikaisen heittämisen tapaus on hieman mutkikkaampi. Koko perusjoukon kattavien toisensa poissulkevien alkeistapausten joukoksi voitaisiin valita 0 klaavaa, klaava ja 2 klaavaa. Terve järki kuitenkin sanoo, että nämä eivät ole keskenään yhtä todennäköiset: tapauksia klaava realisoituu useammin kuin muita. Saamme alkeistapaukset keskenään symmetrisiksi todennäköisyyden suhteen yksilöimällä lantit: ensimmäinen lantti ja toinen lantti, 50-senttinen ja euro. Tällöin pariheiton tulos on järjestetty pari, vektori. Jos käytämme aikaisempia merkintöjämme, alkeistapahtumat ovat (0, 0) T, (0, ) T, (, 0) T ja (, ) T. Elämän kokemus kertoo nämä keskenään yhtä todennäköisiksi, joten kunkin todennäköisyys on /4. Tapahtuma klaava on alkeistapahtumien avulla lausuttuna {(0, ) T } {(, 0) T }.Koska alkeistapahtumat ovat toisensa poissulkevat (erilliset), Lauseen 2.4 avulla saamme todennäköisyyden P( klaava ) =2/4 =/2. 2.4.2 Tiheysfunktio Jatkuvaan satunnaismuuttujaan liittyvien tapahtumien todennäköisyyksien mallintaminen on hieman mutkikasta, sillä mahdollisia tapahtumia on äärettömän monta. Kuinka voisimme liittää mielivaltaiseen tapahtumaan A luvun P(A), 0 P(A)? Koska tapahtuma on karakterisoitavissa perusjoukon Ω osajoukkona A Ω, ongelmamme palautuu keinoon assosioida tarvittava luku P(A) mielivaltaista tapahtumaa karakterisoivaan joukkoon A Ω. Jos jatkuva satunnaismuuttuja x R p käyttäytyy riittävän säännöllisesti, on tavallista mallintaa tapahtumaan A Ω R p liittyvä todennäköisyys tiheysfunktion (probability density function) f :Ω R, x f(x), avulla: P(A) = f(x) dx. A Integrointi suoritetaan tapahtumaa A vastaavan perusjoukon Ω osan yli. Havaitsemme heti, että konstruktio todellakin liittää tietyn reaaliluvun kyseiseen joukkoon, kun funktio f on tunnettu. Ajattelevaa lukijaa riivaa kuitenkin välittömästi kaksi seikkaa: mistä otetaan tuollainen funktio, ja kuinka ihmeessä integraalien arvot lasketaan. Kiiruhdamme asioiden edelle antamaan lyhyet vastaukset kysymyksiin. Mallin viritys sopivan funktion f löytäminen perustuu aina todellisesta ilmiöstä kerättyyn dataan. Tätä dataa on käytettävissä vain äärellinen määrä, muutamia satoja mittauksia ehkä. Tällaiseen aineistoon voitaisiin periaatteessa sovittaa äärettömän monta erilaista tiheysfunktiota f. Niinpä käytännön tarpeita silmälläpitäen on mielekästä rajoittua mallintamaan ilmiötä standardityyppisillä tiheysfunktioilla. Itse asiassa käytettävissämme

LUKU 2. TODENNÄKÖISYYS 6 on erilaisia tiheysfunktioperheitä kuten esimerkiksi normaalijakaumiin liittyvät tiheysfunktiot. Perheen funktioissa on tiettyjä sovitusparametreja (yksidimensionaalisessa normaalijakaumassa koulusta tutut µ ja σ). Valitsemme parametrien avulla tiheysfunktioperheen sen jäsenen, joka istuu kerättyyn dataan mahdollisimman hyvin. (Toimenpidettä kutsutaan parametrien estimoinniksi, johon palaamme myöhemmin.) Mitä sitten integraalien laskemiseen tulee, niin niitä joutuu vain harvoin laskemaan, käytännössä ei juuri koskaan. Tarvitsemme vain tavallisen Riemannin integraalin yleisiä ominaisuuksia. Tulokset onnistutaan useimmiten muokkaamaan muotoon, jossa kyseeseen tuleva integraali on tavallista yhden muuttujan tyyppiä. Tämänkin arvot saadaan valmisohjelmista. Tässä suhteessa otetaan siis lepo. Sen sijaan integraalin yleisten ominaisuuksien ymmärtäminen on seuraavalle täysin välttämätöntä. Lue siis huolella ja katsele johtoja ymmärtääksesi ne! Huomautus. Integraaleja joutuu laskemaan hyvinkin mutkikkaissa tapauksissa mm. ns. Bayesin menetelmissä, ja tällaisia laskuja varten on kehitetty omat menetelmänsä ja ohjelmistonsa. Me emme tässä Bayesin menetelmiä sen kummemmin käsittele, viittammepahan vain kevyesti kirjaan GELMAN, A.&CARLIN, J.B. & STERN, H.S. & RUBIN, D.B.: Bayesian Data Analysis. Chapman & Hall/CRC (998). Tarkastelemme seuraavaksi käyttöön otetulle todennäköisyysmitalle asetettavia vaatimuksia. Todennäköisyyslaskennan aksioomista seuraa suoraan, että on oltava (aksioomat K ja K3): f(x) 0 (tämä on fiksua, sillä koska aina P(A) 0, eif ainakaan jatkuvuuspisteissään voi olla negatiivinen) ja f(x) dx = (koskapa P(Ω) = ). Todennäköisyyslaskennan aksiooma K2 Ω Jos A,A 2,... Sja A i A j = kun i j, niin P( i A i)= i P(A i). toteutuu integraalin ominaisuuksista johtuen. Jos nimittäin A B =, niin tunnetusti f(x) dx = f(x) dx + f(x) dx. A B A B Riittävän säännöllisissä tapauksissa tulos on yleistettävissä mielivaltaiselle määrälle joukkoja (tapahtumia) A i.kysehän on vain integrointialueen jakamisesta toisiaan leikkaamattomiin osaalueisiin. Mikäli tiheysfunktio f toteuttaa sille edellä johdetut ehdot, voimme konstruoida erään todennäköisyysmitan sen avulla. Jatkuvan moniulotteisen satunnaismuuttujan x R p tapauksessa tämä on ylivoimaisesti yleisin menetelmä. Vakio-ohjelmistojen taustalla on tällöin pääsääntöisesti moniulotteiseen normaalijakaumaan liittyvä tiheysfunktio, tapauskohtaisesti viritettynä. 2.4.3 Tiheysfunktion tulkintaa Tilastomatemaattisen mallintamisen perusideana on suhtautua todellisesta ilmiöstä kerättävään dataan ikäänkuin se olisi ideaalisen satunnaismuuttujan avulla generoitua. Minkälaista dataa tuottaisi ideaalinen satunnaismuuttuja x R p, jonka jakauman tiheysfunktio on f, kun koetta toistettaisiin riittävän monta kertaa?

LUKU 2. TODENNÄKÖISYYS 7 Käytämme todennäköisyyden frekvenssitulkintaa. Oletamme, että koe toistetaan riippumattomin koetoistoin N kertaa, missä N oletetaan suureksi. Tarkastelemme perusjoukon pientä osajoukkoa A Ω. Mallimme antaa tämän tapahtuman todennäköisyydeksi P( A) = f(x) dx. A Oletamme, että tiheysfunktio f on jatkuva ja merkitsemme alueen A mittaa, tilavuutta A :lla. (Viittaamme tässä kurssiin Laaja vektorianalyysi.) Integraalilaskennan väliarvolauseen mukaan P( A) = f(x) dx = f(ξ) A, A missä ξ on tietty alueen A sisäpiste. Frekvenssitulkinnan mukaisesti tapahtuman A esiintymisfrekvenssi lähenee koetoistojen määrän kasvaessa arvoa P( A). N:stä koetoistosta saaduista satunnaismuuttujan x arvoista alueeseen osuu siten noin NP( A) =Nf(ξ) A kappaletta. Koetoistojen osumatiheys mainittuun alueeseen saadaan jakamalla osumat alueen mitalla (tilavuudella). Osumatiheys on siten suuruudeltaan noin Nf(ξ). Kun alueen lävistäjä 3 lähenee nollaa, funktion f jatkuvuudesta johtuen f(ξ) f(x), missä x on tarkastelupiste. Siten tiheysfunktion arvo on suoraan verrannollinen paikalliseen osumatiheyteen koetoistojen määrän kasvaessa rajatta. Esimerkki. Tiedämme, että satunnaispopulaatiossa aikuisten miesten pituuden x jakauma on mallinnettavissa normaalijakauman avulla, jolloin tiheysfunktio f on muotoa (yleisesti tunnettu Gaussin kellokäyrä ) f(x) = e 2σ 2 (x µ)2. 2πσ Mallin viritys sopivassa, satunnaisessa kollipopulaatiossa antaa estimaatit ˆµ = 74 ja ˆσ = 8.5 (yksikkönä on sentti). Seuraavassa on esitetty 500 satunnaismiehen pituudet histogrammin muodossa: 60 50 40 lkm 30 20 0 3 eli suurin etäisyys alueen kahden pisteen välillä 0 40 50 60 70 80 90 200 20 otosarvot

LUKU 2. TODENNÄKÖISYYS 8 Kuva näyttää, montako jeppeä otoksesta osui kuhunkin pituusluokkaan leveydeltään 2 cm. Vaikka maailma on niin satunnainen kuin se on, osumistiheyttä kuvaava jakauma muistuttaa kiitettävästi kellokäyrää. Käytettyyn satunnaismuuttujaan x liittyvien tapahtumien todennäköisyydet, esimerkiksi P(80 <x 85), saadaan kätevimmin ohjelmistoilla. (Huomaa miten käytimme varsin sutjakkaa merkintää tapahtumalle {x R 80 <x 85}.) Matlabilla se käy seuraavasti:»normcdf(85,74,8.5)-normcdf(80,74,8.5) ans = 0.423 normcdf on normaalijakauman kertymäfunktio, ks. alla. 2.4.4 Kertymäfunktio Todennäköisyyden mallintaminen tiheysfunktiota käyttäen on mahdollista perinteisin konstein vain jos tiheysfunktio f on paloittain jatkuva. (Totta puhuen tällä pärjätään pitkälle.) Hankalammissa tapauksissa käytetään kertymäfunktiota. Esittelemme sen ainoastaan yksidimensionaalisessa tapauksessa. Oletamme, että satunnaismuuttuja x R. Mallinnamme tapahtuman todennäköisyyttä x y P(x y) =F (y), missä funktio F on satunnaismuuttujan x jakauman kertymäfunktio (cumulative distribution function). Määritelmän avulla saamme helposti esimerkiksi todennäköisyyden Onhan näet ja joten P(y <x y 2 )=F (y 2 ) F (y ). {x x y 2 } = {x x y } {x y <x y 2 } {x x y } {x y <x y 2 } =, P(x y 2 )=P(x y )+P(y <x y 2 ). Mikäli Ω=R, näemme välittömästi, että F ( ) =ja F ( ) =0(raja-arvoina). Yllä olevan välin todennäköisyyden perusteella havaitsemme myös, että funktio F on ei-vähenevä: mikäli y <y 2, niin F (y ) F (y 2 ). Mikäli kertymäfunktio F on jatkuvasti derivoituva, saamme mielivaltaiselle välille [y,y 2 ] (vasemmalla päätepisteellä ei ole tässä tapauksessa merkitystä): P(y x y 2 )=F (y 2 ) F (y )= y 2 y F (x) dx. Tämä pitää paikkansa kaikille väleille [y,y 2 ].Kun vertaamme tulosta tiheysfunktion f määritelmään havaitsemme, että kertymäfunktion derivaatta on jakauman tiheysfunktio f: F (x) =f(x).

LUKU 2. TODENNÄKÖISYYS 9 Saamme kertymäfunktiolle F vastaavanlaisen koetoistotulkinnan kuin tiheysfunktiollekin. Oletamme, että satunnaismuuttujan x perusjoukko on R ja että siihen liittyvien tapausten todennäköisyydet ovat mallinnettavissa kertymäfunktion F avulla. N:n koetoiston tuloksista likimäärin NF(y) kappaletta osuu frekvenssitulkinnan mukaan alueeseen {x x y}. F (y) on siten verrannollinen niiden osumien lukumäärään, jotka sattuvat kyseiseen alueeseen. Mukaan tulevat kumulatiivisesti pienimmistä arvoista alkaen kaikki ne, joilla vielä x y. Esimerkki. (Jatkoa) Seuraavaan kuvaan on kerätty kumulatiivisesti aikaisemman miespopulaatiomme yksilöt siten, että kuvasta näkyy niiden miesten lukumäärä, joiden pituus on korkeintaan x-akselilla annetun pituuden suuruinen. Pylväsdiagrammin muodon tulisi mukailla funktion F kuvaajan kulkua: 500 450 400 350 kumulatiivinen lkm 300 250 200 50 00 50 0 40 50 60 70 80 90 200 20 otosarvot Pylväiden yläreunan viivan pitäisi olla likipitäen funktion x 2πσ e 2σ 2 (t µ)2 dt kuvaajan muotoinen, missä µ = 74 ja σ =8.5, eikö? Niin se myös on! (Kysymys: Otoksen koko oli 500. Miten se näkyy kuvassa?) Mainittakoon vielä, että kertymäfunktion käsite on helposti yleistettävissä satunnaismuuttujalle x R p.kertymäfunktio F :Ω R, x F (x), missä Ω R p. Määrittelemme (sutjakkaan merkintätyyliimme). F (y) =P(x y,x 2 y 2,...,x p y p ) 2.4.5 Muuttujan vaihto ja tiheysfunktio Oletamme, että satunnaismuuttujalla x R p on tiheysfunktio f. Mikä tiheysfunktio on satunnaismuuttujalla y R p, joka määritellään satunnaismuuttujan x avulla: x = h(y)? (Huomaa argumenttien järjestys!) Oletamme tässä, että funktio h on kuvaus Ω 2 Ω perusjoukkojen välillä kääntäen yksikäsitteisesti. Oletamme myös, että Ω 2 :n sisällä det(h (y)) 0 (derivaattamatriisin rangi täysi). 4 4 Muunlaisillekin funktioille saadaan vastaavia tuloksia, mutta ne ovat huomattavasti hankalampia.

LUKU 2. TODENNÄKÖISYYS 20 Koska kyse on vain saman ilmiön kuvailusta uusien muuttujien avulla, vastintapahtumien todennäköisyyksien tulee pysyä samoina. Ja jos differentiaalisen pienten vastintapahtumien todennäköisyydet pysyvät samoina, pysyvät näistä yhdistettyjen suurempienkin. Tarkastelemmekin satunnaismuuttujan x perusjoukon differentiaalisen pientä osajoukkoa dx (aluetta) pisteen x 0 ympäristössä ja oletamme alueen mitaksi (tilavuudeksi) dx. Osajoukon dx kuva dy sijaitsee satunnaismuuttujan y perusjoukossa pisteen y 0 ympäristössä. Muuttujien funktioriippuvuudesta johtuen tarkastelupisteiden yhteys toisiinsa on x 0 = h(y 0 ). Joukkojen dx ja dy pisteet ovat kääntäen yksikäsitteisessä suhteessa toisiinsa kuvauksen x = h(y) kautta. Seuraavaksi meidän on pääteltävä alueen dy mitta (tilavuus), jota merkitsemme dy :llä. Tähän käytämme suoraan kurssista Laaja vektorianalyysi peräisin olevaa tulosta: dx = det(h (y 0 )) dy. Alueeseen dx liittyvän tapahtuman todennäköisyys on f(x 0 ) dx. Jos satunnaismuuttujan y tiheysfunktiota merkitään g:llä, niin vastaavasti alueeseen dy liittyvän tapahtuman todennäköisyys on g(y 0 ) dy (alueet oletettiin differentiaalisen pieniksi ). Näiden tapahtumien todennäköisyyksien tulee olla yhtä suuret: aina kun satunnaismuuttuja x osuu koerealisaatiossa alueeseen dx, osuu myös muuttujasta x laskettu muuttuja y alueeseen dy vastaavuuden perusteella. Siten g(y 0 ) dy = f(x 0 ) dx. Kun sijoitamme yhtälöön x 0 = h(y 0 ) (funktioriippuvuuden perusteella) sekä dx = det(h (y 0 )) dy (alueiden mitat toisiinsa sitova ehto), saamme g(y 0 ) dy = f(h(y 0 )) det(h (y 0 )) dy. Supistamalla tilavuusmitan dy puolittain saamme haluamamme tuloksen: Toteamme tuloksen lauseen muodossa: g(y 0 )=f(h(y 0 )) det(h (y 0 )). Lause 2.5. Oletamme, että satunnaismuuttujalla x R p on perusjoukko Ω ja tiheysfunktio f. Otamme käyttöön uuden muuttujan y, joka määritellään yhtälön x = h(y) avulla ja jonka perusjoukko on Ω 2. Oletamme, että funktio h : Ω 2 Ω kääntäen yksikäsitteisesti siten, että Ω 2 :n sisällä det(h (y)) 0(derivaattamatriisin rangi täysi). Tällöin uutta muuttujaa y vastaava tiheysfunktio on g(y) =f(h(y)) det(h (y)). Lausetta 2.5 voi usein soveltaa myös funktiolle k :Ω Ω 3, y = k(x), missä Ω 3 R r ja r<p. Tällöin lisätään k:hon aikaisemmista funktionaalisesti riippumattomia uusia komponentteja, niin että käänteisfunktiona saadaan funktio h :Ω 2 Ω. Sen jälkeen sovelletaan Lausetta 2.5 ja lopuksi integroidaan pois lisätyt komponentit (reunajakauma), ks. Pykälä 3.4. Skalaariarvoisten satunnaismuuttujan funktioiden tiheysfunktion saa kuitenkin usein helpommin kertymäfunktion kautta. Lasketaan esimerkki tällä tekniikalla: Esimerkki. Oletamme, että x ja x 2 ovat samassa kokeessa realisoituvia (yksidimensioisia) satunnaismuuttujia, joiden yhteisjakauman tiheysfunktio on f ja perusjoukko koko R 2. Laskemme satunnaismuuttujan x + x 2 tiheysfunktion. Muodostamme satunnaismuuttujan x + x 2 kertymäfunktion y x 2 G(y) =P(x + x 2 y) = f(x,x 2 ) dx dx 2

LUKU 2. TODENNÄKÖISYYS 2 ja derivoimme sen y:n suhteen: g(y) =G (y) = f(y x 2,x 2 ) dx 2. (Oletimme tässä, että derivointi voidaan suorittaa ulomman integraalin sisällä.) Tätä integraalia muuten kutsutaan tiheysfunktion f konvoluutioksi. Samalla tekniikalla voitaisiin muodostaa mm. satunnaismuuttujien x x 2, x x 2 ja x /x 2 tiheysfunktiot, ja yhden satunnaismuuttujan x tapauksessa mm. satunnaismuuttujien x, x 2, e x ja ln x tiheysfunktiot. 2.4.6 Diskreetti satunnaismuuttuja Diskreetti satunnaismuuttuja x R p voi saada vain äärellisen tai numeroituvasti äärettömän määrän erillisiä arvoja x i. Kaikki muuttujaan liittyvät tapahtumat ovat niin muodoin yhdisteitä erillisistä pisteistä. Esimerkiksi tapahtuma A voitaisiin karakterisoida joukkona A = {x 7, x 9, x 23, x 65 }. Mallinnettaessa diskreettiä satunnaismuuttujaa ei auta muu kuin mallintaa jokaiselle alkeistapahtumalle x i oma todennäköisyytensä p i =P(x = x i ).Yo. tapahtuman A todennäköisyydeksi saadaan silloin P(A) = x i A p i, (summaukseen mukaan tuleva indeksijoukko vastaa tapahtumaa A). Kolmogorovin aksiooman K3 perusteella tällöin kaikkien alkeistapahtumien todennäköisyyksien summa (kaikkien p i :tten summa) on =. Kuinka sitten saamme mallinnetuksi alkeistapahtumien todennäköisyydet p i?klassiseen todennäköisyyslaskentaan liittyvissä tilanteissa päästään järkeilemään symmetrian avulla: rajoitutaan tapauksiin, missä alkeistapahtumien todennäköisyydet arvioidaan apriorisesti keskenään yhtä suuriksi. Mutkikkaammissa tilanteissa todennäköisyydet on estimoitava kerätyn datan perusteella tätä varten kehitetyillä menetelmillä. 2.4.7 Mielikuva todennäköisyysmassasta Jatkuvan satunnaismuuttujan tapauksessa tapahtumaan A liittyvä todennäköisyys mallinnetaan useimmiten tiheysfunktion f avulla: P(A) = f(x) dx. A Integraali lasketaan tapahtumaa A vastaavan joukon A Ω R p yli. Koska f(x) 0, tiheysfunktio on tulkittavissa eräänlaiseksi tiheydeksi (probability density function) analogisesti aineen tiheyden kanssa. Tällöin yllä mainittu todennäköisyys voidaan tulkita tapahtumaan A liittyväksi todennäköisyysmassaksi. Koska P(Ω) = f(x) dx =, Ω

LUKU 2. TODENNÄKÖISYYS 22 koko otosavaruuden todennäköisyysmassa on =. Perusjoukko voidaan siten tulkita avaruudessa R p sijaitsevana vaihtelevatiheyksisenä kappaleena, josta eri tapahtumat A (perusjoukon osajoukot) muodostavat osia. Kyseessä on tietenkin puhdas mielikuva. Tämä on kuitenkin siinä mielessä hyödyllinen, että voimme integraaliin turvautumatta ottaa mielikuvaamme mukaan myös diskreettiä muuttujaa vastaavan tapauksen. Tällöin yksityisiin perusjoukon pisteisiin liittyy aidosti positiivisia todennäköisyyksiä. Mielikuvassamme voimme korvata tällaiset pisteet massapisteillä pisteiden massojen vastatessa ao. tapahtumaan liittyvää todennäköisyyttä. (Sekajakautuneen muuttujan osittain jatkuvan, osittain diskreetin tapauksessa voimme jopa hurjastella pintatiheydellä varustetuilla massa(hyper)pinnoilla tai deltafunktioilla.) Pääasia on, että koko otosavaruutta vastaavan alueen kokonaismassa on =, eri tapahtumat leikkaavat siitä sitten erilaisia kakkuja. Näiden massoista pidämme lukua arkijärkisesti muistaen mahdolliset massapisteet ja muut erikoisuudet. On tavallista esittää tilannetta vastaava kuva tasoalueen muodossa Vennin diagrammina, kuten jo edellä teimme, vaikka dimensio olisi korkeampikin: Ω A B A B Tapahtumaan liittyvä todennäköisyysmassa eli todennäköisyys on vastaavan osa-alueen massa mahdollisine massapisteineen kaikkineen. Tämän tulkinnan perusteella vakuuttaudumme esimerkiksi intuitiivisesti siitä, että todellakin P(A B) =P(A) +P(B) P(A B) (Lause 2.4). Yhdistettä vastaavan alueen massa on kummankin osa-alueen massa vähennettynä niiden yhteisen alueen massalla, joka muuten tulisi laskettua mukaan kahteen kertaan. Mielikuvan avulla voimme helposti päästä oikean tuloksen jäljille riittävän alkeellisissa tapauksissa. Osaisitko katsoa kuvasta, mitä olisi P(A B C)? 5 5 No, paljastamme toki vastauksen: P(A B C) =P(A)+P(B)+P(C) P(A B) P(A C) P(B C)+P(A B C). Eipä olekaan enää täysin yksinkertaista! Tämä on esimerkki vieläkin yleisemmästä ns. Inkluusio ekskluusio-periaatteesta, joka voidaan todistaa induktiolla: ( m ) P A i = P(A i ) P(A i A j )+ ( m ) P(A i A j A k ) + +( ) m+ P A i. i m i<j m i<j<k m

Luku 3 EHDOLLINEN TODENNÄKÖISYYS. REUNAJAKAUMA Tulemme seuraavissa tarkasteluissa karakterisoimaan satunnaismuuttujaan x R p liittyvien tapahtumien todennäköisyydet tiheysfunktion f avulla. Jos määrittelemme tiheysfunktion identtisesti nollaksi perusjoukon Ω ulkopuolella avaruudessa R p,voimme ottaa uudeksi perusjoukoksi koko avaruuden R p. Laajennettu malli antaa ilmeisestikin samat todennäköisyydet mahdollisille tapahtumille kuin alkuperäinen. Oletamme jatkossa satunnaismuuttujan x R p perusjoukoksi koko avaruuden R p, ellei nimenomaisesti toisin sovita. 3. Ehdollinen todennäköisyys. Bayesin kaava Esittelemme ehdollisen todennäköisyyden käsitteen. Oletamme, että tapahtumat A ja B liittyvät samaan satunnaismuuttujaan: yksittäisessä kokeessa voisivat realisoitua esimerkiksi jokin tai jotkin tapahtumista A, B, A B, A B tai ei yksikään niistä. Määritelmä. Oletamme, että P(B) 0. Tapahtuman A ehdolliseksi todennäköisyydeksi tapahtuman B suhteen määritellään P(A B) = P(A B). P(B) Mikä on ehdollisen todennäköisyyden frekvenssitulkinta? Oletamme, että koetoistojen lukumäärä n on suuri. Merkitsemme n AB :llä niiden tapausten lukumäärää, joissa esiintyy sekä A että B. Vastaavasti merkitsemme n B :llä niiden tapausten lukumäärää, joissa esiintyy (ainakin) B. Koetoistojen määrän kasvaessa osamäärä n AB /n stabiloituu kohti arvoa P(A B), osamäärä n B /n puolestaan kohti arvoa P(B).Niinpä osamäärä n AB /n B stabiloituu kohti arvoa P(A B) P(B) =P(A B). Kuinka olisi osamäärä n AB /n B tulkittava? No, sehän on niiden tapausten lukumäärä, joissa on realisoitunut sekä A että B niiden tapausten lukumäärä, joissa on realisoitunut (ainakin) B. 23