Tilastotieteen jatkokurssi

Transkriptio

1 Tilastotieteen jatkokurssi Heikki Hyhkö kesä 2013

2 1. Todennäköisyyslaskenta Kurssin alkuosan sisältö Klassinen todennäköisyys Kombinatoriikka Kokonaistodennäköisyys 2. Todennäköisyysjakaumat Satunnaismuuttuja Odotusarvo & varianssi Diskreetit jakaumat Jatkuvat jakaumat Otosjakaumat 3. Estimointi Piste-estimointi Väli-estimointi 2

3 4. Testaus Kurssin loppuosan sisältö Laatueroasteikko Järjestysasteikko Välimatka- ja suhdeasteikko 5. Regressioanalyysi Yhden selittäjän malli Usean selittäjän malli 6. Varianssianalyysi Yksisuuntainen Kaksisuuntainen Järjestysasteikolliset 3

4 1. Todennäköisyyslaskenta

5 Klassinen todennäköisyys: Todennäköisyys Perusjoukon jokaisella alkiolla on sama todennäköisyys. P(ω i ) = 1 n Frekventistinen tulkinta: Suotuisan tapauksen suhteellinen frekvenssi lähestyy kiinteää arvoa satunnaisilmiön toistuessa. P(A) = k n Subjektiivinen todennäköisyys: Henkilö on valmis lyömään vetoa tietyllä vedonlyöntisuhteella V :H. P(A) = V H+V Bayesiläinen tulkinta: Todennäköisyys kuvaa uskomuksen astetta, eli huomioi prioritiedon. P(B k A) = P(B k) P(A B k ) n i=1 P(B i ) P(A B i ) 5

6 Klassinen todennäköisyys Todennäköisyysmallissa on äärellinen määrä mahdollisia tuloksia. Joukossa Ω on n kappaletta alkeistapauksia {ω 1,ω 2,ω 3,...,ω n }. Joukossa Ω jokaisella tuloksella ω i on sama todennäköisyys. Yhtä alkiota vastaava todennäköisyys on täten P(ω i ) = 1 n. Jos alkioista suotuisia on k kappaletta, niin P(A) = k n. Jos kaikki tapaukset ovat suotuisia, niin k = n, eli P(Ω) = n n = 1. Jos yksikään tapaus ei ole suotuisa, niin k = 0, eli P( ) = 0 n = 0. Esimerkki: Harhaton noppa Tulosvaihtoehdot Ω = {1,2,3,4,5,6} Pistetodennäköisyydet P(1) = 1 6,P(2) = 1 6,P(3) = 1 6,P(4) = 1 6,P(5) = 1 6,P(6) = 1 6 6

7 Suhteellinen frekvenssi Kun perusjoukossa on n kappaletta alkioita, joista k on suotuisia, niin todennäköisyys saada suotuisa tapaus A on P(A) = k n. Koska kyseessä on satunnaisilmiö, satunnaisia nostoja toistettaessa ei välttämättä saataisi suotuisia tapauksia suhteessa k n. Kun satunnaisilmiön toistumiskertojen lukumäärä kasvaa rajatta, niin tapahtuman A todennäköisyyksien keskiarvo lähestyy lukua k n. Esimerkki: Eduskunta 2007 Perusjoukko Ω on Kansanedustajat: n = 200 Tapahtuma A on naiskansanedustaja: k = 84 Todennäköisyys valita naiskansanedustaja: P(A) = =

8 Bayesiläinen todennäköisyys Bayesiläisessä tilastotieteessä todennäköisyys mittaa tutkijan uskomuksen astetta väitteen todennäköisyyteen. Eli lasketaan etukäteistietojen (priorit.) perusteella ehdollistettu todennäköisyys tukittavalle väitteelle (posterioritodennäköisyys). Frekventistinen todennäköisyys on bayesiläisten mukaan vain yksi erikoistapaus, jossa ehdollistetaan aikaisemmilla (vastaavilla) tapahtumilla. Bayesiläinen tulkinta mahdollistaa ainutkertaisten tapahtumien todennäköisyyksien laskemisen. Frekventistit näkevät bayesiläisyyden ongelmakohtana etukäteistiedon subjektiivisen luonteen. Bayesiläinen tilastotiede pohjautuu Bayesin kaavaan ja käytännön sovelluksissa priorijakaumien estimointiin MCMC-simuloinneilla. Bayesiläinen tulkinta todennäköisyyden luonteesta vastannee paremmin rivikansalaisen käsitystä todennäköisyydestä. 8

9 Todennäköisyyden aksioomat 1. 0 P(A) 1 2. Jos P(A i A j ) = 0, kun i j, niin P(A i A j ) = P(A i )+P(A j ) 3. P(Ω) = 1 Sama suomeksi: 1. Todennäköisyydet ovat aina yhden ja nollan välillä. 2. Toisensa poissulkevien tapahtumien yhdisteen todennäköisyys on tapahtumien todennäköisyyksien summa. 3. Kokonaistodennäköisyys on yksi. Aksiooma 2 voidaan korvata näennäisesti voimakkaammalla aksioomalla: A i A j =, kun i j P(A 1 A 2... A n ) = P(A 1 )+P(A 2 )+...+P(A n ) 9

10 Sigma-algebra Jotta edellä mainitut aksioomat saataisiin laajennettua äärettömille joukoille, täytyy määritellä joukkoperhe F. Joukkoperheeseen F otetaan joukon Ω osajoukot A, jotka täyttävät seuraavat ehdot: 1. Ω F 2. Jos A F, niin A c F 3. Jos A 1,A 2,... F, niin i=1 A i F Tällöin joukkoperhe F muodostaa σ-algebran F Toisin sanoen: Joukkoperhe F muodostuu omegan osajoukoista (mukaan lukien Ω ja ). Kaikki omegan osajoukkojen komplementit kuuluvat omegaan. Kaikkien omegan osajoukkojen yhdisteiden tulee kuulua omegaan. 10

11 Todennäköisyyskenttä Edellä mainitusta σ -algebrasta saadaan todennäköisyyskenttä, kun määritellään kuvaus P : F [0,1]. Tämän jälkeen Kolmogorovin aksioomat ovat voimassa äärettömillekin joukoille: 1. 0 P(A) 1 kaikille A F 2. Jos A 1,A 2,... F ja A i A j =, niin P( 3. P(Ω) = 1 i=1 A i ) = i=1 P(A i ) Näin määrittyy todennäköisyyskenttä/todennäköisyysavaruus (Ω, F, P). Kuvaus P on siis todennäköisyys. 11

12 Todennäköisyysteoria ja mittateoria Edellissä slideissa kerrottiin lyhyesti miten todennäköisyys saadaan määriteltyä matemaattisena mittana. Mainitut todennäköisyyslaskennan (Kolmogorovin) aksioomat määrittelivät todennäköisyyslaskennan osaksi matemaattista mittateoriaa. Mittateoriassa määritellään erilaisille joukoille pintala/tilavuus-mittoja. Todennäköisyyslaskennassa tämä joukko (σ-algebra) on perusjoukko. Todennäköisyyslaskennassa saatu mitta on todennäköisyys. Matematiikan haaraa, joka käsittelee todennäköisyyslaskentaa mittateoreettisista lähtökohdista kutsutaan todennäköisyysteoriaksi. Todennäköisyysteoriassa otosavaruudessa määritellyt pinta-alat vastaavat siis todennäköisyyksiä. 12

13 Todennäköisyyslaskennan laskusäännöt Yhdiste P(A B) = P(A)+P(B) P(A B) Oletetaan, että P(A) > 0, eli A, eli A ei ole tyhjäjoukko, tällöin: Ehdollinen todennäköisyys P(B A) = P(B A) P(A) Leikkaus P(A B) = P(A) P(B A) Riippumattomuus P(B) = P(B A) ja P(A) = P(A B), kun P(B) > 0 Erillisyys P(A B) = 0 Komplementti P(A c ) = 1 P(A) Leikkauksen komplemetti P(A B) c = P(A c B c ) Yhdisteen komplemetti P(A B) c = P(A c B c ) Erotus P(A\B) = P(A) P(A B) 13

14 Harhaton noppa, jatkuu Kun heitetään harhatonta noppaa, niin todennäköisyys saada suurempi kuin 3 on P(A) = 3 6 ja todennäköisyys saada parillinen on P(B) = 3 6. Leikkauksen todennäköisyys P(A B) = 2 6 saadaan päättelemällä. Yhdiste P(A B) = = 4 6 Ehdollinen todennäköisyys P(B A) = 2/6 3/6 = 2 3 Leikkaus P(B A) = = 2 6 Riippumattomuus P(B) = 3 6 P(B A) = 2 3, joten eivät riippumattomia. Erillisyys P(A B) = 2/6 0, joten eivät ole erillisiä. Komplementti P(A c ) = 1 3/6 = 3/6 Erotus P(A\B) = 3/6 2/6 = 1/6 14

15 Todennäköisiä todennäköisyyksiä Kolikon heitto: klaava = rahan arvo, kruuna = kuninkaallisen kuva. Harhattoman rahan heitossa todennäköisyys: klaava = kruuna = 1 2. Nopan heitto (d6): kuusisivuinen ja vastakkaisten lukujen summa on 7 Todennäköisyys saada jokin määrätty silmäluku on siis aina 1 6 Ruletit: ruletissa on numerot 1-36, joista puolet on punaisia ja puolet mustia. Eurooppalaisessa ruletissa on lisäksi on nolla, joka on vihreä. Amerikkalaisessa ruletissa on lisäksi tuplanolla, joka on myös vihreä. Korttipakka: 52 korttia ja neljä maata: hertta, ruutu, risti ja pata Numerojakauma: Ace (A), 2, 3,... 10, Jack (J), Queen (Q), King (K). Pakassa on 16 kuvakorttia (A,J,Q,K), joista ässän arvo on 1 tai 14. Pokerikädessä on viisi korttia, jotka jaetaan palauttamatta. Lotto: 39 numeroa, joista arvotaan 7 numeroa ja 2 lisänumeroa. Voitot ovat: 7 oikein, 6 + lisänumero, 6 oikein, 5 + 2, 5 + lisänumero, 5 oikein, 4 + 2, 4 + lisänumero, 4 oikein, ja 3 + lisänumero. 15

16 Riippumattomuus vs. erillisyys Suuri osa monimutkaisemmista todennäköisyyslaskentatehtävistä perustuu kahden laskusäännön soveltamiseen: 1. Yhteenlaskusääntö toisensa poissulkeville tapahtumille 2. Kertolaskusääntö riippumattomille tapahtumille Nämä säännöt ovat toisensa poissulkevia, sillä riippumattomat tapahtumat eivät koskaan voi olla toisensa poissulkevia! Sääntöjä voidaan kuitenkin käyttää saman laskun eri vaiheissa, kunhan varmistetaan ehtojen voimassaolo! Huom: Leikkausjoukon olemassaolo on välttämätön, mutta ei riittävä ehto riippumattomuudelle! Termistöä: erillisyys = toisensa poissulkevuus = pistevieraus 16

17 Yhteenlaskuperiaate Pistevieraitten joukkojen todennäköisyydet voidaan laskea yhteen: P(A B) = P(A)+P(B), kun P(A B) = 0, eli A B = Esimerkki: A = saadaan hertta ja B = saadaan musta kuvakortti P(A) = 13/52, P(B) = 8/52 ja joukoilla ei ole yhteisiä alkioita. P(A B) = 13/52+8/52 = 21/52 Kun joukot eivät ole pistevieraita, vähennetään leikkauksen todennäköisyys: P(A B) = P(A)+P(B) P(A B) Täytyy tietää tai pystyä laskemaan leikkaustodennäköisyys P(A B) Esimerkki: A = saadaan hertta ja C = saadaan kuvakortti P(A) = 13/52, P(C) = 16/52 ja P(A C) = 4/52 P(A C) = 13/52+16/52 4/52 = 25/52 17

18 Kertolaskuperiaate Leikkaustodennäköisyyttä laskettaessa riippumattomien joukkojen todennäköisyydet voidaan kertoa keskenään: P(A B) = P(A) P(B), kun P(A B) = P(A) ja P(B A) = P(B). Esimerkki: Tapahtumat A = saadaan ässä ja B = kortti on hertta P(A) = 4/52, P(B) = 13/52 ja P(A B) = 1/52 P(A B) = 1/52 13/52 = 1 13 = P(A) P(B A) = 1/52 4/52 = 1 4 = P(B) Eli tapahtumat ovat riippumattomia. Jos riippumattomuutta ei voida olettaa tai osoittaa, niin täytyy leikkaustodennäköisyys olla laskettavissa tai sitten leikkauksen todennäköisyys täytyy olla pääteltävissä aineistosta. Kun muuttujat oletetaan riippumattomiksi tulee oletuksen perustua johonkin saatuun tietoon, kuten satunnaisprosessin fysikaalisiin ominaisuuksiin tai otantateoriaan. 18

19 Ehdollistaminen Kun ehdollistetaan tapahtuma A tapahtumalla B, kiinnostus kohdistuu vain niihin tapahtuman A alkioihin, jotka ovat joukossa B. Siirrytään uuteen perusjoukkoon, jonka muodostaa joukko B. Kiinnostuksen kohteena on siis tapahtuman A n todennäköisyys tässä uudessa perusjoukossa B. P(A B) = P(A B) P(B) Esimerkki: Todennäköisyys saada pariton kortti P(A), kun tiedetään, että kyse on kuvakortista P(B): P(A) = 28/52, P(B) = 16/52, P(A B) = 12/52 P(A B) = = = Huom. Jos ässän arvoksi ajatellaan 14, niin P(A B) = 2/4 Tyhjällä joukolla ehdollistaminen johtaisi nollalla jakamiseen, joka ei ole sallittua! 19

20 Toistokokeet Tähän mennessä on käsitelty pääosin yksittäisiä tapahtumia. Seuraavaksi tarkastellaan todennäköisyyksiä, kun tehdään toistokokeita. Tällöin on tarpeen määritellä kaksi tapaa tehdä toistokokeita: 1. Kokeen suorittaminen palauttaen 2. Kokeen suorittaminen palauttamatta Kun kokeet suoritetaan palauttamatta, niin peräkkäisten kokeiden tulokset eivät luonnollisestikaan ole riippumattomia toisistaan. Usein kuitenkin on perusteita olettaa peräkkäiset tulokset ehdollisesti riippumattomiksi. 20

21 Palauttaen Kun arvonta tehdään palauttaen (eli takaisinpanolla), niin peräkkäisten arvontojen todennäköisyydet eivät muutu. Peräkkäisten arvontojen tulokset ovat riippumattomia toisistaan: P(A 1 A 2... A i ) = ( ) k i n Esimerkki: Amerikkalainen ruletti (38 numeroa): Henkilö sijoittaa kaksi kertaa peräkkäin yhden dollarin rulettiin kahdelle numerolle. Mikä on todennäköisyys, että hän voittaa molemmilla kerroilla? P(A 1 A 2 ) = = Tällaiset todennäköisyydet noudattavat binomijakaumaa. 21

22 Palauttamatta Kun arvonta tehdään palauttamatta (eli ilman takaisinpanoa), niin peräkkäisten arvontojen todennäköisyydet muuttuvat. Peräkkäiset arvonnat eivät ole riippumattomia, koska jokaisen arvonnan jälkeen n pienenee yhdellä. Jos henkilö voittaa, niin k pienenee, jollei niin k pysyy ennallaan. Esimerkki: uurna-arvonta: Henkilö ostaa kaksi arpaa, arvontaan, jossa on 38 arpaa. Arvonta suoritetaan nostamalla voittoarpa uurnasta laittamatta sitä takaisin. Mikä on todennäköisyys, että henkilö voittaa molemmilla kerroilla? P(A 1 A 2 ) = = Tällaiset todennäköisyydet noudattavat hypergeometristä jakaumaa. 22

23 Todennäköisyyslaskennan ketjusääntö Ehdollinen riippumattomuus Joskus esiintyy tilanteita, että osajoukot A ja B eivät ole riippumattomia, mutta kun ne ehdollistetaan muuttujalla C niistä saadaan riippumattomia. Jos P(A B C) = P(A C) P(B C), niin A ja B ovat ehdollisesti riippumattomia Kun yllä olevassa kaavassa ehtona käytetäänkin osajoukkoa B, niin päädytään todennäköisyyden ketjusääntöön. Todennäköisyyslaskennan ketjusääntö Onnistutaan ensimmäisellä kerralla: P(A 1 ) Onnistutaan kahdesti: P(A 1 A 2 ) = P(A 1 ) P(A 2 A 1 ) jne. P(A 1 A 2 A 3 ) = P(A 1 A 2 ) P(A 3 (A 1 A 2 )) Kun aina ehdollistetaan aikaisemmilla tapahtumilla, niin voidaan peräkkäisten tapahtumien todennäköisyydet kertoa keskenään myös palauttamatta tehdyssä otannassa. 23

24 Ainakin kerran Peräkkäiset nopan heitot harhattomilla nopilla ovat riippumattomia. Riippumattomien tapausten kertolaskusäännön perusteella todennäköisyys saada neljä kuutosta peräkkäin on: Tapahtuma A = saadaan kuutonen, P(A) = 1 6. P(A) P(A) P(A) P(A) = = (1 6 ) Mikä on todennäköisyys saadaan ainakin yksi 6 neljällä heitolla? Tapahtuma B = ei saada kuutosta, P(B) = 1 P(A) = = 5 6. Tapahtuma C = ei saada yhtään kuutosta neljällä heitolla. P(C) = P(B) P(B) P(B) P(B) = = (5 6 )4 Todennäköisyys, että saadaan ainakin yksi kuutonen on edellä lasketun todennäköisyyden komplementti: P(C c ) = 1 P(C) = 1 ( 5 6 ) Todennäköisyys onnistua ainakin kerran lasketaan siis vähentämällä täydellisen epäonnistumisen todennäköisyys yhdestä. 24

25 Kokonaistodennäköisyys Kokonaistodennäköisyyden määrittelemiseksi pitää perusjoukko Ω jakaa pistevieraisiin (toisensa poissulkeviin) osajoukkoihin B i. Pistevieraus tarkoittaa sitä, että osajoukoilla ei ole yhteisiä alkioita, eli: P(B i B j ) = 0, kun i j, eli B i B j =. Joukot B i muodostavat perusjoukon osituksen, kun: n i=1 B i = Ω. Tällöin voidaan Ω n osajoukon A todennäköisyys laskea: P(A) = n i=1 P(B i ) P(A B i ). 25

26 Bayesin kaava Bayesin kaavalla saadaan laskettua ns. käänteisiä ehdollisia todennäköisyyksiä. P(B k A) = P(B k) P(A B k ) n i=1 P(B i ) P(A B i ) Kaava on suora johdos kokonaistodennäköisyyden kaavasta ja ehdollisen todennäköisyyden määritelmästä. Kaava mahdollistaa ennakkotiedon huomioimisen todennäköisyyslaskennassa. Ennakkotietoja P(B i ) kutsutaan prioritodennäköisyyksiksi. Kysyttyä todennäköisyyttä P(B k A) kutsutaan posterioritodennäköisyydeksi. Prioritodennäköisyyksien lisäksi pitää tietää todennäköisyydet P(A B i ). 26

27 Bayesin kaavailua Todennäköisyys, että opettaja ajaa sadepäivänä pyörällä töihin on 20%. Muussa tapauksessa hän tulee bussilla. Pyörällä opettaja ehtii ajoissa perille 90% todennäköisyydellä, kun vastaava todennäköisyys bussilla on vain 70%. Sadepäivänä opettaja on ajoissa, millä todennäköisyydellä hän tuli pyörällä? A = ajoissa, B 1 = tuli pyörällä, B 2 = tuli bussilla, P(B 1 A) =? P(B 1 ) P(A B 1 ) = = 0.18 P(A) = 2 P(B i ) P(A B i ) = = 0.74 i=1 P(B 1 A) = P(B 1) P(A B 1 ) 2 i=1 P(B i ) P(A B i ) =

28 Puudiagrammi: Puudiagrammit ja toimintaverkot Suotuisten haarojen kokonaistodennäköisyydet kertovat tuloksen. Vierekkäisten haarojen tapahtumat ovat toisensa poissulkevia, eli vierekkäisten tapahtumien todennäköisyydet lasketaan yhteen. Peräkkäiset tapahtumat ovat ehdollisesti riippumattomia, eli peräkkäisten tapahtumien todennäköisyydet kerrotaan keskenään. Todennäköisyysverkko: Rinnan kytkettyjen komponenttien todennäköisyydet lasketaan yhteen ja vähennetään niiden yhteistoimintatodennäköisyys. Sarjaan kytkettyjen todennäköisyydet kerrotaan keskenään. Järjestelmän toiminta edellyttää, että: 1. kaikki sarjaan kytketyt komponentit toimivat. 2. jokin rinnan kytketyistä komponenteista toimii. Huom. P(ainakin yksi toimii) = 1 P(yksikään ei toimi) 28

29 Kombinatoriikka Edellä on määritelty kaavat, joiden avulla voidaan laskea todennäköisyyksiä, kunhan tunnetaan suotuisten tapahtumien lukumäärä k ja perusjoukon koko n. Kombinatoriikan avulla pyrimme laskemaan tarvittavat k t ja n t. Kombinatoriikka koostuu kolmesta osa-alueesta Permutaatiot Montako järjestettyä jonoa voidaan muodostaa n stä alkiosta. Variaatiot Montako k n mittaista järjestettyä jonoa saadaan n stä alkiosta. Kombinaatiot Montako k n kokoista joukkoa voidaan muodostaa n stä alkiosta. 29

30 Permutaatiot Jos joukossa on n alkiota, siitä voidaan muodostaa n! erilaista järjestettyä jonoa. n! luetaan "ännän kertoma" ja se lasketaan seuraavasti: n! = n (n 1) (n 2) (n 3) Nollan kertoma on 1, eli 0! = 1. Esim. Monessako järjestyksessä 10 henkeä voi olla jonossa? 10! = = Muiden kuin kokonaislukujen kertomat saadaan laskettua gammafunktion avulla. Jos joukossa on samoja alkioita, täytyy käyttää binomi- tai multinomikerrointa. 30

31 Variaatiot Jos joukossa on n alkiota ja halutaan muodostaa näistä k n mittaisia järjestettyjä jonoja, niin niiden lukumäärä on P(n, k). P(n,k) = n! (n k)! Kyse on siis k n alkion muodostamien permutaatioiden lukumäärästä, kun alkioita on n kappaletta. Variaatioita kutsutaan toisinaan järjestetyiksi jonoiksi. Jos k = n, niin tulos on sama kuin n n permutaatio, eli n!. Esim. Monessako järjestyksessä 10 hengen joukosta valitut erilaiset neljän hengen ryhmät voivat olla jonossa? P(10,4) = 10! (10 4)! = =

32 Kombinaatiot Jos joukossa on n alkiota ja halutaan muodostaa näistä k n alkion kokoisia osajoukkoja, niin niiden lukumäärä on C(n, k). C(n,k) = ( ) n k = n! k! (n k)! Kyse on siis k n alkion muodostamien kombinaatioiden lukumäärästä, kun alkioita on n kappaletta ja alkioiden järjestyksellä ei ole väliä. Esim. Montako erilaista 4 n hengen ryhmää 10 henkilöstä voi valita? C(10,4) = ( 10) 4 = 10! = 210 4! (10 4)! = Meidän kannaltamme oleellisempi on kuitenkin ns. binomikerroin Eli moneenko järjestykseen voidaan kahteen luokkaan jakautuneet alkiot järjestää. Esim. Monessako järjestyksessä 2 poikaa ja 3 tyttöä voi syntyä? C(5,2) = ( ) 5 2 = 5! 2 6 = 10 2! (5 2)! =

33 Pascalin kolmio Binomikertoimien arvot saadaan laskettua myös Pascalin kolmiosta. Tulos saadaan aina riviltä n+1 luvun k +1 kohdalta. Esimerkki: Montako trioa voidaan muodostaa kuudesta henkilöstä? Rivin seitsemän 4. numero on 20, eli voidaan muodostaa 20 trioa. Pascalin kolmiolla lasketaan mm. binomin potenssien kertoimia: (a+b) n, joten ( n k) ta onkin luontevaa kutsua binomikertoimeksi. 33

34 Binomikerroin vs. multinomikerroin Järjestysten laskemiseen käytetään binomikerrointa, kun perusjoukko on jakautunut kahteen luokkaan: ( ) n k = n! k! (n k)! Kun perusjoukko on jakautunut useampaan luokkaan, käytetään järjestysten laskemiseen multinomikerrointa: ( n n 1... n k ) = n! n 1! n k! Binomikerroin on siis multinomikertoimen erikoistapaus, kun perusjoukko jakautuu kahteen osajoukkoon. Toinen varsin yleinen tilanne on, että osajoukot ovat tasajakautuneet. Viimeinen luokka/osajoukko voi myös olla ns. kaatoluokka, jossa on muista luokista ylijääneet alkiot. 34

35 Esimerkki: Pokerikäsiä Montako erilaista viisikorttista pokerikättä on jokerittomassa korttipakassa? ( ) 52 5 = 52! 5! 47! = Montako erilaista viisikorttista pokerikättä voidaan jakaa kahdelle pelaajalle? ( ) = 52! 5! 5! 42! = Montako erilaista viisikorttista pokerikättä voidaan jakaa kolmelle pelaajalle? ( ) = 52! 5! 5! 5! 37! Monellako eri tavalla korttipakka voidaan jakaa tasan neljälle pelaajalle? ( ) = 52! 13! 13! 13! 13!

36 Lisähuomioita kombinatoriikasta Osajoukko vs. ryhmä: Kaikkien mahdollisten osajoukkojen lukumäärä, kun perusjoukossa on n alkiota on: ( n ( 0) + n ( 1) + + n n) = 2 n. Kaikkien mahdollisten ryhmien lukumäärä, kun ryhmät valitaan on n stä henkilöstä, on kuitenkin (2 n 1). Yllä mainittu johtuu siitä, että tyhjäjoukkoa ei voine mieltää ryhmäksi. Binomikertoimen muistisääntöjä: ( ( n 0) = n ) n = n! 0! (n 0)! = n! n! = 1 ( n) ( 1 = n ) n 1 = n! 1! (n 1)! = n (n 1)! 1 (n 1)! = n 1 = n Permutaation erityistapaus: Pyöreä pöytä Kun halutaan laskea istumajärjestyksiä pyöreässä pöydässä, niin lukitaan yksi henkilö, jolloin järjestysten lukumäärä on (n 1)! Esim. Monessako järjestyksessä 7 veljestä voi istua pöydässä? (7 1)! =

37 2. Sattunaismuuttujat ja todennäköisyysjakaumat

38 Satunnaismuuttuja Todennäköisyyskentässä (Ω, F, P) määritelty yksiulotteinen satunnaismuuttuja on kuvaus Ω sta reaaliakselille. Esim. Perusjoukko: helsinkiläiset ja satunnaismuuttuja: pituus. Edellisestä yleistäen voidaan määritellä myös n-ulotteinen satunnaismuuttuja, joka olisi siis vektoriarvoinen (X 1,X 2,...,X n ). Esim. Perusjoukko: helsinkiläiset ja 4-ulotteinen satunnaismuuttujavektori: (pituus, paino, ika, sukupuoli). Perusjoukko kuvattaisiin siis neliuolotteiseen avaruuteen. Tilastollisissa sovelluksissa ei olla kiinnostuneita alkuperäisestä todennäköisyyskentästä, vaan satunnaismuuttujien saamista arvoista, jotka saadaan joko pistetodennäköisyys- tai kertymäfunktioista. Empiirisesti tulkittuna satunnaismuuttujalla X tarkoitetaan numeerista suuretta, joka saa arvonsa heti, kun satunnaiskoe tehdään. 38

39 Satunnaismuuttujien ominaisuuksia Tällä kurssilla satunnaismuuttujia merkintään isoilla kirjaimilla (X, Y, Z). Kirjallisuudessa toinen yleinen tapa on käyttää alleviivausta (x, y, z). Satunnaismuuttujan saamia arvoja kuvataan pienillä kirjaimilla (x, y, z). Myös vakioita on tapana kuvat pienillä kirjaimilla (a, b, c). Satunnaismuuttujien summamuuttuja on satunnaismuuttuja: X +Y = Z Satunnaismuuttajien tulomuuttuja on satunnaismuuttuja: X Y = Z Satunnaismuuttujan lineaarinen muunnos on satunnaismuuttuja: Y = b X +a Siis myös X = n X i i=1 n ja Z = X µ σ/ n 39 pysyvät satunnaismuuttujina.

40 Todennäköisyysjakaumat Satunnaismuuttujan X todennäköisyysjakauman muodostavat X n arvot x i ja näihin liittyvät todennäköisyydet p i. Satunnaismuuttuja on diskreetti (epäjatkuva), jos sen todennäköisyys keskittyy yksittäisiin pisteisiin, joiden välillä ei ole todennäköisyyttä. Satunnaismuuttuja on jatkuva, jos sen todennäköisyysmassa ei ole keskittynyt yksittäisiin pisteisiin. Satunnaismuuttuja saattaa olla myös sekatyyppiä, eli osa jakaumasta on jatkuva ja osa diskreetti. Todennäköisyysjakauma voi olla myös moniulotteinen. Kaikissa tapauksissa todennäköisyysmassan kokonaismäärä on 1. 40

41 Diskreetti Muuttuja on diskreetti, jos se saa äärellisen määrään äärellisiä arvoja. Diskreetin satunnaismuuttuja X todennäköisyys tietyssä pisteessä x i määritellään pistetodennäköisyysfunktiolla P(X = x i ) = p i. Pistetodennäköisyysfunktion P(X = x i ) = f(x i ) arvo kertoo pisteen etäisyyden x-akselista, joka on samalla pisteen todennäköisyys p i. Nämä todennäköisyydet muodostavat diskreetin todennäköisyysjakauman, jos 1. 0 p i k i=1 p i = 1, jossa k on mahdollisten tulosvaihtoehtojen lukumäärä. 41

42 Jatkuva Satunnaismuuttuja on jatkuva, jos se voi saada minkä tahansa arvon joltakin määritellyltä reaalilukujen väliltä. Tiheysfunktion f(x) arvo pisteessä x kertoo käyrän etäisyyden x-akselista pisteessä x. Jatkuvan satunnaismuuttujan todennäköisyyden määrittää kuitenkin pinta-ala, joka on yksittäisessä pisteessä aina 0. Tiheysfunktio f(x) määrittelee jatkuvan todennäköisyysjakauman, jos 1. f(x) on jatkuva. 2. f(x) 0, kaikille x. 3. Käyrän f(x) ja vaaka-akselin välisen alueen pinta-ala on 1 otosavaruuden Ω määrittelemällä välillä. 42

43 Tiheysfunktio vs. pistetodennäköisyysfunktio Jatkuva funktio f(x), joka saa arvoja jatkuvasti väliltä [a,b] on jatkuvan satunnaismuuttujan X tiheysfunktio, jos 1. f(x) 0, kaikille x [a,b]. 2. b a f(x)dx = 1 Diskreeti funktio f(x i ) on pistetodennäköisyysfunktio, jos 1. f(x i ) 0 2. k i=1 f(x i ) = 1. Kun muistetaan, että integrointi vastaa yhteenlaskua, niin havaitaan, että tiheys- ja pistetodennäköisyysfunktio ovat hyvin samankaltaisia. Toisinaan molempia merkitäänkin f(x) llä! 43

44 Kertymäfunktio Jos funktio F(x) = P(X x) toteuttaa seuraavat ehdot, niin se on jonkin satunnaismuuttujan kertymäfunktio: 1. F( ) = 0 2. F( ) = 1 3. F(x) on ei-vähenevä: F(x 1 ) F(x 2 ), kun x 1 x 2 4. F(x) on oikealta jatkuva: F(x+ ) F(x), kun 0, oikealta. Satunnaismuuttujan kertymäfunktio F(x) = P(X x) kertoo siihen mennessä kertyneen todennäköisyyden. Diskreetin muuttujan kertymäfunktion arvo saadaan summaamalla: p i i=1 P(X x k ) = k Jatkuvan muuttujan kertymäfunktion arvo saadaan integroimalla: x F(x) = P(X x) = f(t)dt Molemmissa tapauksissa: P(x 1 < X x 2 ) = F(x 2 ) F(x 1 ) 44

45 Empiria vs. teoria Todennäköisyysteoria käsittelee teoreettisia matemaattisia malleja, jotka frekvenssitulkinnan mukaan mallintavat empiirisiä aineistoja. Tilastografiikassa... pistetodennäköisyysfunktion kuvaaja on idealisoitu pylväsdiagrammi (janadiagrammi). tiheysfunktion kuvaaja on idealisoitu histogrammi erittäin kapein luokkavälein. Todennäköisyysjakaumien tarkastelut keskittyvät parametrisiin malleihin, joten tunnuslukujen osalta kyseeseen tulevat lähinnä odotusarvo ja varianssi. Odotusarvon empiirinen vastine on tavallisesti otoskeskiarvo. Varianssin empiirinen vastine on otosvarianssi. Kertymäfunktiota ja sen kuvaajaa voidaan käyttää sekä parametristen että ei-parametristen mallien tapauksessa. 45

46 Moodi ja Mediaani Teoreettinen moodi määritellään seuraavasti: Piste (tai pisteet), jonka todennäköisyys on korkein, eli kohta jossa kertymäfunktioon tulee suurin nousu ja tiheys- tai pistetodennäköisyysfunktion arvo on suurin. Teoreettinen mediaani määritellään seuraavasti: Piste, jossa suora y = 1 2 leikkaa kertymäfunktion kuvaajaan. Ei-parametrisissa tarkasteluissa ei kannata kuitenkaan rajoittua näihin kahteen menettelyyn, vaan kannattaa tarkastella kertymäfunktioiden käyttäytymistä koko vaihteluvälillä. Tällä kurssilla keskitymme lähinnä kuitenkin parametrisiin malleihin, eli siis lähinnä odotusarvoon ja varianssiin. 46

47 Odotusarvo Odotusarvo ei ole tulos, jota odotetaan yksittäisestä satunnaiskokeesta, vaan se luku, jota toistettujen satunnaiskokeiden keskiarvo lähestyy. Diskreetin jakauman odotusarvo lasketaan: E(X) = n p i x i i=1 Jatkuvan jakauman odotusarvo lasketaan: E(X) = xf(x)dx Määritelmän mukaisilla kaavoilla (varsinkaan jatkuvassa tapauksessa) harvemmin lasketaan odotusarvoja, sillä eri jakaumien odotusarvoille on johdettu yksinkertaisempia laskukaavoja. 47

48 Vakio c: Odotusarvon ominaisuuksia Vakion odotusarvo on: E(c) = c Vakion lisääminen: E(X +c) = E(X)+c Vakiolla kertominen: E(X c) = E(X) c ts. lineaarimuunnokset ovat odotusarvoille sallittuja. Odotusarvojen summa ja erotus: E(X +Y) = E(X)+E(Y) E(X Y) = E(X) E(Y) Odotusarvojen tulo, kun X ja Y ovat riippumattomia: E(X Y) =E(X) E(Y) 48

49 Varianssi Tässä tarkastellaan ensin varianssia keskihajonnan sijasta, koska varianssi on useiden todennäköisyysjakaumien parametri. Varianssista käytetään useita merkintätapoja: Var(X) = D 2 (X) = σ 2 Varianssin yleinen määritelmä: D 2 (X) = E((X E(X)) 2 ) = E(X 2 ) (E(X)) 2 Diskreetin jakauman varianssi: D 2 (X) = n p i (x i E(X)) 2 i=1 Jatkuvan jakauman varianssi: D 2 (X) = (x E(X)) 2 f(x)dx Määritelmän mukaisilla kaavoilla harvemmin lasketaan variansseja, sillä jakaumien variansseille on johdettu yksinkertaisempia laskukaavoja. 49

50 Varianssin ominaisuuksia Varianssin neliöjuurta kutsutaan keskihajonaksi. Vakio c: Vakion varianssi on: D 2 (c) = 0 Vakion lisääminen: D 2 (X +c) = D 2 (X) Vakiolla kertominen: D 2 (X c) = c 2 D 2 (X) Varianssien summa ja erotus, kun X ja Y ovat riippumattomia: D 2 (X +Y) =D 2 (X)+D 2 (Y) D 2 (X Y) =D 2 (X)+D 2 (Y) Varianssien summa, kun X ja Y eivät ole riippumattomia: D 2 (X +Y) = D 2 (X)+2 Cov(XY)+D 2 (Y) Varianssi on yhden muuttuja sisäinen kovarianssi. Var(X) = D 2 (X) = σ 2 x = σ xx = Cov(XX) 50

51 Kovarianssi Kovarianssin yleinen määritelmä: Cov(XY) = E((X E(X)) (Y E(Y))) = E(XY) E(X)E(Y) Kovarianssi on kahden muuttuja yhteisvaihtelun mitta. Cov(XY) = σ xy Riippumattomien muuttujien kovarianssi on aina 0, josta seuraa, että riippumattomien muuttujien korrelaatiokerroinkin on 0. Muuttujien summan varianssi vastaa kosinilausetta geometriassa: Kosinilause: c 2 = a 2 +2ab cos(ab)+b 2 Varianssien summa: D 2 (X +Y) = D 2 (X)+2 D(XY)+D 2 (Y) Kun muuttujat korreloimattomia, niin kyse on Pythagoraan lauseesta: Pythagoraan lause: c 2 = a 2 +b 2 Varianssien summa: D 2 (X +Y) =D 2 (X)+D 2 (Y) Geometrisissä tulkinnoissa sivun pituutta vastaa keskihajonta. 51

52 Keskihajonta/standardipoikkeama Perusjoukon keskihajonta: σ = Vakio c: 1 n n (x i x) 2 i=1 Vakion keskihajonta on: D(c) = 0 Vakion lisääminen: D(X +c) = D(X) Vakiolla kertominen: D(X c) = c D(X) Huom! keskihajontojen summa, kun X ja Y ovat riippumattomia: Ei näin! D(X +Y) D(X)+D(Y) Vaan näin! D(X +Y) = D 2 (X)+D 2 (Y) Keskihajontojen summa yleisesti: D(X +Y) = D 2 (X)+2 Cov(XY)+D 2 (Y) 52

53 Bernoulli-jakauma Bernoullin jakauma parametrilla (p): p = onnistumisen todennäköisyys, k = onnistuminen Pistetodennäköisyysfunktio: P(X = k) = p k (1 p) 1 k Kertymäfunktio: P(X k) = k E(X) = p D 2 (X) = p(1 p) i=0 p i (1 p) 1 i Bernoullikokeessa on kaksi mahdollista tulosta: Koe onnistuu (k = 1) tai koe ei onnistu (k = 0). Epäonnistumisen todennäköisyys q = (1 p). Yksittäisen bernoullikokeen jakauma. 53

54 Binomijakauma: X Bin(n, p): Binomijakauma n = otoskoko, p = onnistumisen todennäköisyys k = onnistumisten lukumäärä Pistetodennäköisyysfunktio: P(X = k) = ( ) n k p k (1 p) n k Kertymäfunktio: P(X k) = k E(X) = np D 2 (X) = np(1 p) i=0 ( n i ) p i (1 p) n i Palauttaen tehtyjen bernoullikokeiden jakauma. 54

55 Geometrinen jakauma Geometrinen jakauma: X Geom(p): p = onnistumisen todennäköisyys k = ensimmäinen onnistumiskerta Pistetodennäköisyysfunktio: P(X = k) = p(1 p) k 1 Kertymäfunktio: P(X k) = k i=1 p(1 p) i 1 = 1 (1 p) k E(X) = 1 p D 2 (X) = 1 p p 2 Toistetuissa bernoullikokeissa ensimmäisen onnistumisen jakauma. 55

56 Negatiivinen binomijakauma Negatiivinen binomijakauma: X N egbin(r, p): r = onnistumisten lukumäärä, p = onnistumisen todennäköisyys, k = epäonnistumisten lukumäärä ennen r ättä onnistumista Pistetodennäköisyysfunktio: P(X = k) = ( ) k+r 1 r 1 p r (1 p) k Kertymäfunktio: P(X k) = k ( i+r 1 ) r 1 p r (1 p) i E(X) = r(1 p) p D 2 (X) = r(1 p) p 2 i=0 Toistetuissa bernoullikokeissa r nnen onnistumiskerran jakauma. Huomatkaa kuitenkin, että kyse on epäonnistumisten funktiosta! Parametrointi, jossa X on kokeiden lukumäärä: n = k +r P(X = n) = ( ) n 1 r 1 p r (1 p) n r 56

57 Hypergeometrinen jakauma Hypergeometrinen jakauma: X Hyperg(N, K, n): N = perusjoukon koko, K= suotuisten alkioiden määrä perusjoukossa n= otoskoko, k= onnistumisten haluttu lukumäärä Pistetodennäköisyysfunktio: P(X = k) = (K k)( N K n k) ( N n) Kertymäfunktio: P(X k) = k E(X) = n ( ) K N = np D 2 (X) = n ( )( K N 1 K N i=0 ) ( ) N n N 1 ( K i)( N K n i ) ( N n) ) = np(1 p)( N n N 1 Palauttamatta tehtyjen bernoullikokeiden jakauma. 57

58 Poisson-jakauma Poissonin jakauma: X P oisson(λ): k = suotuisten tapahtumien lukumäärä, e = neperin luku λ = tapahtumien odotettu määrä valitulla välillä (ts. perusjoukossa). Pistetodennäköisyysfunktio: P(X = k) = λk k! e λ Kertymäfunktio: P(X k) = k i=0 λ i i! e λ E(X) = λ D 2 (X) = λ Poissonprosessin tapahtumien jakauma, eli määritellyllä aikavälillä tapahtuvien harvinaisten tapahtumien jakauma. Kun p on pieni ja n, niin np λ, jolloin Bin(n,p) Poisson(λ) 58

59 Diskreetti tasajakauma Diskreetti tasajakauma parametreilla (a, n): a = minimi, n = luokkien lukumäärä, k = luokan järjestysnumero Pistetodennäköisyysfunktio: P(X = k) = 1 n Kertymäfunktio: P(X k) = k n Odotusarvo on: E(X) = n 1 2 +a Varianssi on: D 2 (X) = n Saman kokoisiin ositteisiin jaetun perusjoukon tapahtumien jakauma. 59

60 Jatkuva tasajakauma Jatkuva tasajakauma: X Uni(a,b): a = minimi, b = maksimi Tiheysfunktio: f(x) = 1 b a, kun a x b ja 0 muualla. Kertymäfunktio: F(x) = x a 1 x a dx = b a b a Odotusarvo on: E(X) = a+b 2 Varianssi on: D 2 (X) = (b a)2 12 Generoitujen satunnaislukujen jakauma. 60

61 Eksponenttijakauma Eksponenttijakauma: X Exp(λ): λ = tapahtumien odotettu määrä valitulla välillä (ts. perusjoukossa). Tiheysfunktio: f(x) = λe λx, kun x 0 Kertymäfunktio: F(x) = x 0 λe λx dx = 1 e λx Odotusarvo on: E(X) = 1 λ Varianssi on: D 2 (X) = 1 λ 2 Poissonprosessin ensimmäisen onnistumiskerran odotusajan jakauma. 61

62 Gammajakauma Gammajakauma: X Gamma(ν, λ): λ = tapahtumien odotettu määrä = K ν = suotuisten tapahtuminen haluttu lukumäärä = k. Tiheysfunktio: f(x) = λν x ν 1 Γ(ν) e λx, kun x 0 Kertymäfunktio: F(x) = γ(ν, λx) Γ(ν) Odotusarvo on: E(X) = ν λ Varianssi on: D 2 (X) = ν λ 2 Kun k on positiivinen kokonaisluku, niin kutsutaan Erlang -jakaumaksi. Kun k = 1, niin kyse on eksponenttijakaumasta. Poissonprosessin k nnen onnistumiskerran odotusajan jakauma. 62

63 Gammafunktio Gammafunktio on kertoman yleistys reaaliluvuille (ja kompleksiluvuille). Gammafunktion yleinen yhtälö on seuraava: Γ(n) = 0 x n 1 e x dx Positiivisille kokonaisluvuille gammafunktio määrittyy sarjakehitelmällä: Γ ( ) 2n+1 2 = (2n 1) 2 π n Meille riittävät kuitenkin seuraavat gammafunktion ominaisuudet: Kun n on positiivinen kokonaisluku, niin Γ(n) = (n 1)!. Γ ( 1 2) = π, jossa π Alempi ja ylempi epätäydellinen gammafunktio: γ(n,x) = x 0 t n 1 e t dt ja Γ(n,x) = 63 x t n 1 e t dt

64 Betafunktio ja Betajakauma Betafunktion yhtälö on seuraava: B(α,β) = 0 x α 1 (1 x) β 1 dx = Γ(α)Γ(β) Γ(α+β) x I x (α,β) = B(α,β,x) B(α,β), jossa B(α,β,x) = Betajakauma X Beta(α,β): 0 t α 1 (1 t) β 1 dt Tiheysfunktio: f(x) = Γ(α+β) Γ(α)Γ(β) xα 1 (1 x) β 1, kun 0 x 1 + Parametrit: α > 0 ja β > 0 ovat molemmat muotoparametrejä. Odotusarvo on: E(X) = α Varianssi on: D 2 (X) = α+β αβ (α+β) 2 (α+β+1) Joustavuutensa ansiosta paljon käytetty jakauma aineistojen mallinnuksessa. 64

65 Normaalijakauma: X N(µ,σ 2 ): µ = odotusarvo, σ 2 = varianssi Tiheysfunktio: f(x) = 1 σ 2π e 1 2 Normaalijakauma ( x µ ) 2 σ. Kertymäfunktio: F(x) = x 1 σ 2π e 1 2 ( x µ ) 2 σ dx Odotusarvo on: E(X) = µ = xi Varianssi on: D 2 (X) = σ 2 = n (xi x) 2 mm. satunnaisvirheiden jakauma 65 n

66 Standardoitu normaalijakauma Standardoitu normaalijakauma: Z N(0, 1) Tiheysfunktio: f(z) = 1 2π e z2 2 Kertymäfunktio: F(z) = z 1 2π e z2 2 dz Odotusarvo on: E(Z) = 0 Varianssi on: D 2 (Z) = 1 Z = X µ σ 66

67 Lognormaalijakauma Lognormaalijakauma: X LogN(µ,σ 2 ) ( Tiheysfunktio: f(x) = 1 ln(x) µ ) 2 2πσx e 1 2 σ. ( ) Kertymäfunktio: F(x) = erf ln(x) µ σ, 2 y jossa erf(y) = 2 π 0 e t2 dt. Odotusarvo on: E(X) = e (µ+σ2 /2) Varianssi on: D 2 (X) = e 2(µ+σ2) e 2(µ+σ2 /2) Normaalijakautuneiden muuttujien logaritmien jakauma. Positiivisten ja vinojen satunnaismuuttujien jakauma, esim. palkka-aineistot. 67

68 t-jakauma: t t(ν) Studentin t -jakauma ν = vapausasteet, joista kurssilla käytetään lyhennystä df. Tiheysfunktio: f(t) = Γ ( ν+1 2 ) νπγ ( ν 2) Kertymäfunktio: F(t) = I t+ 2 t 2 +ν t 2 +ν ( 1+ t2 ν ( ν 2, ν 2) ) ( ν+1 2 ) Odotusarvo on: E(t) = 0 Varianssi on: D 2 (t) = ν ν 2 Otoskeskiarvojen jakauma. 68

69 χ 2 -jakauma χ 2 -jakauma: X χ 2 (ν) ν = vapausasteet, joista kurssilla käytetään lyhennystä df. Tiheysfunktio: f(x) = (1 2) ν 2 Γ( ν 2) x(ν 2 1 x ) e 2 Kertymäfunktio: F(x) = γ ( ν 2,x 2) Γ( ν 2) Odotusarvo on: E(X) = ν Varianssi on: D 2 (X) = 2ν Toiseen korotettujen standardoitujen normaalimuuttujien summan jakauma. 69

70 F -jakauma: X F(ν 1,ν 2 ) Tiheysfunktio: f(x) = Fisherin F -jakauma (ν 1 x) ν 1ν ν 2 2 (ν 1 x+ν 2 ) ν 1 +ν 2 xb( ν 1 2, ν 2 2 ) Kertymäfunktio: ( F(x) = I ν 1 x ν12, ν ) 2 ν 1 x+ν 2 2 Odotusarvo on: E(X) = ν 2 ν 2 2 Varianssi on: D 2 (X) = 2ν2 2 (ν 1+ν 2 2) ν 1 (ν 2 2) 2 (ν 2 4) F-jakautuneen muuttujan käänteislukujen jakauma on F-jakautunut. F F(ν 1,ν 2 ), niin 1 F F(ν 2,ν 1 ) 70

71 Cauchy -jakauma Cauchy(θ) Muita jakaumia Cauchy -jakaumalla ei ole odotusarvoa, koska sille ei pystytä laskemaan momentteja. Parametri θ onkin odotusarvon sijaan mediaani (=moodi). Kun θ = 0, niin se vastaa t-jakaumaa yhdellä vapausasteella. Weibull -jakauma W eibull(γ, β) Joustavuutensa tähden paljon käytetty jakauma mallinnuksessa. Parametrit ovat: skaalaparametri = γ ja muotoparametri = β. Pareto -jakauma Pareto(x m,α) f(x) = αxα m y α 1 Pareto -jakauma on jatkuva, mutta sillä on diskreetti minimipiste x m. Parametrit ovat: skaalaparametri = α ja muotoparametri = x m. Paretojakauma luotiin alunperin mallintaman varallisuuden jakautumista, mutta sillä on paljon muitakin sovellusalueita. 71

72 Sekoitus ja sekajakauma Pareto-jakauma on esimerkki ns. sekajakaumasta (mixed distribution), joka on yhdistelmä diskreetistä ja jatkuvasta jakaumasta. Sekajakauma on eri asia kuin Sekoitusjakauma (mixture distribution): f(x) = αf(x 1 )+(1 α)f(x 2 ), jossa f(x 1 ) ja f(x 2 ) ovat tiheysfunktioita ja 0 α 1. Tällainen voisi olla esimerkiksi kahden normaalijakauman sekoitus: ) ) f(x) = α 2πσ1 exp ( (x µ 1) α 2πσ2 exp ( (x µ 2) 2 2σ 2 1 Tällaiseen tilanteeseen voidaan joutua, jos ei pystytä erottelemaan aineistoa luokittelevan dikotomisen muuttujan suhteen. Tällaisen estimoinnin onnistuminen vaatii, että luokkien odotusarvojen erotus on suuri suhteessa hajontojen keskiarvoon. Tällöinhän sekoitusjakauman kuvaaja on kaksihuippuinen. Sekoitusjakauma on eri asia kuin yhdistetty jakauma. 72 2σ 2 2

73 Multinomijakauma Multinomijakauma on moniulotteinen ja täten vektoriarvoinen. Multinomijakauma: X M ulti(n, p): n = perusjoukon koko, p = p 1,...,p k = onnistumisten todennäköisyydet Pistetodennäköisyysfunktio: P(X 1 = x 1,...,X k = x k ) = n! x 1! x k! px 1 1 px k n, kun k i=1 p i = 1 Alla on kyse yksittäisen tapahtuman odotusarvosta ja varianssista: E(X i ) = np i D 2 (X i ) = np i (1 p i ) Perusjoukon pistevieraan osituksen muodostamien tapahtumien jakauma. 73

74 Moniulotteinen hypergeometrinen jakauma Multinomiaalinen hypergeometrinen jakauma on vektoriarvoinen. X MultivariateHyperg(N,N,n): N = k i=1 N i = perusjoukon koko, n = k i=1 x i = otoskoko N i = havaintoja luokassa i, x i = onnistumisten haluttu määrä Pistetodennäköisyysfunktio: P(X 1 = x 1,X 2 = x 2,...,X k = x k ) = (N 1 x 1 )( N 2 x 2 )...( N k Yksittäisen luokan odotusarvo ja varianssi: ) E(X i ) = n( Xi N = np i D 2 (X) = n( Xi N )( 1 X i N )( ) N n N 1 ( N n) x k ) ) = np i (1 p i )( N n N 1 Perusjoukon pistevieraan osituksen muodostamien tapahtumien jakauma, kun toistot tehdään palauttamatta. 74

75 X N p (µ,σ) Multinormaalijakauma X noudattaa p-ulotteista normaalijakauma. Tiheysfunktio yleisessä muodossa: 1 f(x) = ( exp { 2π) 1 p Σ 2 (x µ)σ 1 (x µ) T} Jos (X 1,...,X n ) ovat riippumattomia, niin tiheysfunktio on: p [ }] 1 f(x) = 2πσi exp { (x i µ i ) 2 Parametrit: i=1 2σ 2 i odotusarvovektori: E(X) = µ kovarianssimatriisi: Cov(X) = Σ Multinormaalijakautuneen satunnaismuuttujan kaikki reunajakaumat ovat (multi)normaalijakautuneita, mutta se että reunajakaumat ovat normaalijakautuneita ei takaa yhteisjakauman multinormaalisuutta! 75

76 Kaksiulotteinen normaalijakauma X N 2 (µ x,µ y,σ 2 x,σ 2 y,ρ xy ) Tiheysfunktio: f(x,y) = 1 2πσ x σ y 1 ρ 2 exp ( (x µx) 2 σx 2 2ρ(x µ x)(y µy) + (y µ y) 2 σxσy σy 2 2(1 ρ 2 ) Jos X ja Y ovat riippumattomia, niin tiheysfunktio on: { ( )} f(x,y) = 1 2πσ x σ y exp 1 (x µx ) 2 2 Parametrit: σ 2 x + (y µ y) 2 σ 2 y odotusarvot: E(X) = µ x ja E(Y) = µ y varianssit: Var(X) = σ 2 x ja Var(Y) = σ 2 y korrelaatiokerroin: Corr(x,y) = ρ xy Kaksiulotteisessa tapauksessa multinormaalijakauman yhtälö supistuu yllä olevaan kovarianssimatriisittomaan muotoon. 76 )

77 Taulukoista Tilasto-ohjelmistoista saadaan kertymäfunktion arvot ja p-arvot (häntätodennäköisyydet) mille tahansa todennäköisyysjakaumalle. Jos tilasto-ohjelmistoa ei ole, niin arvot katsotaan taulukoista, joissa on joko kertymäfunktion arvoja, häntätodennäköisyyksiä tai kriittisiä arvoja. Normaalijakauman taulukosta saadaan tarkat arvot havaintoarvoille. Taulukossa on standardoituja z-arvoja vastaavia todennäköisyyksiä. χ 2 - ja t-jakaumista saadaan arvot vain valituissa pisteissä. t-taulukoissa on eri vapausasteille laskettuja kriittisiä arvoja valituilla häntätodennäköisyyksillä sekä yksi- että kaksisuuntaisina. χ 2 -taulukoissa on tavallisesti eri vapausasteille laskettuja kriittisiä arvoja valituilla häntätodennäköisyyksillä. F -jakauman tapauksessa käytössämme on vain 5%-merkitsevyystasoa vastaavat kriittiset arvot tietyillä vapausastepareilla. Jokaista χ 2 - tai t-taulukon riviä vastaisi z-taulukkoa vastaava taulukko. Jokaista F -taulukon lukua vastaisi z-taulukkoa vastaava taulukko. 77

78 Todennäköisyysjakaumien muunnoksia Riippumattomien normaalimuuttujien summa on normaalijakautunut. X N(µ x,σ x 2 ) ja Y N(µ y,σ y 2 ), niin X+Y N(µ x +µ y,σ x 2 +σ y 2 ) Normaalimuuttujan lineaarimuunnoskin on normaalijakautunut. X N(µ,σ 2 ), niin ax +b N(aµ+b,a 2 σ 2 ) Edellisistä yhdistäen: X N(µ,σ 2 ), niin X N(µ, σ2 n ) Riippumattomien binomimuuttujien summa on binomijakautunut. X Bin(n 1,p) ja Y Bin(n 2,p), niin X +Y bin(n 1 +n 2,p) Riippumattomien poisson-muuttujien summa on poisson-jakautunut. X Poisson(λ x ) ja Y Poisson(λ y ), niin X +Y Poisson(λ x +λ y ) Riippumattomien χ 2 -muuttujien summa on χ 2 -jakautunut. X χ 2 (ν 1 ) ja Y χ 2 (ν 2 ), niin X +Y χ 2 (ν 1 +ν 2 ) 78

79 Todennäköisyysjakaumien yhteyksiä Kun t t(ν), niin t 2 F(1,ν). Kun t t(1), niin t Cauchy(0). Kun X 1 N(0,1) ja X 2 N(0,1), niin X 1 X 2 Cauchy(0). Kun X 1 N(0,1) ja X 2 N(0,1), niin X 1 X 2 t(1). Kun X i N(0,1), niin ν Xi 2 χ2 (ν). i=1 Kun X N(µ,σ 2 ), niin e X LogN(µ,σ 2 ). Kun X 1 χ 2 (ν 1 ) ja X 2 χ 2 (ν 2 ), niin X 1/ν 1 X 2 /ν 2 F(ν 1,ν 2 ). Kun X χ 2 (ν), niin X Gamma( ν 2, 1 2 ). Kun F F(ν 1,ν 2 ), niin 1 F F(ν 2,ν 1 ) 79

80 Keskiarvojen otantajakaumat Normaalijakautuneen perusjoukon, jonka varianssi tunnetaan, otoskeskiarvot noudattavat normaalijakaumaa: Jos X N(µ,σ 2 ), niin X N(µ, σ2 n ), eli X µ σ/ n N(0,1) Normaalijakautuneen perusjoukon, jonka varianssia ei tunneta, standardoidut otoskeskiarvot noudattavat t-jakaumaa: Jos X N(µ,?), niin X µ s/ n t(n 1) Riippumattomien samoin jakautuneiden satunnaismuuttujien, joilla on äärellinen varianssi, otoskeskiarvot noudattavat approksimatiivisesti normaalijakaumaa, kun otoskoko on riittävän suuri: Tällöin X appr N(µ, s2 n X µ ) ja yhtäpitävästi s/ appr N(0,1) n 80

81 Keskeinen raja-arvolause: Keskeinen raja-arvolause n ( S n n µ ) N(0,σ 2 ), kun n Riippumattomien samoin jakautuneiden satunnaismuuttujien summan jakauma lähestyy normaalijakaumaa summan tekijöiden lukumäärän kasvaessa. S n = X 1 +X X n Kyse on siis otoskeskiarvojen jakaumasta. Keskeinen raja-arvo-lause selittää osaltaan normaalijakauman keskeistä asemaa tilastotieteessä. mm. z-testit, suhtellisen osuuden luottamusvälit ja normaaliapproksimointi perustuvat keskeiseen raja-arvolauseeseen. Keskeinen raja-arvolause perustuu tilastotieteen konvergenssikäsitteistä heikoimpaan, eli jakaumakonvergenssiin. 81

82 Binomijakauman normaaliapproksimaatio Keskeisen raja-arvolauseen perusteella otoskoon ollessa riittävä voidaan binomimuuttujaa approksimoida normaalijakaumalla. Approksimointi onnistuu, jos p on lähellä puolikasta tai n on suuri. Alarajana pidetään, että molemmat sekä np > 5 että n(1 p) > 5. Approksimointiin tarvitsemme muuttujan odotusarvon ja varianssin: Binomijakauman E(x) = np ja D 2 (x) = np(1 p). Approksimoitaessa diskreettiä muuttujaa jatkuvalla tehdään jatkuvuuskorjaus. Jatkuvuuskorjaus tehdään alaspäin, kun alarajan havainto halutaan mukaan tai, kun ylärajan havainto halutaan jättää pois. Jatkuvuuskorjaus tehdään ylöspäin, kun ylärajan havainto halutaan mukaan tai, kun alarajan havainto halutaan jättää pois. Mainittujen sääntöjen mukaan ala-/ylärajaan lisätään tai siitä vähennetään 0.5. Tällöin X appr N(np,np(1 p)) 82

83 Muut normaaliapproksimaatiot Myös eräitä muitakin jakaumia kuin binomijakaumaa voidaan tietyin edellytyksin approksimoida normaalijakaumalla: Hypergeometrinen jakauma: Perusjoukon ollessa suuri suhteessa otsokokoon hypergeometrinen jakauma lähestyy binomijakaumaa. Tästä seuraa, että suurilla otoskoilla myös hypergeometristä jakaumaa voidaan approksimoida normaalijakaumalla. Parametrit ovat: µ = n ( K N) = np ja σ 2 = np(1 p) Poisson -jakauma ( N n N 1 Otoskoon ollessa todella suuri ja onnistumistodennäköisyyden ollessa lähellä nollaa (tai ykköstä) binomijakauma lähestyy poissonjakaumaa. Tästä seuraa se, että erittäin suurilla otoskoilla (vino jakauma) poissonjakaumaa voidaan approksimoida normaalijakaumalla. Parametrit ovat: µ = λ ja σ 2 = λ 83 )

84 Suurten lukujen laki ja konvergenssi Suurten lukujen laki: P ( S n n µ ɛ ) 1, kun n S n = X 1 +X X n, riippumattomien ja samoin jakautuneiden satunnaismuuttujien summa. Todennäköisyys, että keskiarvon ja odotusarvon erotus lähestyy nollaa, lähestyy ykköstä, kun otoskoko lähestyy ääretöntä. Hieman eksaktimmin: Mikään etukäteen valittu poikkeama ɛ ei ole riittävän pieni otoskoon lähestyessä ääretöntä. Suurten lukujen laista on olemassa sekä heikko että vahva muoto. Vahva suurten lukjen pari perustuu melkein varmaan konvergenssiin. Heikko suurten lukujen laki perustuu stokastiseen konvergenssiin. Keskeinen raja-arvolausehan perusteltiin edellisiä heikomalla jakaumakonvergenssillä. 84

85 3. Estimointi

86 Piste-estimointi Piste-estimoinnissa etsitään jollekin parametrille yksittäistä estimaattia. Estimaatti on estimaattorin antama tulos, eli luku (tai vektori). Estimaattori on kaava/laskutapa, jolla voidaan laskea estimaatti. Estimointimenetelmiä: 1. Analogiamenetelmät, joista yleisin on momenttimenetelmä Perusjoukon parametria estimoidaan vastaavalla otossuureella. 2. Maximum likelihood-menetelmä (ML) SU-estimaattori, eli Suurimman Uskottavuuden estimaattori, jossa uskottavuusfunktiota maksimoidaan kyseisen parametrin suhteen. 3. Bayes-estimointi Tarkoituksena on estimoida parametrien posteriorijakauma, joten kyseessä ei varsinaisesti ole piste-estimointi. 4. Pienimmän neliösumman menetelmä (OLS) PNS-menetelmällä estimoidaan malliparametrejä, joita käsitellään tarkemmin regressioanalyysin yhteydessä. 86

87 Piste-estimaatteja Kurssilla käytössä olevia piste-estimaatteja Odotusarvo: otoskeskiarvo Varianssi: otosvarianssi Keskihajonta: otoskeskihajonta Todennäköisyys: suhteellinen osuus λ -parametri: jakauman odotusarvo Muita mahdollisia estimaatteja Moodi: otoksen yleisin havainto Mediaani: järjestetyn otoksen keskimmäinen havainto Muut järjestystunnusluvut: vastaavat otostunnusluvut Regressiokerroin β ja mallin vakio α: vastaavat PNS-estimaatit b ja a 87

88 Hyvän estimaattorin ominaisuuksia 1. Harhattomuus E(θ) = θ: Jos estimaattorin odotettu arvo on sama kuin parametrin arvo, niin estimaattori on harhaton. 2. Tarkentuvuus: P(T n θ) = 1, kun n : Jos estimaattorin odotettu arvo lähestyy parametin oikeaa arvoa, kun otoskoko kasvaa kohti ääretöntä. 3. Tyhjentävyys: Jos estimaattori käyttää kaiken otoksesta saatavan informaation, niin se on tyhjentävä. 4. Tehokkuus: Jos estimaattorin varianssi on pienempi kuin minkä tahansa muun estimaattorin varianssi, niin silloin se on tehokas. 88

89 Suurimman uskottavuuden menetelmä Suurimman uskottavuuden estimaattori θ maksimoi otoksen x 1,x 2,...,x n todennäköisyyden. Suurimman uskottavuuden estimaattori lasketaan seuraavasti: 1. Muodostetaan muuttujan tiheysfunktio f(x; θ). 2. Riippumattomuuden perusteella tästä saadaan otoksen yhteistiheysfunktio=uskottavuusfunktio: f(x 1,x 2,...,x n ;θ) = f(x 1 ;θ) f(x 2 ;θ) f(x n ;θ) = L(θ;x 1,x 2,...,x n ) 3. Derivoidaan uskottavuusfunktio θ n suhteen: L (θ;x 1,x 2,...,x n ) 4. Asetetaan derivaatta nollaksi: L (θ) = 0 5. Ratkaistaan uskottavuusfunktion yhtälö θ n suhteen. 6. Varmistetaan, että kyseessä on maksimipiste: L (θ) < 0 ja lopuksi vielä tarkistetaan, ettei uskottavuusfunktio saa maksimiarvoaan reunapisteissä. Näin meillä pitäisi olla θ n suurimman uskottavuuden estimaattori. 89

90 SU-estimaattorin ominaisuuksia Normaaleissa tilanteissa SU-estimaattorit täyttävät suurten lukujen lain ja keskeisen raja-arvolauseen ehdot, eli: Suurimman uskottavuuden estimaattorit ovat tarkentuvia. Suurimman uskottavuuden estimaattorit ovat suurilla otoskoilla approksimatiivisesti normaalijakautuneita. Huomatkaa kuitenkin että, perusjoukon varianssin σ 2 SU-estimaattori on ˆσ 2 = (xi x) 2, joka on pienillä otoksilla harhainen. n ˆσ 2 harhan suuruus on σ2 n, eli se aliestimoi varianssia. Otoskoon kasvaessa poikkeaman merkitys häviää n ˆσ2 lim σ 2. (xi x) 2 Otosvarianssi s 2 = n 1 sen sijaan on harhaton estimaattori, jonka vuoksi käytämmekin sitä perusjoukon varianssin estimointiin. Kun otoskeskiarvo x = xi n on odotusarvon µ SU-estimaattori, niin se täyttää kaikki hyvän estimaattorin ominaisuudet. 90

91 Origomomentit: Momenttimenetelmä ja momentit Ensimmäinen origomomentti: a 1 = Toinen origomomentti: a 2 = Keskusmomentit: (xi 0) 2 n (xi 0) n = x2 n... = x (xi x) Ensimmäinen keskusmomentti: m 1 = n = 0 Toinen keskusmomentti: m 2 = (xi x) 2 n = ˆσ 2... Perusjoukon momentteja estimoidaan siis otosmomenteilla. Keskiarvon osalta tämä toimii, mutta varianssin tapauksessa päädytään samaan harhaiseen estimaattiin kuin SU-menetelmässäkin. Kolmannesta ja neljännestä keskusmomentista on johdettu tunnusluvut vinoudelle ja huipukkuudelle. Analogiamenetelmissä ongelmana on otossuureita ja perusjoukon parametrejä yhdistävän teorian ohuus, eli estimaatit ovat yleensä laskettavissa, mutta niiden hyvyydestä ei ole mitään takeita. 91

92 Otantamenetelmän vaikutus estimointiin Otannan perusmenetelmät ovat: Yksinkertainen satunnaisotanta, systemaattinen otanta, ryväsotanta ja ositettu otanta. Yksinkertaisessa sattunnaisotannassa ja systemaattisessa otannassa odotusarvon estimaattori on tavallinen otoskeskiarvo: n x i i=1 ˆµ = x = n Ositetussa ja ryväsotannassa odotusarvon estimaattori on: ˆµ = H h=1 W h x h x h on ositteen keskiarvo ja W h on ositepaino. Palautettakoon samalla mieleen, että keskiarvon hajontaestimaatti on keskiarvon keskivirhe se (standard error): joko ˆσ x = σ n tai ˆσ x = s n 92

93 Keskiarvon keskivirheen estimointi Käytettäessä systemaattista tai yksinkertaista satunnaisotantaa: Kun tunnemme äärellisen perusjoukon varianssin σ 2, niin keskiarvon varianssiestimaattori on ˆσ 2 x = σ2 n. Kun emme tunne äärellisen perusjoukon varianssia, niin keskiarvon varianssiestimaattori on ˆσ 2 x = s2 n. Varianssiestimaattori ositetussa otannassa suhteellisella kiintiöinnillä: ˆσ x 2 = H Wh 2 (xi x h ) 2 n h 1, jossa W h = N h N. h=1 Ryväsotannassa ositepaino W h = 1 H. Ryväsotannassa tavoitteena on, että kaikki rypäät edustavat mahdollisimman hyvin perusjoukkoa. Ositetussa otannassa puolestaan pyritään ositteiden välisen hajonnan maksimointiin ja vastaavasti ositteiden sisäisen hajonnan minimointiin. 93

94 Äärellisen perusjoukon korjaustekijä (f pc) Hypergeometrisen jakauman varianssiestimaatissa esiintyi tekijä: N n N 1 Sillä huomioidaan palauttamatta tehdyn otannan aiheuttama virhe. ) ä että sen neliöjuurta N n N 1 ( Sekä N n N 1 kutsutaan äärellisen perusjoukon korjaustekijäksi (fpc = finite population correction factor). Kun perusjoukon varianssia σ 2 ei tunneta, niin sen sijasta käytetään otosvarianssia s 2, jolloin äärellisen perusjoukon korjaustekijä on: N n N = 1 n N Aina, kun perusjoukon koko tunnetaan, tulisi korjaustekijää käyttää. n Otantasuhteen ollessa pieni N kuitenkin jättää huomioimatta. < 5%, voidaan tämä korjaustekijä Äärellisen perusjoukon korjaustekijä pienentää varianssiestimaattia. 94