Normaalijakauma Tärkein ja käytetyin jatkuva jakauma tilastotieteessä. Monet luonnonilmiöt noudattavat normaalijakaumaa. 6. Normaalijakauma Esimerkkejä normaalijakautuneista satunnaismuuttujista: ihmisestä mitatut ominaisuudet koneiden ja laitteiden käyttöikä lämpötilat ja sademäärät Normaalijakautuneessa ilmiöissä keskimääräisiä havaintoja on enemmän kuin äärimmäisiä havaintoja. Muita yleisesti käytettyjä nimityksiä ovat Gaussin jakauma ja kellokäyrä. Ns. normaalisuusoletus tarkoittaa, että muuttuja noudattaa normaalijakaumaa joillain parametereillä. 134 Normaalijakauman parametrit Normaalijakauman muodon määrittävät kaksi parametria: Odotusarvo: µ määrää jakauman keskikohdan eli paikan. Varianssi: σ 2 määrääjakaumanmuodon. Kun satunnaismuuttuja X noudattaa normaalijakaumaa parametrein µja σ 2 eli X N(µ,σ 2 ),niin X:ntiheysfunktioonmuotoa ( f(x) = 1 x µ ) 2 σ 2π e 1 2 σ. Satunnaismuuttuja Z noudattaa standardoitua normaalijakaumaa, kun µ = 0ja σ 2 = 1,eli Z N(0,1). Tällöin X:ntiheysfunktioonmuotoa f(z) = 1 2π e z2 2. 135 Normaalijakauman ominaisuuksia Normaalijakauma on yksihuippuinen ja symmetrinen. Normaalijakauman ja x-akselin rajaama pinta-ala on yksi. Normaalijakauma on keskeisin jatkuva todennäköisyysjakauma. Jatkuvien todennäköisyysjakaumien yleisiä ominaisuuksia: Pinta-ala määrittää todennäköisyyden. Kaikki pistetodennäköisyydet ovat nollia. Kokonaispinta-ala(eli kokonaistodennäköisyys) on yksi. Taulukoista nähdään yleensä kertymäfunktion arvot, eli siihen pisteeseen mennessä kertynyt todennäköisyys. Toisinaan taulukoidaan myös ns. häntätodennäköisyyksiä. 136
Normaalijakauman standardointi X N(µ,σ 2 ),jossa µonodotusarvoja σ 2 onvarianssi. Kun normaalijakautunut muuttuja X standardoidaan, niin siitä vähennetään odotusarvo µ ja se jaetaan keskihajonnalla σ. Saatu uusi muuttuja Z noudattaa standardoitua normaalijakaumaa, eli Z N(0,1),jossa z = x µ σ Esimerkki: X N(2,4). Mikäontodennäköisyys,että xonpienempikuin 3? Standardoidaan: z = 3 2 4 = 1/2,joten φ(0.5) = 0.6915,eli todennäköisyys on noin 69% Huom. Normaalijakauman taulukoissa on siis standardoidun normaalijakauman Z N(0, 1) kertymäfunktion arvoja. 137 Normaalijakauman taulukon käyttö P(Z < z) = φ(z),elikatsotaantaulukosta z aavastaava todennäköisyys. P(Z < z) = 1 φ(z),elikatsotaantaulukosta z aavastaava todennäköisyys ja vähennetään se yhdestä. P(Z > z) = 1 φ(z),elikatsotaantaulukosta z aavastaava todennäköisyys ja vähennetään se yhdestä. P(Z > z) = 1 (1 φ(z)) = φ(z),elikatsotaantaulukosta z aa vastaava todennäköisyys. Esim. z = 1.22 P(Z < 1.22) = φ(1.22) = 0.8888 P(Z < 1.22) = 1 φ(1.22) = 1 0.8888 = 0.1112 P(Z > 1.22) = 1 φ(1.22) = 1 0.8888 = 0.1112 P(Z > 1.22) = 1 (1 φ(1.22)) = 1 1+0.8888 = 0.8888 138 68-95-99.7-sääntö Normaalijakautuneille aineistoille pätee: 68% havainnoista on yhden hajonnan mitan päässä keskiarvosta. eli 68%havainnoistaonvälillä (µ σ, µ+σ). 95% havainnoista on kahden hajonnan päässä keskiarvosta. eli 95%havainnoistaonvälillä (µ 2σ, µ+2σ). 99.7% havainnoista on kolmen hajonnan päässä keskiarvosta. eli 99.7%havainnoistaonvälillä (µ 3σ, µ+3σ). Tämä sääntö perustuu seuraaviin normaalijakauman taulukkoarvoihin: 95% havainnoista on välillä, jonka alaraja on 0.025 ja yläraja 0.975. Taulukosta katsottuna 0.975 = φ(1.960), joka on noin kaksi. Vastaavasti 0.840 = φ(0.994) ja 0.9985 = φ(2.968), jotka ovat lähellä yhtä ja kolmea. Tähän sääntöön perustuu se, että jotkut käyttävät testeissä tai luottamusvälejä laskiessaan arvoa 2 oikeamman arvon 1.960 sijasta. Normaalijakauman keskeisiä ominaisuuksia Normaalijakauma on otoskeskiarvojen jakauma, eli kun otetaan samasta perusjoukosta useita otoksia, näiden otosten keskiarvot noudattavat normaalijakaumaa. Muuttujat, joiden arvot riippuvat useista vaikuttavista tekijöistä noudattavat usein normaalijakaumaa. Tähän perustuen satunnaisvirheet ovat normaalijakautuneita. Keskeisen raja-arvolauseen perusteella riippumattomien samoin jakautuneiden muuttujien summat ovat approksimatiivisesti normaalijakautuneita. Keskeiseen raja-arvolauseen perusteella voidaankin binomi- ja poissonjakautuneita muuttujia approksimoida normaalijakaumalla, kunhan otoskoot ovat riittävän suuria. 140 139
7.1 Perusteita Tilastotiede on johtopäätösten tekoa ilmiöistä, joihin liittyy satunnaisuutta. eli alkutilan tunteminen ei mahdollista lopputilan tietämistä. 7. Todennäköisyyslaskentaa Todennäköisyyslaskenta on matemaattinen teoria, joilla ilmiöihin liittyvää satunnaisuutta voidaan hallita. Klassinen todennäköisyys Kaikilla alkioilla on sama todennäköisyys tulla valituksi. Todennäköisyyslaskennan vaiheet 1. Määritellään tapahtuma, jonka todennäköisyys halutaan laskea. 2. Jaetaan tapahtuma osiin eli alkeistapauksiin, joiden todennäköisyys osataan määritellä. 3. Todennäköisyyslaskennan laskusäännöillä lasketaan tapahtuman todennäköisyys. 142 Alkeistapaukset Alkeistapausten todennäköisyydet voivat perustua: a) symmetriaan Kaikki alkeistapaukset ovat yhtä todennäköisiä. P(alkeistapaus) = 1 kaikkien alkeistapausten lukumäärä b) tilastoihin aikaisemmat samanlaiset tapahtumat tai tutkimukset onnistumisten lukumäärä P(alkeistapaus) = lim n n c) yleisesti hyväksyttyihin arvioihin asiantuntija-arviot d) omakohtaiseen tuntumaan Todennäköisyyttä voidaan pitää subjektiivisena arviona. 143 Peruskäsitteitä: Todennäköisyyslaskusäännöt Perusjoukko E on kaikkien mahdollisten tulosvaihtoehtojen, eli alkeistapausten joukko. Osajoukot,elitapahtumat A, B, C,...,ovatkaikkiperusjoukon E osajoukkoja. Osajoukkojen yhdisteet, leikkaukset ja komplementit ovat kaikki perusjoukon E osajoukkoja. Joukkojen Aja Byhdiste A Belialkeistapaukset, jotka kuuluvat joukkoon A tai B tai molempiin. Joukkojen Aja Bleikkaus A Belialkeistapaukset, jotka kuuluvat joukkoon A ja B. Joukon Akomplementti A c elialkeistapaukset, jotka eivät kuulu joukkoon A. Myös tyhjäjoukko on perusjoukon E osajoukko. 144
Todennäköisyyden P(A) aksioomat Todennäköisyysmitta P ilmoittaa jokaisen perusjoukon E tapahtuman A esiintymistodennäköisyyden P(A). 1. 0 P(A) 1 P(A) = 0,kuntapahtuma Aonmahdoton P(A) = 1,kuntapahtuma Aonvarma 2. P(E) = 1 3. P(A B) = P(A)+P(B),kuntapahtumat Aja Bovaterillisiä. Tapahtumat ovat erillisiä(tai vastaavasti toisensa poissulkevia), kun ne eivät voi tapahtua yhtäaikaa. Matemaattisemmin ilmaistuna kyseisillä osajoukoilla ei ole yhteisiä alkioita. Esimerkkejä Heitetään harhatonta noppaa. Mikä on todennäköisyys, että saadaan pariton luku? E = {1,2,3,4,5,6} Tapahtuma A = saadaan pariton luku. A = {1,3,5}eli P(A) = 3 6 = 0.5. Tarkastellaan lasten syntymiä.(esimerkeissämme oletetaan, että molempia sukupuolia syntyy samalla todennäköisyydellä.) Mikä on todennäköisyys, että syntyy tyttö? E = {tyttö,poika} Tapahtuma A =syntyytyttö. P(A) = 0.5. 146 145 Yhteenlaskusääntö P(A B) = P(A)+P(B) P(A B) Valitaan satunnaisesti yksi kansanedustaja. Mikä on todennäköisyys, että hän kuuluu Kokoomukseen tai on nainen? Kansanedustajia on 200. Kansanedustajista 51 kuuluu Kokoomukseen(tapahtuma A). Kansanedustajista 80 on naisia(tapahtuma B). Kansaedustajista 21kuuluuKokoomukseenjaonnaisia(A B). P(A B) = 51 200 + 80 200 21 200 = 0.55 Jostapahtumat Aja Covaterillisiä,niin P(A C) = P(A)+P(C). Todennäköisyys, että satunnainen edustaja on kokkari tai demari: Kansanedustajista 51 on kokkareita(tapahtuma A). Kansanedustajista 45 on demareita(tapahtuma C). P(A C) = 51 200 + 45 200 = 0.48 147 Komplementti Tapahtuman A komplementin todennäköisyys on P(A c ) = 1 P(A). Laske todennäköisyys, että ei saada kuutosta harhatonta noppaa heitettäessä. Heitetään noppaa: P(saadaankuutonen) = P(A) = 1 6. P(A c ) = 1 P(A) = 1 1 6 = 5 6 0.833 Komplementtien leikkaus on yhdisteen komplementti P(A c B c ) = P(A B) c Millä todennäköisyydellä satunnainen kansanedustaja ei ole kokoomuslainen eikä nainen? P(A c B c ) = P(A B) c = 1 P(A B) = 1 0.55 = 0.45 148
Ehdollinen todennäköisyys Tapahtuman A todennäköisyys ehdolla, että tapahtuma B on tapahtunut. P(A B) = P(A B) P(B) Esimerkki: Mikä on todennäköisyys, että satunnaisesti valittu henkilö on yli 180cm pitkä? A =henkilöonyli 180cmpitkä. kolme eri ehtotapahtumaa: 1. B =henkilöpainaayli 80kg 2. B =henkilöonnainen 3. B =henkilölläonvaaleatukka Minkä suuruisia ovat ehdolliset todennäköisyydet? Ehdollistettaessa siirrytään uuteen perusjoukkoon, joka on joukko B, eli meitä kiinnostaa vain asiat, jotka tapahtuvat joukossa B. Ehtotapahtuma voidaan tulkita myös lisätietona. 149 Esimerkki Syöpä Ei syöpää Tupakoi 37 2963 3000 Ei tupakoi 13 6987 7000 50 9950 10000 A =Henkilölläeiolesyöpää. B =Henkilö tupakoi. P(A) = 9950 10000 = 0.995 P(B) = 3000 10000 = 0.30 P(A B) = 2963 10000 = 0.2963 Jos tiedetään, että henkilö tupakoi, mikä on todennäköisyys, että hänellä ei ole syöpää? P(A B) = P(A B) P(B) = 0.2963 0.30 0.988. 150 Kertolaskusääntö Kunehdollisentodennäköisyydenkaavastaratkaistaan P(A B), saadaan(yleinen kertolaskusääntö): P(A B) = P(B) P(A B) Tätä kautta pystytään määrittelemään riippumattomuus: Tapahtumat A ja B ovat riippumattomia, jos P(A B) = P(A)ja P(B A) = P(B). Huomatkaa, että riippumattomilla joukoilla on aina yhteisiä alkioita! Eli riippumattomuus ja toisensa poissulkevuus ovat toisensa poissulkevia:-) Huomatkaa myös, että leikkausjoukon olemassaolo on välttämätön, mutta ei riittävä, ehto riippumattomuudelle! Eli se, että joukoilla on yhteisiä alkioita ei millään muotoa takaa sitä, että joukot olisivat riippumattomia. Kertolaskusääntö(riippumattomille tapahtumille) Jos siis tapahtumat A ja B ovat toisistaan riippumattomia, niin P(A B) = P(A) P(B). Esimerkki: Suomalaisten kirkkoon kuulumisen todennäköisyys on noin 0.8. Valitaan kaksi satunnaista suomalaista. Tapahtuma A=henkilö Akuuluukirkkoon. Tapahtuma B=henkilö Bkuuluukirkkoon. Todennäköisyys, että molemmat kuuluvat kirkkoon on: P(A B) = 0.8 0.8 = 0.64 Peräkkäisten toisistaan riippumattomien tapausten todennäköisyydet voidaan siis kertoa keskenään. 152 151
Ainakin1... Peräkkäiset nopan heitot harhattomilla nopilla ovat riippumattomia. Riippumattomien tapausten kertolaskusäännön perusteella todennäköisyys saada neljä kuutosta peräkkäin on: Tapahtuma A =saadaankuutonen, P(A) = 1 6. P(A) P(A) P(A) P(A) = 1 6 1 6 1 6 1 6 = (1 6 )4 0.00077 Mikä on todennäköisyys saada ainakin yksi 6 neljällä heitolla? Tapahtuma B =eisaadakuutosta. P(B) = 1 P(A) = 1 1 6 = 5 6. Tapahtuma C = ei saada yhtään kuutosta neljällä heitolla. P(C) = P(B) P(B) P(B) P(B) = 5 6 5 6 5 6 5 6 = (5 6 )4 Todennäköisyys, että saadaan ainakin yksi kuutonen on edellä lasketun todennäköisyyden komplementti: P(C c ) = 1 P(C) = 1 ( 5 6 )4 0.51775 153 Todennäköisiä todennäköisyyksiä 2 Korttipakka: Korttipakassa on neljä maata: hertta, ruutu, risti ja pata Jokaisessamaassaonkortit:Ässä(A),2,3,...10,sotilas(J), kuningatar(q) ja kuningas(k). Pokerikädessä on viisi korttia, jotka jaetaan palauttamatta. Lotto: Lotossa on 39 numeroa, joista arvotaan seitsemän numeroa ja kaksi lisänumeroa. Voitotovat:7oikein,6+lisänumero,6oikein,5+2lisänumeroa,5+ lisänumero,5oikein,4+2lisänumeroa,4+lisänumero,4oikein,3+ 2lisänumeroaja3+1lisänumero. Jokeri: Jokerissa arvotaan 7 numeroa.. Voitot ovat: seitsemän oikein, kuusi oikein, viisi oikein, neljä oikein, kolme oikein sekä kaksi oikein. 155 Todennäköisiä todennäköisyyksiä 1 Kolikon heitto: Klaavaonsepuoli,jollaonrahanarvoja kruuna on se puoli, jossa on kuninkaallisen kuva. Harhattoman rahan heitossa todennäköisyys: saadaklaava =saadakruuna = 1 2. Nopan heitto(d6): Noppa on kuusisivuinen ja vastakkaisten lukujen summa on 7. Todennäköisyyssaadajokinmäärättysilmälukuonsiisaina 1 6 Ruletit: Eurooppalaisessa ruletissa on numerot 1-36, joista puolet on punaisia ja puolet mustia. Näiden lisäksi on nolla, joka on vihreä. Amerikkalaisessa ruletissa on numerot 1-36, joista puolet on punaisia ja puolet mustia. Näiden lisäksi on nolla ja tuplanolla, jotka ovat molemmat vihreitä. 154 Palauttaen vs. palauttamatta Arvonta voidaan suorittaa palauttaen tai palauttamatta. Esim. Henkilö on ostanut kaksi arpaa. Voittoarpa nostetaan uurnasta, jossaon10arpaa. Todennäköisyys voittaa ensimmäinen palkinto on 2/10 Jos toinen palkinto arvotaan palauttaen. Todennäköisyys voittaa toinen palkinto on myös 2/10 Todennäköisyys voittaa molemmat palkinnot on siis 2/10 2/10 = 4/100 = 0.04 Jos toinen palkinto arvotaan palauttamatta. Todennäköisyys voittaa toinen palkinto on nyt 1/9 Todennäköisyys voittaa molemmat palkinnot on siis 2/10 1/9 = 2/90 0.022222 Rahan ja noppien heitot sekä ruletin pyöritys suoritetaan palauttaen. Lottoarvonta ja korttien jako suoritetaan palauttamatta. 156
Permutaatiot Kombinaatiot, permutaatiot... Moneenko eri järjestykseen n alkiota voidaan järjestää: Kertoma: n! = n (n 1) (n 2) 3 2 1 Variaatiot(järjestetyt jonot) Monellako tavalla voidaan n alkiota järjestää k n mittaisiin jonoihin: P(n,k) = n! (n k)! Kombinaatiot Kuinka monella eri tavalla n:stä alkiosta voidaan valita k alkiota: Binomikerroin: C(n,k) = ( n) k = n! k! (n k)! Esimerkki Luokassa on vain yksi pulpettirivi ja 10 opiskelijaa. Monessako järjestyksessä opiskelijat voivat istua? 10! = 10 9 8 7 6 5 4 3 2 1 = 3628800 Vain neljässä pulpetissa on ehjä tuoli. Monessako eri järjestyksessä 10 opiskelijaa voivat nyt istua? P(10,4) = 10! (10 4)! = 10! 6! = 3628800 720 = 5040 Luokassa on ryhmätyöpöytä, jonka ympärille mahtuu 4 opiskelijaa. Montako erilaista neljän hengen ryhmää voidaan muodostaa? ( 10) 4 = 10! 4! (10 4)! = 10! 4! (10 4)! = 3628800 24 720 = 210 Kaikki mahdolliset osajoukot(sisältäen tyhjäjoukon) Montako erilaista osajoukkoa voidaan valita n:stä alkiosta: ( ( n 0) + n ( 1) + n ( 2) + + n ) n = 2 n 157 Binomikertoimen ominaisuuksia + Binomikertoimen ominaisuuksia ( ) n 0 = n! 0! (n 0)! = n! 0! n! = 1 0! = 1 ( ) n n = n! n! (n n)! = n! 0! n! = 1 ( n) 1 = n! 1! (n 1)! = n (n 1)! 1! (n 1)! = n 1 = n ( n ) n 1 = n! (n 1)! (n (n 1))! = n (n 1)! (n 1)! 1! = n 1 = n Nollan kertoma Onsovittu,että 0! = 1,jokaonkinilmeistä,sillä... monellako tapaa voidaan n stä alkiosta valita 0 alkiota? Intuitionmukaanyhdellätavalla,elisiis ( n 0) = 1. ( ) n 0 = n! 0! (n 0)! = n! 0! n! = 1 0! Jotta ( n 0) olisiyksi,täytyysiis 0! = 1. 159 Montako erilaista osajoukkoa voidaan muodostaa? ( 10) ( 0 + 10 ) ( 1 + 10 ( 2) + 10 ) ( 3 + 10 ) ( 4 + 10 ) ( 5 + 10 ) ( 6 + 10 ( 7) + 10 ( 8) + 10 ) ( 9 + 10) = 1+10+45+120+210+252+210+120+45+10+1 = 1024 = 2 10 158 Multinomikerroin Binomikertoimella lasketaan erilaisten kombinaatioiden lukumääriä, kun perusjoukko jaetaan kahteen osaan. Kun perusjoukko halutaan jakaa useampaan kuin kahteen osaan käytetään multinomikerrointa. ( n n 1,...,n k ) = n! n 1! n k! Montako erilaista työparia 10-henkisestä luokasta voidaan muodostaa? ( ) 10 2,2,2,2,2 = 10! 2! 2! 2! 2! 2! = 113400 Osajoukot voivat luonnollisesti olla myös erikokoisia. Oleellista on, että kaikkien osajoukkojen koot on määritelty. Viimeinen luokka voi silti olla ns. kaatoluokka. ( 10 ) 3,3,10 6 = 10! 3! 3! 4! = 4200 160
7.2 Todennäköisyysjakaumat Teoreettisia todennäköisyysjakaumia käytetään empiiristen ilmiöiden matemaattisina malleina Todennäköisyysjakauma kertoo millä todennäköisyydellä satunnaismuuttuja saa kunkin arvonsa. Todennäköisyysjakuman määräämä pinta-ala on aina yksi. Todennäköisyysjakaumakoostuusatunnaismuuttujaneriarvoista x i janiitävastaavistatodennäköisyyksistä p i. Jatkuvaa todennäköisyysjakaumaa kuvataan tiheysfunktiolla f(x). Diskreettiä todennäköisyysjakaumaa kuvataan pistetodennäköisyysfunktiolla f(x i ). Empiirinen todennäköisyysjakauma koostuu kaikista otoksen havainnoista ja niitä vastaavista todennäköisyyksistä. Satunnaismuuttuja Satunnaismuuttuja kuvaa satunnaisilmiön tapahtumavaihtoehtoja. Jokaisella tapahtumavaihtoehdolla on todennäköisyys. Jokaisessa satunnaiskokeessa jokin tapahtumavaihtoehto toteutuu. Satunnaismuuttuja voi olla diskreetti tai jatkuva. Diskreetti satunnaismuuttuja voi saada vain tiettyjä arvoja. Jatkuva satunnaismuuttuja voi saada minkä tahansa arvon vaihteluväliltään. Satunnaismuuttujia on tapana merkitä isoilla kirjaimilla X, Y,... Tarkoitus on kuvata satunnaisilmiötä matemaattisesti. 162 161 Esimerkki Heitetään neljä kertaa harhatonta rahaa. Satunnaismuuttuja on klaavojen lukumäärä. Satunnaismuuttujan mahdolliset arvot = {0, 1, 2, 3, 4}. Kyseessä on siis diskreetti satunnaismuuttuja. Valitaan umpimähkään opiskelija. Satunnaismuuttuja on opiskelijan pituus Satunnaismuuttujan mahdolliset arvot ovat välillä 100cm 250cm. Kyseessä on siis jatkuva todennäköisyysjakauma. Seurataan taudin puhkeamista yksilössä. Satunnaismuuttuja on taudin puhkeaminen Satunnaismuuttujan mahdolliset arvot = {0, 1} Tällainen muuttuja on dikotominen muuttuja. Dikotomiset muuttujathan ovat aina diskreettejä. 163 Diskreetti ja jatkuva satunnaismuuttuja Diskreetti satunnaismuuttuja Satunnaismuuttujalla on korkeintaan numeroituvasti ääretön määrä (n)mahdollisiaarvoja x i,joillaontodennäköisyyttä. Satunnaismuuttujalla on todennäköisyyttä vain näiden arvojen kohdalla: f(x i ) = p i. Todennäköisyyksien ominaisuudet: 1. p i 0,kun i = 1,...,n n 2. p i = 1 i=1 Jatkuva satunnaismuuttuja Satunnaismuuttuja voi saada minkä tahansa arvon tietyllä välillä. Tiheysfunktion arvoa ei voida määritellä pisteittäin. Yksittäisenpisteentodennäköisyysonnollaeli f(x i ) = 0 f(x)dx = 1 164
Kirjastossa on kirjoja seuraavasti: Esimerkki Esimerkki Satunnaismuuttujan todennäköisyysjakauma: Luokka Lukumäärä Satunnaismuuttujan arvo Todennäköisyys Muut tietokirjat 74 Suurteokset 30 Lasten ja nuorten kirjat 12 Kaunokirjallisuus 30 Peruskoulun oppikirjat 32 Lukion ja muut oppikirjat 22 200 Satunnaismuuttuja on satunnaisesti valittu kirja. 165 Muut tietokirjat 74 200 = 0.37 Suurteokset 30 200 = 0.15 Lasten ja nuorten kirjat 12 200 = 0.06 Kaunokirjallisuus 30 200 = 0.15 Peruskoulun oppikirjat 32 200 = 0.16 Lukion ja muut oppikirjat 22 200 = 0.11 200 200 = 1.00 166 Kertymäfunktio F(x) Merkintäon F(x) = P(X x)elitodennäköisyys,että satunnaismuuttujan X:n arvo on korkeintaan x. Esimerkki: Heitetään noppaa, X kuvaa saatua silmälukua. Taulukossaonesitettysatunnaismuuttujanmahdollisetarvot x i, arvojentodennäköisyydet f(x i )jakertymäfunktionarvot F(x i ). x i 1 2 3 4 5 6 f(x i) F(x i) 1 0.167 1 0.167 1 0.167 1 0.167 1 0.167 1 0.167 6 6 6 6 6 6 1 0.167 2 0.333 3 = 0.500 4 0.667 5 0.833 6 = 1.000 6 6 6 6 6 6 Mikä on todennäköisyys, että heitetään 5 tai 6? P(X=5tai X=6) = f(5)+f(6) = 1 6 + 1 6 = 2 6 0.33 Mikä on todennäköisyys, että saadaan enintään 5 ja suurempi kuin 2? P(2 < X 5) = F(5) F(2) = 5 6 2 6 = 3 6 = 0.50 167 Esimerkki Henkilön todennäköisyys ehtiä bussiin olkoon 0.7. Satunnaismuuttuja X kuvaa bussiin ehtineiden lukumäärää. Määritellään X:n todennäköisyysjakauma, kun populaation koko on 3 (henkilöt: A, B, C) ja bussiin ehtimiset oletetaan riippumattomiksi. p 0 = P(A c ) P(B c ) P(C c ) = 0.3 0.3 0.3 = 0.027 p 1 =P(vainAehtii)+P(vainBehtii)+P(vainCehtii) = (0.7 0.3 0.3)+(0.3 0.7 0.3)+(0.3 0.3 0.7) = 0.063+0.063+0.063 = 0.189 p 2 =P(vainAeiehdi)+P(vainBeiehdi)+P(vainCeiehdi) = (0.3 0.7 0.7)+(0.7 0.3 0.7)+(0.7 0.7 0.3) = 0.147+0.147+0.147 = 0.441 p 3 = P(A) P(B) P(C) = 0.7 0.7 0.7 = 0.343 Tarkistetaan, että kyseessä on todennäköisyysjakauma: P(E) = 3 p i = 0.027+0.189+0.441+0.343 = 1.00 i=0 168
Odotusarvo E(X) Odotusarvo on arvo, jonka satunnaismuuttuja keskimäärin saa. Odotusarvoa merkitään µ llä. Yleisesti on voimassa, että summan odotusarvo on odotusarvojen summa: E(X +Y) = E(X)+E(Y) Diskreetin satunnaismuuttujan X odotusarvo on E(X) = n p i x i, jossa x i :tovat X:ntulosvaihtoehdotja p i :tvastaavattodennäköisyydet. i=1 Jatkuvan satunnaismuuttujan X odotusarvo on E(X) = f(x) xdx, eli integroidaan tiheysfunktio yli kaikkien x:n arvojen. 169 Esimerkki Heitetään noppaa. X kuvaa saatua silmälukua. Taulukossaonesitettysatunnaismuuttujanmahdollisetarvot x i ja arvojentodennäköisyydet p i. x i 1 2 3 4 5 6 p i 1 6 0.167 1 6 0.167 1 6 0.167 1 6 0.167 1 6 0.167 1 6 0.167 E(X) = 6 p i x i = 1 6 1+1 6 2+1 6 3+1 6 4+1 6 5+1 6 6 = 1 6 +2 6 +3 6 +4 6 +5 6 +6 6 = 3.5 i=1 Bussiesimerkki: E(X) = 3 p i x i = 0.027 0+0.189 1+0.441 2+0.343 3 = i=0 0+0.189+0.882+1.029 = 2.100 170 Varianssi D 2 (X) Varianssi kuvaa satunnaismuuttujan arvojen keskimääräistä neliöityä poikkeamaa odotusarvostaan. Varianssiamerkitään σ 2 lla,jonkaneliöjuurionkeskihajonta σ. Satunnaismuuttujan Xvarianssion: D 2 (X) = E((X E(X)) 2 ) Riippumattomien satunnaismuuttujien varianssien summa on summan varianssi: D 2 (X)+D 2 (Y) =D 2 (X +Y) Diskreetti satunnaismuuttuja: Jatkuva satunnaismuuttuja: D 2 (X) = n p i (x i µ) 2 D 2 (X) = i=1 f(x)(x µ) 2 dx 171 Esimerkki Heitetään noppaa. X kuvaa saatua silmälukua. Taulukossaonesitettysatunnaismuuttujanmahdollisetarvot x i ja arvojentodennäköisyydet p i. x i 1 2 3 4 5 6 p i 1 6 0.167 1 6 0.167 1 6 0.167 1 6 0.167 1 6 0.167 1 6 0.167 D 2 (X) = 6 p i (x i µ) 2 = 1 6 (1 3.5)2 + 1 6 (2 3.5)2 + i=1 1 6 (3 3.5)2 + 1 6 (4 3.5)2 + 1 6 (5 3.5)2 + 1 6 (6 3.5)2 = 2.91667 Bussiesimerkki: D 2 (X) = 3 p i (x i µ) 2 = i=0 0.027(0 2.1) 2 +0.189(1 2.1) 2 +0.441(2 2.1) 2 +0.343(3 2.1) 2 = 0.630 172
Diskreetti todennäköisyysjakauma Kaikki todennäköisyys on keskittynyt tiettyihin pisteisiin, joiden välissä ei esiinny todennäköisyyttä. Suurin osa diskreeteistä(siis epäjatkuvista) jakaumista liittyy tavalla tai toisella ns. Bernoullikokeeseen: Bernoullikokeesta voidaan saada vain kaksi mahdollista tulosta: Todennäköisyydellä p tulos on 1. Todennäköisyydellä (1 p)tuloson 0. Yksittäinen bernoullikoe noudattaa bernoullijakaumaa. Tärkein diskreetti todennnäköisyysjakauma on binomijakauma, joka on toistettujen bernoullikokeiden jakauma. Diskreetti tasajakauma on myös laajasti käytössä mm. odotusarvon ja varianssin laskentaesimerkkinä käytetty yhden nopan heitto noudattaa diskreettiä tasajakaumaa. 173 Bernoullijakauma Bernoullijakaumaa noudattava satunnaismuuttuja voi saada vain kaksi arvoa eli se on dikotominen. Bernoullikokeen tuloksen todennäköisyysjakauma: x i 0 1 E(X)=pja D 2 (X)=p (1 p). p i (1 p) p 1 Esim. Satunnaismuuttuja on lapsen sukupuoli(x) X = 0,jossyntyypoikaja X = 1,jossyntyytyttö. Satunnaismuuttujan todennäköisyysjakauma on: f(0) = 0.5ja f(1) = 0.5. 175 Diskreetti tasajakauma Diskreetin tasajakauman parametrit ovat: minimi a, luokkien lukumäärä n ja luokan järjestysnumero k. Pistetodennäköisyysfunktio: P(X = k) = 1 n Kertymäfunktio: P(X k) = k n Odotusarvo: E(X) = n 1 2 +a Varianssi: D 2 (X) = n2 1 12 Esimerkki: nopanheitto E(X) = 6 1 2 +1 = 3.5, D 2 (X) = 62 1 12 2.9166... 174 Binomijakauma Bernoullikoetta toistetaan n kertaa. Tapahtuma Aolkoononnistuminen P(A) = p. Onnistumisella ei ole tässä mitään arvolatausta. Tapahtuman A todennäköisyys p säilyy samana jokaisessa toistossa. Satunnaismuuttuja X kuvaa A:n esiintymiskertoja toistoissa. Tällöin X noudattaa binomijakaumaa parametrein n ja p eli X Bin(n,p). Binomijakauma on siis toistettujen Bernoullikokeiden jakauma. Binomijakauma liittyy otantaan takaisinpanolla. 176
Binomijakauma Binomijakauman pistetodennäköisyysfunktio: P(X = k) = ( ) n k p k (1 p) n k n on toistojen lukumäärä p on tapahtuman A todennäköisyys yhdessä toistossa. k on tapahtuman A esiintymiskertojen lukumäärä. ( n) k = n! k! (n k)! onsiisbinomikerroin, eli monessako järjetyksessä onnistumiset (k) ja epäonnistumiset (n k)voivattapahtua. Esimerkki Aviopariaikoohankkia4lasta,jahetoivovatkahtapoikaajakahta tyttöä. Mikä on onnistumisen todennäköisyys? Olkoon Xtyttöjenlukumääräeli X Bin(4,0.5). Ratkaisu: P(X = 2) = ( 4 2 ) 0.52 (1 0.5) (4 2) = 4! 2! (4 2)! 0.52 0.5 2 = 6 0.25 0.25 = 0.375 ( 4) 2 = 4! 2! (4 2)! = 4! 2! 2! = 4 3 2 1 2 1 2 1 = 4 3 2 1 = 12 2 = 6 Vaihtoehtoinen esitysmuoto P(X = x) = ( ) n x p x (1 p) n x 177 Kun siis neljästä lapsesta kaksi on tyttöjä, niin loput ovat poikia. Koska p = 0.5, niin tilanne on sukupuolien suhteen symmetrinen. 178 Binomijakauman tunnusluvut Binomijakaumanodotusarvoon E(X) = n p Binomijakaumanvarianssion D 2 (X) = n p (1 p) Esim. Lapsi-esimerkki, missä X on tyttöjen lukumäärä: E(X) = 4 0.5 = 2 D 2 (X) = 4 0.5 0.5 = 1 Esim. X olkoon kuutosten lukumäärä neljästi noppaa heitettäessä: E(X) = 4 1 6 = 4 6 0.666... D 2 (X) = 4 1 6 5 6 = 20 36 0.555... 179 Parametrin p vaikutus binomijakauman muotoon Tarkastellaan kolmea binomijakautunutta satunnaismuuttujaa: X Bin(5,0.1) Y Bin(5,0.5) Z Bin(5,0.9) x i /y i /z i 0 1 2 3 4 5 f(x i ) 0.59049 0.32805 0.0729 0.0081 0.00045 0.00001 f(y i ) 0.03125 0.15625 0.3125 0.3125 0.15625 0.03125 f(z i ) 0.00001 0.00045 0.0081 0.0729 0.32805 0.59049 Kun p < 0.5,onjakaumavinooikealle. Kun p = 0.5,onjakaumasymmetrinen. Kun p > 0.5,onjakaumavinovasemmalle. 180
Hypergeometrinen jakauma Hypergeometrisen jakauman pistetodennäköisyysfunktio on muotoa P(X = k) = (K k)( N K n k) ( N n) N onperusjoukonkoko. K on suotuisten tapahtumien lukumäärä perusjoukossa N. nonotoskoko. k on suotuisten tapahtumien haluttu määrä otoksessa n. E(X) = n ( K N) = np D 2 (X) = n ( K N )( 1 K N ) ( ) N n N 1 ) = np(1 p)( N n N 1 Hypergeometrinen jakauma liittyy otantaan ilman takaisinpanoa. 181 Poisson-jakauma Harvinaisten tapahtumien jakauma: X P oisson(λ) Parametri: λ=suotuisten tapahtumien määrä valitulla välillä(λ = np) k=suotuisten tapahtumien haluttu lukumäärä. Pistetodennäköisyysfunktio: P(X = k) = λk k! e λ Odotusarvo: E(X) = λ Varianssi: D 2 (X) = λ Esim. Henkilö lottoaa yhden rivin miljoona vuotta joka viikko. Voittojen odotusarvo E(X) = np = 52000000/15380937 3.38, eli hieman yli 3 täysosumaa miljoonassa vuodessa. Todennäköisyys voittaa nämä 3 päävoittoa on siis: P(X = 3) = 3.383 3! e 3.38 = 0.219 183 Esimerkki Mikä on todennäköisyys saada lotossa viisi oikein, kun lisänumeroita ei huomioida lainkaan? N = 39, K = 7, n = 7, k = 5 Ratkaisu: P(X = 5) = (7 5)( 39 7 7 5) ( 39 7) = (7 5)( 32 2) ( 39 7) Toinen tapa(ilman hypergeometrista jakaumaa): = 10416 15380937 = 0.00067720191559 ( 7 7 5 ) 39 6 38 5 37 4 36 3 35 32 34 31 33 = 21 2499840 77519922480 = 0.00067720191559 Mikä on lotossa oikein saatujen numeroiden odotusarvo ja varianssi? E(X) = 7 7 39 = 1.2564102564103 D 2 (X) = 7 ( 7 39 ) (1 7 39 ) (39 7 39 1 ) = 0.86812692480709 182 Epäjatkuvia jakaumia Bernoullijakauma, Binomijakauma, Hypergeometrinen jakauma Geometrinen jakauma Bernoullikokeen ensimmäisen onnistumiskerran jakauma Negatiivinen binomijakauma Bernoullikokeen n nen onnistumiskerran jakauma Multinomijakauma Useamman kuin kahden tulosvaihtoehdon jakauma Diskreetti tasajakauma Multinomijakauma, jossa kaikki todennäköisyydet ovat samoja. Poissonjakauma Harvinaisten tapahtumien esiintymiskertojen jakauma aikavälillä. 184
Jatkuva todennäköisyysjakauma Jatkuvien todennäköisyysjakaumien yleisiä ominaisuuksia: Pinta-ala määrittää todennäköisyyden. Kokonaispinta-ala(eli kokonaistodennäköisyys) on yksi. Kaikki pistetodennäköisyydet ovat nollia. Edellämainitustaseuraa,että P(X < x) = P(X x), joka siis ei ole voimassa diskreettien jakaumien kohdalla! Tärkein jatkuva todennäköisyysjakauma on normaalijakauma. Normaalijakaumasta johdettuja jakaumia ovat mm. χ 2 -jakauma F-jakauma lognormaalijakauma Normaalijakauma Normaalijakauman ( X N(µ,σ 2 )tiheysfunktioon: f(x) = 1 σ exp 1 (x µ) ). 2 2π 2σ 2 Odotusarvo E(X) = µ määrää jakauman paikan. Varianssi D 2 (X) = σ 2 määrääjakaumanmuodon. X noudattaa standardoitua normaalijakaumaa, kun µ = 0ja σ 2 = 1,eli X N(0,1). Standardoidun ( normaalijakauman ) tiheysfunktio on: f(x) = 1 2π e x 2 2. Ominaisuuksia ja muuta oleellista ks. luentokalvot: 133-140! 186 185 Normaalijakauman standardointi Normaalijakautunut satunnaismuuttuja standardoidaan, jotta sen jakaumasta voidaan taulukoiden avulla laskea erilaisia todennäköisyyksiä. Nyt X N(µ,σ 2 ).Muodostetaanuusisatunnaismuuttuja Z. Z = X µ σ Z N(0,1). Satunnaismuuttujan Z kertymäfunktiota merkitään Φ(z) = P(Z < z). Välin P(a < Z < b)todennäköisyyslasketaan: P(a < Z < b) = P(Z < b) P(Z < a) = Φ(b) Φ(a). 187 Studentin t-jakauma Muistuttaa standardoitua normaalijakaumaa, mutta ei ole keskittynyt yhtä voimakkaasti odotusarvon ympärille. Satunnaismuuttujan varianssia ei tunneta, joten sen sijasta käytetään empiirisenjakaumaanvarianssia s 2. t-jakaumaa käytettäessä oletetaan perusjoukon noudattavan normaalijakaumaa. Jakauman muotoon vaikuttavat vapausasteet df = n 1, jossa nonotoksenkoko. Vapausasteiden kasvaessa t-jakauma lähestyy standardoitua normaalijakaumaa. Kun n > 30, normaalijakauman ja t-jakauman arvojen katsotaan olevan riittävän lähellä toisiaan, jotta voidaan haluttaessa käyttää standardoitua normaalijakaumaa t-jakauman sijasta. 188
Studentin t-jakauma Käytetään esim. satunnaismuuttujaan X(otoskeskiarvo) liittyvissä tarkasteluissa. Satunnaismuuttuja X standardoidaan käyttämällä jakajana keskiarvonkeskivirhettä se = s n. t = x µ s/ n t(n 1). Nyt siis tarkastellaan otoskeskiarvojen muodostamaa jakaumaa. t-jakaumanhäntätodennäköisyyksiä P(T > t)ja P( T > t)eri vapausasteilla on taulukoitu. Odotusarvo: E(X) = 0 Varianssi D 2 (X) = df df 2 189 χ 2 -jakauma Muita jatkuvia jakaumia Käytetään muuttujien riippumattomuuden testaamiseen ristiintaulukosta. Fisherin F-jakauma Käytetään varianssien yhtäsuuruuden testaamisessa ja varianssianalyysissä. Tasajakauma(jatkuva) Tietokoneella simuloitujen satunnaislukujen jakauma Eksponenttijakauma Poissonprosessin ensimmäisen insidenssin odotusajan jakauma Gammajakauma Poissonprosessin insidenssien odotusaikojen jakauma 190 Binomijakauman normaaliapproksimointi Jos meillä on riittävän suuri otos voidaan binomijakautunutta muuttujaa approksimoida normaalijakaumalla. Tarvitsemme binomijakautuneen muuttujan odotusarvon ja varianssin: Binomijakauman odotusarvo E(x) = np ja varianssi D 2 (x) = np(1 p). Koska binomijakauma on diskreetti ja normaalijakauma on jatkuva, täytyy kuitenkin tehdä jatkuvuuskorjaus. Jatkuvuuskorjauksen suunta riippuu yhtäsuuruuden mukana olosta ja siitä onko kyse ylä- vai alarajasta. Puolikas lisätään, kun yhtäsuuruus on mukana ylärajalla tai kun yhtäsuusruus ei ole mukana alarajalla. Puolikas vähennetään, kun yhtäsuuruus on mukana alarajalla tai kun yhtäsuuruus ei ole mukana ylärajalla. Esimerkki Heitetään kolikkoa 100 kertaa, mikä on todennäköisyys saada vähemmän kuin 55 kruunaa. X Bin(100,1/2) E(X) = np = 100 1/2 = 50 D 2 (X) = np(1 p) = 100 1/2 1/2 = 25 X appr N(50,5 2 ) Jatkuvuuskorjaus: Koska pitää saada alle 55 kruunaa, vähennetään 55 stä puolikas: 55 0.5 = 54.5 P(X < 55) = P(Z 54.5 50 5 ) = φ(0.9) 0.8159 Eli todennäköisyys saada vähemmän kuin 55 kruunaa rahanheitossa on siis 81.6%. 192 191
Tilastollinen päätöksenteko Tilastollinen päätöksenteko jakautuu kahteen osaan: Estimointi Tilastollinen testaus Parametripohjaisen päätöksenteon vaiheet: 8. Tilastollisesta päätöksenteosta 1. Oletetaan perusjoukon noudattavan jotakin teoreettista jakaumaa. 2. Poimitaan otos ja määritellään sen todennäköisyysjakauma. 3. Testataan voiko otosjakauma olla peräisin teoreettisesta jakaumasta. 4. Tehdään johtopäätöksiä todennäköisyysjakauman avulla. 194 Parametrien estimointi Estimointi = Pyritään muodostamaan arvio jostakin perusjoukon ominaisuudesta eli parametrista. Arvio muodostetaan perusjoukosta kerätyn otoksen perusteella. Estimaattori = kaava tai sääntö, jolla otoksesta lasketaan tunnusluku. Estimaatti on lukuarvo, joka on saatu yllä mainitusta kaavasta. Otoksesta laskettu tunnusluku on arvio parametrille. Esimerkiksi: Perusjoukon tuntemattoman odotusarvon µ arviona käytetään otoskeskiarvoa x Perusjoukontuntemattomanvarianssin σ 2 arvionakäytetään otosvarianssia s 2. 195 Piste-estimointi Perusjoukon parametrille määrätään vain yksi arvio. Samaa parametria voidaan estimoida monella estimaattorilla. Odotusarvoa voidaan estimoida keskiarvolla, mediaanilla ja moodilla. Estimointimenetelmiä: SU-menetelmä: L(µ;x 1,x 2,...,x n ) MM-menetelmä: parametrien estimointiin käytetään otosmomentteja PNS-menetelmä: min( n (X i µ) 2 ) i=1 Hyvä estimaattorin ominaisuudet ovat: harhattomuus tehokkuus tarkentuvuus tyhjentävyys 196
Perusjoukko vs. otos Perusjoukon oletetaan noudattavan jotakin teoreettista jakaumaa, jota estimoidaan otoksesta määritettävän todennäköisyysjakauman avulla. Joitakin perusjoukon parametreja ja niiden estimointiin käytettäviä tunnuslukuja on esitetty seuraavassa taulukossa: Perusjoukko Odotusarvo µ Keskihajonta σ Otos Otoskeskiarvo x Otoskeskihajonta s Varianssi σ 2 Otosvarianssi s 2 Todennäköisyys π Suhteellinenfrekvenssi f n 197 Otantajakauma Muuttujien jakaumien lisäksi voidaan määritellä myös tunnuslukujen jakaumia. Otoskeskiarvojen jakauma 1. Satunnaismuuttuja X N(µ,σ 2 ). 2. Poimitaan muuttujan X jakaumasta n n kokoinen otos ja lasketaan otoskeskiarvo. 3. Tällöinotoskeskiarvo X N(µ, σ2 n ),jossa σ n onkeskiarvon keskivirhe. 4. Verrattuna satunnaismuuttujan X jakaumaan otoskeskiarvon X jakauma on keskittynyt voimakkaammin odotusarvon µ ympärille. Edellä mainittu perustuu keskeiseen raja-arvolauseeseen. 198 Esimerkki Oletetaan,ettäpituuksienjakauma X N(174,5 2 ). Poimitaan jakaumasta 25 suuruisia riippumattomia otoksia ja lasketaan niistä keskiarvot. Kun pomintaa jatketaan ja jatketaan, niin laskettujen keskiarvojen jakauma lähestyy normaalijakaumaa, jonka odotusarvo E ( X ) = 174, varianssi Var ( X ) = 52 25. ( Elikeskiarvojenjakauma X N 174, 52 25 Huom. Ilman normaalisuusoletusta tarvittaisiin suurempia otoksia. 199 ). Otantajakauma Vaikka satunnaismuuttuja X ei noudata normaalijakaumaa, satunnaismuuttujan keskiarvo X noudattaa tietyin ehdoin normaalijakaumaa. Edellä mainittu perustuu suurten lukujen lakeihin ja täten vaatii suuren määrän otoksia muuttujan X jakaumasta. Mitä enemmän muuttujan X jakauma poikkeaa normaalijakaumasta, sitä suurempi otoskoko tarvitaan. Yksihuippuisen ja symmetrisen perusjoukon tapauksessa riittää varsin pienet otokset. Useampihuippuisen tai hyvin vinon jakauman tapauksessa tarvitaan huomattavasti suurempia otoksia. Esimerkiksi Binomi- ja Poissonjakauman normaaliapproksimoinnit perustuvat suurten lukujen lakiin. 200
8.1 Väliestimointi Muodostetaan väli, jossa perusjoukon parametri sijaitsee valitulla todennäköisyydellä. Valittu todennäköisyys on yleensä suuri, esim. 0.95, 0.99 tai 0.999. Merkitään: P(a <parametri < b) = 0.95 Tätä väliä kutsutaan 95%:n luottamusväliksi. Vastaavasti: P(a <parametri < b) = 0.99 Tätä väliä kutsutaan 99%:n luottamusväliksi. Kyse on siis otannan aiheuttaman satunnaisuuden hallinnasta! Esim. 95%:n todennäköisyydellä parametri on lasketulla välillä. 5% todennäköisyydellä parametri voi olla missä tahansa muualla. 201 Odotusarvonluottamusväli(σ 2 ) Tiedetään perusjoukon olevan normaalijakautunut ja perusjoukon varianssitunnetaan,eli X N(µ,σ 2 ). Halutaan määrätä luottamusväli, jolla perusjoukon odotusarvo sijaitsee valitulla todennäköisyydellä (1 α). Koska normaalijakautuneen perusjoukon keskihajonta σ tunnetaan, niin: P ( x z α/2 x on otoskeskiarvo. σ n onkeskiarvonkeskivirhe. σ n < µ < x+ z α/2 σ n ) = 1 α µ on perusjoukon odotusarvo. z on valitun todennäköisyyden perusteella määräytyvä arvo normaalijakaumataulukosta: Kuntodennäköisyyson 0.95,niin z.05/2 = 1.960. Kuntodennäköisyyson 0.99,niin z.01/2 = 2.576. Kuntodennäköisyyson 0.999,niin z.001/2 = 3.291. Luottamustaso Luottamustaso kuvaa siis sitä kuinka suurella todennäköisyydellä odotusarvo on annetulla välillä. Luottamustasoa merkitään (1 α), jossa α on merkitsevyystaso. Merkitsevyystasoon paneudumme testauksen yhteydessä. 95%-luottamusväliä vastaava luottamustaso on siis (1 0.05). P(x z α/2 σ n < µ < x+ z α/2 σ n ) = 1 α = 0.95 Kunjaamme α nkahdellajavähennämmetuloksenyhdestä ( 1 α 2 saamme sen arvon, jota etsimme normaalijakaumataulukosta. Tästähuolimattamerkintänäuseinkäytetäänpelkkää α/ 2 sta? t-jakauman tapauksessa katsomme taulukosta joko α n arvon kaksisuuntaisena tai α/2 n arvon yksisuuntaisena. Lukuhan on molemissa tapauksissa sama. 202 Esimerkki Tarkastellaan säilyketölkkejä, joiden painon tiedetään noudattavan normaalijakaumaavarianssilla σ 2 = 16. Perusjoukosta poimitaan 25 havainnon suuruinen otos, jossa otoskeskiarvoksi saadaan 150 grammaa. Määrätään säilykkeen painon odotusarvolle 95%:n luottamusväli. Ratkaisu: P(x z α/2 σ n < µ < x+z α/2 σ n ) = P(150 1.960 4 25 < µ < 150+1.960 4 25 ) = P(150 1.960 4 5 < µ < 150+1.960 4 5 ) = P(150 1.960 0.8 < µ < 150+1.960 0.8) = P(150 1.568 < µ < 150+1.568) = P(148.43 < µ < 151.57) 204 ) 203
Odotusarvonluottamusväli(s 2 ) Mikäli perusjoukon keskihajontaa/varianssia ei tunneta, pitää käyttää t-jakaumaa normaalijakauman sijasta luottamusvälin määräämisessä. Muistakaa, että t-jakaumaa käytettäessä oletuksensa on aina perusjoukon normaalijakautuneisuus! Tällöin luottamusvälikaava on muotoa: ( P x t (n 1) α/ 2 s < µ < x+t (n 1) n α/ 2 s n ) = 1 α x on otoskeskiarvo. s on otoskeskihajonta. µ on perusjoukon odotusarvo. t (n 1) α/ on valitun luottamustason perusteella määräytyvä arvo 2 t-jakauman taulukosta vapausastein n 1. 205 Odotusarvon luottamusväli (n = suuri) Kun t-jakauman käytön edellytykset ovat voimassa(perusjoukon normaalijakautuneisuus) ja otoskoko on riittävän suuri(n > 30), voidaan haluttaessa käyttää normaalijakaumaa t-jakauman sijasta. P(x z α/2 s s < µ < x+ z n α/2 ) = 1 α n Kun perusjoukko ei ole normaalijakautunut, luottamusvälin laskeminen edellyttää todella suurta otosta(saisi olla kolminumeroinen). Tällöin perusjoukon keskihajontaa σ ei myöskään yleensä tunneta, jolloin on käytettävä sen sijasta otoskeskihajontaa s. Tässä tilanteessa käytetään myös yllä olevaa kaavaa luottamusvälin estimointiin. 206 Esimerkki Maahan tuodusta säilyke-erästä poimittiin 9 suuruinen otos, josta mitattiin painot: 149, 152, 143, 147, 155, 140, 153, 148, 145 Säilykkeiden paino oletetaan normaalijakautuneeksi. Otoksesta laskettiin keskiarvo ja keskihajonta: x = 148 s = 4.87 1. Määrätään perusjoukon eli koko säilyke-erän painon odotusarvolle 99%:n luottamusväli. 2. Mikä olisi luottamusväli, jos keskiarvo ja keskihajonta olisivat samat, mutta otoskoko olisi yli 30? 207 Ratkaisu 1. Perusjoukon keskihajontaa ei tunneta, joten luottamusväli määrätään t-jakaumanavulla.vapausasteetovat n 1 = 9 1 = 8. t-jakauman taulukosta kohdasta kaksisuuntainen poimitaan vapausasteilla 8 ja merkitsevyystasolla 0.01 kriittinen arvo 3.355. P(x t α/ (8) 2 s n < µ < x+t (8) α/ s 2 n ) = P(148 3.355 4.87 9 < µ < 148+3.355 4.87 9 ) = P(148 5.446 < µ < 148+5.446) P(142.6 < µ < 153.4) 2. Kun otoskoko on 39, niin voimme käyttää normaalijakaumaa t-jakauman sijasta. P(x z α/2 s n < µ < x+z α/2 s n ) = P(148 2.576 4.87 39 < µ < 148+2.576 4.87 39 ) = P(148 2.008 < µ < 148+2.008) P(146.0 < µ < 150.0) 208
Suhteellisen osuuden luottamusväli Suhteellisen osuuden luottamusvälin toinen nimitys on Waldin luottamusväli. Kutsutaan myös onnistumisen todennäköisyyden luottamusväliksi. Tutkitaan ominaisuuden A todennäköisyyttä π perusjoukossa. Parametrin πtodellistaarvoaeiuseintunneta,vaansenarvoon estimoitava otoksen vastaavan tunnusluvun ˆp avulla. ˆp = k n,elisuotuistentapahtumienlukumääräotoksessa. Hajontaestimaattinaonbernoullijakaumanmukainen ˆp(1 ˆp). Todennäköisyyksiä approksimoidaan normaalijakauman avulla, joten otoskokojen pitää olla suuria. 209 Suhteellisen osuuden luottamusväli Luottamusväli on muotoa: ( ˆp(1 ˆp) ˆp(1 ˆp) ) P ˆp z α/2 < π < ˆp+ z n α/2 n ˆponotoksestalaskettutodennäköisyys k n. nonotoskoko z α/2 onvalitunluottamustasonperusteellamääräytyväarvo normaalijakaumataulukosta. Kaavassa parametrin π sijasta käytetään toisinaan p tä. Kaavahan on sama kuin odotusarvon luottamusvälikaava, sillä onnistumistodennäköisyyden ˆphajontaestimaatti s = ˆp(1 ˆp). 210 Esimerkki Kaupungissa tutkittiin langatomien internetliittymien suhteellista osuutta. Poimittiin 200 suuruinen otos, jossa 60:llä oli langaton liittymä. Määrätään 95%:n luottamusväli liittymien suhteelliselle osuudelle. Otoksestalaskettusuhteellinenosuus ˆp = 60 200 = 0.30. Ratkaisu: ( ) ˆp(1 ˆp) ˆp(1 ˆp) P ˆp z α/2 < π < ˆp+z n α/2 n ( ) 0.30(1 0.30) 0.30(1 0.30) =P 0.30 1.96 < π < 0.30+1.96 200 200 ( ) 0.21 0.21 =P 0.30 1.960 200 < π < 0.30+1.960 200 =P(0.30 1.960 0.032 < π < 0.30+1.960 0.032) =P(0.30 0.0627 < π < 0.30+0.0627) P(0.237 < π < 0.363) 211 Luottamusvälien ominaisuuksia Luottamusväli levenee, kun otoskoko pienenee. Luottamusväli levenee, kun hajonta kasvaa. Luottamusväli levenee, kun luottamustaso kasvaa. Suhteellisen osuuden luottamusväli levenee, kun todennäköisyys lähestyy puolikasta. Ja vastaavasti: Luottamusväli kapenee, kun otoskoko kasvaa. Luottamusväli kapenee, kun hajonta pienenee. Luottamusväli kapenee, kun luottamustaso pienenee. Suhteellisen osuuden luottamusväli kapenee, kun todennäköisyys etääntyy puolikkaasta. Luottamusväli kapenee myös käytettäessä äärellisen perusjoukon korjaustekijää: f pc = N n N 1 212
Normaaliapproksimaation hyvyys Suhteellisten osuuksien luottamusvälien laskeminen(kuten myös suhteellisten osuuksien testaus) perustuu binomijakauman normaaliapproksimaatioon. Binomijakauman normaaliapproksimaatio toimii hyvin, kun todennäköisyys π on lähellä puolta ja otoskoko n on suuri. Eräinähyvyysrajoinapidetäänseuraavia: np > 5ja n(1 p) > 5 Otoskoon kasvaessa voidaan siis sallia todennäköisyyden etääntyminen puolikkaasta. Usein kuitenkin lasketaan suhteellisten osuuksien luottamusvälejä liian pienillä π n arvoilla suhteessa otoskokoon. Parempia menettelyjä olisivat näissä tapauksissa: Waldin korjattu luottamusväli Agresti-Coull-luottamusväli Wilsonin luottamusväli Clopper-Pearsonin eksakti luottamusväli Otoskoko Luottamusvälikaavasta voidaan johtaa kaava riittävälle otoskoolle, kunhan tiedetään haluttu luottamustaso ja sallittu poikkeama. Tunnettaessa perusjoukon keskihajonta kaava on muotoa: n = ( z α/2 σ ) 2 d Kaavassa d on sallittu poikkeama keskiarvosta molempiin suuntiin: x±d = x±z α/2 σ n. Jos perusjoukon hajontaa ei tunneta, kaavassa tulee σ korvata otoskeskihajonnalla s ja periaatteessa tulisi käyttää t-jakaumaa. t-jakauman käyttäminen johtaisi kuitenkin iterointiin vapausasteiden suhteen tilanteissa, jossa otoskoko jää huomattavan pieneksi. Todellisuudessa tilanne on harvinainen, sillä näin pienet otoskoot eivät vastaa normaalioloissa tutkijan haluamia luottamustasoja. 214 213 Otoskoko suhteelliselle osuudelle: ( ) 2 ˆp (1 ˆp) n = z α/2 d Otoskoko Esim. Halutaan tarkempia tuloksia internetliittymätutkimukseen. Sallittu poikkeama olkoon 2 prosenttiyksikköä molempiin suuntiin käytettäessä 95%-luottamustasoa. Mikäontarvittavaotoskoko,kun ˆp = 60 200 = 0.30? ( ) 2 0.30 (1 0.30) n = 1.960 = 2016.84 0.02 Joten tarvittava otoskoko on 2017 henkilöä. Otoskokoja ei pyöristetä, vaan tulos on seuraava kokonaisluku! 215 Esim. Eduskuntavaalit Esimerkkejä Ennustetaan kannatusosuudet ±2 prosenttiyksikön tarkkuudella. Suurimpien puolueiden kannatusosuus on noin 25%. n = ( 1.960 ) 2 0.25 (1 0.25) = 1800.75 0.02 Tarvittava otoskoko on siis 1801 henkilöä. Pientä lisälaskentaa: Suomessa on noin 4 miljoona äänioikeutettua. Yksivastaajapuhuusiis ( 4000000 1800 ) 2222 n äänestäjän äänellä. Esim. Presidentinvaalien toinen kierros. ( ) 2 0.5 (1 0.5) n = 1.960 = 2401 0.02 Yksi vastaaja puhuu siis 1666 n äänestäjän äänellä. 216
8.2 Tilastollinen testaaminen Perusjoukkoa koskevien väittämien paikkansapitävyyttä tutkitaan tilastollisten testien avulla. Testaaminen ja johtopäätökset tehdään otoksen avulla, joten täyttä varmuutta väittämästä ei saada. Tilastollisen testin avulla arvioidaan riskiä sille, että otoksen perusteella perusjoukosta tehdään vääriä johtopäätöksiä. Lopullisen päätöksen väittämän merkittävyydestä tekee kyseiseen sovellusalueeseen erikoistunut tutkija. Esim. Tilastollinen testi voi merkitsevästi osoittaa, että keskipituus on kasvanut 3 senttiä, mutta sovellusalan tutkijan tehtävä on tulkita onko tämä kasvu merkittävä. Jos muuttuja on punapuun pituus, niin kasvu on merkityksetön, jos taas kyse on ihmisen pituudesta, niin kasvu on merkittävä. Kiinnittäkää huomio tilastollisen merkitsevyyden ja asian merkittävyyden väliseen eroon! Hypoteesit Tilastollinen testaustilanne esitetään aina kahden hypoteesin avulla: H 0 elinollahypoteesi H 1 elivastahypoteesi Perusjoukon tilaa koskevaa oletusta kutsutaan nollahypoteesiksi ja se on usein muotoa"ei eroa","ei vaikutusta" tai"ei riippuvuutta". Tilastollisen testin avulla päätetään, johtuvatko poikkeavat tulokset sattumasta vai nollahypoteesin virheellisyydestä. Nollahypoteesi pitää paikkansa, kunnes saadaan riittävästi"todisteita" nollahypoteesia vastaan, jolloin se hylätään ja valitaan vastahypoteesi. Tällainen tulos on tilastollisesti merkitsevä. 218 217 Eräitä nollahypoteesejä: t-ja z-testit: Nollahypoteesi H 0 :Perusjoukonodotusarvoon a(µ = a) H 0 :Kahdenperusjoukonodotusarvotovatsamat(µ 1 = µ 2 ) Korrelaatiokertoimen testi: H 0 :Kaksimuuttujaaovatriippumattomia(ρ = 0) Varianssien yhtäsuuruustesti(f-testi) H 0 :Varianssitovatyhtäsuuria(σ 2 1 = σ2 2 ) χ 2 -riippumattomuustesti/-yhteensopivuustesti H 0 :Muuttujatovatriippumattomia/Muuttujanoudattaajakaumaa 219 Vastahypoteesi t- ja z-testien vastahypoteesit voidaan määritellä joko kaksi- tai yksisuuntaisina: χ 2 -testienvastahypoteesit: Kaksisuuntainen H 1 Yksisuuntainen H 1 µ a µ < atai µ > a µ 1 µ 2 µ 1 < µ 2 tai µ 1 > µ 2 ρ 0 ρ < 0tai ρ > 0 H 1 :muuttujatriippuvattoisistaan H 1 :muuttujaeinoudatajakaumaa Varianssien yhtäsuuruustesti H 1 :Varianssitovaterisuuria(σ 2 1 σ2 2 ) Vastahypoteesi kertoo ns. hylkäysalueen sijainnin. 220
Testisuure Nollahypoteesin paikkansapitävyyttä tutkitaan testisuureen avulla. Testisuure valitaan perusjoukosta tehtyjen oletusten perusteella. Testisuureen jakauma perusjoukossa osataan määritellä. Lasketaan otoksesta testisuureen arvo ja verrataan sitä testisuureen jakaumaan perusjoukossa. Jos otoksesta laskettu testisuureen arvo on riittävän epätodennäköinen, niin nollahypoteesi hylätään. Itseisarvoltaan pienet testisuureen arvot puhuvat aina nollahypoteesin puolesta. 221 Hypoteesin testauksen vaiheet Aluksi tutkijalla on tutkimuskysymys/tutkimushypoteesi, jonka hän haluaa testata tilastollisesti. Seuraavaksi tutkija hankkii tutkimusaineiston. Tämän jälkeen tilastollinen testaus etenee seuraavasti: 1. Hypoteesien asettaminen 2. Oletusten tutkiminen 3. Testisuureen laskeminen otoksesta 4. Testisuureen arvon vertaaminen todennäköisyysjakaumaan 5. Johtopäätöksen tekeminen 222 Valittu hypoteesi Päätöksenteosta Todellisuus H 0 H 1 H 0 Oikeajohtopäätös 2.lajinvirhe H 1 1.lajinvirhe Oikeajohtopäätös 1. lajin virhe eli hylkäämisvirhe on usein mielenkiinnon kohteena. Testisuureesta laskettu p-arvo on hylkäämisvirheen todennäköisyys. Eli kuinka suurella todennäköisyydellä tehdään virhe, kun hylätään todellisuudessa oikeassa oleva nollahypoteesi. Oikeussalitulkinta: Syytön kunnes syylliseksi todetaan, eli pitää olla riittävästi näyttöä, jotta nollahypoteesi voidaan todeta vääräksi! Hyväksymisvirhe(2. lajin virhe) ei yleensä ole kiinnostuksen kohteena. 223 Merkitsevyystaso/ p-arvo P-arvo on hylkäämisvirheen todennäköisyys. Kun p = 0.05, joka 20. kerta nollahypoteesi hylätään virheellisesti. Hypoteesin testauksessa lasketaan hylkäämisvirheen todennäköisyys ja mikäli todennäköisyys on pieni, voidaan nollahypoteesi hylätä. Suuret p-arvot puhuvat nollahypoteesin puolesta. Eli päinvastoin kuin testisureen tapauksessa. Yleisesti käytettävät merkitsevyystasot ja merkinnät: p < 0.05 melkein merkitsevä ( ) p < 0.01 merkitsevä ( ) p < 0.001 erittäin merkitsevä ( ) Kannattaa kuitenkin aina ilmoittaa tarkka p-arvo, jos se on mahdollista! 224
χ 2 -riippumattomuustesti Tutkitaan kahden muuttujan välistä riippuvuutta ristiintaulukon avulla. Testisuure on muotoa: χ 2 = k l i=1 j=1 (o ij e ij ) 2 e ij, missä o ij onhavaittusolufrekvenssija e ij onodotettusolufrekvenssi. Vähemmällä laskemisella pääsee, kun käyttää kaavaa: χ 2 = k l i=1 j=1 ( o2 ij e ij ) n, jossa n on havaintojen kokonaislukumäärä. Testisuurenoudattaa χ 2 -jakaumaavapausastein df = (k 1)(l 1), missä konsarakkeidenja lonrivienlukumäärä. Esimerkki Syöpä Ei syöpää Tupakoi 37 2963 3000 Ei tupakoi 13 6987 7000 50 9950 10000 Halutaan testata ovatko muuttujat riippumattomia? Aluksi muodostetaan hypoteesit: H 0 :Muuttujatovatriippumattomia H 1 :Muuttujatriippuvattoisistaan Seuraavaksi päätetään merkitsevyystaso: Valitaan merkitsevyystasoksi 5%. 226 225 Ratkaisu Syöpä Ei syöpää 50 3000 Tupakoi 10000 = 15 9950 3000 10000 = 2985 3000 50 7000 Ei tupakoi 10000 = 35 9950 7000 10000 = 6965 7000 50 9950 10000 Alkuperäisestä taulukosta poimitaan havaitut frekvenssit ja uudesta taulukosta poimitaan odotetut frekvenssit, jolloin saadaan: χ 2 = 372 15 + 29632 2985 + 132 35 + 69872 6965 10000 46.32687 tai yhtä hyvin määritelmän mukaisella kaavalla: χ 2 = (37 15)2 15 + (2963 2985)2 2985 + (13 35)2 35 + (6987 6965)2 6965 46.32687 227 Ratkaisu Vapausasteet df = (k 1)(l 1) = (2 1)(2 1) = 1 Verrataantestisuureenarvoa χ 2 -jakaumankriittisiinpisteisiinriviltä 1: merkitsevyystaso 0.99 0.95 0.10 0.05 0.01 0.001 kriittinen piste 0.000 0.004 2.706 3.841 6.635 10.828 Koska testisuureen arvo on suurempi kuin kriittinen piste valitulla merkitsevyystasolla χ 2 = 46.33 > 3.841 = χ 2.05(1), niin H 0 hylätään 5%-merkitsevyystasolla. Aineiston mukaan tupakointi ja syövän saaminen riippuvat toisistaan. χ 2 = 46.33 > 10.828 = χ 2 0.001 (1),elitulosontilastollisestierittäin merkitsevä. 228
χ 2 -yhteensopivuustesti Tutkitaan noudattaako muuttuja valittua teoreettista jakaumaa. Testisuure on muotoa: χ 2 = k i=1 (o i e i ) 2 e i, missä o i onhavaittuja e i onteorianmukainensolufrekvenssi. Vähemmällä laskemisella pääsee, kun käyttää kaavaa: χ 2 = k i=1 ( o2 i e i ) n, jossa n on havaintojen kokonaislukumäärä. Esimerkki On heitetty noppaa 600 kertaa ja tulokset ovat alla olevan taulukon mukaiset. Testaa onko noppa harhaton. numero 1 2 3 4 5 6 Asetetaan hypoteesit: lukumäärä 91 105 120 89 100 95 600 H 0 :Noppaonharhaton H 1 :Noppaonharhainen Valitaan jälleen merkitsevyystasoksi 5%. 230 Testisuurenoudattaa χ 2 -jakaumaavapausastein df = k r 1,missä k on luokkien lukumäärä ja r on estimoitujen parametrien lukumäärä. 229 Esimerkki jatkoa Harhaton noppa on tasajakautunut, joten jokaisen silmäluvun todennäköisyyson 1 600 6,tätenodotettufrekvenssion 6 = 100. χ 2 = 912 100 + 1052 100 + 1202 100 + 892 100 + 1002 100 + 952 600 = 6.52 100 Vapausasteet df = 6 0 1 = 5,koskaaineistostaeitarvinnut estimoida ainuttakaan parametria. merkitsevyystaso 0.99 0.95 0.10 0.05 0.01 0.001 kriittinen piste 0.554 1.145 9.236 11.070 15.086 20.515 Koska χ 2 = 6.52 < 11.070 = χ 2.05 (5),niin H 0jäävoimaan 5% n merkitsevyystasolla, eli noppa on harhaton. 231 Vaihtoehtoja ja edellytyksiä χ 2 -testienkäytönedellytyksiä: 1. Korkeintaan 20% odotetuista frekvensseistä saa olla alle 5. 2. Kaikkien odotettujen frekvenssien tulee olla vähintään 1. Jos edellytykset eivät täyty pitää luokkia yhdistää tai käyttää vaihtoehtoisia testejä. Nelikenttien testaaminen: Jos havaintoja on vähän, niin kannattaa käyttää Fisherin nelikenttätestiä tai binomitestiä. Jos havaintoja on paljon ja suhteellinen osuus on lähellä puolikasta, niin voidaan haluttaessa käyttää suhteellisten osuuksien testiä. 232