Tilastolliset menetelmät. Osa 1: Johdanto. Johdanto tilastotieteeseen KE (2014) 1

Tilastolliset menetelmät Osa 1: Johdanto Johdanto tilastotieteeseen KE (2014) 1

Mitä tilastotiede on? Tilastotiede kehittää ja soveltaa menetelmiä ja malleja, joiden avulla reaalimaailman ilmiöistä voidaan tehdä johtopäätöksiä tilanteissa, joissa ilmiöitä koskeviin tietoihin liittyy epävarmuutta ja satunnaisuutta. Koska tietoihin liittyy epävarmuutta tai satunnaisuutta tilastolliset menetelmät ja mallit perustuvat todennäköisyyslaskentaan. Tilastotiede on todennäköisyyslaskennan tärkeimpiä sovellusalueita. Milla Kibble (2013) 2

Mitä tilastotiede on? Tilastotiedettä voidaan soveltaa kaikkialla missä tuotetaan reaalimailmaa ja sen ilmiöitä kuvaavaa numeerista tai kvantitatiivista tietoa. Jokainen empiirisen tutkimuksen havaintoaineisto on tilastotieteen tutkimuksen mahdollinen kohde. Milla Kibble (2013) 3

Tilastollinen aineisto Tilastollisen tutkimuksen kaikki mahdolliset kohteet muodostavat tutkimuksen (kohde-) perusjoukon. Tutkimuksen kohteiksi valittuja perusjoukon alkioita kutsutaan havaintoyksiköiksi. Tilastollinen aineisto koostuu havaintoyksiköitä kuvaavien muuttujien havaituista arvoista. Milla Kibble (2013) 4

Tilastollisen kuvailun ja päättelyn menetelmiä Kuvailun menetelmiä: Tilastografiikka Tilastolliset tunnusluvut Tilastolliset mallit Päättelyn menetelmiä: Tilastolliset mallit Tilastollinen estimointi Tilastollinen testaus Milla Kibble (2013) 5

Aineiston kerääminen Kohdistuuko tutkimus koko perusjoukkoon vai vain johonkin sen osaan? Jos tutkimuksen kohteena on koko perusjoukko, tutkimusta kutsutaan kokonaistutkimukseksi, muuten kyseessä on otantatutkimus. Muutetaanko tutkimuksessa aktiivisesti tutkimuksen kohteiden olosuhteita? Tutkimus on koe, jos tutkitaan olosuhteiden aktiivisen muuttamisen vaikutusta tutkimuksen kohteisiin. Jos olosuhteita ei muuteta aktiivisesti, sanomme, että tutkimus perustuu suoriin havaintoihin. Milla Kibble (2013) 6

Kontrolloidut kokeet Kokeessa ei voida tehdä luotettavia johtopäätöksiä, ellei koe ole kontrolloitu: Kokeessa on vertailtava vähintään kahden erilaisen käsittelyn vaikutuksia. Käsittelyjen kohdistamisessa on käytettävä satunnaistusta. Kokeessa on tehtävä riittävästi koetoistoja. Jos koe on kontrolloitu, koetuloksien analysointi tilastotieteen keinoin on mahdollista. Kutsumme kontrolloituja kokeita tavallisesti tilastollisiksi kokeiksi. Milla Kibble (2013) 7

Mittaaminen Tilastollisen tutkimuksen kohdetta kuvaavat numeeriset ja kvantitatiiviset tiedot saadaan mittaamalla. Mittari voidaan pitää funktiona, joka liittää mitattavan kohteen ominaisuuteen numeerisen arvon. Milla Kibble (2013) 8

Tilastolliset mitta-asteikot Mittaus on tehty nominaali- eli laatueroasteikolla, jos mittaus kertoo mihin luokkaan mittauksen kohde kuuluu. Esim. sukupuoli, asuinpaikka. Ordinaali- eli järjestysasteikkoa käytetään silloin, kun tilastoyksiköt voidaan jakaa luokkiin, joiden välillä on järjestys. Esim. oppiarvot: ylioppilas, kandidaatti, di/maisteri, lisensiaatti, tohtori. Intervalli- eli välimatka-asteikko kertoo kuinka paljon kahden mitattavan kohteen ominaisuudet eroavat toisistaan. Esim. lämpötila Celsius-asteina. Mittaus on tehty suhdeasteikolla, jos mittaus kertoo kuinka monta kertaa enemmän tai vähemmän mittauksen kohteella on mitattavaa ominaisuutta kuin jollakin toisella kohteella. Esim. pituus, nopeus, lämpötila Kelvin-asteikolla. Milla Kibble (2013) 9

Kvalitatiiviset ja kvantitatiiviset muuttujat Ominaisuutta ja sitä kuvaavaa muuttujaa kutsutaan Kvalitatiiviseksi, jos mittauksen kohteet voidaan luokitella mittauksen perusteella toisistaan eroaviin luokkiin. Kvantitatiivisiksi, jos mittaus tuottaa ominaisuuden määrällisen arvon. Milla Kibble (2013) 10

Havaintoarvojen jakauma Havaintoarvot Olkoon tutkimuksen kohteiksi valittujen havaintoyksiköiden lukumäärä n. Olkoon x i, i = 1, 2,, n kohdeperusjoukon alkioiden ominaisuutta kuvaavan muuttujan x havaittu arvo havaintoyksikössä i. Kutsumme muuttujan x havaittuja arvoja x 1, x 2,, x n tavallisesti havaintoarvoiksi. Havaintoarvo x i saadaan mittaamalla muuttujan x arvo havaintoyksikölle i. Milla Kibble (2013) 11

Havaintoarvojen jakauma Havaintoarvojen jakauma ja sen kuvaaminen Perusjoukon alkioiden ominaisuutta kuvaavan muuttujan x havaittujen arvojen x 1, x 2,, x n vaihtelua havaintoyksiköiden joukossa kuvaa parhaiten havaintoarvojen jakauma. Havaittujen arvojen jakaumaa voidaan kuvailla ja esitellä tiivistämällä havaintoarvoihin sisältyvä informaatio sopivaan muotoon: Havaintoarvojen jakaumaa kokonaisuutena voidaan kuvata sopivasti valitulla graafisella esityksellä. Jakauman karakteristisia ominaisuuksia voidaan kuvata sopivasti valituilla tunnusluvuilla. KE (2014) 12

Havaintoarvojen jakauma Havaintoarvojen jakauma ja sen kuvaaminen Muistutus eri graafisista esityksistä ja tunnusluvuista löytyvät Liitteessä Tilastollisten aineistojen kuvaaminen. 7 6 5 Pisteiden jakauma x f n 7 6 5 Ruuvien pituuksien luokiteltu frekvenssijakauma Frekvenssi 4 3 2 1 mk Mediaani Frekvenssi 4 3 2 1 0 0 1 2 3 4 5 6 Pistemäärä 1 n 2 s = xi x n 1 i= 1 ( ) 2 0 9.8 9.9 10.0 10.1 10.2 10.3 10.4 Pituus (cm) KE (2014) 13

Tilastolliset menetelmät Osa 2: Otokset, otosjakaumat ja estimointi Otokset ja otosjakaumat KE (2014) 14

Otokset ja otosjakaumat >> Satunnaisotanta ja satunnaisotokset Otostunnusluvut ja otosjakaumat Aritmeettisen keskiarvon ja otosvarianssin otosjakaumat Suhteellisen frekvenssin otosjakauma Milla Kibble (2013) 15

Satunnaisotanta ja satunnaisotokset Tilastollinen aineisto Tilastollinen aineisto koostuu tutkimuksen kohteita kuvaavien muuttujien havaituista arvoista. Tilastollisissa tutkimusasetelmissa havaintoarvoihin ajatellaan aina liittyvän epävarmuutta ja satunnaisuutta. Seurauksia: (i) Tilastollisissa tutkimusasetelmissa ajatellaan, että havaintoarvot on generoinut jokin satunnaisilmiö. (ii) Tilastollisen tutkimuksen kohteita kuvaavat muuttujat tulkitaan satunnaismuuttujiksi ja havaintoarvot tulkitaan näiden satunnaismuuttujien realisoituneiksi arvoiksi. Milla Kibble (2013) 16

Satunnaisotanta ja satunnaisotokset Tilastollisen aineiston tilastollinen malli Tilastollisen havaintoaineiston tilastollisella mallilla tarkoitetaan tutkimuksen kohteita kuvaavien satunnaismuuttujien todennäköisyysjakaumaa. Tämän todennäköisyysjakauman ajatellaan generoineen ko. satunnaismuuttujien havaitut arvot. Havaintoarvojen ajatellaan syntyneen arpomalla käyttäen arvontatodennäköisyyksinä tilastollisena mallina käytetystä todennäköisyysjakaumasta saatavia todennäköisyyksiä. Huomautus: Todennäköisyysjakaumat riippuvat tavallisesti parametreista eli vakioista, joiden arvoja ei yleensä tunneta. Milla Kibble (2013) 17

Satunnaisotanta ja satunnaisotokset Tilastolliset mallit ja tilastollinen päättely Kun tilastollista mallia sovelletaan jotakin reaalimaailman ilmiötä kuvaavan havaintoaineiston analysointiin, kohdataan lähes aina seuraavat mallin parametreja koskevat ongelmat: (i) Parametrien arvoja ei tunneta ja ne on estimoitava eli arvioitava havaintoaineistosta. (ii) Parametrien arvoista on esitetty oletuksia tai väitteitä, joita halutaan testata eli asettaa koetteelle havaintoaineistosta saatua informaatiota vastaan. Tilastollisten mallien parametrien estimointi ja testaus muodostavat keskeisen osan tilastollista päättelyä. Milla Kibble (2013) 18

Satunnaisotanta ja satunnaisotokset Satunnaisotanta ja satunnaisotokset Satunnaisotos poimitaan perusjoukosta arpomalla tutkittavat havaintoyksiköt perusjoukosta otokseen. Arvonnassa käytettävää menetelmää kutsutaan satunnaisotannaksi. Satunnaisotannassa sattuma määrää mitkä perusjoukon alkioista tulevat poimituiksi otokseen. Milla Kibble (2013) 19

Satunnaisotanta ja satunnaisotokset Satunnaisotanta: Kommentteja Jos havaintoyksiköt poimitaan perusjoukosta satunnaisotannalla, pätee seuraava: (i) Havaintoyksiköitä kuvaavien muuttujien havaitut arvot ovat satunnaisia siinä mielessä, että ne vaihtelevat satunnaisesti otoksesta toiseen. (ii) Kaikki havaintoyksiköitä kuvaavien muuttujien havaituista arvoista lasketut tunnusluvut ovat satunnaisia siinä mielessä, että ne vaihtelevat satunnaisesti otoksesta toiseen. Milla Kibble (2013) 20

Satunnaisotanta ja satunnaisotokset Yksinkertainen satunnaisotanta Olkoot X 1, X 2,, X n riippumattomia, identtisesti jakautuneita satunnaismuuttujia, joilla on sama pistetodennäköisyys- tai tiheysfunktio f(x) Tällöin sanomme, että satunnaismuuttujat X 1, X 2,, X n muodostavat (yksinkertaisen) satunnaisotoksen jakaumasta f(x). Milla Kibble (2013) 21

Satunnaisotanta ja satunnaisotokset Havainnot ja havaintoarvot Olkoon X 1, X 2,, X n (yksinkertainen) satunnaisotos jakaumasta f(x). Kutsumme satunnaismuuttujia X 1, X 2,, X n tavallisesti havainnoiksi. Otoksen poimimisen jälkeen satunnaismuuttujat X 1, X 2,, X n saavat havaituiksi arvoikseen havaintoarvot x 1, x 2,, x n Merkitään: X 1 = x 1, X 2 = x 2,, X n = x n Milla Kibble (2013) 22

Satunnaisotanta ja satunnaisotokset Yksinkertainen satunnaisotanta: Kommentteja 1/2 Olkoon X 1, X 2,, X n satunnaisotos jakaumasta f(x). Tällöin havaintoarvot x 1, x 2,, x n on saatu toistamalla arvontaa toisistaan riippumattomin toistoin n kertaa samoin, jakaumasta f(x) saatavin todennäköisyyksin. Milla Kibble (2013) 23

Satunnaisotanta ja satunnaisotokset Yksinkertainen satunnaisotanta: Kommentteja 2/2 Havaintoarvot x 1, x 2,, x n ovat kiinteitä eli eisatunnaisia, mutta ne vaihtelevat toisistaan riippumatta ja satunnaisesti otoksesta toiseen. Satunnaisuus ei siis liity otannan tuloksena saatuihin havaintoarvoihin, vaan poiminnassa sovellettuun arvontaan. Milla Kibble (2013) 24

Satunnaisotanta ja satunnaisotokset Tilastollinen malli yksinkertaiselle satunnaisotannalle 1/2 Olkoon X 1, X 2,, X n satunnaisotos jakaumasta f(x). Satunnaismuuttujien X 1, X 2,, X n yhteisjakauma muodostaa tilastollisen mallin havaintoarvojen satunnaiselle vaihtelulle otoksesta toiseen. Milla Kibble (2013) 25

Satunnaisotanta ja satunnaisotokset Tilastollinen malli yksinkertaiselle satunnaisotannalle 2/2 Koska satunnaismuuttujat X 1, X 2,, X n on oletettu riippumattomiksi, niin satunnaismuuttujien X 1, X 2,, X n yhteisjakauma on muotoa f( x1, x2,, xn) = f( x1) f( x2) f( xn) jossa X f( x ), i = 1, 2,, n i i Milla Kibble (2013) 26

Otokset ja otosjakaumat Satunnaisotanta ja satunnaisotokset >> Otostunnusluvut ja otosjakaumat Aritmeettisen keskiarvon ja otosvarianssin otosjakaumat Suhteellisen frekvenssin otosjakauma Milla Kibble (2013) 27

Otostunnusluvut ja otosjakaumat Otostunnusluvut 1/3 Olkoon X 1, X 2,, X n (yksinkertainen) satunnaisotos jakaumasta, jonka pistetodennäköisyys- tai tiheysfunktio on f(x). Tällöin havainnot X 1, X 2,, X n ovat riippumattomia, identtisesti jakautuneita satunnaismuuttujia, joilla on sama pistetodennäköisyys- tai tiheysfunktio f(x): X, X,, X 1 2 X f( x), i = 1, 2,, n i n Milla Kibble (2013) 28

Otostunnusluvut ja otosjakaumat Otostunnusluvut 2/3 Olkoon T = g(x 1, X 2,, X n ) jokin satunnaismuuttujien X 1, X 2,, X n (mitallinen) funktio. Kutsumme satunnaismuuttujaa T seuraavassa (otos-) tunnusluvuksi. Milla Kibble (2013) 29

Otostunnusluvut ja otosjakaumat Otostunnusluvut 3/3 Oletetaan, että otoksen poimimisen jälkeen satunnaismuuttujat X 1, X 2,, X n saavat havaituiksi arvoikseen havaintoarvot x 1, x 2,, x n : X 1 = x 1, X 2 = x 2,, X n = x n Tällöin tunnusluku T = g(x 1, X 2,, X n ) saa havaituksi arvokseen t funktion g arvon pisteessä (x 1, x 2,, x n ): t = g(x 1, x 2,, x n ) Milla Kibble (2013) 30

Otostunnusluvut ja otosjakaumat Otosjakauma Oletetaan, että satunnaismuuttujat X 1, X 2,, X n muodostavat satunnaisotoksen jakaumasta f(x) ja olkoon funktio T = g(x 1, X 2,, X n ) jokin otostunnusluku. Tunnusluvun T jakaumaa kutsutaan tunnusluvun T otosjakaumaksi. Tunnusluvun T otosjakauma muodostaa tilastollisen mallin tunnusluvun T arvojen satunnaiselle vaihtelulle otoksesta toiseen. Milla Kibble (2013) 31

Otostunnusluvut ja otosjakaumat Eräiden tavallisten tunnuslukujen otosjakaumat Olkoon X 1, X 2,, X n satunnaisotos jakaumasta f(x). Jatkossa tarkastellaan seuraavien tunnuslukujen (ks. lukua Tilastollisten aineistojen kuvaaminen) otosjakaumia: Aritmeettinen keskiarvo Otosvarianssi Suhteellinen frekvenssi Milla Kibble (2013) 32

Otokset ja otosjakaumat Satunnaisotanta ja satunnaisotokset Otostunnusluvut ja otosjakaumat >> Aritmeettisen keskiarvon ja otosvarianssin otosjakaumat Suhteellisen frekvenssin otosjakauma Milla Kibble (2013) 33

Aritmeettisen keskiarvon ja otosvarianssin otosjakaumat Aritmeettinen keskiarvo: Määritelmä 1/2 Oletetaan, että havainnot X 1, X 2,, X n muodostavat satunnaisotoksen satunnaismuuttujan X jakaumasta, jonka odotusarvo ja varianssi ovat E( X ) = µ 2 Var( X ) = σ Tällöin kaikilla satunnaismuuttujilla X i, i = 1, 2,, n on sama odotusarvo µ ja sama varianssi σ 2. Milla Kibble (2013) 34

Aritmeettisen keskiarvon ja otosvarianssin otosjakaumat Aritmeettinen keskiarvo: Määritelmä 2/2 Olkoon 1 n X1+ X2 + + Xn X = Xi = n i= 1 n havaintojen X 1, X 2,, X n aritmeettinen keskiarvo. Aritmeettinen keskiarvo X kuvaa havaintojen keskimääräistä arvoa. Aritmeettinen keskiarvo X on satunnaismuuttuja, jonka saamat arvot vaihtelevat satunnaisesti otoksesta toiseen. Milla Kibble (2013) 35

Aritmeettisen keskiarvon ja otosvarianssin otosjakaumat Aritmeettisen keskiarvon odotusarvo ja varianssi Aritmeettisen keskiarvon X odotusarvo ja varianssi: E( X ) = µ 2 2 σ Var( X) = D ( X) = n Aritmeettisen keskiarvon X standardipoikkeamaa D( X) = σ n kutsutaan tavallisesti keskiarvon keskivirheeksi ja se kuvaa aritmeettisen keskiarvon otosvaihtelua oman odotusarvonsa µ ympärillä. Milla Kibble (2013) 36

Aritmeettisen keskiarvon ja otosvarianssin otosjakaumat Aritmeettisen keskiarvon otosjakauman käyttäytyminen otoskoon kasvaessa Koska aritmeettisen keskiarvon X odotusarvo on E( X ) = µ ja varianssi on 2 Var( X) = σ n niin aritmeettisen keskiarvon otosjakauma keskittyy yhä voimakkaammin havaintojen yhteisen odotusarvon µ ympärille, jos otoskoon n annetaan kasvaa. Milla Kibble (2013) 37

Aritmeettisen keskiarvon ja otosvarianssin otosjakaumat Aritmeettisen keskiarvon otosjakauma normaalisen otoksen tapauksessa Oletetaan, että havainnot X 1, X 2,, X n muodostavat satunnaisotoksen normaalijakaumasta 2 N( µσ, ) Tällöin havaintojen aritmeettinen keskiarvo X noudattaa eksaktisti (eli myös äärellisissä otoksissa) normaalijakaumaa: 2 σ X ~N µ, n Milla Kibble (2013) 38

Aritmeettisen keskiarvon ja otosvarianssin otosjakaumat Aritmeettisen keskiarvon asymptoottinen jakauma Oletetaan, että havainnot X 1, X 2,, X n muodostavat satunnaisotoksen satunnaismuuttujan X jakaumasta, jonka odotusarvo on µ ja varianssi on σ 2. Tällöin havaintojen aritmeettinen keskiarvo X noudattaa keskeisen raja-arvolauseen mukaan suurissa otoksissa approksimatiivisesti normaalijakaumaa, jonka odotusarvo on µ ja varianssi on σ 2 / n: X σ ~ a N µ, n 2 Milla Kibble (2013) 39

Aritmeettisen keskiarvon ja otosvarianssin otosjakaumat Aritmeettisen keskiarvon jakauma: Kommentteja Aritmeettisen keskiarvon otosjakaumaa koskeva asymptoottinen tulos pätee tietyin lisäehdoin myös monissa sellaisissa tilanteissa, joissa havaintojen riippumattomuutta ja samaa jakaumaa koskevat oletukset eivät päde. Milla Kibble (2013) 40

Aritmeettisen keskiarvon ja otosvarianssin otosjakaumat Otosvarianssi: Määritelmä 1/2 Oletetaan, että havainnot X 1, X 2,, X n muodostavat satunnaisotoksen satunnaismuuttujan X jakaumasta, jonka odotusarvo ja varianssi ovat E( X ) = µ 2 Var( X ) = σ Tällöin kaikilla satunnaismuuttujilla X i, i = 1, 2,, n on sama odotusarvo µ ja sama varianssi σ 2. Milla Kibble (2013) 41

Aritmeettisen keskiarvon ja otosvarianssin otosjakaumat Otosvarianssi: Määritelmä 2/2 Olkoon 1 S X X havaintojen X 1, X 2,, X n otosvarianssi, jossa X n 2 2 = ( i ) n 1 i= 1 1 n Xi n i = 1 = on havaintojen X 1, X 2,, X n aritmeettinen keskiarvo. Otosvarianssi S 2 kuvaa havaintoarvojen vaihtelua niiden aritmeettisen keskiarvon ympärillä. Otosvarianssi S 2 on satunnaismuuttuja, jonka saamat arvot vaihtelevat satunnaisesti otoksesta toiseen. KE (2014) 42

Aritmeettisen keskiarvon ja otosvarianssin otosjakaumat Otosvarianssin odotusarvo ja varianssi Otosvarianssin S 2 odotusarvo: 2 2 E( S ) = σ Jos lisäksi voidaan olettaa, että havainnot X 1, X 2,, X n 2 noudattavat normaalijakaumaa N( µσ, ), niin otosvarianssin S 2 varianssi on 4 Var( S ) = D ( S ) = σ n 1 Siten otosvarianssin S 2 standardipoikkeama on normaalisen otoksen tapauksessa D( S ) = σ 2 2 2 2 2 2 2 n 1 Milla Kibble (2013) 43

Aritmeettisen keskiarvon ja otosvarianssin otosjakaumat Otosvarianssin otosjakauma normaalisen otoksen tapauksessa 1/2 Oletetaan, että havainnot X 1, X 2,, X n muodostavat satunnaisotoksen normaalijakaumasta 2 N( µσ, ) Tällöin satunnaismuuttuja n 2 X i µ Y = i= 1 σ noudattaa χ 2 -jakaumaa vapausastein n: Y χ 2 ( n) Milla Kibble (2013) 44

Aritmeettisen keskiarvon ja otosvarianssin otosjakaumat Otosvarianssin otosjakauma normaalisen otoksen tapauksessa 2/2 Oletetaan, että havainnot X 1, X 2,, X n muodostavat satunnaisotoksen normaalijakaumasta 2 N( µσ, ) Tällöin satunnaismuuttuja 2 n 2 ( n 1) S Xi X V = = 2 σ i= 1 σ noudattaa χ 2 -jakaumaa vapausastein (n 1): V χ 2 ( n 1) Milla Kibble (2013) 45

Aritmeettisen keskiarvon ja otosvarianssin otosjakaumat Aritmeettisen keskiarvon ja otosvarianssin otosjakaumat: Seuraus Oletetaan, että havainnot X 1, X 2,, X n muodostavat satunnaisotoksen normaalijakaumasta 2 N( µσ, ) Tällöin t X µ = tn ( 1) S / n Ks. monisteen Todennäköisyyslaskenta lukua Normaalijakaumasta johdettuja jakaumia. Milla Kibble (2013) 46

Otokset ja otosjakaumat Satunnaisotanta ja satunnaisotokset Otostunnusluvut ja otosjakaumat Aritmeettisen keskiarvon ja otosvarianssin otosjakaumat >> Suhteellisen frekvenssin otosjakauma Milla Kibble (2013) 47

Suhteellisen frekvenssin otosjakauma Frekvenssi ja suhteellinen frekvenssi: Määritelmät 1/3 Olkoon P jokin otosavaruuden S alkioiden ominaisuus. Jos otosavaruuden S alkiolla x on ominaisuus P, merkitään P(x) Olkoon { ( )} A= x SPx niiden otosavaruuden S alkioiden osajoukko, joilla on ominaisuus P. Oletetaan, että tapahtuman A todennäköisyys on Pr(A) = p Milla Kibble (2013) 48

Suhteellisen frekvenssin otosjakauma Frekvenssi ja suhteellinen frekvenssi: Määritelmät 2/3 Poimitaan otosavaruudesta S satunnaisotos, jonka koko on n. Olkoon f niiden havaintoyksiköiden frekvenssi, joilla on ominaisuus P ja olkoon ˆp = f n vastaava suhteellinen frekvenssi. Milla Kibble (2013) 49

Suhteellisen frekvenssin otosjakauma Frekvenssi ja suhteellinen frekvenssi: Määritelmät 3/3 Frekvenssi f kuvaa A-tyyppisten alkioiden lukumäärää otoksessa ja vastaava suhteellinen frekvenssi ˆp= f n kuvaa A-tyyppisten alkioiden suhteellista osuutta otoksessa. Frekvenssi f ja vastaava suhteellinen frekvenssi ˆp ovat satunnaismuuttujia, joiden saamat arvot vaihtelevat satunnaisesti otoksesta toiseen. Milla Kibble (2013) 50

Suhteellisen frekvenssin otosjakauma Frekvenssi: Odotusarvo, varianssi ja jakauma 1/2 Olkoon A jokin otosavaruuden S tapahtuma: A S Poimitaan otosavaruudesta S satunnaisotos, jonka koko on n. Olkoon f A-tyyppisten alkioiden lukumäärä eli frekvenssi otoksessa. Milla Kibble (2013) 51

Suhteellisen frekvenssin otosjakauma Frekvenssi: Odotusarvo, varianssi ja jakauma 2/2 Frekvenssin f odotusarvo ja varianssi: E( f ) = np Var( f ) = npq jossa q = 1 p. Frekvenssi f noudattaa eksaktisti binomijakaumaa parametrein n ja Pr(A) = p: f~ Bin( np, ) Ks. monisteen Todennäköisyyslaskenta lukua Diskreettejä jakaumia tai lukua Satunnaismuuttujien muunnosten jakaumat. Milla Kibble (2013) 52

Suhteellisen frekvenssin otosjakauma Suhteellinen frekvenssi: Odotusarvo ja varianssi Suhteellisen frekvenssin ˆp odotusarvo ja varianssi: E( pˆ ) = p ˆ 2 Var( p) D ( p) jossa q = 1 p. = ˆ = pq n Suhteellisen frekvenssin ˆp standardipoikkeamaa pq D( pˆ ) = n kutsutaan tavallisesti suhteellisen frekvenssin keskivirheeksi ja se kuvaa suhteellisen frekvenssin f n otosvaihtelua oman odotusarvonsa p ympärillä. Milla Kibble (2013) 53

Suhteellisen frekvenssin otosjakauma Suhteellisen frekvenssin otosjakauma: Jakauman käyttäytyminen otoskoon kasvaessa Koska suhteellisen frekvenssin ˆp odotusarvo E( pˆ ) = p ja varianssi on Var( pˆ ) = pq n, q = 1 p niin suhteellisen frekvenssin otosjakauma keskittyy yhä voimakkaammin tapahtuman A todennäköisyyden p ympärille, jos otoskoon n annetaan kasvaa. Milla Kibble (2013) 54

Suhteellisen frekvenssin otosjakauma Suhteellisen frekvenssin otosjakauma: Asymptoottinen jakauma Suhteellinen frekvenssi ˆp noudattaa keskeisen raja-arvolauseen mukaan suurissa otoksissa approksimatiivisesti normaalijakaumaa: pq pˆ ~ N a p, n Siten standardoitu satunnaismuuttuja ˆp p Z = pq n noudattaa suurissa otoksissa approksimatiivisesti standardoitua normaalijakaumaa: Z ~ a N(0,1) Milla Kibble (2013) 55

Tilastolliset menetelmät Osa 2: Otokset, otosjakaumat ja estimointi Estimointi KE (2014) 56

Estimointi >> Todennäköisyysjakaumien parametrit ja niiden estimointi Hyvän estimaattorin ominaisuudet Estimointimenetelmät Milla Kibble (2013) 57

Todennäköisyysjakaumien parametrit ja niiden estimointi Todennäköisyysjakaumat tilastollisten aineistojen kuvaajina Tilastollinen aineisto koostuu tutkimuksen kohteita kuvaavien muuttujien havaituista arvoista. Tilastollisissa tutkimusasetelmissa havaintoarvoihin liittyy epävarmuutta ja satunnaisuutta. Tilastollisissa tutkimusasetelmissa tutkimuksen kohteita kuvaavat muuttujat tulkitaan satunnaismuuttujiksi, jotka generoivat muuttujien havaitut arvot. Havaintoarvot generoineiden satunnaismuuttujien todennäköisyysjakauma muodostaa tilastollisen mallin sille satunnaisilmiölle, jota havainnot koskevat. Milla Kibble (2013) 58

Todennäköisyysjakaumien parametrit ja niiden estimointi Todennäköisyysjakaumien parametrit 1/2 Tarkastellaan jotakin tutkimuksen kaikkien mahdollisten kohteiden muodostaman perusjoukon alkioiden ominaisuutta kuvaavaa satunnaismuuttujaa X. Oletetaan, että satunnaismuuttuja X noudattaa todennäköisyysjakaumaa, jonka pistetodennäköisyys- tai tiheysfunktio f(x ; θ) riippuu parametrista θ. Merkintä: X ~ f( x; θ ) Milla Kibble (2013) 59

Todennäköisyysjakaumien parametrit ja niiden estimointi Todennäköisyysjakaumien parametrit 2/2 Satunnaismuuttujan X pistetodennäköisyys- tai tiheysfunktio f(x ; θ) kuvaa satunnaismuuttujan X todennäköisyysjakaumaa ja parametri θ kuvaa jotakin jakauman karakteristista ominaisuutta. Koska parametrin θ arvoa ei yleensä tunneta, tilastollisen tutkimuksen tärkeimpiä osatehtäviä on estimoida eli arvioida parametrille θ sopiva arvo jakaumasta f(x ; θ) poimitun otoksen perusteella. Milla Kibble (2013) 60

Todennäköisyysjakaumien parametrit ja niiden estimointi Yksinkertainen satunnaisotos Olkoon X 1, X 2,, X n (yksinkertainen) satunnaisotos jakaumasta, jonka pistetodennäköisyys- tai tiheysfunktio f(x ; θ) riippuu parametrista θ. Tällöin havainnot X 1, X 2,, X n ovat riippumattomia, identtisesti jakautuneita satunnaismuuttujia, joilla on sama pistetodennäköisyys- tai tiheysfunktio f(x ; θ): X, X,, X 1 2 n X ~ f( x; θ ), i = 1, 2,, n i Milla Kibble (2013) 61

Todennäköisyysjakaumien parametrit ja niiden estimointi Havainnot ja havaintoarvot Oletetaan, että satunnaismuuttujat (havainnot) X 1, X 2,, X n saavat poimitussa otoksessa havaituiksi arvoikseen luvut x 1, x 2,, x n Havaintoarvot x 1, x 2,, x n vaihtelevat satunnaisesti otoksesta toiseen. Milla Kibble (2013) 62

Todennäköisyysjakaumien parametrit ja niiden estimointi Estimaattorit ja estimaatit Oletetaan, että parametrin θ estimoimiseen käytetään satunnaismuuttujien X 1, X 2,, X n funktiota eli tunnuslukua T = g(x 1, X 2,, X n ) Tällöin funktiota T = g(x 1, X 2,, X n ) kutsutaan parametrin θ estimaattoriksi ja havaintoarvoista x 1, x 2,, x n laskettua arvoa t = g(x 1, x 2,, x n ) kutsutaan parametrin θ estimaatiksi. Milla Kibble (2013) 63

Todennäköisyysjakaumien parametrit ja niiden estimointi Estimaattorit ja estimaatit: Kommentti Todennäköisyysjakauman f(x ; θ) parametrin θ estimaattorilla T = g(x 1, X 2,, X n ) tarkoitetaan siis sellaista jakaumaa f(x ; θ) noudattavien satunnaismuuttujien X 1, X 2,, X n funktiota, joka generoi muuttujien X 1, X 2,, X n havaittuihin arvoihin x 1, x 2,, x n sovellettuna estimaatteja eli arvioita t = g(x 1, x 2,, x n ) parametrille θ. Milla Kibble (2013) 64

Todennäköisyysjakaumien parametrit ja niiden estimointi Estimaattorin otosjakauma Estimaattorin T = g(x 1, X 2,, X n ) havaintoarvoista x 1, x 2,, x n lasketut arvot eli estimaatit t = g(x 1, x 2,, x n ) vaihtelevat satunnaisesti otoksesta toiseen. Estimaattorin T arvojen satunnaista vaihtelua otoksesta toiseen voidaan kuvata estimaattorin T otosjakaumalla; ks. lukua Otokset ja otosjakaumat. Milla Kibble (2013) 65

Estimointi Todennäköisyysjakaumien parametrit ja niiden estimointi >> Hyvän estimaattorin ominaisuudet Estimointimenetelmät Milla Kibble (2013) 66

Hyvän estimaattorin ominaisuudet Hyvä estimaattori Todennäköisyysjakauman parametreille on tavallisesti tarjolla useita vaihtoehtoisia estimaattoreita. Estimaattorin valintaa ohjaavat hyvyyskriteerit, joilla pyritään takamaan se, että valittu estimaattori tuottaa järkeviä arvoja estimoitavalle parametrille. Estimaattoreiden hyvyyskriteereitä: Harhattomuus Tehokkuus Tarkentuvuus Milla Kibble (2013) 67

Hyvän estimaattorin ominaisuudet Harhattomuus ja harha Olkoon θˆ parametrin θ estimaattori. Estimaattori θˆ on harhaton parametrille θ, jos sen odotusarvo yhtyy parametrin θ arvoon: E( ˆ θ) = θ Harhaton estimaattori tuottaa keskimäärin oikean kokoisia arvoja parametrille. Estimaattorin θˆ harha on Bias( ˆ θ) = θ E( ˆ θ) Jos estimaattori θˆ on harhaton parametrille θ, niin Bias( ˆ θ ) = 0 Milla Kibble (2013) 68

Hyvän estimaattorin ominaisuudet Estimaattorin keskineliövirhe ja tarkkuus Parametrin θ estimaattorin θˆ keskineliövirhe on ˆ ˆ 2 MSE( θ) = E ( θ θ) = Var( ˆ θ) + Bias( ˆ θ) Jos θˆ on harhaton parametrille θ eli Bias( ˆ θ) = θ E( ˆ θ) = 0 niin MSE( ˆ θ) = Var( ˆ θ) Estimaattoria sanotaan tarkaksi, jos se on harhaton ja sen varianssi on pieni. 2 Milla Kibble (2013) 69

Hyvän estimaattorin ominaisuudet Tehokkuus Olkoot ˆ θ1 ja θˆ 2 kaksi parametrin θ estimaattoria. Estimaattori ˆ θ1 on tehokkaampi kuin estimaattori θˆ 2, jos Var( ˆ θ1) < Var( ˆ θ2) Parametrin θ estimaattori θˆ on täystehokas, jos sen varianssi on pienempi kuin minkä tahansa muun parametrin θ estimaattorin. Milla Kibble (2013) 70

Hyvän estimaattorin ominaisuudet Harhattomuus ja tehokkuus: Esimerkki 1/2 Olkoon X 1, X 2,, X n satunnaisotos normaalijakaumasta N(µ, σ 2 ). Voidaan osoittaa, että sekä havaintojen aritmeettinen keskiarvo X 1 n Xi n i = 1 = että niiden mediaani Me ovat molemmat harhattomia normaalijakauman odotusarvolle µ : E( X ) = E( Me ) = µ Milla Kibble (2013) 71

Hyvän estimaattorin ominaisuudet Harhattomuus ja tehokkuus: Esimerkki 2/2 Sen sijaan 2 2 σ π σ Var( X ) = < = Var( Me) n 2 n joten normaalijakautuneiden havaintojen aritmeettisen keskiarvon X varianssi on pienempi kuin niiden mediaanin Me varianssi. Siten aritmeettinen keskiarvo X on normaalijakauman odotusarvon µ estimaattorina tehokkaampi kuin mediaani Me. Voidaan osoittaa, että havaintoarvojen aritmeettinen keskiarvo X on normaalijakauman odotusarvoparametrin µ estimaattorina täystehokas. Milla Kibble (2013) 72

Hyvän estimaattorin ominaisuudet Tarkentuvuus Olkoon θˆ parametrin θ estimaattori. Estimaattori θˆ on tarkentuva parametrille θ, jos se konvergoi melkein varmasti kohti parametrin oikeata arvoa, kun otoskoon n annetaan kasvaa rajatta: Pr( θˆ n θ) = 1, kun n + Ks. monisteen Todennäköisyyslaskenta lukua Stokastiikan konvergenssikäsitteet ja raja-arvolauseet. Milla Kibble (2013) 73

Estimointi Todennäköisyysjakaumien parametrit ja niiden estimointi Hyvän estimaattorin ominaisuudet >> Estimointimenetelmät Milla Kibble (2013) 74

Todennäköisyysjakaumien parametrien estimointi Estimaattoreiden johtaminen Hyvien estimaattoreiden johtaminen todennäköisyysjakaumien tuntemattomille parametreille on teoreettisen tilastotieteen keskeisiä ongelmia. Suurimman uskottavuuden menetelmä on ehkä tärkein kaikista estimointimenetelmistä. Momenttimenetelmä on toinen hyvin yleinen estimaattoreiden johtamiseen käytettävä menetelmä. Milla Kibble (2013) 75

Estimointimenetelmät >> Suurimman uskottavuuden menetelmä Normaalijakauman parametrien estimointi Bernoulli-jakauman parametrien estimointi Milla Kibble (2013) 76

Suurimman uskottavuuden menetelmä Uskottavuusfunktio 1/2 Olkoon X 1, X 2,, X n yksinkertainen satunnaisotos jakaumasta f(x ; θ), jonka parametrina on θ. Koska havainnot X 1, X 2,, X n on tässä oletettu riippumattomiksi, niiden yhteisjakauman pistetodennäköisyys- tai tiheysfunktio on f( x, x,, x ; θ) = f( x ; θ) f( x ; θ) f( x ; θ) 1 2 n 1 2 jossa f( x ; θ ), i = 1, 2,, n i on havaintoon X i liittyvä pistetodennäköisyys- tai tiheysfunktio. n Milla Kibble (2013) 77

Suurimman uskottavuuden menetelmä Uskottavuusfunktio 2/2 Otoksen X 1, X 2,, X n uskottavuusfunktio L( θ ; x, x,, x ) = f( x, x,, x ; θ) on havaintojen 1 2 n 1 2 X 1, X 2,, X n yhteisjakauman pistetodennäköisyys- tai tiheysfunktion f arvo pisteessä x 1, x 2,, x n tulkittuna parametrin θ arvojen funktioksi. n Milla Kibble (2013) 78

Suurimman uskottavuuden menetelmä Suurimman uskottavuuden estimaattori 1/2 Olkoon t= gx ( 1, x2,, x n ) parametrin θ arvo, joka maksimoi uskottavuusfunktion L( θ ; x1, x2,, x n ) parametrin θ suhteen. Huomautus: Uskottavuusfunktion L maksimin antava parametrin θ arvo t on muuttujien X 1, X 2,, X n havaittujen arvojen x 1, x 2,, x n funktio. Milla Kibble (2013) 79

Suurimman uskottavuuden menetelmä Suurimman uskottavuuden estimaattori 2/2 Sijoittamalla uskottavuusfunktion L maksimin parametrin θ suhteen antavassa lausekkeessa t= gx ( 1, x2,, x n ) muuttujien x 1, x 2,, x n paikalle havainnot (satunnaismuuttujat) X 1, X 2,, X n saadaan parametrin θ suurimman uskottavuuden estimaattori eli SU-estimaattori ˆ θ = g( X1, X2,, X n ) Milla Kibble (2013) 80

Suurimman uskottavuuden menetelmä Kommentteja Suurimman uskottavuuden menetelmän idea on antaa mallin parametreille sellaiset arvot, jotka tekevät saadun havaintoaineiston mahdollisimman todennäköiseksi. Milla Kibble (2013) 81

Suurimman uskottavuuden menetelmä SU-estimaattorin määrääminen 1/2 Parametrin θ suurimman uskottavuuden estimaattori määrätään maksimoimalla uskottavuusfunktio L( θ) = L( θ ; x1, x2,, x n ) parametrin θ suhteen. Ns. säännöllisissä tapauksissa maksimi löydetään merkitsemällä uskottavuusfunktion L(θ) derivaatta L (θ) nollaksi ja ratkaisemalla θ saadusta yhtälöstä L (θ) = 0 Milla Kibble (2013) 82

Suurimman uskottavuuden menetelmä SU-estimaattorin määrääminen 2/2 Jos parametrin θ arvo t= gx ( 1, x2,, x n ) tuottaa uskottavuusfunktion L(θ) maksimin, parametrin θ suurimman uskottavuuden estimaattori on ˆ θ = g( X1, X2,, X n ) jossa X 1, X 2,, X n on yksinkertainen satunnaisotos siitä jakaumasta, johon uskottavuusfunktio L(θ) liittyy. Milla Kibble (2013) 83

Suurimman uskottavuuden menetelmä Logaritminen uskottavuusfunktio 1/3 Uskottavuusfunktion maksimi kannattaa tavallisesti etsiä maksimoimalla uskottavuusfunktion sijasta logaritminen uskottavuusfunktio (uskottavuusfunktion logaritmi) l( θ) = log L( θ) Tämä johtuu seuraavista seikoista: (i) Logaritminen uskottavuusfunktio ja uskottavuusfunktio saavuttavat ääriarvonsa samassa pisteessä, koska logaritmi on aidosti monotoninen funktio. (ii) Logaritminen uskottavuusfunktio on monien todennäköisyysjakaumien tapauksessa uskottavuusfunktiota yksinkertaisempi muodoltaan. Milla Kibble (2013) 84

Suurimman uskottavuuden menetelmä Logaritminen uskottavuusfunktio 2/3 Koska havainnot X 1, X 2,, X n on tässä oletettu riippumattomiksi, logaritminen uskottavuusfunktio voidaan kirjoittaa seuraavaan muotoon: l( θ) = log L( θ) = ( f x θ f x θ f x θ ) log ( ; ) ( ; ) ( ; ) 1 2 = log f( x ; θ) + log f( x ; θ) + + log f( x ; θ) 1 2 = l( θ ; x1) + l( θ ; x2) + + l( θ ; xn ) jossa l(θ ; x i ) = log f(x i ; θ), i = 1, 2,, n on havaintoarvoon x i liittyvä logaritminen uskottavuusfunktio. n n Milla Kibble (2013) 85

Suurimman uskottavuuden menetelmä Logaritminen uskottavuusfunktio 3/3 Logaritmisen uskottavuusfunktion summaesityksen l( θ) = l( θ ; x1) + l( θ ; x2) + + l( θ ; x n ) maksimointi on usein ratkaisevasti helpompaa kuin uskottavuusfunktion itsensä maksimointi. Milla Kibble (2013) 86

Suurimman uskottavuuden menetelmä SU-estimaattorin ominaisuudet Olkoon X 1, X 2,, X n yksinkertainen satunnaisotos jakaumasta f (x ; θ), jonka parametrina on θ. Olkoon θˆ parametrin θ suurimman uskottavuuden eli SU-estimaattori. Hyvä estimaattori on harhaton, tehokas ja tarkentuva. SU-estimaattori ei välttämättä täytä yhtäkään hyvän estimaattorin kriteereistä, joten suurimman uskottavuuden menetelmää käytettäessä on aina erikseen varmistettava tuloksena saadun estimaattorin hyvyys. Milla Kibble (2013) 87

Suurimman uskottavuuden menetelmä SU-estimaattorin asymptoottiset ominaisuudet Jos SU-estimaattori ei täytä hyvän estimaattorin kriteereitä äärellisillä havaintojen lukumäärillä, sen käyttöä estimaattorina voidaan perustella SU-estimaattorin yleisillä asymptoottisilla ominaisuuksilla. Hyvin yleisin ehdoin pätee: (i) SU-estimaattori θˆ on tarkentuva eli Pr( ˆ θ θ) = 1, kun n + (ii) SU-estimaattori θˆ on asymptoottisesti normaalinen. Milla Kibble (2013) 88

Suurimman uskottavuuden menetelmä Esimerkkejä Olkoon X 1, X 2,, X n yksinkertainen satunnaisotos jakaumasta f(x ; θ). Tarkastellaan seuraavien jakaumien parametrien SU-estimointia eli estimointia suurimman uskottavuuden menetelmällä Normaalijakauma Bernoulli-jakauma Milla Kibble (2013) 89

Normaalijakauman parametrien estimointi SU-menetelmällä Normaalijakauma ja sen parametrointi Satunnaismuuttuja X noudattaa normaalijakaumaa N(µ, σ 2 ), jos sen tiheysfunktio on 2 2 1 1 x µ f( x; µσ, ) = exp σ 2π 2 σ < µ < +, σ > 0 Normaalijakauman parametreina ovat jakauman odotusarvo E( X ) = µ ja varianssi 2 Var( X ) = σ Milla Kibble (2013) 90

Normaalijakauman parametrien estimointi SU-menetelmällä Otos normaalijakaumasta Olkoon X 1, X 2,, X n yksinkertainen satunnaisotos normaalijakaumasta N(µ, σ 2 ) Tällöin havainnot X 1, X 2,, X n ovat riippumattomia, samaa normaalijakaumaa N(µ, σ 2 ) noudattavia satunnaismuuttujia. Milla Kibble (2013) 91

Normaalijakauman parametrien estimointi SU-menetelmällä Normaalijakautuneen otoksen uskottavuusfunktio ja log-uskottavuusfunktio Otoksen X 1, X 2,, X n uskottavuusfunktio on 2 L( µσ, ; x, x,, x ) = 1 2 n 2 2 2 1 µσ 2 µσ n µσ f( x ;, ) f( x ;, ) f( x ;, ) 1 n n n 2 1 2 = σ (2 π ) exp ( x 2 i µ ) 2σ i= 1 Otoksen X 1, X 2,, X n logaritminen uskottavuusfunktio on 2 l( µσ, ; x, x,, x ) = 1 2 n 2 log L( µσ, ; x1, x2,, xn ) n n 2 1 1 2 logσ nlog(2 π ) ( x ) 2 i µ 2 2 2σ i = 1 = Milla Kibble (2013) 92

Normaalijakauman parametrien estimointi SU-menetelmällä Normaalijakauman parametrien SU-estimaattorit Normaalijakauman N(µ, σ 2 ) odotusarvon µ ja varianssin σ 2 suurimman uskottavuuden estimaattorit ovat havaintojen X 1, X 2,, X n aritmeettinen keskiarvo ˆ µ 1 n n = Xi = i= 1 X ja otosvarianssi 1 ˆ σ ( ) n 2 2 = Xi X n i= 1 Milla Kibble (2013) 93

Normaalijakauman parametrien estimointi SU-menetelmällä SU-estimaattoreiden johto 1/2 Derivoidaan logaritminen uskottavuusfunktio n 1 1 l( µσ, ) logσ nlog(2 π ) ( x µ ) n 2 2 2 = 2 i 2 2 2σ i = 1 ensin parametrin µ suhteen ja merkitään derivaatta nollaksi: 2 n l( µσ, ) 1 = ( ) 0 2 xi µ = µ σ i = 1 Derivaatan ainoa nollakohta n 1 ˆ µ = xi = x n i= 1 antaa log-uskottavuusfunktion maksimin parametrin µ suhteen. Milla Kibble (2013) 94

Normaalijakauman parametrien estimointi SU-menetelmällä SU-estimaattoreiden johto 2/2 Sijoitetaan ratkaisu µ = x logaritmiseen uskottavuusfunktioon: n 2 n 2 1 1 2 lx (, σ ) = logσ nlog(2 π) ( x ) 2 i x 2 2 2 σ i = 1 2 Derivoidaan funktio lxσ (, ) parametrin σ 2 suhteen ja merkitään derivaatta nollaksi: 2 n l( µσ, ) n 1 = + ( ) 0 2 2 4 xi x = σ 2σ 2σ i = 1 Derivaatan ainoa nollakohta 1 ˆ σ ( ) n 2 2 = xi x n i= 1 antaa log-uskottavuusfunktion maksimin parametrin σ 2 suhteen. Milla Kibble (2013) 95

Normaalijakauman parametrien estimointi SU-menetelmällä SU-estimaattoreiden ominaisuudet 1/2 Normaalijakauman N(µ, σ 2 ) odotusarvon µ SU-estimaattorilla ˆµ on seuraavat ominaisuudet: (i) ˆµ on harhaton. (ii) ˆµ on tehokas eli minimivarianssinen estimaattori. (iii) ˆµ on tarkentuva. (iv) ˆµ noudattaa normaalijakaumaa: 2 σ ˆ µ ~N µ, n Milla Kibble (2013) 96

Normaalijakauman parametrien estimointi SU-menetelmällä SU-estimaattoreiden ominaisuudet 2/2 Normaalijakauman N(µ, σ 2 ) varianssin σ 2 2 SU-estimaattorilla σˆ on seuraavat ominaisuudet: 2 (i) σˆ on harhainen, mutta estimaattori n 2 n 2 1 2 S = ˆ σ = ( Xi X) n 1 n 1 i= 1 on harhaton. 2 (ii) σˆ ei ole tehokas eli minimivarianssinen estimaattori. 2 (iii) σˆ on tarkentuva. (iv) (n 1) S 2 /σ 2 noudattaa χ 2 -jakaumaa: ( n 1) S 2 σ 2 2 χ ( n 1) Milla Kibble (2013) 97

Bernoulli-jakauman parametrien estimointi SU-menetelmällä Bernoulli-jakauma ja sen parametrointi Olkoon A tapahtuma, jonka todennäköisyys on p: Pr(A) = p Määritellään satunnaismuuttuja X seuraavasti: 1, jos A tapahtuu X = 0, jos A ei tapahdu Satunnaismuuttuja X noudattaa Bernoulli-jakaumaa B(p) ja sen pistetodennäköisyysfunktio on x 1 x f( xp ; ) = p(1 p), x= 0,1 ; 0 < p< 1 Bernoulli-jakauman ainoa parametri p yhtyy jakauman odotusarvoon: p = E(X) KE (2014) 98

Bernoulli-jakauman parametrien estimointi SU-menetelmällä Otos Bernoulli-jakaumasta Olkoon X 1, X 2,, X n yksinkertainen satunnaisotos Bernoulli-jakaumasta B(p) Tällöin havainnot X 1, X 2,, X n ovat riippumattomia, samaa Bernoulli-jakaumaa B(p) noudattavia satunnaismuuttujia. KE (2014) 99

Bernoulli-jakauman parametrien estimointi SU-menetelmällä Bernoulli-jakautuneen otoksen uskottavuusfunktio ja log-uskottavuusfunktio Otoksen X 1, X 2,, X n uskottavuusfunktio on L( p; x1, x2,, xn ) = f( x ; p) f( x ; p) f( x ; p) 1 2 Σx n Σx i = p (1 p) i Otoksen X 1, X 2,, X n logaritminen uskottavuusfunktio on l( p; x1, x2,, xn ) = log L( p; x, x,, x ) 1 2 n n n = i + i i= 1 i= 1 x log( p) ( n x )log(1 p) Milla Kibble (2013) 100 n

Bernoulli-jakauman parametrien estimointi SU-menetelmällä Bernoulli-jakauman odotusarvoparametrin SU-estimaattori 1/2 Bernoulli-jakauman B(p) odotusarvoparametrin p suurimman uskottavuuden estimaattori on havaintojen X 1, X 2,, X n aritmeettinen keskiarvo n 1 pˆ = Xi = X n i = 1 KE (2014) 101

Bernoulli-jakauman parametrien estimointi SU-menetelmällä Bernoulli-jakauman odotusarvoparametrin SU-estimaattori 2/2 Koska niin X n i i= 1 1, jos A tapahtuu = 0, jos A ei tapahdu X i = f jossa f on tapahtuman A frekvenssi otoksessa. Siten Bernoulli-jakauman odotusarvoparametrin p suurimman uskottavuuden estimaattori n 1 f pˆ = Xi = n i= 1 n on tapahtuman A suhteellinen frekvenssi otoksessa. Milla Kibble (2013) 102

Bernoulli-jakauman parametrien estimointi SU-menetelmällä SU-estimaattorin johto Derivoidaan logaritminen uskottavuusfunktio l( p) = x log( p) + ( n x )log(1 p) i i= 1 i= 1 parametrin p suhteen ja merkitään derivaatta nollaksi: l( p) Σxi n Σxi = = 0 p p 1 p Derivaatan ainoa nollakohta n n 1 pˆ = x = x n i = 1 i antaa uskottavuusfunktion maksimin. n i Milla Kibble (2013) 103

Bernoulli-jakauman parametrien estimointi SU-menetelmällä SU-estimaattorin ominaisuudet Bernoulli-jakauman B(p) odotusarvoparametrin p SU-estimaattorilla ˆp on seuraavat ominaisuudet: (i) ˆp on harhaton. (ii) ˆp on (asymptoottisesti) tehokas eli minimivarianssinen estimaattori. (iii) ˆp on tarkentuva. (iv) ˆp noudattaa asymptoottisesti normaalijakaumaa: pˆ ~ a N p, p(1 p) n Milla Kibble (2013) 104

Tilastolliset menetelmät Osa 2: Otokset, otosjakaumat ja estimointi Väliestimointi KE (2014) 105

Todennäköisyysjakaumien parametrien estimointi Piste-estimointi ja väliestimointi Todennäköisyysjakauman parametrin arvon estimointia kutsutaan tavallisesti piste-estimoinniksi. Estimaatin arvo vaihtelee otoksesta toiseen, joten siihen liittyy tietty epätarkkuus. Herää kysymys, missä rajoissa parametrin todellinen arvo θ on. Ei ole järkevää yrittää antaa rajoja, joiden sisällä θ :n arvo on täysin varmasti. Sen sijaan voidaan yrittää antaa väli, jonka uskotaan peittävän alleen parametrin tarkan arvon tietyllä suurella todennäköisyydellä. Tämmöistä väliä kutsutaan luottamusväliksi. Luottamusvälin määräämistä kutsutaan väliestimoinniksi. Milla Kibble (2013) 106

Väliestimointi >> Luottamusväli Normaalijakauman odotusarvon luottamusväli Normaalijakauman varianssin luottamusväli Bernoulli-jakauman odotusarvon luottamusväli Milla Kibble (2013) 107

Luottamusväli Luottamusväli ja luottamustaso Väliestimoinnissa todennäköisyysjakauman f(x ; θ) tuntemattomalle parametrille θ pyritään määräämään havainnoista riippuva väli, joka tietyllä, soveltajan valitsemalla todennäköisyydellä, peittää parametrin todellisen arvon. Konstruoitua väliä kutsutaan luottamusväliksi ja valittua todennäköisyyttä kutsutaan luottamustasoksi. Milla Kibble (2013) 108

Luottamusväli Luottamusvälin määrääminen Olkoon f(x ; θ) todennäköisyysjakauma, jonka määrää tuntematon parametri θ, ja X 1, X 2,, X n satunnaisotos jakaumasta f(x ; θ). Valitaan luottamustaso (1 α) siten, että 0 < 1 α < 1 Määrätään satunnaismuuttujat L= LX (, X,, X) siten, että 1 2 U = U( X, X,, X ) 1 2 Pr( θ ( LU, )) = 1 α n n Tällöin sanomme, että väli (L, U) on parametrin θ luottamusväli luottamustasolla (1 α). Milla Kibble (2013) 109

Luottamusväli Luottamusvälin määrääminen: Kommentit Luottamusvälin (L, U) päätepisteet L ja U riippuvat yleensä sekä havainnoista X 1, X 2,, X n että valitusta luottamustasosta (1 α). Käytännössä θ :n arvo on tuntematon eikä ole tietoa, onko sen arvo saadun luottamusvälin sisällä. Näin kuitenkin uskotaan. Käytettäessä esim. 95%:n luottamusväliä keskimäärin 5 kertaa sadasta käy niin, että tarkka arvo jää saadun välin ulkopuolelle. Milla Kibble (2013) 110

Luottamusväli Johtopäätökset luottamisväleistä Tehdään johtopäätös, että konstruoitu luottamusväli peittää parametrin θ tuntemattoman todellisen arvon. (i) Luottamusvälin konstruktiosta seuraa, että tehty johtopäätös on oikea 100 (1 α) %:ssa tapauksia. (ii) Luottamusvälin konstruktiosta seuraa, että tehty johtopäätös on väärä 100 α %:ssa tapauksia. Huomautus: Virheellisen johtopäätöksen mahdollisuutta ei saada häviämään, ellei luottamusväliä tehdä niin leveäksi, että väli ei enää sisällä informaatiota parametrin θ todellisesta arvosta. Milla Kibble (2013) 111

Luottamusväli Esimerkki: Normaalijakauman odotusarvon luottamusväli, (kun σ:n arvo tiedossa) 1/2 Jos estimaattori θˆ on jatkuva ja sen jakauma on tiedossa, luottamusväli voidaan ilmoittaa havaintojen avulla. Olkoon X ~ N(µ, σ 2 ) ja X 1, X 2,, X n (yksinkertainen) satunnaisotos normaalijakaumasta N(µ, σ 2 ). Silloin µ:n harhaton estimaattori on X 1 n Xi n i = 1 = ja tiedetään että X N n 2 ~ ( µσ, / ) Milla Kibble (2013) 112

Luottamusväli Esimerkki: Normaalijakauman odotusarvon luottamusväli, (kun σ:n arvo tiedossa) 2/2 Oletetaan että σ:n arvo on tiedossa. Lasketaan µ:n 95%:n luottamusväli: Tiedetään taulukoista että X µ P( 1.96) = 0.95 σ n Tämä voi muokata muotoon PX ( 1.96σ n µ X+ 1.96 σ n) = 0.95 X 1.96 σ n, X + 1.96σ n Joten väli on µ:n 95%:n luottamusväli. Otoksesta ( x1,..., x n ) lasketaan µ:n 95%:n luottamusvälin arvoksi x 1.96 σ n, x + 1.96σ n Milla Kibble (2013) 113

Väliestimointi Luottamusväli >> Normaalijakauman odotusarvon luottamusväli Normaalijakauman varianssin luottamusväli Bernoulli-jakauman odotusarvon luottamusväli Milla Kibble (2013) 114

Normaalijakauman odotusarvon luottamusväli Normaalijakauman parametrien estimointi Olkoon X 1, X 2,, X n (yksinkertainen) satunnaisotos normaalijakaumasta N(µ, σ 2 ) Estimoidaan normaalijakauman N(µ, σ 2 ) parametrit µ ja σ 2 niiden harhattomilla estimaattoreilla: (i) Odotusarvoparametrin µ harhaton estimaattori: X 1 n Xi n i = 1 = (ii) Varianssiparametrin σ 2 harhaton estimaattori: n 2 1 2 S = ( Xi X) 1 n i= 1 Milla Kibble (2013) 115

Normaalijakauman odotusarvon luottamusväli Luottamuskertoimet Olkoon valittu luottamustaso (1 α). Määrätään luottamuskertoimet t α/2 ja +t α/2 siten, että α Pr( t tα /2) = 2 α Pr( t + tα /2) = 2 jossa satunnaismuuttuja t noudattaa Studentin t-jakaumaa vapausastein (n 1): t tn ( 1) Luottamuskertoimet t α/2 ja +t α/2 toteuttavat ehdon Pr( t t + t ) = 1 α/2 α/2 α Milla Kibble (2013) 116

Normaalijakauman odotusarvon luottamusväli Luottamuskertoimien määrääminen: Havainnollistus Luottamuskertoimet t α/2 ja +t α/2 jakavat t-jakauman tiheysfunktion kuvaajan alle jäävän todennäköisyysmassan (= 1) kolmeen osaan: (1) Pisteen t α/2 vasemmalle puolelle jää α/2 % massasta. (2) Pisteen +t α/2 oikealle puolelle jää α/2 % massasta. t-jakauman tiheysfunktio α/2 1 α α/2 (3) Pisteiden t α/2 ja +t α/2 väliin jää (1 α) % massasta. t α/2 0 +t α/2 Huomaa, että α/2 + α/2 + (1 α) = 1 Milla Kibble (2013) 117

Normaalijakauman odotusarvon luottamusväli Luottamusväli normaalijakauman odotusarvolle Normaalijakauman odotusarvoparametrin µ luottamusväli luottamustasolla (1 α) on muotoa jossa S X t, X + t n α/2 α/2 S n X = havaintojen aritmeettinen keskiarvo S 2 = havaintojen harhaton otosvarianssi n = havaintojen lukumäärä t α/2, +t α/2 = luottamustasoon (1 α) liittyvät luottamuskertoimet t-jakaumasta vapausastein (n 1) KE (2014) 118

Normaalijakauman odotusarvon luottamusväli Luottamusväli ja sen pituus Normaalijakauman odotusarvon µ luottamusväli luottamustasolla (1 α): X t α /2 s n t α /2 s n Milla Kibble (2013) 119

Normaalijakauman odotusarvon luottamusväli Luottamusvälin johto 1/5 Olkoon X 1, X 2,, X n yksinkertainen satunnaisotos normaalijakaumasta Olkoon N(µ, σ 2 ) X 1 n Xi n i = 1 = havaintojen X 1, X 2,, X n aritmeettinen keskiarvo ja n 2 1 2 S = ( Xi X) n 1 i= 1 havaintojen X 1, X 2,, X n (harhaton) otosvarianssi. Milla Kibble (2013) 120

Normaalijakauman odotusarvon luottamusväli Luottamusvälin johto 2/5 Määritellään satunnaismuuttuja X µ t = S n. Voidaan osoittaa että t noudattaa Studentin t-jakaumaa vapausastein (n 1) : t tn ( 1) ks. lukua Otokset ja otosjakaumat. Milla Kibble (2013) 121

Normaalijakauman odotusarvon luottamusväli Luottamusvälin johto 3/5 Määrätään t-jakaumasta vapausastein (n 1) piste +t α/2 siten, että α Pr( t + t α /2) = 2 jolloin (t-jakauman symmetrian perusteella) α Pr( t t α /2) = 2 ja edelleen Pr( t t + t ) = 1 α/2 α/2 α Milla Kibble (2013) 122

Normaalijakauman odotusarvon luottamusväli Luottamusvälin johto 4/5 Tarkastellaan epäyhtälöketjua t t + t α/2 α/2 Sijoittamalla tähän epäyhtälöketjuun satunnaismuuttujan t lauseke, saadaan epäyhtälöketju X µ tα/2 + tα/2 S n Tästä epäyhtälöketjusta saadaan sen kanssa yhtäpitävä epäyhtälöketju S X t µ X + t n α/2 α/2 S n Milla Kibble (2013) 123

Normaalijakauman odotusarvon luottamusväli Luottamusvälin johto 5/5 Yhdistämällä saatu epäyhtälö siihen, että Pr( t t + t ) = 1 saadaan vihdoin α/2 α/2 α Pr S S X tα/2 µ X + tα/2 = 1 α n n Siten konstruoitu luottamusväli peittää parametrin µ todellisen arvon todennäköisyydellä (1 α) ja se ei peitä parametrin µ todellista arvoa todennäköisyydellä α. Milla Kibble (2013) 124

Normaalijakauman odotusarvon luottamusväli Luottamusvälin ominaisuudet Normaalijakauman odotusarvon µ luottamusvälin keskipiste X vaihtelee otoksesta toiseen. Luottamusvälin pituus S 2 tα /2 n vaihtelee otoksesta toiseen. Luottamusvälin pituus riippuu valitusta luottamustasosta (1 α), havaintojen lukumäärästä n ja otosvarianssista S 2. Milla Kibble (2013) 125

Normaalijakauman odotusarvon luottamusväli Vaatimukset luottamusvälille Olisi toivottavaa pystyä konstruoimaan odotusarvolle µ mahdollisimman lyhyt luottamusväli, johon liittyvä luottamustaso olisi mahdollisimman korkea. Vaatimusten samanaikainen täyttäminen ei ole kuitenkaan mahdollista, jos otoskoko pidetään kiinteänä: (i) Luottamustason kasvattaminen pidentää luottamusväliä, jolloin tieto parametrin µ todellisen arvon sijainnista tulee epätarkemmaksi. (ii) Luottamusvälin lyhentäminen pienentää luottamustasoa, jolloin tieto parametrin µ todellisen arvon sijainnista tulee epävarmemmaksi. Milla Kibble (2013) 126

Normaalijakauman odotusarvon luottamusväli Esimerkki 1/6 Kone tekee ruuveja, joiden pituudet vaihtelevat satunnaisesti noudattaen normaalijakaumaa; Ruuvien joukosta poimitaan yksinkertainen satunnaisotos, jonka koko n = 30 ja otokseen poimittujen ruuvien pituudet mitataan. Taulukko oikealla esittää pituuksien luokiteltua frekvenssijakaumaa. Luokkavälit Luokkafrekvenssit (9.85,9.90] 1 (9.90,9.95] 2 (9.95,10.00] 6 (10.00,10.05] 3 (10.05,10.10] 5 (10.10,10.15] 4 (10.15,10.20] 5 (10.20,10.25] 3 (10.25,10.30] 1 Milla Kibble (2013) 127

Normaalijakauman odotusarvon luottamusväli Esimerkki 2/6 Kuva oikealla esittää otokseen poimittujen ruuvien pituuksien luokiteltua frekvenssijakaumaa vastaavaa histogrammia. 7 6 Ruuvien pituuksien luokiteltu frekvenssijakauma Luokkavälit määräävät histogrammin suorakaiteiden kannat. Suorakaiteiden korkeudet on valittu niin, että suorakaiteiden pinta-alat suhtautuvat toisiinsa kuten vastaavat luokkafrekvenssit. Frekvenssi 5 4 3 2 1 0 9.8 9.9 10.0 10.1 10.2 10.3 10.4 Pituus (cm) Milla Kibble (2013) 128

Normaalijakauman odotusarvon luottamusväli Esimerkki 3/6 Otoskoko: n = 30 Pituuksien aritmeettinen keskiarvo: x =10.09 cm Pituuksien otoskeskihajonta: s = 0.1038 cm Konstruoidaan ruuvien todelliselle keskipituudelle µ luottamusväli luottamustasolla 0.95. Valitaan luottamuskertoimet t 0.025 ja +t 0.025 siten, että Pr( t t ) = Pr( t + t ) = 0.025 0.025 0.025 jossa satunnaismuuttuja t noudattaa Studentin t-jakaumaa vapausastein n 1 = 29. Milla Kibble (2013) 129

Normaalijakauman odotusarvon luottamusväli Esimerkki 4/6 t-jakauman taulukoista nähdään, että Pr(t +2.045) = 0.025 Pr(t 2.045) = 0.025 kun vapausasteiden lukumäärä n 1 = 29 Siten luottamuskertoimet ovat: +t 0.025 = +2.045 t 0.025 = 2.045 Kuvio oikealla havainnollistaa luottamuskertoimien valintaa. 0.5 0.4 0.3 0.2 0.1 0 t(29)-jakauman tiheysfunktio 0.025 0.95 0.025 2.045 0 +2.045 Milla Kibble (2013) 130

Normaalijakauman odotusarvon luottamusväli Esimerkki 5/6 Luottamusväliksi saadaan: s 0.1038 x ± tα /2 = 10.09 ± 2.045 n 30 = 10.09 ± 0.04 = (10.05,10.13) Siten tiedämme, että ruuvien todellinen keskipituus on todennäköisyydellä 0.95 välillä (10.05, 10.13) Milla Kibble (2013) 131

Normaalijakauman odotusarvon luottamusväli Esimerkki 6/6 Luottamustason 0.95 tulkinta: Oletetaan, että poimimme koneen tekemien ruuvien joukosta toistuvasti yksinkertaisia satunnaisotoksia, joiden koko on 30 ja konstruoimme jokaisesta otoksesta 95 %:n luottamusvälin edellä esitetyllä menetelmällä. Tällöin: (i) Konstruoidusta väleistä keskimäärin 95 % peittää ruuvien todellisen, mutta tuntemattoman keskipituuden. (ii) Konstruoidusta väleistä keskimäärin 5 % ei peitä ruuvien todellista, mutta tuntematonta keskipituutta. Milla Kibble (2013) 132