031021P Tilastomatematiikka (5 op) viikko 4

Samankaltaiset tiedostot
Tilastollinen aineisto Luottamusväli

tilastotieteen kertaus

Tilastotieteen kertaus. Kuusinen/Heliövaara 1

Estimointi. Vilkkumaa / Kuusinen 1

Sovellettu todennäköisyyslaskenta B

Osa 2: Otokset, otosjakaumat ja estimointi

Johdatus tilastotieteeseen Estimointi. TKK (c) Ilkka Mellin (2005) 1

Ilkka Mellin Tilastolliset menetelmät Osa 2: Otokset, otosjakaumat ja estimointi Estimointi

Tilastollisen analyysin perusteet Luento 1: Lokaatio ja hajonta

Maximum likelihood-estimointi Alkeet

Sovellettu todennäköisyyslaskenta B

Tilastotieteen kertaus. Vilkkumaa / Kuusinen 1

Estimointi. Estimointi. Estimointi: Mitä opimme? 2/4. Estimointi: Mitä opimme? 1/4. Estimointi: Mitä opimme? 3/4. Estimointi: Mitä opimme?

MS-A0502 Todennäköisyyslaskennan ja tilastotieteen peruskurssi

9. laskuharjoituskierros, vko 12-13, ratkaisut

Sovellettu todennäköisyyslaskenta B

031021P Tilastomatematiikka (5 op) viikko 5

MTTTP5, luento Otossuureita ja niiden jakaumia (jatkuu)

/1. MTTTP1, luento Normaalijakauma (jatkoa) Olkoon Z ~ N(0, 1). Määritellään z siten, että P(Z > z ) =, graafisesti:

Väliestimointi (jatkoa) Heliövaara 1

/1. MTTTP1, luento Normaalijakauma (kertausta) Olkoon Z ~ N(0, 1). Määritellään z siten, että P(Z > z ) =, graafisesti:

Estimointi populaation tuntemattoman parametrin arviointia otossuureen avulla Otossuure satunnaisotoksen avulla määritelty funktio

7.4 Normaalijakauma (kertausta ja täydennystä) Taulukosta P(Z 1,6449) = 0,05, P(Z -1,6449) = 0,05 P(Z 1,96) = 0,025, P(Z -1,96) = 0,025

031021P Tilastomatematiikka (5 op) kertausta 2. vk:een

Johdatus tilastotieteeseen Väliestimointi. TKK (c) Ilkka Mellin (2005) 1

031021P Tilastomatematiikka (5 op) kertausta 2. vk:een

031021P Tilastomatematiikka (5 op) viikko 3

Tilastollinen testaus. Vilkkumaa / Kuusinen 1

Sovellettu todennäköisyyslaskenta B

Normaalijakaumasta johdettuja jakaumia

Sovellettu todennäköisyyslaskenta B

Johdatus tilastotieteeseen Testit suhdeasteikollisille muuttujille. TKK (c) Ilkka Mellin (2004) 1

P(X = x T (X ) = t, θ) = p(x = x T (X ) = t) ei riipu tuntemattomasta θ:sta. Silloin uskottavuusfunktio faktorisoituu

Johdatus todennäköisyyslaskentaan Normaalijakaumasta johdettuja jakaumia. TKK (c) Ilkka Mellin (2005) 1

2. Uskottavuus ja informaatio

3.6 Su-estimaattorien asymptotiikka

Parametrin estimointi ja bootstrap-otanta

Tilastollisen analyysin perusteet Luento 1: Lokaatio ja hajonta

Tilastolliset menetelmät. Osa 1: Johdanto. Johdanto tilastotieteeseen KE (2014) 1

806109P TILASTOTIETEEN PERUSMENETELMÄT I Hanna Heikkinen Esimerkkejä estimoinnista ja merkitsevyystestauksesta, syksy (1 α) = 99 1 α = 0.

MS-A0502 Todennäköisyyslaskennan ja tilastotieteen peruskurssi

MTTTA1 Tilastomenetelmien perusteet 5 op Luento Kokonaisuudet johon opintojakso kuuluu

Luottamusvälit. Normaalijakauma johnkin kohtaan

MS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi

MTTTA1 Tilastomenetelmien perusteet 5 op Luento , osa 1. 1 Kokonaisuudet johon opintojakso kuuluu

Otoskeskiarvo on otossuure, jonka todennäköisyysjakauma tiedetään. Se on normaalijakauma, havainnollistaminen simuloiden

Johdatus tilastotieteeseen Testit suhdeasteikollisille muuttujille. TKK (c) Ilkka Mellin (2005) 1

MS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi

Teema 8: Parametrien estimointi ja luottamusvälit

Sovellettu todennäköisyyslaskenta B

Testejä suhdeasteikollisille muuttujille

dx=5&uilang=fi&lang=fi&lvv=2014

Harjoitus 2: Matlab - Statistical Toolbox

Gripenberg. MS-A0502 Todennäköisyyslaskennan ja tilastotieteen peruskurssi Tentti ja välikoeuusinta

Todennäköisyyden ominaisuuksia

Koska ovat negatiiviset. Keskihajontoja ei pystytä laskemaan mutta pätee ¾.

Tilastollisen analyysin perusteet Luento 8: Lineaarinen regressio, testejä ja luottamusvälejä

Mat Tilastollisen analyysin perusteet, kevät 2007

10. laskuharjoituskierros, vko 14, ratkaisut

031021P Tilastomatematiikka (5 op) viikot 5 6

MS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi

5.7 Uskottavuusfunktioon perustuvia testejä II

MS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi

edellyttää valintaa takaisinpanolla Aritmeettinen keskiarvo Jos, ½ Ò muodostavat satunnaisotoksen :n jakaumasta niin Otosvarianssi Ë ¾

Tilastolliset menetelmät. Osa 3: Tilastolliset testit. Tilastollinen testaus KE (2014) 1

Tutkimusongelmia ja tilastollisia hypoteeseja: Perunalastupussien keskimääräinen paino? Nollahypoteesi Vaihtoehtoinen hypoteesi (yksisuuntainen)

ABHELSINKI UNIVERSITY OF TECHNOLOGY

Tutkimustiedonhallinnan peruskurssi

MS-A0503 Todennäköisyyslaskennan ja tilastotieteen peruskurssi

Mat Tilastollisen analyysin perusteet, kevät 2007

Tilastollinen päättömyys, kevät 2017 Harjoitus 6B

Harjoitus 7: NCSS - Tilastollinen analyysi

2 exp( 2u), kun u > 0 f U (u) = v = 3 + u 3v + uv = u. f V (v) dv = f U (u) du du f V (v) = f U (u) dv = f U (h(v)) h (v) = f U 1 v (1 v) 2

Tilastollisen analyysin perusteet Luento 2: Tilastolliset testit

l (φ; y) = l(θ(φ); y) Toinen derivaatta saadaan tulon derivaatan laskusäännöllä Uudelleenparametroidun mallin Fisherin informaatio on

Yksisuuntainen varianssianalyysi (jatkoa) Heliövaara 1

MS-A0502 Todennäköisyyslaskennan ja tilastotieteen peruskurssi Luennot, osa II

FoA5 Tilastollisen analyysin perusteet puheentutkimuksessa. 6. luento. Pertti Palo

POPULAATIO. Oikeastaan arvot, joista ollaan kiinnostuneita (mitatut numeeriset suureet, luokittelut).

Testit laatueroasteikollisille muuttujille

MS-A0503 Todennäköisyyslaskennan ja tilastotieteen peruskurssi

Ilkka Mellin Tilastolliset menetelmät. Osa 3: Tilastolliset testit. Tilastollinen testaus. TKK (c) Ilkka Mellin (2007) 1

Luku 10. Bayesläiset estimaattorit Bayesläiset piste-estimaatit. Lasse Leskelä Aalto-yliopisto 18. lokakuuta 2017

Todennäköisyyslaskun kertaus. Vilkkumaa / Kuusinen 1

Satunnaismuuttujien mittausasteikot 93

Tässä luvussa mietimme, kuinka paljon aineistossa on tarpeellista tietoa Sivuamme kysymyksiä:

Aalto-yliopisto, Matematiikan ja systeemianalyysin laitos /Malmivuori MS-A0502 Todennäköisyyslaskennan ja tilastotieteen peruskurssi,

805306A Johdatus monimuuttujamenetelmiin, 5 op

4.0.2 Kuinka hyvä ennuste on?

Tilastollisen analyysin perusteet Luento 10: Johdatus varianssianalyysiin

Yksisuuntainen varianssianalyysi (jatkoa) Kuusinen/Heliövaara 1

χ = Mat Sovellettu todennäköisyyslasku 11. harjoitukset/ratkaisut

Hypoteesin testaus Alkeet

Mat Tilastollisen analyysin perusteet, kevät 2007

Lisätehtäviä ratkaisuineen luentomonisteen lukuihin 2-4 liittyen

Tilastollisen analyysin perusteet Luento 6: Korrelaatio ja riippuvuus tilastotieteessä

,ܾ jaü on annettu niin voidaan hakea funktion

Lisää Diskreettejä jakaumia Lisää Jatkuvia jakaumia Normaalijakaumasta johdettuja jakaumia

r = n = 121 Tilastollista testausta varten määritetään aluksi hypoteesit.

Tilastollinen päättely II, kevät 2017 Harjoitus 2A

Transkriptio:

031021P Tilastomatematiikka (5 op) viikko 4 Jukka Kemppainen Mathematics Division

Tilastollinen aineisto Tilastolliset menetelmät ovat eräs keino tutkia numeerista havaintoaineistoa todennäköisyyslaskentaa hyödyntäen. Perusjoukosta eli populaatiosta kerätään otos, jonka perusteella tehdään päätelmiä koko populaatiosta. Tilastollisen tutkimuksen alkuvaiheet käsittävät aineiston keruun suunnittelun ja varsinaisen aineiston keruun. Havainnot täytyy hankkia siten, että niistä voidaan tehdä luotettavia johtopäätöksiä. Tällä kurssilla oletetaan, että aineisto on kerätty yksinkertaisella satunnaisotannalla. Jukka Kemppainen Mathematics Division 2 / 42

Esimerkki Tarkastellaan puolueiden kannatuksen selvittämistä mielipidetutkimuksen avulla. Kysytään esimerkiksi kahdelta tuhannelta tietyllä tavalla valitulta äänioikeutetulta, mitä puoluetta he äänestäisivät, jos vaalit pidettäisiin nyt. Lasketaan vastausten perusteella kannatusprosentit puolueille. Tutkimukseen otettavien henkilöiden valinta ja tulosten luotettavuuden arviointi ovat tilastotieteellisiä ongelmia. Jukka Kemppainen Mathematics Division 3 / 42

Havaintoaineiston kuvaus Satunnaisotos on jono (x 1,x 2,...,x n ), missä x i :t ovat havaintoja (realisaatioita) tutkittavasta ominaisuudesta (satunnaismuuttujasta) X. Koska otos sinällään ei anna havainnollista kuvaa X:n arvojen jakaantumisesta, havaintoaineistoa eli otosta kuvataan siitä laskettujen otostunnuslukujen avulla. Tärkeimpiä otostunnuslukuja ovat: Vaihteluväli: [min 1 i n x i,max 1 i n x i ]. Otoskeskiarvo: x = 1 n n i=1 x i. Otosvarianssi: s 2 = 1 n 1 n i=1 (x i x) 2. Otoskeskihajonta: s = 1 n 1 n i=1 (x i x) 2. Jukka Kemppainen Mathematics Division 4 / 42

Otostunnuslukuja Otoskovarianssi: s xy = 1 n 1 n i=1 (x i x)(y i y), joka on kahden muuttujan otoksen hajontaluku. Huomaa, että s xx on itse asiassa muuttujan x otosvarianssi. Keskiarvon keskivirhe: s n, jota käytetään keskiarvon x luotettavuuden arvioimisessa. Otosmediaani M d on se luku, jonka alapuolella on puolet havainnoista, { M d = min M #{x i x i M} } 0,5. n Jukka Kemppainen Mathematics Division 5 / 42

Otostunnuslukuja P-prosenttipiste M p on se luku, jonka alapuolella on p% havainnoista. Usein käytetään prosenttilukuja 25%, 50% ja 75%. Otosmoodi on se luokka, jossa on eniten havaintoja, kun havaintoaineisto on jaettu k:hon luokkaan E 1,E 2,...,E k (tavallisesti k = n). Jukka Kemppainen Mathematics Division 6 / 42

Empiirinen jakauma Empiirinen jakauma tarkoittaa otoksesta määrättyä jakaumaa. Tyypillinen jakauma on esimerkiksi frekvenssijakauma, joka ilmoittaa havaintojen lukumäärän havaituille arvolle. Usein data on jaettu sopiviin luokkiin. Jos esimerkiksi mitattaisiin henkilöiden pituuksia, voisi olla järkevää jakaa data luokkiin 10 cm välein. Empiirisen jakauman avulla saamme osviittaa siitä, mikä on populaation jakauma. Tarvittaessa voimme tilastollisesti testata, noudattaako saamamme havaintoaineisto esimerkiksi normaalijakaumaa. Emme kuitenkaan puutu tällä kurssilla tähän. Jukka Kemppainen Mathematics Division 7 / 42

Empiirinen jakauma Otetaan yksinkertainen esimerkki frekvenssijakaumasta ja sen graafisesta havainnollistamisesta. Esim. 28 Eräällä kurssilla kertyi lisäpisteitä seuraavan taulukon mukaisesti Lisäpisteet 1 2 3 4 5 6 Opiskelijoita 13 4 6 6 23 31 Laske lisäpisteiden keskiarvo, keskihajonta, keskiarvon keskivirhe, mediaani ja moodi sekä piirrä havaintoja vastaava pylväsdiagrammi. Jukka Kemppainen Mathematics Division 8 / 42

Esimerkin 28 ratkaisu Frekvenssijakauma on ilmoitettu taulukon muodossa ja sen graafista esitystä vastaa pylväsdiagrammi. Havaintoja on yhteensä n = 83, joten lisäpisteiden otoskeskiarvoksi saadaan x = 1 n n x i = 1 n i=1 6 i n i 4.39 i=1 ja (otos)keskihajonnaksi s = 1 n 1 6 n i (i x) 2 1.83, i=1 josta edelleen saadaan keskiarvon keskivirheeksi s/ n 0.20. Mediaani on selvästikin 5 ja moodi taasen 6. Jukka Kemppainen Mathematics Division 9 / 42

Esimerkin 28 ratkaisu Pylväsdiagrammi on 35 30 25 20 15 10 5 0 1 2 3 4 5 6 Jukka Kemppainen Mathematics Division 10 / 42

Tunnuslukujen estimoinnista Tilastollisen tutkimuksen keskeinen tehtävä on määrittää perusjoukon tunnuslukuja ja tehdä perusjoukkoa koskevia johtopäätöksiä yleistämällä otoksen tunnusluvut ja otoksesta tehdyt johtopäätökset koko perusjoukkoa koskeviksi. Estimoinnissa on kyse perusjoukon tunnuslukujen eli parametrien arvioiden eli estimaattien muodostamisesta. Estimointi suoritetaan siten, että kerätään X:stä satunnaisotos (x 1,...,x n ) ja sijoitetaan havainnot kaavaan eli estimaattoriin, jonka otoksessa saamaa arvoa käytetään kyseisen parametrin estimaattina. Jukka Kemppainen Mathematics Division 11 / 42

Estimoinnista Estimaattori on satunnaismuuttuja, joka saa tietyn arvon kussakin otoksessa (x 1,x 2,...,x n ). Se on siis otoksen funktio. Tällaista satunnaismuuttujaa sanotaan otossuureeksi. Yleisesti parametrin θ estimaattori on θ = g(x 1,...,X n ), missä g : R n R on jokin hyväksi havaittu funktio. Esimerkiksi odotusarvon ja varianssin estimaattoreiksi sopivat hyvin otoskeskiarvon ja otosvarianssin laskentakaavat. Tällä kurssilla tarkastellaan ainoastaan odotusarvon estimointia. Jukka Kemppainen Mathematics Division 12 / 42

Estimaattori ja estimaatti Olkoon θ estimoitava parametri ja θ = g(x 1,X 2,...,X n ) sen estimaattori. Estimaattorin otoksessa (x 1,...,x n ) saamaa arvoa ˆθ = g(x 1,...,x n ) sanotaan parametrin θ piste-estimaatiksi tai lyhyemmin estimaatiksi. Estimaattori on satunnaismuuttuja ja estimaatti otoksessa laskettu todellinen luku. Hyvä estimaattori on harhaton, sillä on pieni varianssi ja se on tarkentuu havaintojen lukumäärän kasvaessa. Jukka Kemppainen Mathematics Division 13 / 42

Esimerkki Esim. 29 Olkoot x i havaintoja samalla tavalla jakautuneista satunnaismuuttujista X i, joille E(X i ) = µ. Totea, että otoskeskiarvo X = 1 n n k=1 X i toteuttaa ehdot (i) E(X) = µ (harhattomuus), (ii) Var(X) on pieni, kun n on suuri (pieni varianssi), (iii) lim n X = µ (tarkentuvuus). Havainnoista laskettua keskiarvoa x voidaan siis käyttää odotusarvon estimaattina ainakin, kun n on riittävän suuri. Jukka Kemppainen Mathematics Division 14 / 42

Hyvän estimaatin löytäminen Hyvän estimaatin löytämiseksi on olemassa erilaisia menetelmiä. Eräs yleisimmin käytetyistä on ns. suurimman uskottavuuden estimointi tai ML-estimointi (ML=Maximum Likelihood). Tarkastellaan seuraavaksi ML-estimointia yksityiskohtaisemmin. Jukka Kemppainen Mathematics Division 15 / 42

Suurimman uskottavuuden menetelmä Suurimman uskottavuuden menetelmä eli ML-menetelmä (ML=maximum likelihood) on suosittu jakauman parametrien estimointimenetelmä, koska sen antamilla estimaattoreilla on yleensä enemmän hyviä ominaisuuksia kuin muiden menetelmien antamilla estimaattoreilla. Tarkastellaan menetelmää aluksi yhden tuntemattoman parametrin tapauksessa. Olkoon f satunnaismuuttujan tiheysfunktio (diskreetissä tapauksessa pistetodennäköisyysfunktio), joka riippuu tuntematomasta parametrista θ, ja merkitään f(x) = f(x; θ). Jos (x 1,...,x n ) on riippumaton otos X:stä. Otosta vastaa likelihoodfunktio (tai uskottavuusfunktio) L(θ) = f(x 1 ;θ)f(x 2 ;θ) f(x n ;θ), joka on siis parametrin θ funktio. Jukka Kemppainen Mathematics Division 16 / 42

Suurimman uskottavuuden menetelmä Suurimman uskottavuuden menetelmässä parametri θ määrätään siten, että likelihoodfunktio saa maksiminsa kyseisellä θ:n arvolla. Jos L on derivoituva θ:n suhteen, niin PK I:n mukaan maksimi saavutetaan joko derivaatan nollakohdassa L θ = 0 tai parametria rajoittavan välin päätepisteissä. Joidenkin todennäköisyystiheyksien tapauksessa on järkevää tarkastella likelihoodfunktion sijaan sen logaritmia, jolloin derivaattaa koskeva ehto on ln L θ = 0. Jukka Kemppainen Mathematics Division 17 / 42

Suurimman uskottavuuden menetelmä Jos satunnaismuuttujan X jakaumassa on r estimoitavaa parametria θ 1,...,θ r, on L = L(θ 1,...,θ r ) parametrien θ 1,...,θ r funktio. Tällöin maksimi saavutetaan joko parametreja rajoittavan alueen reunalla tai gradientin nollakohdassa, jolloin L = = L = 0. θ 1 θ r Uskottavuusfunktion logaritmille gradienttia koskeva ehto on ln L θ 1 = = ln L θ r = 0. Gradientin nollakohta on maksimikohta, jos Hessin matriisi [ 2 L(θ 1,...,θ r ) θ i θ j ] r i,j=1 on gradientin nollakohdassa negatiivisesti definiitti (eli kaikki ominaisarvot ovat negatiivisia). Jukka Kemppainen Mathematics Division 18 / 42

Esimerkkejä Esim. 30 Liikenneonnettomuuksien lukumäärä eräässä vilkasliikenteisessä risteyksessä on Poisson-jakautunut odotusarvona θ onnettomuutta vuorokaudessa (θ tuntematon). Kolmenkymmenen vuorokauden pituisena ajanjaksona sattui risteyksessä 60 onnettomuutta. Estimoi θ suurimman uskottavuuden menetelmällä. Esim. 31 Olkoon X normaalijakautunut satunnaismuuttuja, X N(µ,σ 2 ). Estimoi suurimman uskottavuuden menetelmällä odotusarvo µ, kun σ tunnetaan. Jos yllä myös σ on tuntematon, johtaa ML-menetelmä kahden parametrin µ ja σ ääriarvotehtävään. Jukka Kemppainen Mathematics Division 19 / 42

Luottamusväli Piste-estimaatin ongelma on siinä, ettei se kerro estimoinnin tarkkuudesta mitään. Tämän vuoksi parametria estimoidaan usein myös välinä, joka kertoo meille kuinka luotettava estimaatti on. Koska väli määrätään tietyn otantajakauman avulla ja koska tällä kurssilla käsiteltävät testit pohjautuvat normaalijakaumaan, käsitellään seuraavaksi tärkeitä otantajakaumia. Jukka Kemppainen Mathematics Division 20 / 42

Normaalijakaumasta johdettuja jakaumia χ 2 -jakauma Olkoot Z 1,...,Z ν riippumattomia ja normaalijakautuneita satunnaismuuttujia, Z i N(0,1). Tällöin satunnaismuuttuja χ 2 ν = Z2 1 + +Z2 ν on χ 2 -jakautunut vapausasteilla ν. χ 2 -jakauman tiheysfunktio on x ν 2 1 e x 2 f ν (x) = 2 ν,kun x > 0 2Γ( ν 2 ) 0, muulloin. Tämä jakauma on keskeinen esimerkiksi χ 2 -yhteensopivuus- ja riippumattomuustesteissä, joita ei kuitenkaan käsitellä tällä kurssilla. Jukka Kemppainen Mathematics Division 21 / 42

Normaalijakaumasta johdettuja jakaumia Studentin t-jakauma Olkoot Z 1,Z 2,...,Z ν,z N(0,1) riippumattomia satunnaismuuttujia. Silloin satunnaismuuttuja t ν = 1 ν Z ν i=1 Z2 i noudattaa Studentin t-jakaumaa vapausastein ν. Vapausasteet on nimittäjän neliösummassa olevien riippumattomien yhteenlaskettavien Z 2 i lukumäärä. Jukka Kemppainen Mathematics Division 22 / 42

Tärkeitä lauseita Lause 17 Olkoot X 1,...,X n riippumattomia ja normaalijakautuneita sm:ia, X i N(µ,σ 2 ). Tällöin otoskeskiarvo X = 1 n n i=1 X i ja otosvarianssi S 2 = 1 n 1 ovat riippumattomia sm:ia. n (X i X) 2 i=1 Jukka Kemppainen Mathematics Division 23 / 42

Tärkeitä lauseita Lause 18 Olkoot X 1,...,X n kuten edellisessä Lauseessa. Tällöin 1. 2. (n 1)S 2 χ 2 σ 2 n 1. X µ S t n 1. n Huomautus 9 χ 2 - ja t-jakaumia nimitetään otantajakaumiksi, sillä Lauseen 18 mukaan niitä voidaan hyödyntää odotusarvon ja hajonnan estimoinnissa kuten jatkossa nähdään. Jukka Kemppainen Mathematics Division 24 / 42

Normaalijakaumasta johdettuja jakaumia Määr. 24 (Fisherin F-jakauma) Olkoon X χ 2 -jakautunut sm. vapausasteilla m ja Y χ 2 -jakautunut sm. vapausasteilla n. Tällöin osamäärä F = X/m Y/n on Fisherin F-jakautunut vapausasteilla m ja n ja merkitään F F(m,n). Tämä jakauma on keskeinen esimerkiksi hajonnan testaamisessa ja ANOVAssa. Ei käsitellä näitä kuitenkaan tällä kurssilla. Jukka Kemppainen Mathematics Division 25 / 42

Luottamusvälin määritelmä Kuten edellä todettiin, tuntematonta parametria voidaan estimoida piste-estimaatin ohella väliestimaatilla, joka antaa informaatiota estimaatin tarkkuudesta. Edellytyksenä on, että tunnetaan tilanteeseen sopivan muuttujan jakaantumislaki. Tarkastellaan yleisellä tasolla parametrin luottamusvälin määritelmää ja tarkastellaan tällä kurssilla tarkemmin ainoastaan odotusarvon luottamusvälin määräämistä. Luottamusväli liittyy aina otokseen, joten siihen sisältyy automaattisesti epävarmuutta, jota sanotaan riskiksi ja merkitään usein symbolilla α. Parametrin θ luottamusväli riskillä α on satunnainen väli [θ L,θ U ], jolle pätee P(θ L θ θ U ) = 1 α, missä θ L ja θ U ovat otossuureita. Jukka Kemppainen Mathematics Division 26 / 42

Luottamusvälin määritelmä Siis tn. sille, että parametri θ on kyseisellä välillä [θ L,θ U ] on 100(1 α)%. Yhtälailla tn. sille, että θ ei ole kyseisellä välillä, on 100α%. Välille käytetään myös nimitystä 100(1 α)%:n luottamusväli. Usein käytetään 95%:n luottamusväliä. Huomautus 10 Käytännössä luottamusväli ilmoitetaan otoksesta saatuna realisaationa [ θ L, θ U ], mutta on tärkeää huomata, että väli vaihtelee otoksesta toiseen. Sopimus: Jatkossa luottamusvälillä tarkoitetaan väliä [θ 1,θ 2 ], joka on otoksesta laskettu realisaatio. Jukka Kemppainen Mathematics Division 27 / 42

Luottamusvälin tulkinta Koska luottamusväli [θ 1,θ 2 ] vaihtelee otoksesta toiseen, on luottamusvälin tulkinnassa oltava tarkkana. Huomaa, että tuntematon parametri on kiinteä luku ja laskettu väli vaihtelee otoksesta toiseen. Niinpä emme tarkkaan ottaen tiedä tn.:ää, millä tuntematon parametri θ kuuluu jollekin välille, vaikka tällaista ilmaisua usein käytetään. Riskin 5% tai yhtälailla 95%:n luottamusvälin oikea tulkinta on, että laskemalla 100 otoksesta luottamusvälit, tuntematon parametri kuuluu keskimäärin 95 laskettuun väliin ja ei kuulu keskimäärin 5 väliin. Jukka Kemppainen Mathematics Division 28 / 42

Luottamusvälin tyypit Luottamusväli voi olla: Yksisuuntainen luottamusväli Tällöin joko θ 1 = tai θ 2 = ja tarkastellaan onko estimoitava parametri jonkin rajan ala- vai yläpuolella kiintellä riskitasolla α. Kaksisuuntainen luottamusväli Usein θ 1 ja θ 2 valitaan niin, että väli on todennäköisyyksiin nähden symmetrinen, eli P(θ < θ L ) = P(θ > θ U ) = α/2. Jukka Kemppainen Mathematics Division 29 / 42

Otossuureiden määrääminen Koska välin [θl,θ U ] ylä- ja alaraja ovat otossuureita eli otoksesta riippuvia satunnaismuuttujia, voidaan niiden arvot laskea otoksen avulla. Ei ole yhtä ainoaa tapaa määrätä hyvät estimaattorit välin päätepistettä kuvaaviksi satunnaismuuttujiksi. Ongelma on sopivan otantajakauman löytäminen. Tällä kurssilla tarkastellaan ainoastaan odotusarvon estimointia. Käytetään hyväksi Esimerkissä 29 todettua tietoa, että X on hyvä odotusarvon estimaattori. Katsotaan esimerkkien avulla, miten sopivat estimaattorit voidaan löytää luottamusvälin päätepisteiksi. Jukka Kemppainen Mathematics Division 30 / 42

Esimerkkejä Esim. 32 Määrää 95 %:n luottamusväli normaalijakautuneen satunnaismuuttujan odotusarvolle, jonka varianssi σ 2 = 9, käyttämällä otosta, jossa n = 100 ja x = 5. Mitkä ovat välin päätepisteitä vastaavat estimaattorit? Vihje: Käytä hyväksi tietoa Z = X µ σ/ n N(0,1). Jukka Kemppainen Mathematics Division 31 / 42

Esimerkkejä Esim. 33 Mitattaessa dieselöljyn leimahduspistettä saatiin seuraavat tulokset ( C) 51.11, 52.78, 52.22, 50.00, 51.12. Oletetaan, että mittaukset ovat normaalijakautuneita ja riippumattomia. Määrää leimahduspisteen odotusarvon 95 % luottamusväli (riskitaso 5 %). Vihje: Käytä Lausetta 18. Jukka Kemppainen Mathematics Division 32 / 42

Yhteenveto odotusarvon luottamusvälistä Tarkastellaan odotusarvon luottamusvälin määräämistä otoksen avulla riskitasolla α tn:n suhteen symmetrisessä tapauksessa. Odotusarvon luottamusväli, kun σ tunnetaan Jos täytyy estimoida normaalijakautuneen sm:n odotusarvoa, niin lasketaan otoksesta keskiarvo x, Käytetään hyväksi tietoa Z = X µ σ/ n N(0,1). Luetaan normaalijakauman taulukosta arvo z α/2 s.e. P(Z z α/2 ) = α/2 = P(Z z α/2 ). Luottamusväliksi saadaan [x z α/2 σ/ n,x + z α/2 σ/ n]. Jukka Kemppainen Mathematics Division 33 / 42

Odotusarvon luottamusväli Odotusarvon luottamusväli, kun σ on tuntematon Lasketaan otoksesta keskiarvo x ja hajonta s. Käytetään hyväksi Lausetta 18, jonka mukaan X µ S/ n t n 1. Luetaan Studentin t-jakauman taulukosta arvo t α s.e. P(t n 1 < t α/2 ) = α/2 = P(t n 1 > t α/2 ). Luottamusväliksi saadaan [x t α/2 s/ n,x + t α/2 s/ n]. Jukka Kemppainen Mathematics Division 34 / 42

Odotusarvon luottamusväli Huomaa molemmissa tapauksissa luottamusvälin sama muoto: piste-estimaatti ±r 0 piste-estimaatin keskivirhe, missä piste-estimaatti on x, kynnysarvo r 0 on joko z α/2 tai t α/2 siitä riippuen, että tunnetaanko hajonta σ vai ei. Sama muoto säilyy muillekin kuin odotusarvon estimaateille. Jukka Kemppainen Mathematics Division 35 / 42

Luottamusväli muille jakaumille Luottamusväli voidaan määrätä myös muille jakaumille kuin normaalijakaumalle edellä esitetyllä tavalla, kunhan n on riittävän suuri. Perusteluna on keskeinen raja-arvolause. Tarkastellaan seuraavassa luottamusvälin määräämistä binomijakautuneen satunnaismuuttujan parametrille p, kun n on riittävän suuri. Jukka Kemppainen Mathematics Division 36 / 42

Suhteellisen osuuden p luottamusväli Suhteellisen osuuden luottamusväli voidaan määrätä edellä kuvatulla tavalla, kun otoskoko n on riittävän suuri (np(1 p) > 9). Suhteellisen osuuden p estimaattori p = X n, missä X Bin(n,p), p(1 p) n. on harhaton ja sen keskihajonta on σ = ( Keskeisen raja-arvolauseen mukaan 1 n (p, X N Tällöin Z = X n p p(1 p) n = X np np(1 p) N(0,1). ) p(1 p) 2 ) n. Määrätään jälleen normaalijakauman taulukosta arvo z α/2, jolle P(Z > z α/2 ) = α/2 = P(Z < z α/2 ). Jukka Kemppainen Mathematics Division 37 / 42

Suhteellisen osuuden luottamusväli Tällöin P( z α/2 < X n p p(1 p) < z α/2 ) = 1 α, eli n X p(1 p) P( n z α/2 p X p(1 p) ) n n + z α/2 = 1 α. n Korvataan yllä p:n ala- ja ylärajalla esiintyvät X/n ja p otoksesta saatavalla ˆp = x n, jolloin parametrin p luottamusväliksi riskitasolla α tai yhtälailla p:n 100(1 α)%:n luottamusväliksi saadaan [ ˆp z α/2 ˆp(1 ˆp) n ˆp(1 ˆp) ],ˆp + z α/2. n Jukka Kemppainen Mathematics Division 38 / 42

Esimerkki Esim. 34 Ennen kevään 2012 presidentinvaalien ensimmäistä kierrosta Ylen Taloustutkimuksella teettämässä gallup-kannatustutkimuksessa saatiin seuraavat tulokset Ehdokas PA EB SE PH PL SN TS PV EOS Kannatus(%) 4 2 2 12 5 29 6 10 30 Yllä esimerkiksi PA tarkoittaa Paavo Arhinmäkeä ja EOS tarkoittaa, ettei henkilö ole osannut sanoa tai ei ole halunnut ilmoittaa kantaansa. Kyselyyn osallistui 1457 henkilöä. Määrää SN:n kannatuksen 95 %:n luottamusväli. Jukka Kemppainen Mathematics Division 39 / 42

Normaalisuuden testaus (1/3) Koska tämän kurssin useimmat testit pohjautuvat normaalijakaumalle, on syytä tarkastella, ovatko havainnot todella peräisin normaalijakaumasta. Joissakin tapauksissa voidaan vedota keskeiseen raja-arvolauseeseen, muttei aina etenkään pienillä havaintoaineistoilla. Onneksi normaalisuuden testausta varten on olemassa erilaisia testejä: χ 2 -yhteensopivuustesti, Lillieforsin testi (Kolmogorov-Smirnov-testin muunnos), graafinen vertailu Tarkastellaan lähemmin viimeksi mainittua. Jukka Kemppainen Mathematics Division 40 / 42

Normaalisuuden testaus (2/3) Normaalisuutta voidaan tarkastella graafisesti kvantiili-kvantiili-käyrän (QQ-käyrä eng. QQ-plot) avulla. Sitä varten havainnot y 1,...,y n järjestetään suuruusjärjestykseen y (1) y (2) y (n 1) y (n). Järjestettyjä havaintoja verrataan normaalijakauman X N(µ,σ 2 ) kvantiileihin q(f i ) eli pisteisiin, joille F X (q(f i )) = f i i n Mikäli järjestetyt havainnot asettuvat lähelle suoraa, voidaan havaintoja pitää normaalijakautuneina. Jukka Kemppainen Mathematics Division 41 / 42

Normaalisuuden testaus (3/3) Kuvaan on piirretty erään vetokokeen aineiston QQ-käyrä. Tässä aineistossa oletusta, että vetolujuus X noudattaa normaalijakaumaa N(µ,σ 2 ), voidaan pitää järkevänä. Tässä on estimoitu µ x ja σ s. Havaintojen pitäisi olla suoralla y = x ja näin näyttäisi olevankin. Jukka Kemppainen Mathematics Division 42 / 42