MS-A0502 Todennäköisyyslaskennan ja tilastotieteen peruskurssi

Samankaltaiset tiedostot
MS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi

MS-A0503 Todennäköisyyslaskennan ja tilastotieteen peruskurssi

MS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi

MS-A0502 Todennäköisyyslaskennan ja tilastotieteen peruskurssi

MS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi

MS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi

MS-A0503 Todennäköisyyslaskennan ja tilastotieteen peruskurssi

MS-A0502 Todennäköisyyslaskennan ja tilastotieteen peruskurssi

MS-A0503 Todennäköisyyslaskennan ja tilastotieteen peruskurssi

MS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi

MS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi

MS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi

Estimointi. Vilkkumaa / Kuusinen 1

MS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi

MS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi

MS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi

MS-A0502 Todennäköisyyslaskennan ja tilastotieteen peruskurssi

Sovellettu todennäköisyyslaskenta B

MS-A0503 Todennäköisyyslaskennan ja tilastotieteen peruskurssi

MTTTP5, luento Otossuureita ja niiden jakaumia (jatkuu)

Osa 2: Otokset, otosjakaumat ja estimointi

Estimointi populaation tuntemattoman parametrin arviointia otossuureen avulla Otossuure satunnaisotoksen avulla määritelty funktio

Väliestimointi (jatkoa) Heliövaara 1

Tilastotieteen kertaus. Kuusinen/Heliövaara 1

/1. MTTTP1, luento Normaalijakauma (jatkoa) Olkoon Z ~ N(0, 1). Määritellään z siten, että P(Z > z ) =, graafisesti:

tilastotieteen kertaus

/1. MTTTP1, luento Normaalijakauma (kertausta) Olkoon Z ~ N(0, 1). Määritellään z siten, että P(Z > z ) =, graafisesti:

MS-A0502 Todennäköisyyslaskennan ja tilastotieteen peruskurssi

MS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi

Luku 10. Bayesläiset estimaattorit Bayesläiset piste-estimaatit. Lasse Leskelä Aalto-yliopisto 18. lokakuuta 2017

Tilastollinen aineisto Luottamusväli

MS-A0503 Todennäköisyyslaskennan ja tilastotieteen peruskurssi

Ilkka Mellin Tilastolliset menetelmät Osa 2: Otokset, otosjakaumat ja estimointi Estimointi

7.4 Normaalijakauma (kertausta ja täydennystä) Taulukosta P(Z 1,6449) = 0,05, P(Z -1,6449) = 0,05 P(Z 1,96) = 0,025, P(Z -1,96) = 0,025

Otoskeskiarvo on otossuure, jonka todennäköisyysjakauma tiedetään. Se on normaalijakauma, havainnollistaminen simuloiden

MS-A0502 Todennäköisyyslaskennan ja tilastotieteen peruskurssi

Johdatus tilastotieteeseen Väliestimointi. TKK (c) Ilkka Mellin (2005) 1

Sovellettu todennäköisyyslaskenta B

Teema 8: Parametrien estimointi ja luottamusvälit

Tilastotieteen kertaus. Vilkkumaa / Kuusinen 1

MS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi

MS-A0503 Todennäköisyyslaskennan ja tilastotieteen peruskurssi

MS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi

9. laskuharjoituskierros, vko 12-13, ratkaisut

MS-A0503 Todennäköisyyslaskennan ja tilastotieteen peruskurssi

Luottamusvälit. Normaalijakauma johnkin kohtaan

806109P TILASTOTIETEEN PERUSMENETELMÄT I Hanna Heikkinen Esimerkkejä estimoinnista ja merkitsevyystestauksesta, syksy (1 α) = 99 1 α = 0.

Sovellettu todennäköisyyslaskenta B

Tilastolliset luottamusvälit

Johdatus tilastotieteeseen Estimointi. TKK (c) Ilkka Mellin (2005) 1

Tilastolliset menetelmät. Osa 1: Johdanto. Johdanto tilastotieteeseen KE (2014) 1

Tilastollisia peruskäsitteitä ja Monte Carlo

MS-A0503 Todennäköisyyslaskennan ja tilastotieteen peruskurssi

MS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi

dx=5&uilang=fi&lang=fi&lvv=2014

Tilastollisen analyysin perusteet Luento 1: Lokaatio ja hajonta

MS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi

Estimointi. Estimointi. Estimointi: Mitä opimme? 2/4. Estimointi: Mitä opimme? 1/4. Estimointi: Mitä opimme? 3/4. Estimointi: Mitä opimme?

Tutkimustiedonhallinnan peruskurssi

Harjoitus 2: Matlab - Statistical Toolbox

Sovellettu todennäköisyyslaskenta B

Lisätehtäviä ratkaisuineen luentomonisteen lukuihin 2-4 liittyen

Parametrin estimointi ja bootstrap-otanta

riippumattomia ja noudattavat samaa jakaumaa.

Testejä suhdeasteikollisille muuttujille

Bayesläiset tilastolliset mallit

Johdatus tilastotieteeseen Testit suhdeasteikollisille muuttujille. TKK (c) Ilkka Mellin (2004) 1

11.1 Nollahypoteesi, vastahypoteesi ja poikkeavat havainnot

Sovellettu todennäköisyyslaskenta B

MTTTA1 Tilastomenetelmien perusteet 5 op Luento Kokonaisuudet johon opintojakso kuuluu

031021P Tilastomatematiikka (5 op) viikko 4

Todennäköisyyden ominaisuuksia

MTTTA1 Tilastomenetelmien perusteet 5 op Luento , osa 1. 1 Kokonaisuudet johon opintojakso kuuluu

Tilastollinen testaus. Vilkkumaa / Kuusinen 1

Johdatus tilastotieteeseen Testit laatueroasteikollisille muuttujille. TKK (c) Ilkka Mellin (2004) 1

edellyttää valintaa takaisinpanolla Aritmeettinen keskiarvo Jos, ½ Ò muodostavat satunnaisotoksen :n jakaumasta niin Otosvarianssi Ë ¾

/1. MTTTP5, luento Normaalijakauma (jatkuu) Binomijakaumaa voidaan approksimoida normaalijakaumalla

MS-A0501 Todennäköisyyslaskennan ja tilastotieteen peruskurssi

30A02000 Tilastotieteen perusteet

FoA5 Tilastollisen analyysin perusteet puheentutkimuksessa. 6. luento. Pertti Palo

Aalto-yliopisto, Matematiikan ja systeemianalyysin laitos /Malmivuori MS-A0502 Todennäköisyyslaskennan ja tilastotieteen peruskurssi,

Testit laatueroasteikollisille muuttujille

P(X = x T (X ) = t, θ) = p(x = x T (X ) = t) ei riipu tuntemattomasta θ:sta. Silloin uskottavuusfunktio faktorisoituu

Jos nyt on saatu havaintoarvot Ü ½ Ü Ò niin suurimman uskottavuuden

11.1 Nollahypoteesi, vastahypoteesi ja p-arvo

Tutkimusongelmia ja tilastollisia hypoteeseja: Perunalastupussien keskimääräinen paino? Nollahypoteesi Vaihtoehtoinen hypoteesi (yksisuuntainen)

pitkittäisaineistoissa

Mat Sovellettu todennäköisyyslasku A

3.6 Su-estimaattorien asymptotiikka

Gripenberg. MS-A0502 Todennäköisyyslaskennan ja tilastotieteen peruskurssi Tentti ja välikoeuusinta

pitkittäisaineistoissa

Poisson-prosessien ominaisuuksia ja esimerkkilaskuja

Johdatus tilastotieteeseen Testit suhdeasteikollisille muuttujille. TKK (c) Ilkka Mellin (2005) 1

/1. MTTTP5, luento Normaalijakauma (jatkuu) Binomijakaumaa voidaan approksimoida normaalijakaumalla

l (φ; y) = l(θ(φ); y) Toinen derivaatta saadaan tulon derivaatan laskusäännöllä Uudelleenparametroidun mallin Fisherin informaatio on

Luottamisvälin avulla voidaan arvioida populaation tuntematonta parametria.

Luottamisvälin avulla voidaan arvioida populaation tuntematonta parametria.

Yksisuuntainen varianssianalyysi (jatkoa) Heliövaara 1

Luottamisvälin avulla voidaan arvioida populaation tuntematonta parametria.

Tilastollisen analyysin perusteet Luento 1: Lokaatio ja hajonta

Transkriptio:

MS-A0502 Todennäköisyyslaskennan ja tilastotieteen peruskurssi 4B Tilastolliset luottamusvälit Lasse Leskelä Matematiikan ja systeemianalyysin laitos Perustieteiden korkeakoulu Aalto-yliopisto Syksy 2016, periodi II

Esim. Kahviautomaatti Kahviautomaatin on tarkoitus laskea jokaiseen kuppiin keskimäärin 10.0 cl kahvia. Kahviautomaatin toimintaa testattiin valuttamalla automaatista 25 kupillista ja mittamalla kahvin määrät kupeissa. Mittauksessa havaittiin arvot (cl): x = (10.17, 11.23, 9.59, 8.94, 10.14, 9.66, 10.22, 9.59, 11.11, 9.94, 9.76, 9.92, 10.43, 10.05, 9.19, 10, 10.38, 10.02, 10.37, 9.93, 9.97, 10.24, 10.5, 9.38, 9.98) Mittausdatan keskiarvo on m(x) = 10.03. Onko kahviautomaatin valuttamien kahvimäärien todellinen keskiarvo µ lähellä lukua 10.03?

Sisältö Datalähteen stokastinen malli Normaalimallin odotusarvon luottamusväli Yleisen mallin odotusarvon luottamusväli Binaarimallin parametrin estimointi

Datalähteen stokastinen malli Havaittu data Datalähteestä (esim. suuri populaatio) on havaittu arvot x 1,..., x n. Halutaan päätellä (=arvata) tutkittavan suureen (tuntematon) jakauma f (x). Stokastinen malli Tilastokokeen tulosta (ennen mittausten tekemistä) mallinnetaan satunnaismuuttujilla X 1,..., X n, jotka ovat toisistaan riippumattomat ja noudattavat (tuntematonta tai oletettua) jakaumaa f (x). Stokastinen malli on tarkka, kun: Havaitut alkiot on valittu tasaisen satunnaisesti ja riippumattomasti. Havaittujen alkioiden lukumäärä on pieni suhteessa populaation kokoon.

Datalähteen stokastisen mallin soveltaminen Ongelma Otantatutkimuksessa on havaittu arvot (x 1,..., x n ). Miten voidaan havainnoista päätellä tutkittavan suureen (tuntematon) jakauma koko populaatiossa? Ratkaisu Tehdään arvaus, että jakauma on f (x). Jos arvaus on (likimain) oikea, niin otannan tulosta voidaan mallintaa satunnaismuuttujilla (X 1,..., X n ), jotka ovat toisistaan riippumattomat ja noudattavat (likimain) jakaumaa f (x). Stokastiikan menetelmillä johdetaan tn, että (X 1,..., X n ) saa (likimain) arvon (x 1,..., x n ). Jos saatu tn 0, hylätään arvaus todennäköisin syin.

Datajoukon ja stokastisen mallin tunnusluvut Stokastiikan menetelmillä johdetaan tn, että (X 1,..., X n ) saa (likimain) arvon (x 1,..., x n ). Lasketaan tunnusluku g(x 1,..., x n ) datasta Tutkitaan, millä tn:llä satunnaisluku g(x 1,..., X n ) on likimain g(x 1,..., x n ) Tunnusluku on funktio g : R n R. (Idea: sääntö, jolla n havainnon aineistosta lasketaan yksi luku ) Esim Keskiarvo m(x) = 1 n n x i Otosvarianssi s 2 (x) = 1 n n 1 (x i m(x)) 2

Stokastisen mallin keskiarvo Hypoteettista jakaumaa f (x) odotusarvona µ ja keskihajontana σ vastaavan tilastokokeen stokastisen mallin X = (X 1,..., X n ) keskiarvo m(x ) = 1 n n X i on satunnaisluku, jonka odotusarvo on [ ] 1 n E[m(X )] = E X i = 1 n E[X i ] = 1 n µ = µ n n n ja keskihajonta on SD[m(X )] = SD [ 1 n ] n X i = 1 n SD [ n X i ] = 1 n σ n = σ n.

Stokastisen mallin varianssi Hypoteettista jakaumaa f (x) odotusarvona µ ja keskihajontana σ vastaavan tilastokokeen stokastisen mallin X = (X 1,..., X n ) varianssi σ 2 (X ) = 1 n n (X i m(x )) 2 on satunnaisluku, jonka odotusarvoksi saadaan yleiskaavojen 1 n (X i m(x )) 2 = 1 n n n X 2 i m(x ) 2 Var[Y ] = E[Y 2 ] (E[Y ]) 2 ja keskiarvon ominaisuuksien E[m(X )] = µ, Var[m(X )] = σ 2 /n avulla [ ] E[σ 2 1 n (X )] = E Xi 2 m(x ) 2 = E[X1 2 ] E[m(X ) 2 ] n = Var[X 1 ] + (E[X 1 ]) 2 Var[m(X )] (E[m(X )]) 2 = σ 2 + µ 2 σ 2 /n µ 2 = (1 1/n)σ 2. Suurille n:n arvoilla siis stokastisen mallin tuottamasta satunnaisvektorista X = (X 1,..., X n ) laskettu varianssi σ 2 (X ) on siis odotusarvoltaan lähellä hypoteettisen jakauman f (x) varianssiparametria: E[σ 2 (X )] = (1 1/n)σ 2 σ 2.

Stokastisen mallin otosvarianssi Puoltamaton hypoteettisen jakauman varianssin estimaattori saadaan kertomalla varianssi s 2 (X ) vakiolla n/(n 1): s 2 (X ) = n n 1 σ2 (X ) = 1 n 1 n (X i m(x )) 2 Ylläoleva satunnaisluku on stokastisen mallin otosvarianssi. Hypoteettisen jakauman f (x) pohjalta muodostetun stokastisen mallin X = (X 1,..., X n ) otosvarianssi on siis odotusarvoltaan E[s 2 (X )] = E [ ] n n 1 σ2 (X ) = n n 1 (1 1/n)σ2 = σ 2 Tulkinta: Jos n otoksen satunnaisotanta toistettaisiin riippumattomasti suuri määrä kertoja ja havaituista otosvariansseista laskettaisiin keskiarvo, olisi kyseinen keskiarvo suurten lukujen lain mukaan hyvin lähellä koko populaation varianssia σ 2.

Datajoukon ja stokastisen mallin keskiarvot Havainnot (x 1,..., x n ) Stokastinen malli (X 1,..., X n ) n n m(x) = 1 n x i m(x ) = 1 n X i E(m(x)) = m(x) SD(m(x)) = 0 E(m(X )) = x f (x)dx = µ SD(m(X )) = 1 σ = 1 n n Yllä µ ja σ ovat hypoteettisen jakauman f (x) odotusarvo ja keskihajonta (jotka lasketaan matemaattisesti, datasta riippumatta). Stokastisen mallin keskiarvo m(x ) on satunnaisluku, jonka odotusarvo on µ ja keskihajonta σ/ n. (x µ) 2 f (x)dx

Datajoukon ja stokastisen mallin otosvarianssit Havaittu data (x 1,..., x n ) s 2 (x) = 1 n 1 n (x i m(x)) 2 E(s 2 (x)) = s 2 (x) SD(s 2 (x)) = 0 Stokastinen malli (X 1,..., X n ) s 2 (X ) = 1 n 1 E(s 2 (X )) = σ 2 = n (X i m(x )) 2 SD(s 2 (X )) = (x µ) 2 f (x)dx. Huom Stokastisen mallin otosvarianssi s 2 (X ) on satunnaisluku, jonka odotusarvo on hypoteettisen jakauman varianssi σ 2.

Yleisen stokastisen mallin keskiarvo Stokastinen malli: X 1,..., X n riippumattomia satunnaislukuja odotusarvona µ ja keskihajontana σ Satunnaismuuttujan m(x ) = 1 n n X i odotusarvo on E [ 1 n ] [ n n ] X i = 1 n E X i = 1 n n E [X i ] = µ ja keskihajonta SD [ 1 n ] n X i = 1 n SD [ n X i ] = 1 n SD(X i ) n 2 = σ/ n. Normitetun virheen odotusarvo ja keskihajonta ovat [ ] [ ] m(x ) µ m(x ) µ E σ/ = 0, SD n σ/ n = 1.

Sisältö Datalähteen stokastinen malli Normaalimallin odotusarvon luottamusväli Yleisen mallin odotusarvon luottamusväli Binaarimallin parametrin estimointi

Esim. Kahviautomaatti Kahviautomaatin on tarkoitus laskea jokaiseen kuppiin keskimäärin 10.0 cl kahvia. Kahviautomaatin toimintaa testattiin valuttamalla automaatista 25 kupillista ja mittamalla kahvin määrät kupeissa. Mittauksessa havaittiin arvot (cl): x = (10.17, 11.23, 9.59, 8.94, 10.14, 9.66, 10.22, 9.59, 11.11, 9.94, 9.76, 9.92, 10.43, 10.05, 9.19, 10, 10.38, 10.02, 10.37, 9.93, 9.97, 10.24, 10.5, 9.38, 9.98) Mittausdatan keskiarvo on m(x) = 10.03. Määritä havaitun datan pohjalta luottamusväli todelliselle µ:n arvolle.

Normaalimallin odotusarvoparametrin piste-estimaatti x = (10.17, 11.23, 9.59, 8.94, 10.14, 9.66, 10.22, 9.59, 11.11, 9.94, 9.76, 9.92, 10.43, 10.05, 9.19, 10, 10.38, 10.02, 10.37, 9.93, 9.97, 10.24, 10.5, 9.38, 9.98) Datalähteen stokastinen malli: X 1,..., X 25 riippumattomia ja normaalijakautuneita odotusarvona µ ja keskihajontana σ = 0.5 Tehtävä: Estimoi normaalimallin parametri µ Uskottavuusfunktio f (x 1,..., x n µ, σ) = n 1 (x 2πσ 2 e i µ) 2σ 2 = Parametrin µ suurimman uskottavuuden estimaatti on 2 m(x) = 1 n n x i = 10.03 Kuinka tarkka tämä estimaatti on? Millä tn datalähteen tuottamia arvoja mallintavasta satunnaisvektorista laskettu keskiarvo m(x ) on lähellä parametria µ?

Normaalimallin keskiarvo Normaalimalli: X 1,..., X n riippumattomia ja normaalijakautuneita satunnaislukuja odotusarvona µ ja keskihajontana σ Normitetun virheen odotusarvo on 0 ja keskihajonta 1. Koska m(x ) µ σ/ n riippumattomien normaalijakautuneiden summa on normaalijakautunut, normaalijakautuneen satunnaismuuttujan siirretty ja skaalattu versio on normaalijakautunut, noudattaa normitettu virhe normitettua normaalijakaumaa.

Normaalimallin väliestimaatti x = (10.17, 11.23, 9.59, 8.94, 10.14, 9.66, 10.22, 9.59, 11.11, 9.94, 9.76, 9.92, 10.43, 10.05, 9.19, 10, 10.38, 10.02, 10.37, 9.93, 9.97, 10.24, 10.5, 9.38, 9.98) Datalähteen stokastinen malli: X 1,..., X 25 riippumattomia ja normaalijakautuneita odotusarvona µ ja keskihajontana σ = 0.5 ( ) m(x ) µ P( m(x ) µ 0.2) = P σ/ n 0.2 0.5/ = P ( Z 2) 95%. 25 Melko suurella todennäköisyydellä (tn = 95%) siis pätee Havaitusta datajoukosta x laskettu µ [m(x ) 0.2, m(x ) + 0.2] parametrin µ piste-estimaatti on m(x) = 10.03 parametrin µ väliestimaatti on m(x) ± 0.2 = [9.83, 10.23] Voidaanko päätellä, että väli [9.83, 10.23] peittää µ:n 95% tn:llä? Ei voida.

Väliestimaatin tulkinta x = (10.17, 11.23, 9.59, 8.94, 10.14, 9.66, 10.22, 9.59, 11.11, 9.94, 9.76, 9.92, 10.43, 10.05, 9.19, 10, 10.38, 10.02, 10.37, 9.93, 9.97, 10.24, 10.5, 9.38, 9.98) Lukuväli m(x) ± 0.2 = [9.83, 10.23] on parametrin µ väliestimaatti luottamustasolla 95% Normaalimallin väliestimaatti m(x ) ± 0.2 auttaa ennakoimaan, millä tn datalähteen tuottamista arvoista laskettava väliestimaatti peittää µ:n: P(µ [m(x ) 0.2, m(x ) + 0.2]) = 95%. Jo havaitusta datasta lasketun väliestimaatin [9.83, 10.23] todennäköisyyksistä ei normaalimalli kerro mitään. Henkilö, joka laskee paljon estimaatteja yo. datalähteestä käyttäen kaavaa x m(x) ± 0.2: Tietää, että 95% lasketuista estimaateista peittää tuntemattoman parametrin µ (mutta ei tiedä, mitkä niistä) Tietää, että 5% lasketuista estimaateista ei peitä µ:tä (mutta ei tiedä, mitkä niistä)

Väliestimaatteja normaalimallista (µ = 10, σ = 0.5) 9.5 10.0 10.5

Normaalimallin 99% luottamusväli (tunnettu σ) Datalähteen normaalimalli: X 1, X 2,... riippumattomia ja normaalijakautuneita odotusarvona µ (tuntematon) ja keskihajontana σ (tunnettu) Luottamusvälin määrittäminen: 1. Lasketaan havaitusta datasta keskiarvo m(x) = 1 n n x i 2. Määritetään luku z > 0, jolle P( Z z) = 1 2Φ( z) = 0.99 = z = Φ 1 ( 1 0.99 2 ) 2.58 3. Asetetaan parametrin µ luottamusväliksi m(x) ± zσ/ n Tarkastetaan, että väliestimaatin luottamustaso on 99%. Datalähteen tuottamalle satunnaisvektorille X = (X 1,..., X n ) ( P m(x ) µ zσ/ ) ( ) m(x ) µ n = P σ/ n z = P ( Z z) = 99%.

Normaalimallin odotusarvon estimointi: Yhteenveto Datalähteen normaalimalli: X 1, X 2,... riippumattomia ja normaalijakautuneita odotusarvona µ (tuntematon) ja keskihajontana σ (tunnettu) Parametrin µ suurimman uskottavuuden piste-estimaatti on m(x) Parametrin µ väliestimaatti on m(x) ± zσ/ n 95% luottamustaso, kun z = Φ 1 ( 1 0.95 2 ) 1.96 99% luottamustaso, kun z = Φ 1 ( 1 0.99 2 ) 2.58 Esim. Kun n = 25, σ = 0.5, saadaan väliestimaateiksi: m(x) ± zσ/ n = m(x) ± 0.196 (95% luottamustasolla) m(x) ± zσ/ n = m(x) ± 0.258 (99% luottamustasolla) Käytännön ongelmia: Mitä jos σ ei ole ennalta tunnettu? Mitä jos datalähde ei noudata normaalimallia?

Normaalimallin odotusarvon estimointi: σ tuntematon Datalähteen normaalimalli: X 1, X 2,... riippumattomia ja normaalijakautuneita odotusarvona µ (tuntematon) ja keskihajontana σ (tuntematon) Asetetaan luottamusväliksi m(x) ± z s(x)/ n, missä s(x) = 1 n (x i m(x)) n 1 2 Datalähteen tuottamalle satunnaisvektorille X = (X 1,..., X n ) ( P m(x ) µ zs(x )/ ) ( ) m(x ) µ n = P s(x )/ n z =? Ongelma: Ratkaisu: m(x ) µ s(x )/ n ei noudata normitettua normaalijakaumaa Jos dataa on paljon (n iso), likimain normitettu normaalijakauma Jos dataa on vähän, lasketaan z = F 1 t,n 1 ( 1 0.99 2 ) t-jakaumasta

Sisältö Datalähteen stokastinen malli Normaalimallin odotusarvon luottamusväli Yleisen mallin odotusarvon luottamusväli Binaarimallin parametrin estimointi

Yleisen stokastisen mallin odotusarvon estimointi Yleinen stokastinen malli: X 1, X 2,... riippumattomia odotusarvona µ (tuntematon), jakauma yleinen Parametrin µ piste-estimaatti on m(x) (ei välttämättä suurimman uskottavuuden estimaatti, mutta harhaton) Likiarvoisen luottamusvälin määrittäminen: 1. Lasketaan havaitusta datasta keskiarvo m(x) ja keskihajonta s(x) 2. Määritetään luku z > 0, jolle P( Z z) = 1 2Φ( z) = 0.99 = z = Φ 1 ( 1 0.99 2 ) 2.58 3. Asetetaan parametrin µ luottamusväliksi m(x) ± z s(x)/ n Suurille datajoukoille (n iso) pätee s(x ) σ ja ( P m(x ) µ z s(x ) ) ( ) m(x ) µ P n σ/ n z P ( Z z) = 99%.

Sisältö Datalähteen stokastinen malli Normaalimallin odotusarvon luottamusväli Yleisen mallin odotusarvon luottamusväli Binaarimallin parametrin estimointi

Datalähteen binaarimalli Datalähteen binaarimalli: X 1, X 2,... riippumattomia ja {0, 1}-arvoisia satunnaislukuja odotusarvona p (tuntematon) Parametri p määrittää X i :n jakauman: E(X i ) = 0 P(X i = 0) + 1 P(X i = 1) = P(X i = 1), joten X i :n pistetodennäköisyyfunktio on 1 p, k = 0, f (k p) = p, k = 1, 0, muuten. Tämä on Bernoulli-jakauma parametrina p.

Esimerkki: Mielipidemittaus Usan äänioikeutetuista valittiin satunnaisotannalla n = 2000 henkilöä ja heiltä kysyttiin, aikovatko äänestää Trumpia presidentiksi (0=Ei, 1=Kyllä). Mittaustulos X = (X 1,..., X 2000 ) noudattaa likimain binaarimallia odotusarvoparametrina p, missä p = E(X i ) = P(X i = 1) on Trumpin (tuntematon) kannatus koko populaatiossa. Tehtävä: Määritä piste-estimaatti ja 95% luottamusväli kannatusosuudelle p.

Binaarimallin parametrin piste-estimaatti Datalähteen binaarimalli: X 1, X 2,... riippumattomia ja {0, 1}-arvoisia satunnaislukuja odotusarvona p (tuntematon) Havaittu data x = (x 1,..., x n ). Maksimoimalla uskottavuusfunktio f (x 1,..., x n p) = n (1 p) 1 x i p x i = (1 p) n x i p x i = Parametrin p suurimman uskottavuuden estimaatti on m(x) = 1 n n x i = #{i : x i = 1} n eli ykkösten suhteellinen osuus datajoukossa x.

Binaarimallin väliestimaatin määrittäminen Datalähteen binaarimalli: X 1, X 2,... riippumattomia ja {0, 1}-arvoisia satunnaislukuja odotusarvona p (tuntematon) Yleisen stokastisen mallin odotusarvoparametrin väliestimointi: Likiarvoisen luottamusvälin (n suuri) määrittäminen: 1. Lasketaan havaitusta datasta keskiarvo m(x) ja keskihajonta s(x) 2. Määritetään luku z > 0, jolle P( Z z) = 1 2Φ( z) = 0.95 = z = Φ 1 ( 1 0.95 2 ) 1.96 3. Asetetaan parametrin µ luottamusväliksi m(x) ± z s(x)/ n Käytännön ongelma: Entä jos tarkan datajoukon x = (x 1,..., x n ) sijaan tiedetään vain n ja m(x)? Tällöin s(x) jää tuntemattomaksi.

Bernoullijakauman keskihajonnan piste-estimaatti Siinä missä normaalijakauma määräytyy kahdesta parametrista (µ, σ), Bernoulli-jakauma määräytyy yhdestä parametrista p. Kun p:lle on saatu piste-estimaatti ˆp = m(x), pitäisi tästä saada estimaatti myös Bernoulli-jakauman keskihajonnalle (sitä ei tarvitse erikseen estimoida havaitun datan keskihajonnasta s(x)). Bernoulli-jakautuneen X i odotusarvo on E(X i ) = p ja keskihajonta σ = SD(X i ) = E(Xi 2 ) E(X i ) 2 = p p 2 = p(1 p) Bernoullijakauman odotusarvon ja keskihajonnan piste-estimaateiksi saadaan ˆp = m(x) ja ˆσ = ˆp(1 ˆp) = m(x)(1 m(x))

Binaarimallin väliestimaatti Datalähteen binaarimalli: X 1, X 2,... riippumattomia ja {0, 1}-arvoisia satunnaislukuja odotusarvona p (tuntematon) Likiarvoisen luottamusvälin (n suuri) määrittäminen: 1. Lasketaan havaitusta datasta keskiarvo m(x) = 1 n n x i eli ykkösten suhteellinen osuus. 2. Määritetään Bernoulli-jakauman keskihajonnan piste-estimaatti ˆσ(x) = m(x)(1 m(x)) 3. Määritetään luku z > 0, jolle P( Z z) = 1 2Φ( z) = 0.95 = z = Φ 1 ( 1 0.95 2 ) 1.96 4. Asetetaan parametrin p luottamusväliksi m(x) ± z ˆσ(x) n

Binaarimallin konservatiivinen väliestimaatti Datalähteen binaarimalli: X 1, X 2,... riippumattomia ja {0, 1}-arvoisia satunnaislukuja odotusarvona p (tuntematon) Joskus halutaan päätellä luottamusvälin leveys ennen tilastokokeen tekemistä. Konservatiivinen väliestimaatti saadan korvaamalla ˆσ(x) luvulla 1 max p(1 p) = p [0,1] 2 (1 1 2 ) = 0.5. Konservatiivisen likiarvoisen luottamusvälin (n suuri) määrittäminen: 1. Lasketaan havaitusta datasta keskiarvo m(x) 2. Määritetään luku z > 0, jolle P( Z z) = 1 2Φ( z) = 0.95 = z = Φ 1 ( 1 0.95 2 ) 1.96 3. Asetetaan p:n luottamusväliksi m(x) ± z 0.5/ n m(x) ± 1 n

Binaarimallin konservatiivinen väliestimaatti Datalähteen binaarimalli: X 1, X 2,... riippumattomia ja {0, 1}-arvoisia satunnaislukuja odotusarvona p (tuntematon) Parametrin p konservatiivinen likiarvoinen luottamusväli on m(x) ± z 0.5 n. 95% luottamustaso, kun z = Φ 1 ( 1 0.95 2 ) 1.96 99% luottamustaso, kun z = Φ 1 ( 1 0.99 2 ) 2.58

Mielipidemittauksen virhemarginaali Helsingin Sanomat kertoi 2. 1. 2008 teettämästään haastattelututkimuksesta, jonka mukaan 78 prosenttia pääkaupunkiseudun 18 vuotta täyttäneistä asukkaista on sitä mieltä, että roskaamisesta tulisi voida sakottaa. Vastaajia oli 1 000, ja virhemarginaaliksi ilmoitettiin 3 prosenttiyksikköä suuntaansa. Se merkitsee, että 95 prosentin todennäköisyydellä tätä mieltä on 75 81 prosenttia pääkaupunkiseudun kansalaisista. [Tiede 3/2008] Väärin. Parametrin p (roskaamisen sakottamisen kannattajat) konservatiivinen likiarvoinen väliestimaatti 95% luottamustasolla on m(x) ± 1.96 0.5 1000 = 0.78 ± 0.03. Oikea tulkinta: Jos kysely toistettaisiin uudelle satunnaisotokselle X, niin 95% tn:llä väli m(x ) ± 0.03 peittäisi tuntemattoman parametrin p. http://www.tiede.fi/artikkeli/kysy/mika_on_virhemarginaali

Mielipidemittauksen virhemarginaali Virhemarginaali tarkoittaa satunnaisvaihtelusta syntyvää epävarmuustekijää tuloksissa, kun käytetään otostutkimuksia. Mielipidetutkimuksissa ilmoitetaan esimerkiksi, että 95 %:n virhemarginaali 1000 hengen kyselyssä on ±3 %. Tämä tarkoittaa sitä, että jos poimisimme suuren joukon samanlaisia otoksia, 95 otoksessa 100:sta otoksesta laskettu arvo on näiden marginaalien rajoissa ja vain 5 % otoksista niiden ulkopuolella. [Tilastokeskus] Selvä? Parametrin p konservatiivinen likiarvoinen väliestimaatti 95% luottamustasolla on m(x) ± 1.96 0.5 1000 m(x) ± 0.03. Selkeämpi tulkinta: Jos poimisimme suuren joukon samanlaisia otoksia, otoksesta laskettu luottamusväli sisältäisi tuntemattoman parametrin arvon 95 otoksessa 100:sta. http://www.stat.fi/meta/kas/virhemarginaali.html

Mielipidemittauksen virhemarginaali: Yhteenveto Mielipidemittauksen virhemarginaali tarkoittaa datalähteen binaarimallin tuntemattoman parametrin p (kannattajien osuus) väliestimaattia valitulla luottamustasolla. Yleensä unohdetaan mainita, mitä luottamustasoa on käytetty (yleensä 95%). Koskaan ei kerrota, mitä kaavaa on käytetty. 95% kansantajuisista virhemarginaalin määrittelyistä on virheellisiä tai epäselviä. Konservatiivisen likiarvoisen 95% luottamustason m(x) ± 1.96 0.5 n määrittämiseen riittää tietää n: n = 1000 = m(x) ± 3% n = 2000 = m(x) ± 2% n = 9000 = m(x) ± 1%

Ensi viikolla puhutaan bayesläisestä tilastollisesta päättelystä...