6.1.2 Luottamusjoukon määritelmä

Transkriptio

1 6.1.1 Johdanto Olemme tarkastelleet piste-estimointia: tavoitteemme oli etsiä tunnuslukuja t, joilla piste t(y) hyvä arvio mallin parametrille θ (tai sen muunnokselle g(θ)). Pelkän piste-estimaatin esittäminen on kuitenkin harvoin riittävä vastaus annettuun estimointitehtävään. Siksi onkin tarpeellista pyrkiä jollakin tavalla arvioimaan esitettävien piste-estimaattien tarkkuutta. Tähän olemme törmänneet tarkentuvuuden kautta.

2 6.1.1 Johdanto Hieman piste-estimointia yleisteän voimme tarkastella joukkoestimointitehtävää, jossa aineiston perusteella on rajattava parametriavaruudesta osajoukko mielellään mahdollisimman pieni, joka varsin suurella ja etukäteen annetulla varmuudella sisältäisi todellisen parametriarvon. Tämä luottamusjoukkojen teoria on läheisessä yhteydessä testiteorian kanssa ja toimii mukavana linkkinä eri kysymysten välillä

3 6.1.2 Luottamusjoukon määritelmä Tarkastellaan mallia f Y (y; θ), jonka parametriavaruus on Ω R d. Määritelmä Olkoon 0 < α < 1. Aineistosta riippuva Ω:n osajoukko A(y) on parametrin θ luottamusjoukko luottamustasolla 1 α, jos P θ (θ A(Y)) 1 α kaikilla θ Ω. (6.1) Jos d = 1 ja A(y) on väli, sitä kutsutaan myös luottamusväliksi. Englanniksi luottamusjoukko on confidence region ja luottamusväli on confidence interval.

4 6.1.2 Luottamusjoukon määritelmä Monesti tapauksessa d > 1 on mielenkiinnon kohteena koko parametrivektorin θ sijasta vain jokin sen komponentti tai osavektori ψ Sanommekin osajoukkoa A(y) P θ (ψ A(Y)) 1 α kaikilla θ Ω. tämän luottamusjoukoksi luottamustasolla 1 α Huom. Usein näkee määritelmässä epäyhtälön sijaan yhtälön =. Tämä aiheuttaa helposti ongelmia, joten käytämme mieluummin hieman joustavampaa määritelmää Tavanomaisia luottamustasoja ovat 95 % ja 99 %, jotka vastaavat lukuja α = 0.05 ja α = 0.01.

5 6.1.3 Esimerkki: normaalimalli Tarkastellaan vanhaa tuttua :) Y 1,..., Y n N(µ, σ0) 2 Ja oletetaan: σ0 2 > 0 on tunnettu Esimerkissä tarkastleimme tähän sopivaa testisuuretta Z = n(y µ) σ 0 N(0, 1)

6 6.1.3 Esimerkki: normaalimallin luottamusväli I Totesimme voimafunktioesimerkissä että P µ ( Z < z α/2 ) = 1 α. Voimme kirjoittaa tämä toisella tavalla P µ (Y z α/2σ 0 n < µ < Y + z α/2σ 0 n ) = 1 α. Koska tämä onnistuu kaikilla µ olemme löytäneet parametrin µ luottamusvälin luottamustasolla 1 α: A(y) = (y z α/2σ 0 n, y + z α/2σ 0 n )

7 6.1.3 kuvana n = 10, µ = 1, 1 α = 0.9

8 6.1.3 Esimerkki: luottamusväli ei yksikäsitteinen havaitsemme, että mikä tahansa joukoista (y z α 1 σ 0 n, y + z α 2 σ 0 n ) on luottamusväli luottamustasolla 1 α, kun α 1 + α 2 = α. kun α 1 = α, niin vastaavaa väliä kutsutaan µ:n alemmaksi luottamusväliksi ja kun α 2 = α, niin ylemmäksi luottamusväliksi. Lyhin väleistä on symmetrinen luottamusväli α 1 = α 2 = α/2.

9 6.1.3 Esimerkki: luottamusväli kun varianssi kiusaa Kuten normaalimallin odotusarvon testisuureen kanssa, löydämme vastaavasti luottamusvälin kun σ 2 on tuntematon tarkastelemalla t-testisuuretta z-testisuureen sijaan Kuten edellä, voimme soveltaa tietoa T = Y µ S/ n t n 1 Tästä päättelemme, että symmetrinen luottamusväli luottamustasolla 1 α on (y t n 1(α/2)s, y + t n 1(α/2)s ) n n

10 6.1.3 kuvana

11 6.1.3 kuvana

12 6.1.3 kuvana

13 6.1.4 Luottamusjoukon tulkinta Oletus seuraavassa: α = 0.05 eli on päätetty toimia luottamustasolla 95 %. Luottamusjoukon määrittelevä ehto (6.1) merkitsee tällöin sanallisesti ilmaistuna, että satunnainen joukko A(Y) peittää vähintään todennäköisyydellä 0.95 todellisen parametriarvon θ, joka on kiinteä ei-satunnainen piste parametriavaruudessa.

14 6.1.4 Luottamusjoukon tulkinta Ajatus perustuu siis toistokokeeseen: toistetussa aineistonkeruussa luottamusjoukko A(y) sisältäisi todellisen parametriarvon keskimäärin 95 kertaa 100:sta Todellisuudessa tutkijalla on tietenkin analysoitavanaan vain yksi aineisto y ja sitä vastaava luottamusjoukko A(y). Tästä yksittäisestä luottamusjoukon realisaatiosta ei voi sanoa, että se todennäköisyydellä 0.95 sisältäisi todellisen parametriarvon!

15 6.1.4 toistokoeajatus kuvana Ensimmäiset 01: 01 osui, 0 ei (eli 100 % osui)

35 6.1.4 toistokoeajatus kuvana Ensimmäiset 30: 25 osui, 5 ei (eli 83.3 % osui)

37 6.1.5 Esimerkki: luottamusväli ja yksittäinen aineisto Olkoon Y 1, Y 2 Tas(θ 1 2, θ ). Merkitään y (1) = min(y 1, y 2 ) ja y (2) = max(y 1, y 2 ) Tällöin riippumattomuuden nojalla P θ (Y (1) < θ < Y (2) ) = = 1 2 joten väli (y (1), y (2) ) on 50 %:n luottamusväli. Tiedämme kuitenkin, että jos y (2) y (1) > 1 2, niin θ on varmasti tällä välillä!

38 6.2 Yhteys testeihin ja saranasuureet Seuraavaksi palaamme hypoteesin testauksen ja esimerkin tunnelmiin Tarkoituksenamme on seuraavassa johtaa luottamusjoukkoja sekä testisuureitten että saranasuureitten avulla

39 6.2.1 Testien ja luottamusjoukkojen dualiteetti Esimerkissä muodostettiin luottamusvälejä normaalimallin odotusarvolle z- ja t-testisuureen avulla. Tämä ei ollut vain tuuria. Yleisestikin testien avulla voidaan muodostaa luottamusjoukkoja (ja päinvastoin). Siten testiteoria ja luottamusjoukkojen teoria ovat tietyssä mielessä ekvivalentteja.

40 6.2.1 Testien ja luottamusjoukkojen dualiteetti Tarkastellaan mallia f Y (y; θ), jonka parametriavaruus on Ω, ja olkoon 0 < α < 1. Jos θ 0 Ω, olkoon C α (θ 0 ) jonkin hypoteesia H 0 : θ = θ 0 koskevan testin α-tasoinen kriittinen alue. Kun y on havaittu aineisto, hypoteesi H 0 tulee siis hylätyksi, jos y C α (θ 0 ), ja hyväksytyksi, jos y / C α (θ 0 ). Lisäksi P θ0 (Y C α (θ 0 )) α kuten kohdissa ja on todettu.

41 6.2.1 Testien ja luottamusjoukkojen dualiteetti Merkitään A(y):llä kaikkien niiden nollahypoteesiarvojen θ 0 joukkoa, jotka tulevat hyväksytyiksi, ts. A(y) = { θ 0 ; y / C α (θ 0 ) } Nyt tämä joukko on parametrin θ luottamusjoukko luottamustasolla 1 α: nimittäin jokaisella θ Ω pätee P θ (θ A(Y)) = P θ (Y / C α (θ)) = 1 P θ (Y C α (θ)) 1 α

42 6.2.1 Testien ja luottamusjoukkojen dualiteetti Määritelmissä on hyvä käyttää epäyhtälöä, sillä diskreetit mallit ovat usein peikkomaisia : yleensä tapahtuman { Y C α (θ 0 ) } todennäköisyys ei ole tasan ennalta annetun α:n suuruinen jokaisella θ 0. (Katso esimerkki 5.5.2) Asymptoottisilla tarkasteluilla tämä ei haittaa, koska testisuureiden asymptoottiset nollahypoteesijakaumat ovat jatkuvia. Jälleen eräs syy, miksi ääretömyys auttaa :)

43 6.2.2 Saranasuureet Joissakin yksinkertaisissa malleissa voi luottamusjoukkoja muodostaa varsin kätevästi saranasuureiden avulla. Määritelmä Aineistosta ja tarkasteltavan mallin parametrista riippuvaa satunnaismuuttujaa Q(Y; θ) kutsutaan saranasuureeksi (engl. pivot, pivotal quantity), jos sen jakauma on sama kaikilla θ.

44 6.2.2 Saranasuureet Jos Q(Y; θ) on saranasuure, niin näemme, että jos joukko B toteuttaa P θ0 (Q(Y; θ 0 ) B) 1 α niin väistämättä joukko A(y) = { θ ; Q(y; θ) B) } on luottamusjoukko luottamustasolla 1 α.

45 6.2.3 Esimerkkejä (normaalimalli) Oletus: Y 1,..., Y n N(µ, σ 2 0 ) ovat riippumattomia havaintoja normaalijakaumasta, kun varianssi σ 2 0 > 0 on tunnettu Tällöin: on saranasuure n(y µ) Z = z(y, µ) = Tämä havaitsee vaikka esimerkistä 6.1.3: totesimme tuolloin, että sm:n Z jakauma P µ (Z A) ei riipu µ:stä (Z N(0, 1) oli µ mikä vaan) σ 0

46 6.2.3 Esimerkkejä (normaalimalli) Oletus: Y 1,..., Y n N(µ, σ 2 ) ovat riippumattomia havaintoja normaalijakaumasta ja varianssi on tuntematon Tällöin: n(y µ) T = t(y, µ) = S on myös saranasuure Tämänkin havaitsee esimerkistä (T t n 1 oli µ ja σ 2 mikä vaan)

47 6.2.3 Esimerkkejä (tasajakauma) Oletus: Y 1,..., Y n Tas(0, θ) ovat riippumattomia havaintoja tasajakaumasta Tällöin: on saranasuure Q(Y, θ) = Y (n) /θ = max(y 1,..., Y n )/θ Tämän avulla löydämme 95%:n luottamusvälin parametrille θ: kaikilla θ > 0 pätee P θ ( θ (Y(n), Y (n) / n 0.05) ) = 0.95

48 6.3 Uskottavuusosamäärään perustuvat luottamusjoukot Edellä kuvattua testien ja luottamusjoukkojen yhteyttä voidaan soveltaa luvun 5 lopussa tarkasteltuihin uskottavuusfunktioon perustuviin testeihin. Tällä tavalla saadaan asymptotiikkaan perustuvia yleisiä menetelmiä approksimatiivisten luottamusjoukkojen muodostamiseen. Tässä pykälässä tarkastellaan uskottavuusosamäärän testiin perustuvia luottamusjoukkoja.

49 6.3.1 Uskottavuusosamäärään perustuva luottamusväli kun d = 1 Tarkastellaan kyllin säännöllistä reaaliparametrista mallia f Y (y; θ). Kohdassa opittiin, että uskottavuusosamäärän testisuuretta kun θ = θ 0. r(y) = 2 ( l( θ; Y) l(θ 0 ; Y) ) as χ 2 1 Olkoon χ 2 1 (α) se piste, jonka oikealla puolella on osuus α tämän jakauman todennäköisyysmassasta. Tällöin P θ0 (r(y) < χ 2 1 (α)) 1 α

50 6.3.1 Uskottavuusosamäärään perustuva luottamusväli kun d = 1 joten voidaan todeta, että A(y) = { θ ; 2(l( θ; y) l(θ; y)) < χ 2 1(α) } = { θ ; l(θ; y) l( θ; y) > 1 2 χ2 1(α) } (6.3) on θ:n approksimatiivinen luottamusjoukko luottamustasolla 1 α. Yleensä tämä joukko on väli.

51 6.3.1 Uskottavuusosamäärään perustuva luottamusväli kun d = 1 Kun L on tarkasteltavan mallin uskottavuusfunktio, määritellään normitettu (eli suhteellinen) uskottavuusfunktio L 0 (θ; y) = L(θ; y) L( θ; y) Tällöin aina 0 L 0 1 ja L 0 ( θ; y) = 1. Tämän funktion logaritmi l 0 (θ; y) = l(θ; y) l( θ; y) on normitettu log-uskottavuusfunktio, ja se esiintyi jo kohdassa Sille pätee l 0 0 sekä l 0 ( θ; y) = 0.

52 6.3.1 Uskottavuusosamäärään perustuva luottamusväli kun d = 1 Jos nyt 0 < c < 1, niin joukkoa { θ ; L 0 (θ; y) > c } = { θ ; l 0 (θ; y) > log c }, joka yleensä on väli, sanotaan 100c %:n uskottavuusväliksi parametrille θ. Siihen kuuluvat siis ne parametriarvot, joiden uskottavuus on enemmän kuin 100c % uskottavuuden maksimiarvosta eli arvosta pisteessä θ.

53 6.3.1 Uskottavuusosamäärään perustuva luottamusväli kun d = 1 Kaavassa (6.3) johdettu approksimatiivinen luottamusväli luottamustasolla 1 α on siis itse asiassa uskottavuusväli, jonka uskottavuustaso c määräytyy yhtälöstä log c = 1 2 χ2 1 (α). Tarkastellaan erityisesti tapausta α = 0.05 eli 95 %:n luottamustasoa. Tällöin χ 2 1 (0.05) 3.84, joten log c 1.92 ja c e Näin ollen kyseessä on 14.7 %:n uskottavuusväli

54 6.3.2 Esimerkki: eksponenttimalli Oletetaan: Y 1,..., Y n Exp(1/µ). Esimerkissä määräsimme uskottavuusosamäärän testisuureen r(y) = 2n ( log(y/µ) 1 + y/µ ) = 2l 0 (µ; y)

55 6.3.2 Esimerkki: eksponenttimalli Siispä: normitettu log-uskottavuus on l 0 (µ; y) = n ( log(y/µ) + 1 y/µ ) Ja: 14.7 %:n uskottavuusväli (eli approksimatiivinen 95 %:n luottamusväli) on siten { µ ; n ( log(y/µ) + 1 y/µ ) > 1.92 }

56 6.3.2 Esimerkki: eksponenttimalli kuvina n = 20, y = 5, uskottavuusväli n. (3.32, 8.0)

57 6.3.3 Uskottavuusosamäärään perustuva luottamusjoukko kun d > 1 Tarkastellaan nyt vektoriparametrista mallia f Y (y; θ), kun θ = (ψ, λ) Tehtävänä on muodostaa luottamusjoukko q-ulotteiselle kiinnostavalle parametrille ψ = (θ 1,..., θ q ). Luvussa johdettiin uskottavuusosamäärän testisuure tässä tapauksessa r(y) = 2(l( θ; y) l( θ 0 ; y))

58 6.3.3 Uskottavuusosamäärään perustuva luottamusjoukko kun d > 1 Luvussa johdettiin uskottavuusosamäärän testisuure tässä tapauksessa r(y) = 2(l( θ; y) l( θ 0 ; y)) Tässä esiintyvä θ on vapaa estimaatti ja θ 0 = (ψ 0, λ 0 (ψ 0 )) on rajoitettu estimaatti, joka saadaan maksimointitehtävästä L(ψ 0, λ 0 (ψ 0 ); y) = max λ L(ψ 0, λ; y)

59 6.3.3 Uskottavuusosamäärään perustuva luottamusjoukko kun d > 1 Maksimikohta λ 0 riippuu yleensä ψ 0 :sta. Huom. Erityisesti λ = λ 0 ( ψ) Päättelemällä kuin löydämme approksimatiivisen luottamusjoukon luottamustasolla 1 α: A(y) = { ψ ; 2(l( θ; y) l( θ 0 ; y)) < χ 2 q(α) } R q

60 6.3.3 Uskottavuusosamäärään perustuva luottamusjoukko kun d > 1 Tällekin luottamusjoukolle saamme uskottavuustulkinnan. Aivan kuin kappaleessa voimme kirjoittaa A(y) = { ψ ; l P (ψ; y) l P ( ψ; y) > 1 2 χ2 q } Edellisessä l P on logaritminen profiiliuskottavuusfunktio l P (ψ; y) = l((ψ, λ 0 (ψ)); y) Tässäkin tapauksessa luottamuusjoukko A(y) on profiiliuskottavuusfunktion uskottavuusjoukko.

61 6.4 Waldin testiin perustuvat luottamusjoukot Waldin testi perustui suoraan suurimman uskottavuuden estimaattorien asymptoottiseen normaalisuuteen säännöllisissä malleissa. Testien ja luottamusjoukkojen dualiteetin avulla pääsemme käsiksi approksimatiivisiin luottamusjoukkoihin Varsinkin 1-ulotteisessa tapauksessa Waldin testiin luottamusvälit ovat hyvin yksinkertaisia ja laajalti käytettyjä eri sovelluksissa.

62 6.4.1 Waldin testiin perustuva luottamusväli kun d = 1 Waldin testisuureen (kappale 5.6.5) variantti w 1/2 (y) = ι( θ)( θ(y) θ 0 ), w 1/2 Y N(0, 1) as kun H : θ = θ 0 on voimassa. Tällöin jokaisella θ 0 Ω on likimain voimassa P θ0 ( w 1/2 (Y) < z α/2 ) P( Z < z α/2 ) = 1 α, missä Z N(0, 1) ja z α/2 on valittu siten, että viimeinen yhtäsuuruus on voimassa.

63 6.4.1 Waldin testiin perustuva luottamusväli kun d = 1 Voimmekin määritellä Waldin testisuureeseen pohjautuvan luottamusvälin Määritelmä Waldin testiin perustuva θ(y)-keskinen luottamustason 1 α luottamusväli on z α/2 A(y) = ( θ(y) ι( θ(y)), θ(y) + z ) α/2 1/2 ι( θ(y)) 1/2 kun Φ(z α/2 ) = 1 α/2.

64 6.4.2 Keskivirheen käsite Määritelmässä esiintyvää informaatiota voidaan varioida Tiedämme: su-estimaattorin asymptoottinen jakauma θ(y) as N(θ, 1/ ι(θ)), Tämän perusteella θ θ, joten seuraava määritelmä on mielekäs Määritelmä Lukua 1/ ι( θ(y)) 1/2 sanotaan su-estimaattorin θ keskivirheeksi (engl. standard error) ja merkitään symbolilla s.e.( θ).

65 6.4.2 Keskivirheen käsite Keskivirhe voidaan laskea Fisherin informaation sijasta myös havaitusta informaatiosta: s.e.( θ) = j( θ(y); y) 1/2. Siinä tapauksessa, että estimaattorin θ varianssi v(θ) = var θ ( θ) osataan muodostaa on myös seuraava mahdollinen: s.e.( θ) = v( θ(y)) 1/2.

66 6.4.2 Keskivirheen käsite Kun tilastollisen mallin estimoinnin tuloksia raportoidaan, on tavallista ja erittäin hyödyllistä ilmoittaa estimaattien arvojen yhteydessä niiden tavalla tai toisella lasketut keskivirheet. Monet tietokoneohjelmat tekevätkin tämän automaattisesti.

67 6.4.2 Keskivirheen käsite Keskivihre antaa siis jonkinlaisen käsityksen estimaattien tarkkuudesta. Esimerkiksi luottamustasoa 1 α vastaa kutamain ( θ z α/2 s.e.( θ), θ + z α/2 s.e.( θ)) approksimatiivinen luottamusväli tällä tasolla. Koska z , on nyrkkisääntönä hyvä muistaa, että erityisesti ( θ 2s.e.( θ), θ + 2s.e.( θ)) on likimääräinen 95 %:n luottamusväli.

68 6.4.3 Esimerkki: eksponenttimalli (jatkoa 6.3.2) Oletetaan: Y 1,..., Y n Exp(1/µ). Esimerkissä määräsimme uskottavuusosamäärän testisuureen ι(µ) = E µ ( l (µ; Y)) = n µ 2 Keskivirheeksi s.e.( µ) saamme: s.e.( µ) = 1 = ι( µ(y)) µ(y) = n y n

69 6.4.3 Esimerkki: eksponenttimalli (jatkoa ) Jos n = 20, y = 5, niin Waldin testiin perustuva 95 %:n luottamusväli on n. (3.8, 7.2) Esimerkissä uskottavuusosamäärään perustuva approksimatiivinen luottamusväli 95 %:n luottamusväli oli n. (3.3, 8.0) Jos n = 100 (vast. n = 1000), y = 5, niin Waldin testiin perustuva 95 %:n luottamusväli on n. (4.02, 5.98), (vast. (4.69, 5.31)) Esimerkissä uskottavuusosamäärään perustuva approksimatiivinen luottamusväli 95 %:n luottamusväli olisi kun n = 100, n. (4.14, 6.12) (vast. (4.70, 5.32))

70 6.4.4 Waldin testiin perustuva luottamusjoukko kun d > 1 Tarkastellaan jälleen vektoriparametrista mallia f Y (y; θ), kun θ = (ψ, λ) Tehtävänä on muodostaa luottamusjoukko q-ulotteiselle kiinnostavalle parametrille ψ = (θ 1,..., θ q ). Luvussa johdettiin Waldin testisuure tässä tapauksessa w(y) = ( ψ(y) ψ 0 ) ι ψ,ψ ( θ) 1 ( ψ(y) ψ 0 ),

71 6.4.4 Waldin testiin perustuva luottamusjoukko kun d > 1 Siispä saamme parametrille ψ seuraavan luottamusjoukon luottamustasolla 1 α: { ψ ; ( ψ(y) ψ) ι ψ,ψ ( θ) 1 ( ψ(y) ψ) < χ 2 q(α) } (6.4) Tämä on ψ(y)-keskinen ellipsoidin rajoittama alue R q :ssa.

72 6.4.5 q = 1 luottamusväli parametrin yhdelle komponentille Kun q = 1, niin huomaamme { ( θ 1 (y) θ 1 ) 2 ι 1,1 ( θ) 1 < χ 2 1(α) } Ja koska khiin neliö tällöin on standardinormaalijakauman neliö, niin havaitsemme että luottamusjoukko luottamustasolla 1 α on väli ( θ1 z α/2 ι 1,1 ( θ) 1/2, θ 1 + z α/2 ι 1,1 ( θ) 1/2)

73 3.4.6 Informaatioepäyhtälö tapauksessa d > 1 Huom. Voisimme osoittaa, että ι a,a (θ) 1/ ι a,a (θ) ja yhtäsuuruus vain kun θ a on ortogonaalinen loppujen komponenttien kanssa Tämän voi ymmärtää seuraavasti: epävarmuus estimoinnissa kasvaa, kun estimoitavia parametrejä on enemmän ellei ne ole ortogonaalisia tarkasteltavan parametrin kanssa.

74 6.4.6 q = 2 luottamusellipsi parametrin komponenttien parille Kun q = 2, niin luottamusjoukko on on ellipsin rajoittama alue tasossa. Tämän luottamusellipsin keskipiste on ( θ 1, θ 2 ), ja sen akselit määrää symmetrinen kerroinmatriisi ( ) ι ψ,ψ ι ( θ) = 1,1 ( θ) ι 1,2 ( θ) ι 2,1 ( θ) ι 2,2 ( θ)

75 6.4.6 q = 2 luottamusellipsi parametrin komponenttien parille Kerroinmatriisin päälävistäjän alkiot ovat satunnaismuuttujien θ 1 ja θ 2 varianssit Vastaavasti ι 1,2 ( θ) cov( θ 1, θ 2 ) joten su-estimaattorien korrelaatio on corr( θ 1, θ 2 ) ι 1,2 ( θ) ι 1,1 ( θ) ι 2,2 ( θ)