Tilastollinen päättely. 5. Väliestimointi Johdanto Luottamusvälien konstruointi Luottamusvälien vertailu

Transkriptio

1 ilastollinen päättely 5.. Johdanto Estimointi, Joukkoestimointi, Kriittinen alue, uottamusjoukko, uottamustaso, uottamusväli, Otos, Parametri, Peittotodennäköisyys, Piste-estimointi, Väliestimaatti, Väliestimaattori, Väliestimointi 5.2. uottamusvälien konstruointi. lajin virhe, Estimointi, Hylkäysalue, Hylkäysvirhe, Hypoteesi, Hyväksymisalue, Joukkoestimointi, Kertymäfunktion saranointi, Kriittinen alue, uottamusjoukko, uottamustaso, uottamusväli, Nollahypoteesi, Otos, Parametri, Peittotodennäköisyys, Piste-estimointi, Saranasuure, Saranointi, esti, estin taso, estisuure, Vaihtoehtoinen hypoteesi, Väliestimaatti, Väliestimaattori, Väliestimointi 5.3. uottamusvälien vertailu. lajin virhe, Estimointi, Harhattomuus, Hylkäysalue, Hylkäysvirhe, Hypoteesi, Hyväksymisalue, Joukkoestimointi, Kertymäfunktion saranointi, Kriittinen alue, uottamusjoukko, uottamustaso, uottamusväli, uottamusvälin pituus, Nollahypoteesi, Optimaalisuus, Otos, Parametri, Peittotodennäköisyys, Piste-estimointi, Saranasuure, Saranointi, arkkuus, esti, estin taso, estisuure, Vaihtoehtoinen hypoteesi, Väliestimaatti, Väliestimaattori, Ilkka Mellin (200) /5

2 @ Ilkka Mellin (200) 2/5

3 5.. Johdanto uottamusvälit Olkoon f ( x; ) satunnaismuuttujan X pistetodennäköisyys- tai tiheysfunktio, joka riippuu tuntemattomasta parametrista. Olkoon X, X 2,, X n satunnaisotos satunnaismuuttujan X jakaumasta. ällöin havainnot X, X 2,, X n ovat riippumattomia, identtisesti jakautuneita satunnaismuuttujia, joilla on sama pistetodennäköisyystai tiheysfunktio f(x;): Olkoon X, X,, X 2 n X f ( x; ), i, 2,, n i X = (X, X 2,, X n ) satunnaismuuttujien X, X 2,, X n muodostama n-vektori. Olkoot satunnaismuuttujien X, X 2,, X n havaitut arvot Merkitään tätä: x, x 2,, x n X = x, X 2 = x 2,, X n = x n Satunnaismuuttujien X, X 2,, X n havaitut arvot x, x 2,, x n määräävät havaintopisteen Väliestimointi x = (x, x 2,, x n ) uvussa 3 tarkasteltiin todennäköisyysjakauman parametrin piste-estimointia. ällöin päättelyn kohteena oli yksi parametrin arvo. ässä luvussa tarkastellaan parametrin joukkoestimointia. Joukkoestimoinnissa päättelyn kohteena ovat muotoa " C " olevat väitteet, joissa C on jokin parametriavaruuden osajoukko: Joukko C C C( x) määrätään havaintopisteen x ( x, x2,, x n ) avulla. Jos on reaaliarvoinen parametri, joukko C on tavallisesti jokin reaaliakselin väli, jolloin puhumme Ilkka Mellin (200) 3/5

4 Olkoon x (,,, ) x x2 x n havaintopiste. Funktiot ( x) ja ( x) jos [ ( x), ( x)] ( x) ( x) muodostavat reaaliarvoisen parametrin väliestimaatin kaikille havaintopisteille x. Jos olemme havainneet havaintopisteen X = x, niin voimme tehdä väliestimaatin [ ( x), ( x)] perusteella parametrin arvosta johtopäätöksen Satunnaista väliä ( x) ( x) [ ( X), ( X)] kutsutaan parametrin väliestimaattoriksi. Huomaa, että satunnaismuuttujien ( X) ja ( X) muodostama pari [ ( X), ( X)] viittaa parametrin väliestimaattoriin, kun taas merkintä [ ( x), ( x)] viittaa väliestimaattorin [ ( X), ( X)] havaittuun tai realisoituneeseen arvoon. avallisesti ( x) ja ( x) ovat äärellisiä, mutta joko ( x) tai ( x) ( x) niin väliestimaattiin liittyvä väite on muotoa Jos taas " ( x)" ( x) niin väliestimaattiin liittyvä väite on muotoa " ( x) " ällöin puhumme yksipuolisista väliestimaateista. Edellä väliestimaatti määriteltiin suljettuna välinä [ ( X), ( X)] mutta väliestimaatti saattaa olla myös avoin väli tai puoliavoin väli tai puoliavoin väli ( ( X), ( X)) [ ( X), ( X)) ( ( X), ( X)] voi olla myös ääretön. Ilkka Mellin (200) 4/5

5 uottamustaso ja luottamusväli Olkoon [ ( X), ( X)] parametrin väliestimaattori. ällöin Pr ( [ ( X ), ( X )]) Pr( [ ( X ), ( X )] ) on todennäköisyys, että väli [ ( X), ( X)] peittää parametrin todellisen arvon. Kutsumme tätä todennäköisyyttä peittotodennäköisyydeksi. uottamusväliin [ ( X), ( X)] liittyvä luottamustaso on peittotodennäköisyyden infimum parametrin suhteen: inf Pr ( [ ( X), ( X)]) uottamustaso ilmoitetaan usein prosentteina, jolloin puhumme 00( ) %:n luottamusvälistä parametrille. Koska parametrin todellinen arvo on tuntematon, myös peittotodennäköisyys Pr ( [ ( X ), ( X )]) on tuntematon ja voimme taata vain sen, että peittotodennäköisyys ei ylitä luottamustasoa. osin monissa tilanteissa peittotodennäköisyys ei riipu parametrista, jolloin peittotodennäköisyys yhtyy luottamustasoon uottamusvälien konstruointi Seuraavassa esitetään kolme luottamusvälien konstruointimenetelmää: testisuureen kääntäminen, saranasuureen käyttö, kertymäfunktion saranointi. Kaikki kolme menetelmää perustavat olennaisesti testisuureen kääntämiseen. estisuureen kääntäminen uottamusjoukkojen ja testien välillä on seuraava yhteys: ause: Olkoon A( 0 ) sellaisen tasoa olevan testin hyväksymisalue, jonka nollahypoteesi on muotoa H : jossa 0 on mielivaltainen parametriavaruuden alkio. Olkoon x havaintopiste ja määritellään joukko C( x) { x A( )} ällöin satunnaisjoukko C(X) on parametrin luottamusjoukko Ilkka Mellin (200) 5/5

6 odistus: Kääntäen, olkoon C(X) on parametrin luottamusjoukko luottamustasolla. ällöin joukko A( ) { x C( x)} on sellaisen tasoa olevan testin hyväksymisalue, jonka nollahypoteesi on muotoa H : Olkoon testauksen kohteena oleva nollahypoteesi muotoa (i) (ii) Saranasuure H : odistetaan lauseen ensimmäinen osa: Koska A( 0 ) on tasoa olevan testin hyväksymisalue, niin ja siten Satunnaismuuttuja Pr ( X A( )) Pr ( X A( )) Koska 0 on mielivaltainen parametriavaruuden alkio, voimme korvata 0 :n merkinnällä. Siten joukon C(X) peittotodennäköisyys toteuttaa epäyhtälön Pr ( C( X)) Pr ( X A( )) joten C(X) on parametrin luottamusjoukko luottamustasolla. odistetaan lauseen toinen osa:. lajin virheen eli hylkäysvirheen todennäköisyys testille, jonka hyväksymisalue on A( ) { x C( x)} toteuttaa epäyhtälön Pr ( X A( )) Pr ( C( X)) 0 0 joten testin taso on. Q X Q X X 2 X n ( ; ) (,,, ; ) sanotaan saranasuureeksi, jos sen jakauma ei riipu mistään parametreista. ällä tarkoitetaan sitä, että jos X F( x; ) niin satunnaismuuttujalla Q(X;) on sama jakauma Ilkka Mellin (200) 6/5

7 Funktio Q(X;) riippuu tavallisesti sekä parametrista että otoksesta X jonkin otostunnusluvun kautta. Sen sijaan todennäköisyys Pr { Q( X; ) A} ei saa riippua parametrista olipa A mikä tahansa (mitallinen) joukko. Jos haluamme konstruoida parametrille luottamusjoukon saranasuureen avulla, meidän on löydettävä sarana Q(x;) ja konstruoitava sellainen joukko A, että parametriavaruuden osajoukko { Q( x; ) A} kelpaa parametrin joukkoestimaatiksi. Kertymäfunktion saranointi Edellisessä kappaleessa nähtiin, että saranasuureen Q löytäminen johtaa muotoa C( x) { a Q( x, ) b} olevaan luottamusjoukkoon. Jos funktio Q(x;) on jokaiselle havaintopisteelle x parametrin monotoninen funktio, niin luottamusjoukko C(x) on aina väli. Esimerkiksi paikka- ja skaalamuunnokset johtavat monotonisiin saranasuureisiin ja siten luottamusväleihin. ause: Jatkuvan kertymäfunktion saranointi Olkoon tunnusluku, jolla on jatkuva kertymäfunktio F (t;). Olkoot ja 2 kiinteitä reaalilukuja ja olkoon + 2 =, jossa 0 < <. Määritellään funktiot (t) ja (t) seuraavalla tavalla: (i) (ii) odistus: Jos F (t;) on jokaiselle t parametrin arvojen vähenevä funktio, niin valitaan funktiot (t) ja (t) niin, että ja F ( t; ( t)) F ( t; ( t)) 2 Jos F (t;) on jokaiselle t parametrin arvojen kasvava funktio, niin valitaan funktiot (t) ja (t) niin, että ja F ( t; ( t)) F ( t; ( t)) ällöin satunnaisväli [ ( ), ( )] on parametrin luottamusväli luottamustasolla. (i) 2 Oletetaan, että olemme konstruoineet tasoa olevan hyväksymisalueen { t F ( t; ) } 0 Ilkka Mellin (200) 7/5

8 (ii) Koska F (t;) on jokaiselle t parametrin arvojen vähenevä funktio ja niin siten 2 > (t) < (t) ja (t) ja (t) ovat yksikäsitteisiä. Koska lisäksi niin avallisesti valitaan F ( t; ) ( t) F ( t; ) ( t) 2 { F ( t; ) } { ( ) ( )} 0 2 Kohta (ii) todistetaan vastaavalla tavalla kuin kohta (i). = 2 = /2 jolloin luottamusväliä sanotaan symmetriseksi. ämä valinta ei kuitenkaan ole välttämättä optimaalinen; ks. kohtaa 5.3. Jos haluamme yksipuolisen luottamusvälin, valitsemme tilanteesta riippuen joko tai = 0 2 = 0 ause: Diskreetin kertymäfunktion saranointi Olkoon diskreetti tunnusluku, jonka kertymäfunktio on F (t;). Olkoot ja 2 kiinteitä reaalilukuja ja olkoon + 2 =, jossa 0 < <. Määritellään funktiot (t) ja (t) seuraavalla tavalla: (i) (ii) Jos F (t;) on jokaiselle t parametrin arvojen vähenevä funktio, niin valitaan funktiot (t) ja (t) niin, että ja Pr( t ( t)) Pr( t ( t)) 2 Jos F (t;) on jokaiselle t parametrin arvojen kasvava funktio, niin valitaan funktiot (t) ja (t) niin, että ja Pr( t ( t)) Pr( t ( t)) Ilkka Mellin (200) 8/5

9 odistus: ällöin satunnaisväli [ ( ), ( )] on parametrin luottamusväli luottamustasolla. (i) (ii) odetaan ensin, että satunnaismuuttuja F (;) on stokastisesti suurempi kuin jatkuvaa tasaista jakaumaa niform(0,) noudattava satunnaismuuttuja X. Stokastinen suuremmuus: Siten Olkoon X FX ja Y FY. Satunnaismuuttuja X on stokastisesti suurempi tai yhtä suuri kuin satunnaismuuttuja Y, jos F ( t) F ( t) X kaikille t. ällöin Y Pr( X t) Pr( Y t) kaikille t. Jos X on stokastisesti suurempi kuin Y, niin satunnaismuuttujalla X on taipumus saada suurempia arvoja kuin satunnaismuuttujalla Y. Pr( F ( ; ) x) x Sama ominaisuus on funktiolla F ( ; ) Pr( t ) joten joukko { F ( ; ) ja F ( ; ) } 2 on parametrin luottamusjoukko luottamustasolla. Koska F (;) on jokaiselle t parametrin arvojen vähenevä funktio, niin F ( ; ) jokaiselle t parametrin arvojen ei-vähenevä funktio. Siten ja ( t) F ( t; ) / 2 ( t) F ( t; ) / 2 { F ( ; ) ja F ( ; ) } { ( ) ( )} 2 Kohta (ii) todistetaan vastaavalla tavalla kuin kohta (i). Ilkka Mellin (200) 9/5

10 5.3. uottamusvälien vertailu Peittotodennäköisyys ja luottamusjoukon koko Oletetaan, että luottamusvälin peittotodennäköisyys kiinnitetään. Miten valitaan lyhyin niistä luottamusväleistä, joilla on sama peittotodennäköisyys? ause: odistus: Olkoon tiheysfunktio f(x) unimodaalinen ja olkoon x funktion f(x) moodi. Oletetaan, että väli [a, b] toteuttaa seuraavat ehdot: b (i) f ( x ) dx a (ii) f ( a) f ( b) 0 (iii) a x b ällöin väli [a, b] on lyhyin niistä väleistä, jotka toteuttavat ehdon (i). Olkoon [a, b ] reaaliakselin suljettu väli, joka toteuttaa ehdon Näytämme, että b a b a b a f ( x) dx arkastelemme vain tapausta a a. apaus a > a todistetaan vastaavalla tavalla. Jaetaan todistus kahteen osaan sen mukaan onko b a vai b > a. Olkoon b a. ällöin ja siten a b a x b a f ( x) dx f ( b)( b a) x b x f ( x) f ( b) joten tapaus b a on todistettu. Olkoon b > a. ällöin sillä, jos f ( a)( b a) b a x f ( b) f ( a) a a < b < b b b b f ( x) dx b a b a ja f ( a) 0 a (ii),(iii) ja unimodaalisuus f ( x) f ( a), kun a x Ilkka Mellin (200) 0/5

11 niin tällöin b a b a mikä on vastoin oletusta. Siten f ( x) dx f ( x) dx f ( x) dx f ( x) dx b b a b a a a b a b ( ) f ( x) dx f ( x) dx a b ja siten väite on todistettu, jos hakasulkulauseke [] on negatiivinen. Koska funktio f(x) on unimodaalinen ja a a < b < b niin kohdasta (ii) seuraa, että ja Siten a f ( x ) dx f ( a )( a a ) a b f ( x ) dx f ( b )( b b ) b a a b f ( x ) dx f ( x ) dx f ( a )( a a ) f ( b )( b b ) b f ( a)[( a a) ( b b)] f ( a) f ( b) f ( a)[( b a) ( b a)] mikä on negatiivinen, jos b a < b a ja f(a) > 0 Siten myös tapaus b a on todistettu. uottamusvälien optimaalisuus ja testit Koska luottamusvälien ja testien välillä on kääntäen yksikäsitteinen vastaavuus (ks. kappale 5.2), on luontevaa, että luottamusvälin optimaalisuuden käsite määritellään sellaisella tavalla, että se heijastelee jollakin tavalla vastaavan testin optimaalisuutta. uottamusvälin optimaalisuutta ei kuitenkaan kannata liittää suoraan testin kokoon, vaan todennäköisyyteen sille, että väärä parametrin arvo tulee peitetyksi. odennäköisyys sille, että väärä parametrin arvo tulee peitetyksi mittaa epäsuorasti luottamusjoukon kokoa. Koska pieni luottamusjoukko peittää pienemmän osan parametrin mahdollisista arvoista kuin suuri luottamusjoukko, niin todennäköisyys sille, että luottamusjoukko peittää vääriä parametrin arvoja pitäisi olla pienelle joukolle pienemmän kuin suurelle Ilkka Mellin (200) /5

12 Alla esitetään yhtälö, joka liittää toisiinsa luottamusjoukon koon ja todennäköisyyden peittää väärä parametrin arvo. arkastellaan yleistä tilannetta, jossa otoksen X = (X, X 2,, X n ) yhteisjakauman pistetodennäköisyys- tai tiheysfunktio on f(x;). Olkoon A() sellaisen tasoa olevan testin hyväksymisalue, jonka nollahypoteesi on muotoa H : Konstruoidaan parametrille luottamusjoukko C(X) luottamustasolla kääntämällä hyväksymisalue A(). uottamusjoukkoon C(X) liittyvä todennäköisyys sille, että oikea parametrin arvo tulee peitetyksi eli peittotodennäköisyys on parametrin funktio. Pr ( C( X )) odennäköisyys sille, että väärä parametrin arvo tulee peitetyksi, on parametrin arvojen ja funktio, jonka määrittelee todennäköisyys peittää parametrin arvo, kun oikea parametrin arvo on. ämän todennäköisyyden antaa kaavat Pr ( C ( X )),, jos C ( X ) [ ( X ), ( X )] Pr ( C ( X )),, jos C ( X ) [ ( X ), ] Pr ( C ( X )),, jos C ( X ) [, ( X )] uottamusjoukkoa, joka minimoi todennäköisyyden peittää väärä parametrin arvo niiden luottamusjoukkojen luokassa, joiden luottamustaso on, kutsutaan tasaisesti kaikkein tarkimmaksi. ause: Olkoon X f ( x; ) jossa on reaaliarvoinen parametri. arkastellaan tasaisesti voimakkainta tasoa olevaa testiä nollahypoteesille H : vaihtoehtoista hypoteesia H : 0 0 (H : ) vastaan. Olkoon A ( 0 ) testin hyväksymisalue ja olkoon C (x) hyväksymisalue A ( 0 ) kääntämällä muodostettu parametrin luottamusjoukko luottamustasolla. Jos C on jokin toinen parametrin luottamusjoukko luottamustasolla, niin kaikille < ( > ). Pr ( C ( X)) Pr ( C( Ilkka Mellin (200) 2/5

13 odistus: Olkoon <. Olkoon C parametrin luottamusjoukko luottamustasolla. arkastellaan tasoa olevaa testiä nollahypoteesille H : 0 joka on muodostettu kääntämällä C ja olkoon A( ) testin hyväksymisalue. Koska A ( ) on hyväksymisalue tasaisesti voimakkaimmalle testille nollahypoteesille H : vaihtoehtoista hypoteesia 0 H : vastaan ja koska >, niin Pr ( C ( X)) Pr ( X A ( )) Käännetään luottamusjoukko C hyväksymisalueeksi A Pr ( X A( )) A on tasaisesti voimakkaimman testin hyväksymisalue Pr ( C( X)) Käännetään hyväksymisalue A luottamusjoukoksi C Koska molemmat hyväksymisalueen todennäköisyydet tässä epäyhtälöketjussa ovat testin voimakkuus niin näemme, että tasaisesti voimakkain testi minimoi hyväksymisalueen todennäköisyyden. Siten olemme näyttäneet, että tapauksessa < todennäköisyys sille, että väärä parametrin arvo tulee peitetyksi minimoituu, jos luottamusjoukko konstruoidaan kääntämällä tasaisesti voimakkain testi nollahypoteesille H : vaihtoehtoista hypoteesia vastaan. 0 H : apaus > todistetaan vastaavalla tavalla. Harhattomuus on eräs keskeisistä vaatimuksista testeille (ks. lukua 4). Koska testien ja luottamusjoukkojen välillä on edellä esitetty vastaavuus, harhattomuuden käsite on syytä pyrkiä liittämään myös luottamusjoukkoihin. Kutsumme luottamusjoukkoa C(x) luottamustasolla ( )-harhattomaksi, jos kaikille. Pr ( C ( Ilkka Mellin (200) 3/5

14 Jos luottamusjoukko on harhaton, todennäköisyys, että väärä parametrin arvo tulee peitetyksi on korkeintaan yhtä suuri kuin pienin mahdollinen todennäköisyys sille, että oikea parametrin arvo tulee peitetyksi. Harhaton luottamusjoukko voidaan konstruoida kääntämällä harhaton testi. Olkoon siis A( 0 ) harhattoman tasoa olevan testin hyväksymisalue, kun testattavana on nollahypoteesi H : vaihtoehtoista hypoteesia H : 0 vastaan. Konstruoidaan parametrille luottamusjoukko C(x) luottamustasolla kääntämällä hyväksymisalue A( 0 ). ällöin luottamusjoukko C(x) on harhaton. Prattin teoreema: odistus: Olkoon reaaliarvoisen satunnaismuuttujan X pistetodennäköisyys- tai tiheysfunktio f ( x ; ), jossa on reaaliarvoinen parametri. Olkoon C( x) [ ( x), ( x)] parametrin luottamusväli luottamustasolla. Jos (x) ja (x) ovat molemmat muuttujan x kasvavia (väheneviä) funktioita, niin kaikille. E ( ( X ) ( X )) Pr ( C( X )) d odistamme Prattin teoreeman vain siinä tapauksessa, että luottamusvälin C(x) päätepisteet (x) ja (x) ovat molemmat muuttujan x kasvavia funktioita. Odotusarvon määritelmän mukaan E ( ( X ) ( X )) ( ( x) ( x)) f ( x; ) dx Odotusarvon määritelmä ( x) d f ( x; ) dx on dummy-muuttuja ( x) ( ) f ( x; ) dx d Integroimisjärjetyksen vaihto ( ) Pr ( ( ) X ( )) Määritelmä Pr ( C( X )) d Käännetään hyväksymisalue = Pr ( C( X )) d Yhden pisteen tn 0 d jossa on kaikkien mahdollisten pisteiden x Ilkka Mellin (200) 4/5

15 Integroimisjärjestyksen vaihto yo. yhtälöketjussa voidaan perustella Fubinin lauseen avulla, mutta voidaan helposti nähdä oikeutetuksi myös suoraan olettaen, että kaikki integroitavat ovat äärellisiä. Hyväksymisalueen kääntäminen perustuu siihen, että ja oletettiin kasvaviksi, jolloin { ( x) ( x)} x { x ( ) x ( )} Prattin teoreeman mukaan väliestimaattorin pituuden C( X ) [ ( X ), ( X )] ( X ) ( X ) odotusarvo yhtyy summaan (so. integraaliin) todennäköisyyksistä sille, että väärä parametrin arvo tulee Ilkka Mellin (200) 5/5